Principais tópicos:
- Quais as melhores tecnologias disponíveis hoje para entendimento de inteligência artificial?
- Quais as limitações dessas tecnologias? Como essas limitações se refletem na % de entendimento dos robôs?
- Como funciona a AI da Asksuite? Quais limitações refletem na % de entendimento dos robôs?
- Cuidado importante: Como identificar ferramentas que escondem falsos positivos?
Durante a sua rotina corrida gerenciando hotéis, o olhar sobre dados de performance é essencial para gerar um senso de progresso e alinhar rapidamente ações entre as equipes envolvidas.
Quando se trata sobre a atuação do seu robô da Asksuite, esta lógica se mantém. Afinal, é preciso justificar o investimento mensal com dados que comprovem que o seu desempenho realmente trouxe benefícios para o seu hotel ou pousada.
Em termos gerais, os dados sobre o desempenho do seu robô podem envolver a receita gerada, o número de reservas concluídas, assim como a taxa de entendimento do seu robô.
Com a nova atualização da plataforma, agora a Asksuite passa a compartilhar os dados sobre o entendimento do seu robô através de uma porcentagem considerando os últimos 30 dias ou períodos personalizados.
Por mais que a porcentagem de entendimento seja de 0 a 100%, é fácil pensar que o máximo possível é o 100%, até porque a nossa mente analítica está acostumada a ter essa referência, não é mesmo?
Só que essa lógica não se aplica (ainda) para a realidade da Linguagem Natural, uma das principais vertentes da Inteligência Artificial, e que inclusive é a base da tecnologia de diversos chatbots e assistentes de reservas mais otimizados do mundo.
Neste breve artigo, tenho a intenção de apresentar um contexto resumido sobre:
- O que há de melhor no cenário global relacionado às tecnologias de Linguagem Natural, incluindo a Asksuite
- Quais suas limitações para que você tenha expectativas realistas sobre o seu plano de ação de melhorias do seu robô
- Reconhecer empresas que promovem chatbots com falsas promessas de garantir um entendimento acima de 90%, sendo que na realidade camuflam ‘falsos positivos’ em suas análises.
Através dessas novas informações, você terá bem mais confiança e clareza nos argumentos para decidir escolher as melhores ferramentas de verdade disponíveis para gerar mais vendas para o seu hotel ou pousada.
Vamos lá?
Quais as melhores tecnologias disponíveis hoje para entendimento de inteligência artificial?
Recentemente, a Universidade de Stanford publicou um notável relatório chamado ‘Artificial Intelligence Index Report 2022’ em parceria com organizações referências a nível global, como Google, Open AI e McKinsey & Company.
Em resumo, este material oferece insights ricos em detalhes sobre o contexto do mundo ligado ao tema de inteligência artificial centrada no usuário, considerando Pesquisa & Desenvolvimento, Performance Técnica, Ética da IA, Economia e Governança.
Neste breve artigo escrito, pretendo te mostrar alguns dos melhores exemplos de pesquisa com a tecnologia mais avançada existente hoje em dia, principalmente no que se refere à Linguagem Natural.
Esta vertente da inteligência artificial é especialmente importante para o seu contexto como gerente hoteleiro, uma vez que esse é o campo de atuação do produto da Asksuite relacionado ao Ensinar Robô que você tem costume de monitorar.
“O raciocínio envolvendo a Linguagem Natural acontece a partir de uma tarefa realizada pela AI de um robô, determinando se, dada uma premissa, uma hipótese é verdadeira (implicação), falsa (contradição) ou indeterminada (neutra).
A inferência de LN requer habilidades de processamento de linguagem, como reconhecimento de entidades nomeadas (compreendendo as palavras que você vê), além de ser capaz de usar o conhecimento do senso comum para distinguir entre inferências razoáveis e não razoáveis.”
— Artificial Intelligence Index Report 2022, Universidade de Stanford
A partir do momento que passamos a conhecer mais sobre o que há de melhor performance, ficará mais fácil esclarecer também quais as limitações ainda existentes.
Na sequência, você irá conhecer uma síntese das 2 melhores pesquisas globais envolvendo a tecnologia aplicada para Linguagem Natural que foram destaques no relatório da Universidade de Stanford.
Vem comigo!
#1 - SuperGLUE
A iniciativa SuperGLUE é uma métrica de número único que rastreia progresso em um conjunto diversificado de tarefas linguísticas envolvendo a Língua Inglesa.
Como parte da pesquisa, o sistema de Inteligência Artificial foi testado em 8 tarefas diferentes (como responder a perguntas sim/não, identificar causalidade em eventos, e fazer o senso comum compreensão de leitura).
Assim, a partir do seu desempenho nessas tarefas foi então calculada a média em uma única pontuação, como mostra a imagem abaixo:
A partir da pesquisa, fica mais fácil compreender que a capacidade máxima de entendimento da tecnologia SuperGLUE é de 91%, ante 89,8% do entendimento humano para os mesmos testes.
#2 - Stanford Natural Language Inference (SNLI)
O conjunto de dados Stanford Natural Language Inference (SNLI) contém cerca de 600.000 pares de frases (premissas e hipóteses associadas) que foram rotuladas como relacionadas, contraditórias ou neutras.
Como parte deste desafio, diversos sistemas de IA foram questionados se certos pares de frases teriam alguma relação ou não, como ilustra a imagem abaixo:
A partir disso, o desempenho no SNLI foi medido em precisão com base na porcentagem de perguntas respondidas corretamente.
O modelo de melhor desempenho no SNLI é o EFL do Facebook AI USA, que em abril de 2021 registrou uma pontuação de 93,1% de assertividade, como mostra a imagem abaixo:
A partir destes 2 exemplos resumidos, assim como em outras iniciativas expostas no Relatório de Inteligência Artificial da Universidade de Stanford de 2022, percebemos que é praticamente impossível existir um robô com entendimento de 100%.
Isso porque é um desafio para todos os produtos digitais que envolvem Inteligência Artificial conseguirem extrair o contexto das conversas em escala através de um robô.
Mesmo que estes robôs com entendimento superior a 90% estejam em ambientes super controlados, o processo de oferta a um mercado específico, como o hoteleiro, é um desafio imenso por conta das particularidades de cada negócio e região.
Relembro que, apesar de todas as iniciativas citadas serem de altíssimo nível de tecnologia, nenhuma delas é direcionada para o mercado hoteleiro como a Asksuite.
Como funciona a AI da Asksuite?
Eleita pelo Hotel Tech Awards por 3 anos consecutivos como melhor chatbot para hotelaria do mundo, a Asksuite segue em constante evolução em seu produto.
Meu objetivo aqui não é passar detalhes muito técnicos sobre camadas de inteligência ou machine learning, mas sim te passar um contexto didático para entender melhor a dinâmica da IA da Asksuite.
Então, de forma resumida, a Inteligência Artificial oferecida aos +1.000 clientes pode ser dividida em 2 seções, sendo:
- Questionário
Nós oferecemos uma estrutura de templates customizáveis por segmentos de hotéis com as perguntas mais frequentes feitas no chat.
Na prática, ao conversar com o assistente virtual de reservas, os viajantes fazem perguntas por texto, que são analisadas por nossas lógicas internas de processamento de linguagem natural, ou acessam botões pré-configurados que levarão às respostas programadas pelo hotel.
Veja como funciona na imagem abaixo:
- Ensinar Robô
É a estrutura dedicada para os usuários melhorarem o entendimento do seu robô com novos ensinamentos para a realidade específica do seu hotel.
Na prática, digamos que eu tenho uma pousada no Rio de Janeiro e constantemente os viajantes perguntam no chat qual é a distância para o Cristo Redentor. Dessa forma, eu como gerente do hotel poderia criar um ensinamento para responder através de palavras-chave, sinônimos ou variações de frases.
Com essa ferramenta, nós conseguimos permitir que nossos clientes customizem seus robôs com todo o poder do processamento de linguagem natural através de uma interface simplificada e acessível.
Qual é o limite máximo que devo buscar como ideal?
Esta é uma pergunta instigante, sendo bem recorrente entre os nossos clientes.
A melhor resposta é depende do engajamento de cada hotel.
Em nossa base de clientes, por mais que a nossa média geral de entendimento seja de 76% hoje, existem hotéis com robôs cujos entendimentos chegam a incríveis 92%!
Reforço, isso é possível porque a nossa ferramenta depende do engajamento dos clientes.
É claro que a Asksuite cria e atualiza os produtos para serem intuitivos e trabalhem a favor dos hotéis o máximo possível.
Entretanto, se existem centenas de viajantes fazendo perguntas que o seu robô não foi ensinado a responder, é provável que o entendimento do seu hotel seja menor do que poderia, certo?
Sendo assim, o que consideramos como uma taxa de entendimento ótima é entre 80 e 90%.
Dessa forma, já é possível aproveitar MUI-TO do melhor da nossa tecnologia, conseguir responder a grande maioria dos seus viajantes e não se frustrar por estar longe dos 100%, uma vez que agora você conhece mais sobre as limitações das tecnologias de hoje.
Pensando em ajudar os hotéis a poupar tempo em deixar de precisar monitorar os chats pra saber quais os novos assuntos devem ser ensinados ao robô, a Asksuite atualizou a seção do Ensinar Robô com as seguintes funcionalidades:
- Recomendação de ensinamentos com base nos principais assuntos não entendidos
- Filtro e listagem das ‘Frases Não Entendidas’
- Contagem do número de ocorrências dos ensinamentos já publicados
- Redesign de toda a experiência do usuário para cadastrar e monitorar os ensinamentos mais importantes para os potenciais clientes do seu hotel!
[BÔNUS] Cuidado importante: Como identificar ferramentas que escondem falsos positivos?
Sabemos que no mercado competitivo da tecnologia para hotelaria, são diversas as ferramentas que nascem todos os meses com promessas sensacionais de benefícios.
Entretanto, é essencial você conseguir entender quando são promessas falsas ou verdadeiras.
No contexto dos chatbots, isso é importante porque existem ferramentas disponíveis no mercado que, em seus discursos de vendas, alegam oferecer uma taxa de entendimento de aproximadamente 99%. Dá pra acreditar?! 😱
Só que na prática, nós sabemos que não é bem assim…
Isso acontece porque há um equívoco no cálculo da taxa de entendimento, uma vez que a contagem esconde uma quantidade grande de mensagens que resultaram em ‘falsos positivos’.
E o que são ‘falsos positivos’?
Imagine que eu, como um viajante hipotético, quero saber o “‘preço do almoço” e pergunto isso para o robô.
Se por acaso ele entender apenas a palavra-chave “preço” e responder com um tópico relacionado ao “preço de um quarto” ele responderá de forma equivocada para mim, porém contabilizará como se estivesse respondendo certo.
Nós da Asksuite trabalhamos arduamente para minimizar a contagem de falsos positivos e uma das nossas estratégias é perguntar ao final de cada diálogo entre robô-viajante se a resposta foi satisfatória.
Dessa forma, podemos ter um panorama mais assertivo sobre a qualidade da entrega do nosso robô somado aos outros mecanismos criados.
Conclusão
Vamos ver a síntese das principais conclusões do nosso artigo de hoje:
- Nem as melhores ferramentas do mundo entregam uma taxa de entendimento acima de 92%, por isso crie planos de ação realistas com base nas limitações das tecnologias disponíveis no mercado hoje
- Busque balizar o entendimento do seu robô entre 80% e 90%, o que já é considerado ótimo!
- Cuidado com ferramentas que prometem uma assertividade acima disso, pois elas estão escondendo ‘falsos positivos’!
Espero ter te ajudado a entender um pouco mais sobre Linguagem Natural e Inteligência Artificial!
Também, tomara que possa ser útil para melhorar a taxa de entendimento do seu robô e, assim, gerar mais reservas e faturamento para seu hotel ou pousada!
Até a próxima!
Artigos relacionados
Como utilizar a função Ensinar robô?
9 Dicas para turbinar a taxa de entendimento do seu robô
Comentários
0 comentário
Por favor, entre para comentar.