Índice
A detecção de alucinações em inteligência artificial (IA) tem sido um desafio significativo, especialmente com grandes modelos de linguagem (LLMs) como o ChatGPT.
Cientistas da Universidade de Oxford anunciaram uma solução inovadora para esse problema. A nova técnica desenvolvida utiliza dois sistemas adicionais de IA para avaliar a precisão das respostas geradas por modelos principais.
O Problema das Alucinações em IA
Os LLMs, apesar de avançados, enfrentam o problema de “alucinações”, onde constroem informações falsas e as repassam como verdadeiras. Essas confabulações ocorrem quando o modelo não possui dados suficientes para gerar uma resposta precisa. A detecção de alucinações é crucial para garantir a confiabilidade das respostas, especialmente em áreas sensíveis como a medicina e o direito.
A Solução da Universidade de Oxford
Liderados pelo cientista da computação Sebastian Farquhar, os pesquisadores de Oxford desenvolveram um método que envolve submeter as respostas dos LLMs a dois outros sistemas de IA. Este processo adicional avalia a construção semântica das respostas e utiliza o conceito de entropia para medir o caos e a aleatoriedade nas respostas. Quanto maior a entropia, maior a probabilidade de a resposta ser uma alucinação.
Como Funciona o Método
O sistema de detecção de alucinações funciona em três etapas:
- Primeiro LLM: Gera a resposta inicial.
- Segundo LLM: Avalia a semântica da resposta e mede a entropia.
- Terceiro LLM: Interpreta a entropia e determina a probabilidade de a resposta ser uma alucinação.
Essa abordagem permite que o sistema identifique respostas incertas e alerte os usuários sobre a possível falta de confiabilidade.
Testes e Resultados
Os cientistas testaram a nova técnica com ferramentas de IA existentes, como Llama 2, Mistral Instructor e Falcon. Os resultados mostraram uma taxa de acerto de 70% a 80% na detecção de alucinações em biografias geradas por IA, questões de saúde e conhecimento geral. Esses resultados são promissores para a aplicação prática da técnica.
Avaliações Externas
Em um artigo independente na revista Nature, Karin Vespoor do Royal Melbourne Institute of Technology elogiou a engenhosidade do método, mas destacou a necessidade de usá-lo com cautela. Ela afirmou que “os LLMs podem formar um componente integral de uma estratégia para controlar outros LLMs”, utilizando fogo para combater o fogo.
Perspectivas Futuras
Sebastian Farquhar e sua equipe acreditam que a detecção de alucinações pode ser implementada de forma útil para usuários. Este sistema pode evitar que os LLMs respondam a perguntas que possam causar confabulações e alertar os usuários sobre a falta de confiabilidade das respostas.
Perguntas Frequentes
Como funciona a detecção de alucinações em IA?
O método utiliza dois sistemas de IA adicionais para avaliar a semântica e a entropia das respostas geradas pelo LLM principal.
Por que as alucinações em IA são um problema?
Alucinações podem gerar respostas falsas e convencer os usuários de informações incorretas, afetando áreas críticas como medicina e direito.
Quais foram os resultados dos testes?
A técnica mostrou uma taxa de acerto de 70% a 80% na detecção de alucinações em diversos tipos de respostas geradas por IA.
