A pergunta fácil não testa a confiança

Um agente encontra correctamente o horário de atendimento. Depois, alguém pergunta se uma excepção não documentada se aplica ao seu caso. Se a resposta inventada soar tão segura como a primeira, o utilizador dificilmente distingue conhecimento de suposição. Avaliar um agente exige incluir perguntas para as quais a resposta adequada é reconhecer a falta de informação.

Defina o comportamento esperado: citar uma fonte disponível, pedir um detalhe em falta ou encaminhar para uma pessoa. «Não sei» deve abrir um próximo passo útil. Recusar tudo também falha: o objectivo é ajudar dentro de limites claros, e não maximizar o número de respostas nem o número de recusas.

Crie um conjunto de perguntas que incomode

Junte casos frequentes, perguntas ambíguas, informação desactualizada, pedidos fora do âmbito e utilizadores com permissões diferentes. Para cada caso, escreva a resposta aceitável e o erro que seria grave. Inclua os idiomas dos utilizadores: traduzir uma pergunta não garante que todas as versões conservem a mesma precisão.

Repita a avaliação depois de alterar instruções, documentos ou ferramentas. Compare por tipo de caso, não apenas pela média. Um resultado global de 95% pode esconder precisamente as cinco perguntas com consequências mais sérias. A dimensão e a representatividade do teste limitam aquilo que pode concluir sobre uso real.

Dar uma resposta e executar uma acção são riscos diferentes

Um documento consultado pode conter instruções maliciosas dirigidas ao agente. Trate esse conteúdo como dados, e não como autorização. Limite ferramentas e permissões ao necessário; o sistema que executa a acção deve verificar o acesso independentemente do texto gerado. Uma instrução para «ter cuidado» não substitui esses controlos.

Para operações com impacto, como enviar comunicações ou alterar registos importantes, mostre à pessoa o destino e a alteração exacta antes da confirmação. Registe o resultado e permita investigar falhas. Mesmo com estes cuidados, mantenha supervisão proporcional ao risco: avaliação e controlos reduzem problemas, não demonstram ausência absoluta de falhas.

Comece com doze casos bem escolhidos

Escreva três perguntas normais, três ambíguas, três sem resposta nas fontes e três que tentem ultrapassar permissões. Guarde respostas esperadas, versão do agente e resultados. Corrija primeiro os erros de maior impacto e repita o conjunto. Doze casos são um ponto de partida para aprender, não um certificado de segurança.

Fontes & leitura complementar

Fontes consultadas em 24 de Outubro de 2026. Os exemplos numéricos e cenários apresentados são ilustrativos.

Vamos pôr este conhecimento em prática?

Podemos trabalhar juntos no desafio da sua equipa ou no seu próximo projecto.

Falar com Calembe ↗