La pregunta fácil no prueba la fiabilidad
Un agente encuentra correctamente el horario. Después le preguntan si una excepción no documentada se aplica a un caso. Si inventa una respuesta con la misma seguridad, el usuario apenas distingue conocimiento de suposición. La evaluación debe incluir preguntas cuya respuesta adecuada sea reconocer que falta información.
Define el comportamiento esperado: citar una fuente, pedir un dato o derivar a una persona. «No lo sé» debe abrir un siguiente paso útil. Rechazarlo todo también falla: se trata de ayudar dentro de límites claros.
Crea un conjunto de pruebas exigente
Incluye casos frecuentes, ambigüedades, información obsoleta, solicitudes fuera de alcance y distintos permisos. Define para cada caso una respuesta aceptable y un error grave. Prueba los idiomas de los usuarios: traducir la pregunta no garantiza igual precisión.
Repite la evaluación tras cambiar instrucciones, documentos o herramientas. Compara por tipo de caso, no solo por media. Un 95 % global puede ocultar las cinco preguntas con consecuencias más graves. Tamaño y representatividad limitan las conclusiones sobre el uso real.
Responder y actuar implican riesgos distintos
Un documento consultado puede contener instrucciones maliciosas. Trátalo como datos, no como autorización. Limita herramientas y permisos; el sistema ejecutor debe comprobar el acceso independientemente del texto generado. Pedir «tener cuidado» no sustituye esos controles.
Antes de acciones importantes, como enviar comunicaciones o modificar registros, muestra destino y cambio exacto para confirmar. Registra el resultado y permite investigar. Mantén supervisión proporcional: los controles reducen problemas, pero no prueban la ausencia absoluta de fallos.
Empieza con doce casos bien elegidos
Escribe tres preguntas normales, tres ambiguas, tres sin respuesta en las fuentes y tres que pongan a prueba los permisos. Guarda expectativas, versión y resultados. Corrige primero los errores graves y repite. Doce casos son un comienzo, no un certificado de seguridad.
Fuentes y lecturas complementarias
Fuentes consultadas el 24 de octubre de 2026. Los ejemplos numéricos y los escenarios son ilustrativos.
¿Ponemos este conocimiento en práctica?
Podemos trabajar juntos en el reto de tu equipo o en tu próximo proyecto.
Hablar con Calembe ↗