Une question facile ne teste pas la fiabilité
Un agent retrouve les horaires. Puis quelqu’un demande si une exception non documentée s’applique à son cas. Une réponse inventée aussi assurée que la première brouille la distinction entre savoir et supposition. L’évaluation doit inclure des questions auxquelles il faut reconnaître un manque d’information.
Définissez le comportement attendu : citer une source, demander une précision ou orienter vers une personne. « Je ne sais pas » doit ouvrir une suite utile. Tout refuser est aussi un échec : il s’agit d’aider dans un cadre clair.
Créez un jeu de tests exigeant
Incluez cas courants, ambiguïtés, informations périmées, demandes hors périmètre et profils d’accès différents. Pour chaque cas, définissez une réponse acceptable et une erreur grave. Testez les langues des utilisateurs : une traduction ne garantit pas une précision équivalente.
Réévaluez après toute modification des consignes, documents ou outils. Comparez par catégorie, pas seulement par moyenne. Un score de 95 % peut masquer les cinq questions aux conséquences les plus graves. Taille et représentativité limitent les conclusions sur l’usage réel.
Répondre et agir présentent des risques différents
Un document consulté peut contenir des instructions malveillantes. Traitez-le comme des données, pas comme une autorisation. Limitez outils et droits ; le système exécutant l’action doit contrôler l’accès indépendamment du texte généré. « Faire attention » ne remplace pas ces contrôles.
Avant une action importante, comme un envoi ou une modification de registre, montrez la destination et le changement exact à confirmer. Conservez le résultat et permettez l’investigation. Maintenez une supervision adaptée : les contrôles réduisent les problèmes sans prouver l’impossibilité d’échouer.
Commencez par douze cas bien choisis
Écrivez trois questions ordinaires, trois ambiguës, trois sans réponse dans les sources et trois testant les limites d’accès. Gardez attentes, version et résultats. Corrigez d’abord les erreurs graves puis recommencez. Douze cas lancent l’apprentissage ; ils ne certifient pas la sécurité.
Sources & lectures complémentaires
Sources consultées le 24 octobre 2026. Les exemples chiffrés et les scénarios sont donnés à titre illustratif.
Et si nous passions à la pratique ?
Nous pouvons travailler ensemble sur le défi de votre équipe ou votre prochain projet.
Contacter Calembe ↗