Quand l’IA invente la réalité
L’hallucination dans l’IA conversationnelle est agaçante. L’hallucination dans l’IA agentique est dangereuse. Quand un chatbot invente un fait, un humain peut vérifier. Quand un agent invente une action — appelle une API qui n’existe pas, référence une table de base de données jamais créée, déploie sur un serveur hors de l’infrastructure — les conséquences sont immédiates et potentiellement catastrophiques.
La cause racine est que les LLM n’ont pas de modèle de vérité terrain de votre infrastructure. Ils génèrent des séquences d’actions plausibles basées sur des patterns dans leurs données d’entraînement.
L’architecture du pare-feu
Le pare-feu anti-hallucinations est une couche de validation entre les actions proposées par le LLM et leur exécution. Chaque action proposée est validée contre un registre d’actions connues et valides avant d’être autorisée à s’exécuter.
- L1 Registre d’actions — Cette action existe-t-elle ? Rejette les appels API hallucinés et les services fantômes.
- L2 Validation des paramètres — Les paramètres sont-ils valides ? Vérification de type, validation de plage.
- L3 Validation contextuelle — Cette action est-elle valide dans le contexte actuel du système ?
Conception du registre d’actions
Le registre d’actions est le fondement du pare-feu. C’est un catalogue typé et versionné de chaque action que le système agent peut effectuer. Chaque entrée définit le nom et la version de l’action, les paramètres d’entrée avec types et contraintes, les préconditions, les postconditions, les effets de bord et la procédure de rollback.
Le registre n’est pas généré par le LLM — il est rédigé par des ingénieurs et relu comme du code. C’est la source unique de vérité sur ce que le système agent peut faire.
Boucles de rétroaction
Quand le pare-feu rejette une action proposée, le rejet est renvoyé à l’agent avec une explication structurée. Au fil du temps, les agents produisent moins de propositions invalides car le contexte de rejet fait partie de l’historique de conversation.
Implications sécuritaires
Le pare-feu anti-hallucinations est aussi une frontière de sécurité. Dans des scénarios adverses — injection de prompt, empoisonnement de données, ou compromission du modèle — le pare-feu empêche l’agent d’exécuter des actions hors registre. Même si un attaquant convainc le LLM de proposer une action malveillante, la couche d’exécution la rejette. Cette approche de défense en profondeur signifie que compromettre le LLM ne suffit pas à compromettre le système.