Améliorer la cohérence des réponses en trouvant la cause
Reliez les réponses incohérentes aux sources contradictoires ou aux consignes vagues, modifiez une cause et relancez les mêmes tests.
Diagnostiquer la cause avant de modifier
Lorsque le même assistant donne des réponses différentes à des questions proches, commencez par comparer les sources et les consignes utilisées. Une différence n’est pas forcément un problème de ton ni une raison de réécrire toutes les questions. L’une peut préciser une condition absente de l’autre ; deux fichiers approuvés peuvent se contredire ; ou une consigne de rôle peut permettre plusieurs interprétations.
Réunissez les formulations exactes et les réponses obtenues, ainsi que les sources attendues. Comparez les dates, les termes, les exceptions et le niveau de détail demandé. Vérifiez si l’écart est réellement une incohérence ou une réponse adaptée à deux situations différentes. Une question sur le retour d’un produit inutilisé peut appeler une réponse distincte de celle d’un article endommagé, même si les deux emploient le mot « retour ».
Examinez la source avant la question. Un PDF peut contenir une ancienne politique tandis qu’un fichier Markdown plus récent décrit la règle révisée. L’assistant est alors confronté à des éléments contradictoires. Demandez au responsable de politique de désigner la version de référence, puis retirez ou corrigez la copie obsolète. Ne demandez pas à l’assistant de choisir la politique qui lui paraît la plus plausible.
Distinguer les sources des consignes imprécises
Si les sources concordent, examinez les consignes du rôle. Une phrase générale comme « répondre aux questions sur les retours » ne précise pas si les exceptions peuvent être décidées, quelle preuve est nécessaire ni quand une personne doit intervenir. Ajoutez la limite manquante et la suite attendue. Laissez les faits variables dans les connaissances et utilisez les consignes de comportement pour structurer les réponses.
Resonoon accepte les fichiers de connaissances PDF et Markdown et propose une page de test dans l’éditeur de l’assistant. Utilisez la page de test pour comparer les réponses aux fichiers sélectionnés. Si elles diffèrent, notez les faits ou conditions qui ont changé et examinez les sources et les consignes du rôle avant tout autre réglage. Un registre d’équipe peut conserver les questions, réponses, versions des sources et modifications effectuées.
Préparez deux tests où une seule condition pertinente change. Demandez d’abord le délai normal de retour, puis le traitement d’un article endommagé. Définissez si le second cas doit être expliqué à partir d’une politique approuvée ou transmis à une personne. Lancez les deux questions avant et après une modification. Si la correction améliore une réponse mais dégrade l’autre, le test révèle ce compromis.
Modifier une cause puis relancer les mêmes tests
Une itération rigoureuse comporte quatre étapes : conserver les questions, identifier une cause, modifier la source ou la consigne concernée, puis relancer exactement les mêmes questions. Si la source est erronée, corrigez-la et vérifiez la liste des fichiers. Si la consigne est vague, précisez le comportement attendu sans y ajouter des faits de politique sans rapport. Évitez de modifier en même temps les sources, le rôle et le ton : il serait impossible d’identifier la modification utile.
Évaluez la cohérence factuelle et la retenue, pas la répétition des mêmes mots. Deux réponses valides peuvent être formulées différemment tout en respectant la même politique, la même condition et le même point d’arrêt. L’objectif est la fiabilité du fond, pas un texte identique à chaque échange. Indiquez cette marge de formulation dans la grille de l’équipe.
Si la source est incomplète, marquez la question comme non résolue et demandez le fait manquant à son responsable. Ne comblez pas le vide avec une consigne supposée. Si la politique elle-même n’est pas tranchée, l’équipe doit décider avant d’exiger une réponse stable. Un modèle ne peut pas clarifier une règle à la place de son propriétaire.
Conserver un petit jeu de régression
Gardez quelques questions courantes, cas limites et contradictions connues. Relancez-les après les changements importants de rôle ou de sources. Consignez la date, les documents modifiés, les questions et les résultats dans un registre interne accessible aux personnes chargées des prochains tests. Désignez un responsable pour les cas qui échouent à répétition.
Gardez un jeu assez court pour qu’un relecteur puisse le relancer après chaque modification. Une douzaine de questions soigneusement choisies et assorties de résultats attendus peuvent être plus utiles qu’une longue archive jamais revue. Pour les politiques sensibles, indiquez le passage source exact. Ne retirez un test que lorsque la demande client n’est plus pertinente. Si une question reste sans réponse, notez qui doit trancher la politique ou la source et quand l’équipe la réexaminera.
La cohérence s’évalue par rapport à une politique stable et à des attentes précises. Le widget de chatbot IA Resonoon présente le contexte des conversations client. Pour obtenir des réponses fiables, résolvez d’abord les conflits de sources, clarifiez ensuite le comportement, puis utilisez des tests identiques sur les cas courants et limites.