Journal · IA
Pourquoi l'IA vous donne raison, et quand c'est grave
Ce n'est pas un défaut d'un modèle en particulier. C'est une conséquence mesurée de la façon dont on les rend agréables.
Qu'est-ce que la complaisance d'un modèle ? Sa tendance à s'aligner sur l'avis exprimé par son interlocuteur plutôt que sur la réponse qu'il aurait donnée sans cet avis. Elle a été documentée sur plusieurs assistants, et rattachée à l'entraînement sur des préférences humaines.
L'entraînement par renforcement à partir de préférences humaines optimise ce que des évaluateurs préfèrent lire. Or, à contenu égal, une réponse qui abonde est jugée plus utile qu'une réponse qui contredit. Sharma et ses coauteurs ont mesuré en 2023 ce comportement sur plusieurs assistants du marché : présentez un avis avant de poser votre question, et la réponse s'y aligne plus souvent que si vous ne l'aviez pas exprimé.
Pourquoi c'est un problème pour une décision
Sur une recherche factuelle, la complaisance se voit et se corrige. Sur un arbitrage, elle est invisible : vous exposez votre inclinaison en même temps que votre question, la réponse la reprend en la reformulant mieux que vous, et vous ressortez plus confiant qu'avant, avec exactement la même position. Vous n'avez pas testé votre décision, vous l'avez fait rédiger.
Un outil qui vous donne raison plus vite ne vous aide pas à décider. Il vous aide à vous engager.
Ce qui limite les dégâts
- Ne dites pas ce que vous penchez à faire dans la question. Décrivez l'arbitrage, pas votre préférence.
- Demandez la thèse inverse séparément, dans un autre fil, avec le même sérieux.
- Faites porter la contradiction par un rôle, pas par une politesse : « joue le contradicteur » donne une opposition de façade si rien ne l'oblige à tenir.
- Regardez si la réponse change quand vous inversez la position que vous affichez. Si elle change, elle ne vous informait pas.
Ce que nous en tirons
Un board n'a d'intérêt que si les sièges ne convergent pas par construction. C'est pourquoi la composition part de ce que vous ne faites pas, et pourquoi les cinq voix sont produites depuis des méthodes distinctes plutôt que depuis une seule qui essaierait d'être équilibrée toute seule.
Note éditoriale Five Peers. Sources nommées dans le texte.
Cinq méthodes qui ne raisonnent pas pareil ne peuvent pas toutes vous donner raison en même temps.
Composer mon board