Un LLM ne réfléchit pas avant d'écrire, il réfléchit en écrivant
Et si les Chain of Thought était insuffisantes pour que l’IA réfléchisse correctement ?
#llm #ai #chainofthought
Un LLM ne planifie pas sa réponse : il génère les mots un par un, en s'appuyant sur ce qu'il vient d'écrire. Cette méthode séquentielle crée un risque majeur : si une hypothèse fausse apparaît tôt, elle peut « contaminer » la suite du raisonnement, le modèle cherchant alors à rationaliser son erreur plutôt qu'à la corriger.
Pour améliorer la performance, on augmente souvent le nombre de tokens de raisonnement (la « chaîne de pensée »). Cependant, les rendements sont décroissants : doubler le calcul ne double pas la précision, et les derniers pour cent de qualité coûtent disproportionnellement cher.
Exemple : Imaginez un modèle qui doit résoudre un problème mathématique complexe. S'il écrit « 2 + 2 = 5 » à la première étape, les étapes suivantes tenteront de justifier ce résultat faux au lieu de revenir en arrière. C'est là que les world models (modèles du monde) interviennent : au lieu de réfléchir uniquement dans l'espace des mots, ils simulent les conséquences des actions avant de produire une réponse, réduisant ainsi le risque d'erreurs en chaîne.