Ce que disent vraiment les études sur l'IA qui fait cours

Tous les acteurs du secteur — nous compris — brandissent « des études ». Autant regarder ce qu'elles établissent réellement, ce qu'elles ne permettent pas d'affirmer, et où se situe honnêtement la frontière entre résultat solide et argument commercial.

Le socle : le un-pour-un écrase tout le reste

C'est le point le plus solide, et il ne concerne pas l'IA du tout.

En 1984, le psychologue de l'éducation Benjamin Bloom compare des élèves suivis individuellement à des élèves d'une classe ordinaire. L'écart qu'il mesure est considérable — de l'ordre de deux écarts-types dans ses travaux, d'où le nom resté célèbre de « problème des deux sigmas ». Les répliques et les synthèses ultérieures ont ramené l'ampleur de l'effet à des valeurs plus modestes selon les protocoles, mais la hiérarchie n'a jamais bougé : aucun dispositif collectif n'égale un adulte compétent assis à côté d'un seul élève.

Le « problème » de Bloom n'était donc pas de le démontrer. C'était de trouver comment le rendre accessible, puisque aucune société ne peut payer un adulte par enfant. Quarante ans plus tard, la question est exactement la même.

Ce que le tutorat informatisé montre depuis trente ans

Les « systèmes tutoriels intelligents » existent bien avant l'IA générative : des logiciels qui suivent pas à pas la résolution d'un élève et réagissent à chaque étape. Ils ont été très étudiés, notamment en mathématiques et en physique.

La conclusion des synthèses de ce champ, dont l'une des plus citées date de 2011, est remarquablement stable : ces systèmes obtiennent des effets nettement supérieurs à un cours ou à un manuel, et s'approchent de ceux d'un tuteur humain — sans les égaler dans la plupart des protocoles. Ce n'est pas un résultat sur l'IA moderne ; c'est un résultat sur le principe même du suivi étape par étape, et il est antérieur à tout ce qui se vend aujourd'hui.

Les essais récents avec de l'IA générative

Depuis 2024, plusieurs équipes ont testé des tuteurs fondés sur des modèles de langage. Deux résultats reviennent souvent dans les discussions :

• Un essai randomisé en physique à Harvard (2025) a comparé environ deux cents étudiants : ceux qui travaillaient avec un tuteur par IA soigneusement conçu ont appris davantage — et en moins de temps — que ceux placés dans des séances de pédagogie active en petit groupe.
• Des travaux menés dans des établissements secondaires britanniques (2025) rapportent des élèves suivis par un système d'IA obtenant des résultats comparables à ceux suivis par des tuteurs humains, avec une meilleure capacité à traiter ensuite un problème inédit seuls.

Ces travaux sont encourageants. Ils ne sont pas une preuve d'équivalence, et il faut savoir pourquoi.

Les cinq limites qu'un parent doit connaître

C'est la partie qu'on ne trouve pas dans les argumentaires commerciaux :

• Les échantillons sont petits. Quelques centaines de participants, parfois quelques dizaines. En sciences de l'éducation, cela suffit à orienter, pas à conclure.
• Les durées sont courtes. Une ou deux séances, un chapitre. Personne n'a encore publié de suivi sur trois ans de scolarité — parce que ces outils n'existent pas depuis trois ans.
• Les publics ne sont pas les nôtres. Des étudiants de premier cycle américains volontaires ne sont pas des élèves de 4^e qui n'ont pas envie de travailler un mardi soir.
• Une partie des travaux vient des constructeurs. Ce n'est pas disqualifiant — ce sont eux qui ont les outils — mais cela impose la prudence habituelle.
• Le tuteur testé n'est pas celui qu'on achète. Les études portent sur des systèmes construits pour l'expérience, souvent bien meilleurs que le produit grand public qui s'en réclame.

Le résultat le plus utile, et le plus ignoré

Si l'on ne devait retenir qu'une chose de toute cette littérature, ce serait celle-ci : la puissance linguistique d'un modèle ne fait pas sa qualité pédagogique.

Plusieurs équipes ont construit des évaluations spécialisées, où des enseignants notent la qualité pédagogique de réponses de tuteurs : l'indice est-il utile ? l'erreur est-elle diagnostiquée ? le niveau est-il respecté ? L'élève a-t-il encore quelque chose à faire ? Sur ces critères, les modèles généralistes les plus avancés obtiennent des scores médiocres — bien en dessous de ce que leurs performances brutes laisseraient espérer. Des travaux plus anciens, comparant directement des modèles à des enseignants humains, concluaient déjà que la capacité à produire du langage juste ne rend personne bon professeur.

La raison est structurelle : un modèle généraliste est optimisé pour répondre, un professeur pour faire trouver. Ce sont deux objectifs opposés, et les travaux sur le dialogue socratique montrent que faire pencher un modèle du bon côté demande un travail délibéré contre son penchant naturel à livrer la solution.

Traduction pour un parent : « c'est le dernier modèle » ne veut rien dire sur la qualité pédagogique d'un outil. Ce qui compte, c'est ce qu'on en a fait. Et cela s'évalue.

Ce qu'on peut raisonnablement en conclure

1. Le suivi individuel est le levier le plus puissant connu en éducation. Cela, c'est établi.
2. Un suivi étape par étape par machine produit des effets réels et documentés depuis longtemps, un peu en dessous d'un bon tuteur humain.
3. Les systèmes récents réduisent l'écart sur des tâches ciblées ; ils ne l'ont pas annulé, et rien ne le prouve encore sur une scolarité entière.
4. La différence entre un bon et un mauvais outil ne tient pas au modèle employé mais à sa conception pédagogique — et cet écart est plus grand que celui entre deux modèles.

C'est déjà beaucoup. Et c'est suffisant pour justifier de construire ce genre d'outil sérieusement, sans promettre de miracle. Dans notre cas, la comparaison honnête n'est de toute façon pas « IA contre professeur particulier » mais « IA contre rien du tout à 21 h 30 un mardi » — le comparatif détaillé est ici.

Questions fréquentes

Le « problème des deux sigmas », c'est quoi ?

Le constat de Bloom en 1984 : les élèves suivis individuellement obtiennent des résultats très supérieurs à ceux d'une classe ordinaire. Son problème n'était pas de le prouver mais de le rendre accessible à tous — c'est resté la question centrale de l'éducation depuis.

Une IA vaut-elle un prof particulier humain, oui ou non ?

Sur des apprentissages ciblés et de courte durée, les meilleurs systèmes s'en approchent. Sur une relation de suivi dans la durée, l'autorité d'un adulte et la lecture d'un adolescent qui va mal, non, et probablement pas de sitôt. Les deux réponses sont vraies en même temps.

Pourquoi ne citez-vous pas de chiffre de progression pour Vulpi ?

Parce que nous n'avons pas encore de données assez nombreuses et assez longues pour qu'un tel chiffre veuille dire quelque chose. Le jour où nous en aurons, nous publierons aussi la méthode qui les a produites.

À lire aussi : comment on mesure si une IA enseigne bien · pourquoi un prof particulier par IA est devenu nécessaire · tous les articles.