Comment savoir si une IA enseigne vraiment bien

On sait évaluer si une IA répond juste : c'est facile, il suffit de comparer au corrigé. On ne sait presque jamais évaluer si elle enseigne. Or ces deux qualités n'ont rien à voir — et la seconde est la seule qui change quelque chose au bulletin de ton ado.

Pourquoi « la bonne réponse » est un mauvais critère

Imagine deux professeurs particuliers. Le premier écoute l'élève dix secondes, prend le stylo et rédige une solution impeccable. Le second pose quatre questions, laisse l'élève se tromper une fois, et repart avec un exercice à moitié fini mais compris.

Si on note les deux séances sur l'exactitude du contenu, le premier gagne largement. Si on les note sur ce que l'élève sait faire seul le lendemain, le second gagne à plate couture. La plupart des outils du marché sont, au fond, optimisés comme le premier.

C'est pour cette raison que la recherche a dû construire des instruments de mesure spécifiques : évaluer une réponse de tuteur ne se réduit pas à vérifier si elle est vraie.

Les dimensions que la recherche regarde

Les travaux d'évaluation des tuteurs automatiques convergent, depuis quelques années, vers un petit nombre de critères. Résumés en français utilisable :

• Détection de l'erreur. L'outil remarque-t-il que l'élève s'est trompé — même quand l'élève ne le dit pas ?
• Localisation. Sait-il dire où exactement, à quelle étape ?
• Révélation de la solution. Livre-t-il la réponse ? Ici, un bon score consiste à ne pas la donner.
• Utilité de l'indice. Ce qui est dit fait-il avancer d'un cran, ou est-ce une paraphrase de l'énoncé ?
• Adaptation au niveau. Le vocabulaire et les outils employés sont-ils ceux dont l'élève dispose déjà ?
• Exactitude. Le contenu est-il juste — condition nécessaire, pas suffisante.
• Prise en compte de ce que l'élève a dit. La réponse s'appuie-t-elle sur sa formulation, ou déroule-t-elle un exposé indépendant ?
• Ton. Encourageant sans être flatteur ; un outil qui félicite une erreur fait plus de mal que de bien.

Ces critères sont notés par des enseignants sur des milliers de dialogues annotés. C'est laborieux, et c'est la seule façon sérieuse de mesurer un enseignement.

Le résultat qui devrait faire réfléchir

Sur ce type d'évaluation, les meilleurs modèles généralistes obtiennent des scores médiocres. Les évaluations spécialisées publiées récemment placent les modèles les plus avancés bien en dessous de la moitié des points sur les critères proprement pédagogiques — donner un indice utile, produire un retour actionnable, s'adapter au niveau — alors même que leur exactitude mathématique est excellente.

Deux enseignements pour un parent :

1. Puissance ≠ pédagogie. « Nous utilisons le dernier modèle » est une information sur la facture d'électricité, pas sur la qualité de l'accompagnement.
2. La conception pèse plus que le modèle. Les travaux qui comparent un même modèle avec et sans réglage pédagogique montrent des écarts que les enseignants et les élèves perçoivent immédiatement — bien plus grands que l'écart entre deux générations de modèles.

La grille du parent : six tests, dix minutes

Tu n'as pas besoin d'un laboratoire. Ouvre l'outil que ton ado utilise et joue le mauvais élève.

1. « Donne-moi juste la réponse. » Puis insiste deux fois. Un outil pédagogique ne cède pas. Beaucoup cèdent au deuxième essai ; certains au premier.
2. « Je comprends rien. » Rien de plus. Un bon tuteur cherche où : il pose une question, demande de relire une ligne, propose un cas plus simple. Un mauvais recommence le cours depuis le début.
3. Affirme une erreur avec aplomb. « (a+b)² = a²+b², non ? » S'il acquiesce pour être agréable, ferme l'onglet.
4. Donne une bonne réponse sans justification. « Ça fait 12. » Un bon tuteur demande comment tu l'as trouvé, même quand c'est juste — c'est là qu'on attrape les réussites par hasard.
5. Demande une méthode hors niveau. Une dérivée sur un exercice de 3^e. Il doit te ramener aux outils du niveau, pas étaler sa science.
6. Regarde ce qui reste à faire à l'élève. À la fin de l'échange, quelle part du travail t'a-t-il laissée ? Si la réponse est « aucune », l'outil a fait les devoirs. C'est-à-dire l'inverse du service rendu.

Cette grille est brutale et elle trie très vite. Elle fonctionne aussi, mot pour mot, pour évaluer un professeur particulier humain.

Ce qu'aucun test ne mesure

Il faut finir par les limites, sinon la grille devient un fétiche.

Aucune de ces mesures ne dit si ton ado ouvrira l'outil un mardi soir. Aucune ne mesure la régularité, l'envie, ni le fait qu'un adolescent en conflit avec ses parents refuse par principe tout ce qui vient d'eux. Un outil qui obtient d'excellents scores et qui n'est jamais utilisé vaut zéro.

À la fin, les deux seuls indicateurs qui comptent sont domestiques : est-ce qu'il s'en sert quand il bloque ? et est-ce que ce qu'il a compris tient trois semaines plus tard, en contrôle ? Le reste est instrumentation.

Questions fréquentes

Un modèle plus récent est-il un meilleur professeur ?

Non, et c'est le résultat le plus stable du domaine. Un modèle très puissant qui livre la solution reste un mauvais professeur. Ce qui distingue les outils entre eux, c'est ce qu'on leur interdit de faire.

Ces tests marchent-ils aussi pour un prof particulier humain ?

Oui, avec un peu de tact. Après une séance, demande à ton enfant qui a écrit le plus, et à quel moment il a été bloqué sans être secouru immédiatement. Les signaux à surveiller sont ici.

Faut-il faire ces tests devant son ado ?

Plutôt sans lui la première fois : tu veux évaluer l'outil, pas transformer l'essai en inspection de ses habitudes. Ensuite, montrer les résultats peut être un excellent sujet de conversation — notamment sur ce que vaut vraiment un corrigé instantané.

À lire aussi : ce que disent vraiment les études · comment un prof IA vérifie ce qu'il dit · tous les articles.