Nous avons fait évaluer Vulpi par le protocole d'ETH Zurich

Toutes les applications d'IA éducative affirment qu'elles font progresser les élèves. Nous compris. Le problème, c'est que personne ne peut le vérifier : chacun juge son propre travail, avec sa propre règle. Alors nous avons cherché une règle que nous n'avions pas fabriquée, et nous nous y sommes soumis. Voici ce qu'elle dit, y compris là où elle ne nous flatte pas.

Pourquoi personne ne prouve qu'une IA éducative fait progresser

Quand un parent nous demande si Vulpi est un bon professeur, nous avons trois réponses possibles. Notre conviction, qui ne vaut rien. Les retours des familles, sincères mais peu nombreux et faciles à sélectionner. Et des captures d'écran choisies par nous, ce qui ne prouve rien du tout.

C'est la situation de tout le secteur. Chacun montre ses meilleurs moments. Aucun ne se laisse mesurer par quelqu'un d'autre. C'est aussi pourquoi ce que la recherche établit vraiment sur l'IA pédagogique reste si difficile à démêler des annonces commerciales.

Une évaluation qu'on choisit soi-même n'est pas une évaluation. C'est une publicité avec des chiffres.

Nous cherchions donc un protocole qui remplisse quatre conditions : être conçu par des chercheurs indépendants, être public, être reproductible par n'importe qui, et mesurer la pédagogie plutôt que la performance en calcul. Il en existe un.

MathTutorBench, et pourquoi il fait autorité

MathTutorBench a été construit par le laboratoire Language, Reasoning, Education de l'ETH Zurich, en collaboration avec l'université technique de Darmstadt. Il a été présenté à EMNLP 2025, l'une des trois grandes conférences mondiales du traitement automatique du langage, et retenu pour une présentation orale.

L'ETH Zurich est la première université d'Europe continentale, huitième mondiale, et son département d'informatique est classé troisième au monde. Le laboratoire en question ne fait pas de l'éducation en passant : c'est sa spécialité, avec deux présentations orales à EMNLP dans la même année sur ce seul sujet.

Surtout, ils ont tout publié : le code, les jeux de données, et le modèle de notation. N'importe qui peut rejouer les résultats de n'importe qui. C'est exactement ce que nous cherchions.

Comment on mesure un professeur

Le principe est élégant. On part de vraies conversations entre des élèves bloqués et de vrais enseignants. On coupe la conversation juste avant la réponse du professeur. Et on demande au système évalué : « à toi. Que dis-tu, maintenant ? »

Quatre épreuves composent le bloc pédagogique :

• L'étayage (scaffolding). La consigne est minimale : « réponds à l'élève de façon utile et bienveillante ». On observe le réflexe pédagogique spontané. C'est le cœur du métier : deviner où l'élève bloque et construire la marche suivante.
• Le suivi de consigne (pedagogy instruction following). Une méthode précise est imposée : une seule question par tour, ramener l'élève s'il s'égare, conclure dès qu'il a compris. On ne teste plus l'instinct, mais l'obéissance à une méthode.
• Les deux variantes difficiles. Mêmes consignes, mais des dialogues deux fois plus longs : l'élève s'est déjà trompé plusieurs fois, le professeur a déjà tenté plusieurs approches. Il faut arriver là-dedans en ayant tout compris.

Ces variantes séparent brutalement les systèmes. LLaMA 3.2 passe de 0,64 à 0,45 entre l'épreuve normale et la difficile. Répondre juste au troisième tour est facile ; tenir le fil au neuvième, beaucoup moins.

Ce que nous avons mesuré, exactement

C'est la section la plus importante de cet article, et nous la plaçons volontairement avant les résultats.

Nous avons évalué le système Vulpi entier, pas un modèle de langage. Vulpi n'est pas un modèle : c'est un système neuro-symbolique. Un modèle de langage non modifié, encadré par un solveur privé et un moteur de calcul formel qui vérifie ses affirmations.

Deux précisions d'honnêteté, qui comptent plus que les chiffres :

• Notre système résout l'exercice lui-même. Le jeu de données contient une solution de référence. Nous n'y touchons jamais : elle sert à noter, pas à répondre. S'en servir aurait gonflé le score et rendu le résultat indéfendable.
• Vulpi répond avec ses propres instructions. Le protocole fournit une consigne à chaque épreuve ; nous ne prenons de ses données que l'énoncé et la conversation, et notre professeur applique sa propre méthode. Nos résultats ne sont donc pas directement comparables au classement officiel, où tous les modèles reçoivent la même consigne.

Nous avons mesuré sur les jeux de données complets : 1 150 dialogues pour chaque épreuve normale, 327 pour chaque variante difficile. 2 954 situations au total, sans échantillonnage. Il n'y a donc aucune marge d'erreur de sondage à déclarer sur ces chiffres.

Les résultats, sur 2 954 conversations

Sur l'étayage, Vulpi produit une meilleure relance que l'enseignant humain dans 81 % des cas, sur les 1 150 dialogues du jeu complet. L'écart de 8 points avec le meilleur modèle du classement est statistiquement solide.

Sur la variante difficile, l'écart avec Gemini n'est que de 2,9 points pour 327 dialogues : c'est dans la marge statistique. Nous ne dirons donc pas que nous le battons, mais que nous sommes à son niveau.

Sur le suivi de consigne, nous sommes troisièmes, derrière Claude et GPT-4o. Nous y revenons, car c'est le résultat le plus instructif.

Le chiffre qui compte vraiment : le maillon faible

Le classement se lit épreuve par épreuve, ce qui masque l'essentiel. Le papier d'ETH établit que les systèmes arbitrent : bons quelque part, faibles ailleurs. Regardons donc, pour chacun, l'étendue de ses performances sur les quatre épreuves.

Claude Sonnet est deuxième mondial sur le suivi de consigne, avec 0,85. Mais sur l'étayage, il tombe à 0,49. Trente-six points d'écart entre ses deux visages. GPT-4o présente exactement le même profil.

Traduit en langage de salle de classe : ces modèles sont excellents quand on leur dit précisément quoi faire, et médiocres quand il faut deviner où l'élève bloque.

Or un élève de troisième ne fournit pas de consigne pédagogique. Il envoie une erreur et attend qu'on comprenne.

C'est pour cette raison que nous regardons le maillon faible plutôt que le sommet. La plus mauvaise épreuve de Vulpi est à 0,777. Aucun autre système ne tient au-dessus de 0,73 sur les quatre. C'est ce que nous retenons de plus solide : non pas un pic, mais une régularité.

Ce que ces chiffres ne prouvent pas

Un résultat sans ses limites n'est pas un résultat. Voici les nôtres, toutes.

• Le protocole est en anglais. Vulpi est un produit français, conçu pour le programme français. Nous avons été évalués dans une langue qui n'est pas la nôtre, sur des énoncés américains de collège.
• Nous répondons avec nos propres instructions. Les modèles du classement reçoivent tous la même consigne, ce qui les rend comparables entre eux. Nous appliquons notre méthode. Nos chiffres mesurent donc notre système, pas notre modèle, et ne constituent pas une entrée de classement.
• Une seule mesure. Notre professeur ne formule pas deux fois sa réponse à l'identique. Un second passage donnerait des chiffres légèrement différents. Nous n'avons pas quantifié cette variabilité.
• Une partie de Vulpi n'a pas été mesurée. Notre rattachement au programme officiel français a été court-circuité, faute de correspondance avec des énoncés américains. La mémoire de l'élève et le plan de séance n'étaient pas non plus actifs.
• Quatre épreuves sur neuf. Nous avons mesuré le bloc pédagogique. Les cinq épreuves de compétence technique restent à faire.
• Le protocole n'est pas infaillible. Certains énoncés sont ambigus et leur corrigé discutable. Sur un exercice de croissance exponentielle, notre professeur a été pénalisé pour une lecture au moins aussi défendable que celle du corrigé.

Nous listons ces limites parce qu'un lecteur attentif les trouverait de toute façon, et parce qu'un chiffre présenté sans ses conditions ne vaut rien.

Ce que nous avons appris sur nous-mêmes

La partie la plus utile de cet exercice n'est pas le score. Ce sont les cas où l'enseignant humain nous a battus. Nous les avons lus un par un.

Un motif est apparu immédiatement. Sur les dix plus lourdes défaites, huit étaient un « bravo, c'est exactement ça ! » adressé à un élève qui venait de se tromper.

L'exemple d'école : la base d'une colline est à 300 m du fond marin, ce qui représente le quart de la distance entre le lit de la rivière et le sommet. Quelle est la hauteur de la colline ? Notre solveur a répondu 1200 m. C'est la distance lit-sommet, pas la hauteur, qui est de 900 m. Le calcul 4 × 300 = 1200 est parfaitement juste ; c'est la grandeur qui est fausse.

Notre vérification symbolique n'a rien vu, et pour une raison de fond : elle contrôle des égalités, pas la correspondance entre un nombre et la question posée. L'erreur n'était pas arithmétique, elle était sémantique. Le professeur a suivi ce rail erroné et a félicité l'élève. Nous avons reproduit ce comportement huit fois sur huit.

Un élève à qui l'on dit « bravo » alors qu'il a faux ne repart pas neutre. Il repart avec son erreur renforcée.

Pour une application dont la promesse est de faire comprendre, c'est le défaut le plus coûteux possible, bien pire qu'une réponse floue. Nous l'avons corrigé : le professeur mesure désormais ce que la vérification a réellement couvert, et il ne traite plus une solution faiblement vérifiée comme une autorité. Une règle de contrôle final a été ajoutée : avant de déclarer un exercice résolu, relire la question et vérifier que la valeur annoncée est bien la grandeur demandée.

Sur le cas de la colline, le comportement fautif est passé de huit sur huit à deux sur treize. Le correctif reste partiel : lorsque notre solveur partage la mauvaise lecture de l'énoncé avec l'élève, rien ne détonne et la règle ne mord pas. Ce chantier reste ouvert.

Ce défaut existait avant que nous mesurions. Il aurait pu rester invisible longtemps : rien ne remonte quand un élève repart content d'une erreur validée. C'est très exactement ce à quoi sert une évaluation extérieure.

Le résultat le plus intéressant n'est pas celui qu'on gagne

Nous dominons l'étayage et nous sommes troisièmes sur le suivi de consigne. Le même écart se retrouve dans les deux variantes, ce qui exclut le hasard.

L'explication tient probablement à ceci : notre professeur porte une méthode, écrite et travaillée pendant des mois. Quand on lui impose une autre méthode pédagogique, il continue en partie à appliquer la sienne. Claude et GPT-4o, sans méthode propre, exécutent plus fidèlement la consigne qu'on leur donne.

C'est une force qui se présente comme une faiblesse. Mais c'est aussi un chantier identifié : le jour où un enseignant voudra paramétrer la façon dont Vulpi accompagne sa classe, il faudra travailler cette docilité.

Ce que nous en retenons

Nous ne prétendons pas révolutionner l'éducation, ni faire avancer la recherche. Nous construisons un outil, il est utilisé par de vrais adolescents, et nous voulions savoir s'il fonctionne autrement que dans notre conviction.

La réponse, mesurée par un protocole que nous n'avons pas conçu, sur des jeux de données complets, est que sur la compétence centrale du professeur particulier, comprendre où l'élève bloque et poser la question qui débloque, Vulpi produit une meilleure relance qu'un enseignant humain dans huit cas sur dix, avec une régularité qu'aucun autre système du classement n'atteint.

Et la même mesure nous a montré un défaut réel, que nous avons corrigé. C'est ce second point qui nous fait le plus confiance dans le premier.

À lire aussi : ce que disent les études sur le tutorat par IA · IA ou cours particuliers de maths, ce que coûte chaque option · tous les articles du journal.

Reproductibilité. Le protocole, les jeux de données et le modèle de notation sont publiés par l'ETH Zurich et librement accessibles. Nos résultats ont été obtenus sur les jeux complets, en une seule mesure, en août 2026. Nous décrivons volontiers notre méthodologie en détail à quiconque souhaite la vérifier.

Référence : Macina, Daheim, Hakimi, Kapur, Gurevych, Sachan. « MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors ». EMNLP 2025.