Comment savoir si une IA fait vraiment travailler votre enfant

Toutes ces applications promettent de faire progresser votre enfant, et aucune ne vous donne le moyen de le vérifier. On vous demande la confiance sans jamais vous fournir le critère. Voici ce critère : quatre conversations que vous menez vous-même, en dix minutes, avant de payer quoi que ce soit.

Pourquoi vous ne pouvez pas vous fier aux promesses

Ouvrez trois sites d'IA éducative : ils vous diront tous la même chose. Qu'ils ne donnent jamais la réponse. Qu'ils font chercher. Qu'on peut leur faire confiance. C'est devenu la phrase obligatoire du secteur, au point qu'elle ne distingue plus personne, et surtout elle ne se vérifie pas depuis une page de vente.

La bonne nouvelle, c'est que le comportement d'un outil se teste en quelques minutes, à condition de savoir quoi lui faire faire. Ce qui suit est un protocole. Vous le faites seul, sans votre enfant, parce qu'il faut pouvoir donner exprès de mauvaises réponses et insister lourdement, ce qui n'a aucun intérêt pour lui.

Prenez un exercice de son niveau, ouvrez l'outil, et menez ces quatre conversations.

Test 1. L'erreur plausible

Ce que vous faites : vous donnez une réponse fausse, mais dont le calcul est juste. Le classique : un énoncé demande la hauteur d'une colline, vous calculez correctement la distance entre le lit de la rivière et le sommet, et vous annoncez ce nombre-là. L'opération est exacte, la grandeur ne répond pas à la question.

Bonne réponse : l'outil repère que le calcul est bon mais qu'il ne répond pas à la question posée, et vous ramène à l'énoncé. Mauvaise réponse : il vous félicite. Ou il réexplique tout l'exercice depuis le début, ce qui revient à ne pas avoir vu où ça a dérapé.

C'est le test le plus révélateur, et je le sais parce que Vulpi l'a raté. Sur nos dix pires échecs mesurés, huit étaient un « bravo, c'est exactement ça » adressé à un élève qui venait de se tromper. Un élève félicité à tort ne repart pas neutre : il repart avec son erreur renforcée.

Test 2. Le neuvième message

Ce que vous faites : vous continuez la conversation. Vous vous trompez encore, vous demandez un autre indice, vous partez légèrement à côté du sujet. Vous allez jusqu'au huitième ou neuvième échange.

Bonne réponse : au neuvième message, l'outil tient toujours sa ligne, il questionne encore. Mauvaise réponse : il craque, et finit par dérouler la solution complète, ou il vous a perdu en route et répond à côté.

Ce test-là est le plus négligé, et c'est celui qui sépare le plus nettement. Répondre correctement au troisième message est facile. Tenir le fil au neuvième l'est beaucoup moins : sur le protocole d'évaluation que nous avons passé, certains modèles perdent près d'un tiers de leur performance entre une conversation courte et une conversation longue. Or un ado bloqué n'abandonne pas au troisième message.

Test 3. Une question à la fois

Ce que vous faites : vous ne faites rien de particulier. Vous lisez ce qui s'affiche, et vous comptez.

Bonne réponse : une question, courte, puis l'outil s'arrête et attend. Mauvaise réponse : un pavé de trois paragraphes qui explique la méthode, donne un exemple, et pose trois questions à la fin, dont la troisième contient la réponse aux deux premières.

Un long paragraphe ressemble à un effort pédagogique, mais il fait exactement l'inverse : il occupe la place où l'élève aurait dû réfléchir. C'est le geste que la méthode socratique appelle une relance, et une relance tient en une phrase.

Test 4. « Donne-moi juste la réponse, je suis pressé »

Ce que vous faites : vous insistez. Deux fois, trois fois. Vous dites que c'est pour demain, que vous n'avez pas le temps, que vous avez compris et que vous voulez juste vérifier.

Bonne réponse : l'outil propose un indice plus précis, puis un autre, sans jamais franchir le dernier pas à votre place. Mauvaise réponse : il cède. Beaucoup d'outils tiennent deux refus et lâchent au troisième, ce qui revient à ne pas avoir de règle du tout : on demande à celui qui veut la réponse de s'interdire lui-même de l'obtenir.

C'est le point où un assistant généraliste se distingue d'un outil éducatif : chez le premier, ne pas répondre est un réglage ; chez le second, ça doit être la seule règle possible.

Ce que ce test ne vous dit pas

Il faut être net là-dessus, sans quoi cette page ne vaudrait pas mieux que les promesses qu'elle critique. Quatre conversations ne sont pas une mesure. Elles donnent une indication solide sur le comportement d'un outil, elles ne classent pas.

Une vraie mesure suppose des centaines de dialogues, un protocole conçu par des tiers, et un juge indépendant. Ce test sert à écarter vite ce qui ne convient manifestement pas, et à savoir quoi regarder. C'est déjà beaucoup plus que ce dont dispose aujourd'hui un parent devant une page de vente.

Questions fréquentes

Comment tester une application d'IA éducative avant de s'abonner ?

Ouvrez-la vous-même, sans votre enfant, avec un exercice de son niveau, et menez les quatre conversations décrites plus haut : l'erreur plausible, le neuvième message, une question à la fois, et l'insistance. Dix minutes suffisent, et la plupart des outils se départagent dès le premier test.

Quel est le test le plus révélateur ?

L'erreur plausible. Donnez un calcul juste qui répond à côté de la question. Un bon outil localise l'étape exacte où le raisonnement a dévié ; un mauvais félicite, ou réexplique tout depuis le début. C'est le défaut le plus coûteux qui existe, parce qu'un élève félicité à tort repart avec son erreur renforcée.

Ce test remplace-t-il une évaluation scientifique ?

Non, et il ne faut pas le présenter comme tel. Quatre conversations donnent une indication, pas une mesure. Une mesure suppose des centaines de dialogues, un protocole conçu par des tiers et un jugement indépendant. Ce test sert à écarter vite, pas à classer.

Faut-il faire ce test avec son enfant ou seul ?

Seul, la première fois. Vous devez pouvoir donner exprès de mauvaises réponses et insister lourdement, ce qui n'a aucun intérêt pédagogique pour lui et transformerait l'essai en leçon de morale. Une fois l'outil choisi, installez-le avec lui.

Et si l'outil échoue à un seul des quatre tests ?

Ça dépend lequel. Un échec au test 1 est rédhibitoire : un outil qui valide une erreur fait activement du mal. Un échec au test 3, un peu de bavardage, est gênant sans être grave. Le test 2 et le test 4 mesurent la même chose sous deux angles : si l'outil échoue aux deux, sa règle n'en est pas une.

À lire aussi : ce que font vraiment les applis de maths · Vulpi mesuré par un protocole indépendant, résultats complets · aider son ado sans faire à sa place · tous les articles.