• Effet test-retest et effet d'apprentissage

     

    Je vous propose aujourd'hui une réflexion sur cet effet bien connu des orthophonistes.

     

     

    Effet test-retest et effet d'apprentissage

     

    D'où vient l'expression "effet test-restest" ? Comment est-elle apparue ? Quel est son fondement ?

     

    Ce qu'on appelle l'effet test-retest en clinique c'est le fait de reproposer un test à un sujet dans un intervalle court et supposer que le sujet va avoir appris du test et obtenir de meilleurs résultats la seconde fois.

     

    La vraie signification de l'expression "test-retest" s'emploie en statistique. C'est une mesure pour évaluer la fidélité, c'est-à-dire la capacité d'un test à mesurer de la même manière les capacités d'un sujet d'une évaluation à l'autre. Une explication ici. Mais généralement, on utilise d'autres outils pour mesurer la fidélité.

     

     

     

    D'où vient l'amalgame ? Comment s'appelle cet effet alors ?

     

    Pour répondre à ces différentes questions, j'ai consulté le livre  de Jacques Grégoire, l'examen clinique de l'intelligence chez l'enfant paru en 2006 aux éditions Mardaga.

     

    Le vrai nom c'est l'effet d'apprentissage. Il a été notamment mis en évidence en 2005 par Wechsler lui-même lors de la passation du WISC. Ce qu'il faut savoir pour le WISC, c'est que cet effet d'apprentissage affecte les moyennes des sujets (leurs notes brutes), c'est-à-dire qu'en moyenne, ces notes brutes ont augmenté, mais cela n'a pas affecté pas leur classement les uns par rapport aux autres (donc pas les notes standards). Pour plus d'infos, je vous invite à consulter le livre de Grégoire qui préconise du coup un espace d'un an entre deux passations de WISC pour éviter les effets d'apprentissage car cet effet s'estompe grandement dans le temps. Cependant, on peut s'interroger :

     

    - pourquoi un an ? Dans son livre, Grégoire ne justifie pas ce temps. Il dit juste que l'effet s'amenuise avec le temps et qu'une autre étude de Canivez et Watkins (1998) la différence entre deux passations du test est de 0,5 pts pour des passations ayant eu lieu à 2 ans 1/2 d'intervalle.

     

    - est-ce que l'effet d'apprentissage est le même quel que soit le test administré ? On peut inférer que non. Actuellement, aucun test ne propose une évaluation de cet effet. On peut alors regarder les indices de fidélité, ce que les manuels doivent donner (c'est le critère 8 des critères proposé par Bouchard, Fizpatrick et Janet, 1999). Dans cet article, seuls 3 tests francophones et connus des orthophonistes françaises ont ce critère dans leur manuel. Et encore une fois, le coefficient mesure la stabilité du test à l'aide d'outils statistiques mais pas l'effet d'apprentissage. Je ne connais aucune étude qui ferait ce qu'a fait Wechsler en 2005 avec un test de langage francophone.

     

     

     

    Par exemple, les auteurs de la N-EEL ont utilisé la méthode test-retest pour évaluer la fidélité de leur test. Dans le manuel, on trouve des coefficients de corrélation entre les deux passations qui ont eu lieu entre 25 et 110 jours (on est loin d'une année). Pour la grande majorité de leurs sub-tests, la corrélation est élevée. Ça veut dire quoi ? Que les enfants se classent de la même manière d'une passation à l'autre, en gros, que si T est meilleur que J à la première passation, il sera aussi meilleur que J à la deuxième passation, mais cela ne nous dit pas si la note brute est la même et cela ne nous renseigne pas sur l'effet d'apprentissage.

     

     

     

    L'effet d'apprentissage est-il le seul susceptible d'influencer la stabilité d'un test ?

     

    Non Grégoire rapporte deux autres facteurs : l'évolution naturelle ou influencée par l'environnement et les erreurs de mesure inhérentes à la passation d'un test.

     

     

     

    Bref, arrêtons d'appeler l'effet d'apprentissage "effet test-retest" pour éviter les amalgames. Redonnons lui son vrai nom "effet d'apprentissage".

     

    Gardons le délai d'un an entre deux passations, tout en en connaissant ses limites (pas d'argument scientifique sur la précision du délai, délai posé pour le WISC mais qu'en est-il de l'effet d'apprentissage  pour les autres tests ?).

     

    Avez-vous d'autres sources sur l'effet d'apprentissage ? Vous ai-je convaincu d'utiliser ce terme ? Connaissiez-vous la vraie signification du terme "effet test-retest" ?

     

    C'est la première fois que vous venez sur le blog ? Un document pour vous aider à voir ce que vous pouvez y trouver dans ce billet.

     

    « Dimanche 4 févrierDimanche 4 mars »
    Pin It

    Tags Tags : , , , , , , ,
  • Commentaires

    1
    Vendredi 2 Mars 2018 à 07:52

    Merci beaucoup pour ce billet Fany et cette recherche que tu as effectué! :-)

    Question "provoc" (et quasi rhétorique) :

    Est-ce qu'on se poserait cette question si on arrêtait simplement d'utiliser les tests normés de manière inadaptée, c'est-à-dire comme outil pour mesurer l'efficacité de la prise en charge? 

    Je file parcourir tout ce que j'ai raté sur le blog ces derniers mois!

    2
    Foxy1954
    Mercredi 15 Avril 2020 à 11:58

    Excellente définition et commentaire éclairant de l"effet d'apprentissage". Les considérations ci-dessus sont particulièrement valables en psychométrie. En revanche, quand il s'agit de tests pédagogiques (ou didactiques) destinés à évaluer précisément des apprentissages après une séquence d'enseignement (par exemple dans un dispositif prétest -post-test avec le même test), la difficulté est de distinguer les progrès effectifs de l'effet dû à la connaissance du test lors de la seconde passation (familiarité du sujet avec le test). L'effet "test-retest  se présente alors comme un biais de l’évaluation. Une des solutions est de faire passer un post-test différé, suffisamment longtemps après les deux premières passations (prétest-post-test) pour s'assurer que les réussites encore constatées à ce moment-là attestent un véritable apprentissage.

    3
    sol5
    Vendredi 22 Décembre 2023 à 01:33

     

    Cela faisait longtemps que je n'étais pas venue sur ton blog, mais aujourd'hui que ma fille a besoin d'infos sur l'effet test-retest (le mal nommé ? ), je tombe aussi sur cet excellent article qui explique l'existence de l'influence de l'apprentissage sur les situations de test-retest. L'article date de 2003. J'ai souvent vu dans les articles sur la motricité cet effet évoqué dans les validations des nouveaux protocoles de tests effectivement (test-retest), mais aussi dans des études vérifiant l'effet de l'apprentissage induit par une condition expérimentale ou un entrainement précis (je crois bien que Schmidt, "Apprentissage moteur et performance", y fait aussi allusion mais je n'ai plus le livre pour en parler).

     

    Voici https://www.cambridge.org/core/journals/journal-of-the-international-neuropsychological-society/article/abs/effects-of-practice-on-the-cognitive-test-performance-of-neurologically-normal-individuals-assessed-at-brief-testretest-intervals/FD484F69952815B38B361EA72E7EB556</p>

     

    <style type="text/css"></style>
      • Samedi 30 Décembre 2023 à 18:46

        Merci ! Il faudrait que je creuse à nouveau cette question.

      • Dimanche 31 Décembre 2023 à 14:20

        Merci ! Il faudrait que je creuse à nouveau cette question.

    Suivre le flux RSS des commentaires


    Ajouter un commentaire

    Nom / Pseudo :

    E-mail (facultatif) :

    Site Web (facultatif) :

    Commentaire :