Mesure des compétences : les méthodes se valent-elles ? : questions de psychométrie dans le cadre de l’évaluation de la compréhension del’écrit

Measurement of competences : are the methods equivalent? : psychometric issues in the field of reading comprehension assessment

• Auteur / Autrice : Thierry Rocher
• Direction : Pierre Vrignaud
• Type : Thèse de doctorat
• Discipline(s) : Psychologie
• Date : Soutenance en 2013
• Etablissement(s) : Paris 10
• Ecole(s) doctorale(s) : École doctorale Connaissance, langage, modélisation (Nanterre)

Mots clés

Mots clés contrôlés

Psychométrie

Littératie

Résumé

Cette thèse est consacrée à la question de la mesure des compétences dans le cadre de l’évaluation de la compréhension de l’écrit. Un aspect important de notre travail concerne les relations entre la psychométrie et les modèles théoriques de la compréhension issus de la psychologie cognitive. Nous interrogeons ainsi trois grandes problématiques de psychométrie : la dimensionnalité, les fonctionnements différentiels d’items (FDI) et les procédures d’equating. Nous analysons les fondements conceptuels et les propriétés statistiques de nombreuses méthodes, en montrant leurs liens mathématiques. Nous nous appuyons sur des données d’évaluations standardisées, réalisées sur de larges échantillons d’élèves ou d’adultes. Les principales contributions sont : 1) L’étude dimensionnelle d’un test de fin d’école primaire révèle une structure en phase avec les modèles théoriques. Des modélisations statistiques, dites de classification diagnostique, intégrant les théories de la lecture, conduisent à dégager des profils cognitifs d’élèves. 2) L’étude des FDI lors d’une comparaison diachronique est menée dans une perspective heuristique. Elle précise l’influence de facteurs explicatifs de la baisse du niveau des élèves, observée depuis plus de dix ans. 3) Une évaluation d’adultes envisage d’adapter la difficulté des items au niveau de compétence des sujets. À l’aide de méthodes d’equating, nous construisons un score commun, bien que les sujets n’aient pas passé les mêmes épreuves. Ces différentes perspectives montrent l’importance d’associer modèles statistiques et cognitifs, ainsi que l’intérêt de confronter des méthodes variées, dont les conclusions sont cohérentes et complémentaires.

This thesis is devoted to the issue of measurement of competences in the context of reading comprehension assessment. An important aspect of our work concerns the link between psychometrics and theoretical models of comprehension stemming from cognitive psychology. In this respect, we question three major issues in psychometrics: dimensionality, differential item functioning (DIF) and test equating. We analyze the conceptual underpinnings and the statistical properties of many methods, showing their mathematical relationships. Applications are carried out from standardized large-scale assessments, conducted on samples of students or adults. The main findings are: 1) The study of a primary school test dimensionality reveals a structure in line with the theoretical models of reading comprehension. Statistical models, named classification diagnostic models, allow to integrate theories of reading and bring some cognitive profiles of students to light. 2) DIF study is conducted in the frame of a time comparison, in a heuristic perspective. It allows us to specify the influence of various factors that may explain the significant decrease in student achievement, observed over more than ten years. 3) We address the issue of adapting the item difficulty to the individuals’ level of competence, in the case of adult assessment. We construct a common scale for all individuals, although they did not take the same tests, using appropriate methods of equating. These different perspectives show the importance of integrating statistical models and cognitive models. We also show the interest of comparing various methods: their findings are both consistent and complementary.