Elaboration de critères prosodiques pour une évaluation semi-automatique des apprenants francophones de l'anglais

Devising prosodic criteria for a semi-automatic assessment of Francophone learners of English

• Auteur / Autrice : Evelyne Cauvin
• Direction : Nicolas Ballier
• Type : Thèse de doctorat
• Discipline(s) : Sciences du langage, linguistique. Linguistique anglaise
• Date : Soutenance le 04/12/2017
• Etablissement(s) : Sorbonne Paris Cité
• Ecole(s) doctorale(s) : École doctorale Sciences du langage (Paris ; 1992-2019)
• Partenaire(s) de recherche : établissement de préparation : Université Paris Diderot - Paris 7 (1970-2019)
• Partenaire(s) de recherche : Laboratoire : Centre de linguistique interlangues, lexicologie, linguistique anglaise et de corpus - atelier de la parole (Paris ; 2005-....)
• Jury : Président / Présidente : Sylvie Hanote
• Jury : Examinateurs / Examinatrices : Nicolas Ballier, Sylvie Hanote, Daniel John Hirst, Sophie Herment, Céline Horgues
• Jury : Rapporteurs / Rapporteuses : Daniel John Hirst, Sophie Herment

Mots clés

Mots clés contrôlés

Emphase

Saillance linguistique

Anglais (langue)

Tests linguistiques

Anglais (langue)

Mots clés libres

Évaluation semi-automatique

Traits critériés

Vitesse de lecture

Semi-automatic assessment

Criterial features

Speech rate

Résumé

L’objectif de cette thèse est de modéliser l’interlangue prosodique des apprenants francophones de l’anglais afin de pouvoir élaborer des critères utilisables pour une évaluation semi-automatique de leur niveau prosodique. Le domaine évaluatif requiert la plus grande rigueur dans la mise en place de ses critères pour aboutir à la validité, la fiabilité, la faisabilité et l’équité maximales, alors que la prosodie anglaise de la langue cible se caractérise par son extrême variabilité. Aussi, peu d’études se sont engagées dans l’évaluation de la prosodie, qui représente une réelle gageure. Pour relever ce défi, une stratégie particulière a été mise en place pour élaborer une méthodologie permettant d’atteindre l’objectif fixé, en lecture.L’approche choisie repose sur la symbiose permanente qu’entretient la prosodie avec le monde dans lequel évolue le locuteur. Cette méthodologie, ou « profilage », est destinée à sélectionner par inclusion ou exclusion les éléments analysés tant au niveau perceptif qu’acoustique. Le profilage des réalisations sur l’axe syntagmatique permet de sélectionner les locuteurs natifs servant de modèles, et celui basé sur le phénomène d’emphase rend possible un ciblage de leurs réalisations les plus pertinentes à modéliser sur l’axe paradigmatique. Conformément à cette méthodologie d’investigation nouvelle et aux résultats perceptifs et acoustiques concordants pour la langue cible, les réalisations des apprenants francophones du corpus Longdale-Charliphonia sont analysés acoustiquement. Le classement automatique à partir des variables prosodiques (acoustiques et perceptives) est confronté à celui d’experts évaluant par perception classique.Les travaux de cette thèse aboutissent essentiellement à : Une modélisation de la prosodie anglaise non native par grilles évaluatives critériées s’appuyant sur critères distinctifs natifs et non natifs issus de variables temporelles (vitesse d’élocution avec ou sans pauses), de registre et de mélodie, ainsi que de rythme, À partir de ces variables, une évaluation semi-automatisée de 15 apprenants représentatifs du corpus par classement et notation, une correspondance des résultats de l’évaluation traditionnelle avec celle semi-automatique évoluant entre 56,83% et 59,74% dans une catégorisation des apprenants en 3 niveaux de maîtrise, en fonction du profilage d’experts évaluateurs.

The aim of our study is to modelise the prosodic interlanguage of Francophone learners of English in order to provide useful criteria for a semi-automatic assessment of their prosodic level in English. Learner assessment is a field that requires to be very rigorous and fair when setting up criteria that ensure validity, reliability, feasibility and equality, whereas English prosody is highly variable. Hence, few studies have carried out research in assessing prosody because it represents a real challenge. To address this issue, a specific strategy has been devised to elaborate a methodology that would ensure assessing a reading task successfully.The approach relies upon the constant symbiosis between prosody and a speaker’s subjective response to their environment. Our methodology, also known as « profiling », first aims at selecting relevant native perceived and acoustic prosodic features that will optimize assessment criteria by using their degree of emphasis and creating speakers’ prosodic profiles. Then, using the Longdale-Charliphonia corpus, the learner's productions are analysed acoustically. The automatic classification of the learners based on acoustic or perception prosodic variables is then submitted to expert aural assessment which assesses the learner evaluation criteria.This study achieves: A modelisation of non-native English prosody based on assessment grids that rely upon features of both native and non-native speakers of English, namely, speech rate – with or without the inclusion of pauses, register, melody and rhythm,A semi-automatic evaluation of 15 representative learners based on the above modelisation – ranking and marking,A comparison of the semi-automatic results with those of experts' auditory assessment; correspondence between the two varies from 56.83% to 59.74% when categorising the learners into three prosodic proficiency groups.