Subjective quality assessment : a study on the grading scales : illustrations for stereoscopic and 2D video content

par Rania Bensaied Ghaly

Thèse de doctorat en Informatique et télécommunications

Sous la direction de Mihai Mitrea.

Soutenue le 05-07-2018

à Evry, Institut national des télécommunications , dans le cadre de École doctorale Informatique, télécommunications et électronique (Paris) , en partenariat avec Sorbonne Université (Paris) (Université) , Services répartis- Architectures- MOdélisation- Validation- Administration des Réseaux / SAMOVAR (laboratoire) et de Département Advanced Research And Techniques For Multidimensional Imaging Systems / ARTEMIS (laboratoire) .

Le président du jury était Patrick Gallinari.

Le jury était composé de Faouzi Ghorbel, Maryline Laurent, Didier Nicholson.

Les rapporteurs étaient Patrick Le Callet, Azeddine Beghdadi.

  • Titre traduit

    Investigation sur les échelles de l'évaluation subjective de la qualité visuelle : illustrations pour des vidéos stéréoscopiques et 2D


  • Résumé

    Les recommandations (normes) élaborées par l'UIT (l'Union Internationale de Télécommunications) précisent avec rigueur les conditions dans lesquelles les tests subjectifs de qualité visuelle doivent avoir lieu: la salle de test, les conditions de visualisation, le protocole d'évaluation, les méthodes de post-traitement des scores accordées par les évaluateurs, etc... Pourtant, les études de l'état de l'art mettent en évidence que des nombreuses inadvertances perdurent au niveau théorique et expérimental: (1) la modélisation statistique précise des scores attribués par les observateurs humains à un certain type de contenu reste encore inconnue, (2) la différence théorique et applicative entre les évaluations sur des échelles discrètes et continues ne fait pas encore l'objet d'une étude dédiée et (3) l'impact sémantique (psycho-cognitif) des étiquettes associées à l'échelle d'évaluation est toujours invoqué mais jamais évalué. Notre thèse offre un cadre méthodologique et expérimental permettant de: 1. Modéliser avec précision statistique la distribution des scores attribués par les observateurs et évaluer l'impact pratique d'une telle modélisation, 2. Établir la relation théorique entre les scores attribués par les observateurs sur une échelle continue et une échelle discrète, 3. Établir le cadre statistique permettant de quantifier l'impact sémantique induit par les étiquettes sémantiques associées à l'échelle d'évaluation, 4. Spécifier et réaliser un cadre expérimental de référence, à vocation d'utilisation ultérieure par les instances de l'UIT


  • Résumé

    Quality evaluation is an ever-fascinating field, covering at least a century of research works emerging from psychology, psychophysics, sociology, marketing, medicine… While for visual quality evaluation the IUT recommendations pave the way towards well-configured, consensual evaluation conditions granting reproducibility and comparability of the experimental results, an in-depth analysis of the state-of-the-art studies shows at least three open challenges related to the: (1) the continuous vs. discrete evaluation scales, (2) the statistical distribution of the scores assigned by the observers and (3) the usage of semantic labels on the grading scales. Thus, the present thesis turns these challenges into three research objectives: 1. bridging at the theoretical level the continuous and the discrete scale evaluation procedures and investigating whether the number of the classes on the discrete scales is a criterion meaningful in the results interpretations or just a parameter; studying the theoretical influence of the statistical model of evolution results and of the size of the panel (number of observers) in the accuracy of the results are also targeted; 2. quantifying the bias induced in subjective video quality experiments by the semantic labels (e.g. Excellent, Good, Fair, Poor and Bad) generally associated to the discrete grading scales; 3. designing and deploying an experimental test-bed able to support their precision and statistical relevance. With respect to these objectives, the main contributions are at theoretical, methodological and experimental levels


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Télécom SudParis et Institut Mines-Télécom Business School. Médiathèque.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.