Description sémiotique de contenus audiovisuels

par Jean-Pascal Martin

Thèse de doctorat en Informatique. Sciences cognitives

Sous la direction de Gérard Sabah.

Soutenue en 2005

à Paris 11 , en partenariat avec Université de Paris-Sud. Faculté des Sciences d'Orsay (Essonne) (autre partenaire) .


  • Résumé

    Trois catégories d'éléments de description du contenu sont nécessaires pour la description d'un Document AudioVisuel (DAV) : les objets montrés, les procédés de mise en image et les relations diégétiques. L'identification des relations diégétiques (ie celles de l'univers spatio-temporel désigné par le récit) ne peut être automatisée. Les formalismes de la communauté utilisent des descripteurs sémantiques difficiles à sélectionner puisqu'ils dépendent d'éléments contextuels interprétés d'après des connaissances élaborées. Nous choisissons de garder l'homme dans la chaîne d'indexation pour répondre à ce constat. Deux éléments de réponse sont fournis. Premièrement, nous proposons une méthode d'indexation sémiotique fondée sur l'identification et l'explicitation des signes réifiés lors de l'analyse. Pour cela, nous définissions le signe tétraédrique qui est une représentation cognitive composée nécessairement d'un signifié et d'un signifiant et éventuellement de référents intensionnels et extensionnels. Nous définissions ensuite l'interprétation comme une réécriture sémiotique. Les graphes de signes sont proposés comme corrélats de l'activité mentale et peuvent être opérationnalisés par des schémas (RDF+OWL) servant d'extension à MPEG-7. Deuxièmement, nous préconisons un modèle d'interaction opérative entre l'homme et le système outillant la réification de l'interprétation. Une plateforme pour la construction de graphes de signes fondée sur le paradigme multi-agents permet la construction dynamique et négociée de signes exprimés selon une syntaxe et une grammaire fournie. Des schémas d'interprétation fournissent aux agents des micros interprétations activables en contexte.

  • Titre traduit

    Semiotic description for audiovisual material


  • Résumé

    Three categories of descriptors are necessary to describe an audiovisual content: objects shown, processes used for film direction, and diegetic relations. The identification of the diegetic relations (those of the space-time continuum of the narration) cannot be automated. The formalisms used by the community exploit semantic descriptors that are difficult to select since they depend on contextual elements interpreted according to sophisticated knowledge. We choose to keep the human in the center of indexation's process. Two kinds of answers are provided. First, we propose a method of semiotic indexing based on the identification and the clarification of the signs that are reified at the time of the analysis. For that, we define the tetrahedral sign as a cognitive representation necessarily made up of one meant and of one meaning and possibly intensional and extensional referents. We define then the process of interpretation as a semiotic rewriting. We propose a formalism for graphs of signs (expressed with RDF+OWL schema integrated as extensions of MPEG-7) to represent the mental activity of interpretation. Second, we recommend a model of operative interaction between the man and the system that makes the reification of interpretation easier. A platform for the construction of graphs of signs based on the multi-agents paradigm allows dynamic and negotiated construction signs. Those signs are expressed according to provided syntax and grammar. Diagrams of interpretation provide to the agents micro-interpretations that may be activated in context.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol., 270 p.
  • Notes : Publication autorisée par le jury
  • Annexes : Bibliogr. p. 233-247

Où se trouve cette thèse ?

  • Bibliothèque : Université Paris-Sud (Orsay, Essonne). Service Commun de la Documentation. Section Sciences.
  • Disponible pour le PEB
  • Cote : 0g ORSAY(2005)297
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.