Modélisation de documents combinant texte et image : application à la catégorisation et à la recherche d'information multimédia

L'exploitation des documents multimedias pose des problemes de representation des informations textuelles et visuelles contenues dans ces documents. Notre but est de proposer un modele permettant de representer chacune de ces informations et de les combiner en vue de deux tâches : la categorisation et la recherche d'information. Ce modele represente les documents sous forme de sacs de mots necessitant la creation de vocabulaires specifiques. Le vocabulaire textuel, generalement de tres grande taille, est constitue des mots apparaissant dans les documents. Le vocabulaire visuel est quant a lui construit en extrayant des caracteristiques de bas niveau des images. Nous etudions les differentes etapes de sa creation et la ponderation tfidf des mots visuels dans les images, inspiree des approches classiquement utilisees pour les mots textuels. Dans le contexte de la categorisation de documents textuels, nous introduisons un critere qui selectionne les mots les plus discriminants pour les categories afin de reduire la taille du vocabulaire sans degrader les resultats du classement. Nous presentons aussi dans le cadre multilabel, une methode permettant de selectionner les differentes categories a associer a un document. En recherche d'information, nous proposons une approche analytique par apprentissage pour combiner lineairement les resultats issus des informations textuelles et visuelles, permettant d'ameliorer significativement la recherche. Notre modele est valide pour ces differentes tâches en participant a des competitions internationales telles que XML Mining et ImageCLEF et sur des collections de taille consequente