Retrouver des documents à partir d'une base de données multimédia, c'est comme trouver un livre dans une librairie : sans un catalogue de mots-clés, cela peut prendre des heures. Cependant, créer et mettre à jour un tel catalogue est aussi difficile. Le CWI (Centre d'informatique et de mathématique d'Amsterdam) présente des systèmes de grammaire pour faciliter ces taches.

Problème

Non seulement les bases de données sont devenues plus grandes, mais elles contiennent en plus différents types de média. La majorité des moteurs de recherche peuvent seulement interpréter des données textuelles. Ils ne peuvent pas "voir" ce que contient une image ou "écouter" ce que contient un MP3.

Annotation

Une manière de traiter ce problème est d'annoter le média à l'avance. Les annotations décrivent les spécificités des médias stockés et peuvent être utilisées pour guider les requêtes de recherche sémantiques. Par exemple, quand des MP3 sont annotés pour des informations de genre et de profil sur l'artiste concerné, des requêtes comme "trouvez-moi tous les morceaux de blues des guitaristes du Mississippi" peut donner des résultats significatifs. Les annotations peuvent être faites manuellement, mais pour de grandes collections multimédia, cela devient rapidement impossible. Il est donc nécessaire de se tourner vers l'annotation automatique en utilisant des algorithmes d'extraction qui peuvent aussi bien déterminer la longueur d'un MP3 que détecter des visages humains dans une image.

Des algorithmes d'extraction intelligents sont nécessaires pour un système d'annotation automatique efficace mais pas suffisants car des problèmes de contexte rentrent en ligne de compte (par exemple, faire traiter des graphiques et des logos à un extracteur de visage serait une perte de temps). Sans connaissance du contexte et des interdépendances, tout le processus d'annotation doit être relancé à chaque fois qu'un algorithme d'extraction est ajouté ou remplacé. Ces problèmes peuvent conduire à des réponses ambiguës de la part du système.

Le CWI résout ces difficultés en combinant la technologie des bases de données avec des idées de la théorie formelle du langage pour former le système de management des annotations Acoi. Ce système décrit non seulement les annotations mais aussi leur dépendance et contexte. Ce système de grammaire peut être comparé à la grammaire en langage naturel : la grammaire détermine quelles classes de mots peuvent être combinées et dans quel ordre pour faire une phrase valable. Ce système de grammaire fait de même avec les annotations et les algorithmes d'extraction : il détermine quel algorithme d'extraction doit être appelé pour former une "phrase" d'annotation correcte. Comme le système de grammaire stocke la place de chaque annotation dans le réseau des interdépendances, une maintenance incrémentale est possible. Quand la base de données est mise à jour, les phrases peuvent être réinterprétées pour déterminer quelles extractions doivent être refaites.

Acoi à prouvé ses capacités dans plusieurs études. Associé à des algorithmes d'extraction classiques, il a été utilisé pour créer un index d'annotations pour une collection de pages Web. De plus, il a été utilisé en combinaison avec un générateur de présentation pour ouvrir la collection digitale du Rijksmuseum d'Amsterdam au public. Ce générateur, développé aussi au CWI, utilise les annotations pour composer automatiquement une présentation multimédia sémantiquement structurée sur un sujet défini par l'utilisateur.

Ce système du CWI est unique. D'autres systèmes d'annotations ont été développés mais aucun ne comporte de stockage explicite du contexte d'annotation. Acoi est ainsi actuellement le seul système qui traite proprement les ambiguïtés et permet une maintenance incrémentale



BULLETIN ELECTRONIQUE DES PAYS-BAS du Service Scientifique de l'Ambassade de France à La Haye - Trimestriel - numéro 17 - 18 janvier 2005 - Abonnement gratuit : subscribe.be.paysbas@adit.fr