Automatisation de l’annotation sémantique sur des données bibliographiques : la Reconnaissance d’Entités Nommées appliquée au Ritter

Ce billet est une synthèse rédigée par Alexia Schneider suite son stage au sein du service Bibliothèque et données numériques de la Bibliothèque nationale et universitaire de Strasbourg sous l’encadrement de Rosanne Wingert. Les travaux qu’il présente sont un exemple des expérimentations engagées au sein de la plateforme Bnu_Lab.

Place des répertoires bibliographiques dans les bibliothèques numériques

Peu connus du grand public, malgré leur importance pour les chercheurs, les répertoires bibliographiques sont des ouvrages fondamentaux. Les travaux d’inventaire de bibliographes assidus (parfois des bibliothécaires, souvent des érudits, toujours des bibliophiles) sont de précieuses ressources pour la recherche scientifique : ces catalogues servent de référentiels pour l’histoire du livre et l’étude de la tradition textuelle. Ces sources d’une grande richesse ne sont pas toujours mises en valeur car, au-delà de la tâche de numérisation et d’OCRisation (retranscription automatique d’une page numérisée), leur annotation est fastidieuse, les notices étant répétitives et contenant une densité d’informations importante.

Automatiser l’annotation de notices bibliographiques est un enjeu majeur des bibliothèques à l’ère du numérique : l’étude des corpus primaires passe aussi par ces répertoires et par la bonne indexation des auteurs, des titres, des éditeurs qu’ils citent. Il existe actuellement des techniques de Traitement Automatique des Langues (TAL) qui permettent d’extraire automatiquement d’un texte des noms propres, des dates ou encore des symboles. On appelle cela faire de la « reconnaissances d’Entités Nommées » (ou NER pour Named Entity Recognition).

Dans le cadre d’une réflexion sur ce besoin, le service Bibliothèque et données numériques de la Bnu sous l’impulsion de Rosanne Wingert a proposé en 2024 un stage de quatre mois pour un ou une étudiant.e de dernière année en TAL afin d’explorer l’état de l’art sur le sujet de la NER.

Le cas pratique du Ritter entre données standardisées et contraintes spécifiques

Une amorce de projet portant sur le Répertoire bibliographique des livres imprimés en Alsace aux XVe et XVIe siècles, de François Ritter (1876-1969) a été l’occasion de parcourir l’état de l’art des techniques de TAL pour cette tâche. Ce catalogue, plus couramment nommé « le Ritter », s’avère un bon candidat pour l’évaluation de modèles pour plusieurs raisons.

Plus de deux mille pages composent les sept volumes du répertoire, ce qui en fait un volume suffisant pour l’entraînement et l’évaluation de stratégies diverses. Les données recherchées, à savoir les noms d’auteurs, de lieux et les dates sont toutes restreintes dans une zone géographique et une période délimitées, ce qui favorise a priori leur extraction automatique. En revanche, les données ne sont pas entièrement prévisibles : le répertoire a été édité entre 1937 et 1960. Ces dates sont importantes car le travail de François Ritter porte les traces des grands bouleversements qui ont marqué l’Alsace au milieu du XX^e siècle : les volumes édités pendant la Seconde Guerre mondiale sont rédigés en allemand et non en français comme le reste des volumes (voir le volume 1 ci-dessus et le volume 5 ci-dessus). En plus de cette variation importante, les tomes n’ont pas tous la même mise en page, ce qui ne permet pas de généraliser le contenu d’une page en fonction de la disposition des paragraphes.

Pour ces raisons, le Ritter est un défi intéressant pour une tâche d’automatisation : il contient à la fois une structure attendue et des particularités importantes qui représentent des contraintes non négligeables.

La NER et le Ritter : spécialisation de modèles de langue

Il existe aujourd’hui de nombreux modèles de langue capable de prédire quels mots d’un texte sont des noms propres. Ces modèles de langue ont des capacités prédictives déterminées par des statistiques de cooccurrences établies lors de leur création ou « encodage » à partir d’un très (très) grand volume de données. Ces données dites de « préentraînement » sont utilisées par un algorithme qui calcule la probabilité d’appartenance d’un mot à une classe donnée (par exemple à la classe « nom de personne » ou « nom de lieu »). Il est possible de spécialiser un modèle de langue sur une tâche ou sur des données précises à condition de lui fournir une « vérité de terrain ». Ce processus de spécialisation est généralement nommé « fine tuning », et en bon français « affinage ». On appréciera cette traduction appliquée à l’un des modèles actuels pour le français, le bien nommé « camembert ».

L’évaluation de modèles non spécialisés et spécialisés sur le Ritter à partir d’une quarantaine de notices bibliographiques extraites du répertoire a montré que la spécialisation améliore le modèle généraliste camembert-base, ce qui n’est pas surprenant. Cependant, l’amélioration du modèle « français » par cet affinage rend les performances de ce modèle à peine meilleures que celles du modèle « wikineural-multilingual-ner », qui n’est autre qu’un modèle multilingue affiné pour la tâche de NER. Autrement dit, le modèle « wikineural-ner », parce qu’il est préentraîné sur des données multilingues, semble à même de dépasser les contraintes linguistiques majeures de nos données sans spécialisation sur celles-ci.

Les expérimentations de ce stage mettent aussi en avant l’importance en termes de temps, d’effort et d’énergie pour la spécialisation d’un modèle. Ainsi, dans une perspective de mise en pratique sur d’autres données, bibliographiques ou non, une étape de mise en pratique avec des modèles existants et prêts à l’emploi (cela inclus des modèles comme ChatGPT, dont l’usage ne nécessite pas de connaissance en TAL) est vivement recommandée.

Pour en savoir plus sur le processus d’affinage et les stratégies de TAL pour la NER, voir l’article “Reconnaissance d’Entités Nommées. État de l’art à partir d’un cas pratique” in Estrade, 2025/01/23. Disponible en ligne <https://estrades.huma-num.fr/site/blog/a-schneider_NER2024.html>.

Contributions : encodage automatique du Ritter et publication du modèle spécialisé

Le modèle spécialisé sur le Ritter, nommé fr_camembert_large (il s’agit de camembert-base affiné sur cinquante pages du Ritter ) est disponible sur HuggingFace et peut être utilisé avec la bibliothèque Python spaCy sur n’importe quelle donnée. Le programme doc2xml_encoded_ner.py, développé pour ce projet permet notamment une utilisation simple du modèle. Des informations complémentaires sont disponibles dans la documentation du dépôt GitHub dédié.

Quant au Répertoire bibliographique des livres imprimés en Alsace aux XVe et XVIe siècles, l’intégralité a été encodée automatiquement en XML avec ce modèle et peut être réutilisé pour d’autres projets. Les noms de personnes bénéficient par ailleurs d’un attribut « idref » contenant leur URI extrait automatiquement depuis le site www.idref.fr.

Catherine Désos-Warnier

Catherine Désos-Warnier est docteur en histoire moderne et conservateur en chef des bibliothèques. De mai 2018 à décembre 2023, elle… Lire la suite

Voir tous les articles