Détecter l’alsacien à partir des métadonnées : le projet « dIAlecTAL »

Par Paul Metin, étudiant en Master Technologies des Langues à l’ Université de Strasbourg en stage à la Bibliothèque nationale et universitaire de Strasbourg, service des bibliothèques et des données numériques entre avril et juillet 2026.

Le projet « dIAlecTAL » a été lancé à l’occasion d’un stage au sein du service « Bibliothèques et données numériques » de la BNU. L’objectif est l’entraînement d’un modèle qui permet la reconnaissance automatique des documents qui contiennent de l’alsacien uniquement à partir des métadonnées : titre, auteur, éditeur, lieu d’édition. L’utilisation des métadonnées bibliographiques dans l’affinage de modèles de classification est fréquente, mais plutôt comme complément d’information que comme information principale, et peu appliqué à la détection de la langue.  

Les codes de langue : quels besoins pour l’alsacien ?

La norme actuellement en vigueur dans le catalogue universitaire (SUDOC) pour référencer la langue d’un ouvrage est la norme ISO 639-2. La série « 2 » de cette norme devient obsolète en 2026, et est remplacée par la série « 3 ». 

 Les deux séries suivent des logiques différentes. 

 La série « 2 » se veut généralisante : elle privilégie un nombre restreint de codes, quitte à contenir des codes regroupant des familles de langues entières (par exemple, « cal », qui regroupe les langues natives d’Amérique Centrale). Ici, on sacrifie un peu de granularité au profit de la clarté. La série « 3 », quant à elle, démultiplie les codes de langue et abandonne une grande partie des codes de type « famille de langue », afin de s’approcher au plus près possible de la diversité de langues qui existent ou ont existé. 

Ces deux approches différentes sont au cœur du projet dIAlecTAL. En effet, la norme ISO 639-2 définit un code de type « famille de langue » pour les langues germaniques. Ce code, qui n’est plus en vigueur dans la série « 3 », a été largement utilisé pour référencer les ouvrages en alsacien, notamment pour des questions de compatibilité logicielle. Or, comme il s’agit d’un code généraliste, il n’a pas été utilisé seulement pour les ouvrages en alsacien. Il s’agit du code « gem ». A cela s’ajoute un second code : « gsw ». Ce code, déjà présent dans la série 2, fait mention explicite des dialectes alsaciens dans sa description. Cependant, il regroupe également le suisse allemand et l’alémanique. C’est un code qui se situe à la frontière entre un code de type « famille de langue » et un code pour une langue unique. Ce code a également été utilisé pour référencer l’alsacien, et il est toujours présent dans la série « 3 » (contrairement à « gem »). 

La tâche du projet dIAlecTAL est tout d’abord de proposer une façon de référencer l’alsacien en-dehors du code « gsw », tout en restant le plus interopérable possible. C’est la norme du web qui semble la plus adaptée à notre travail. Cette norme (IETF BCP 47) permet l’association des codes de langue avec des codes de pays. Ainsi, un ensemble de codes pour distinguer l’alsacien d’autres dialectes alémaniques pourrait ressembler à ceci : 

• gsw-FR (« alsacien ») 

• gsw-CH (« suisse allemand ») 

Ces codes ne sont pas voués à remplacer les codes de la norme ISO, mais à les compléter afin d’améliorer la qualité du référencement des documents en alsacien.  

Pour rendre ces codes exploitables, nous avons besoin d’un modèle qui saurait distinguer alsacien, suisse allemand, et autres langues. L’entraînement d’un tel modèle requiert un jeu de données qui représente une « vérité de terrain », et à partir duquel le modèle peut créer des représentations abstraites. 

Création du jeu de données

Les données ont été extraites directement depuis l’API du Sudoc sous format XML, ce qui a facilité leur parsing (par rapport à l’UNIMARC, pour lequel il existe moins d’outils appropriés en Python).  

Les informations suivantes sont extraites : 

• Langue 

• Langue du titre (si différente de la langue de l’ouvrage) 

• Titre 

• Complément(s) de titre 

• Nom de l’auteur 

• Prénom de l’auteur 

• Collectivité 

• Editeur 

• Lieu d’édition 

Les titres et compléments de titre sont concaténés pour n’avoir qu’une colonne, les noms et prénoms des auteurs également. Là où l’auteur est une collectivité, cette information est déplacée dans la colonne « auteur ». L’information « langue du titre » est si peu souvent présente qu’elle n’est finalement pas exploitée. Le jeu de données final comporte les colonnes suivantes : 

• Langue 

• Langue du titre 

• Auteur 

• Lieu d’édition 

• Editeur 

• Titre complet 

Ce processus d’extraction et parsing est effectué trois fois : pour les documents « gsw », « gem », et pour les documents dont la langue n’est ni « gsw », ni « gem ». Après plusieurs tris et pré-traitements, le jeu de données final comporte 9955 ouvrages, dont 6892 étiquetés « autre », et 3065 étiquetées « gsw ».  On réalise également un deuxième jeu de données en incluant 3063 ouvrages en suisse allemand. Ces deux jeux de données sont librement accessibles sur GitLab. 

Expériences menées

Différentes méthodes d’entraînement ont été testées, en suivant une logique progressive qui commence par les méthodes les plus classiques (régressions logistiques, arbres de décision, etc.) et va jusqu’à des méthodes plus efficaces mais aussi plus exigeantes en termes de ressources de calcul (affinage complet d’un modèle). La mesure d’évaluation principale des modèles est le rappel, car on considère qu’il est plus judicieux d’avoir des faux-positifs que l’on peut trier à la main, que d’avoir des faux-négatifs qu’on aurait beaucoup de mal à retrouver une fois la classification effectuée. Le rappel indique le nombre d’ouvrage « laissés de côté ». Un rappel de 0.91 signifie que le modèle a bien sélectionné 91% des ouvrages en alsacien, et en a catégorisé 9% dans d’autres classes. 

Les expériences menées sont les suivantes :  

• Modèles d’apprentissage automatique classiques 

• Modèles d’apprentissage automatique classiques entraînés sur des vecteurs générés par des Transformers 

• Affinage de Transformers en LoRA  

• Affinage complet de Transformers 

Là où des Transformers sont utilisés, c’est le modèle distilbert qui est le plus concluant, mais d’autres modèles ont été testés pour la génération de vecteurs, comme granite. 

A la suite de nos expériences, c’est l’affinage complet qui obtient les meilleurs résultats, avec des rappels supérieurs à 0.95. 96% des ouvrages en alsacien et 98% des ouvrages en suisse allemand sont bien identifiés. Le modèle semble donc être capable de faire la différence entre les deux, ce qui est particulièrement enthousiasmant dans la perspective d’améliorer le niveau de granularité du code « gsw ». 

Figure 1. Matrice de confusion du modèle “schweiz”, normalisée pour afficher le rappel

Conclusion et perspectives autour du projet dIAlecTAL

Deux modèles ont été entraînés avec succès. L’un distingue l’alsacien des autres langues, l’autre distingue l’alsacien et le suisse allemand des autres langues. Ces modèles doivent encore être testés à échelle afin de s’assurer que leur performance est réellement robuste. Une fois testés, plusieurs perspectives s’ouvrent pour le projet dIAlecTAL. Par exemple, les modèles pourront être employés pour retrouver des ouvrages mal référencés et les réintégrer dans une collection de documents en alsacien. De la même manière, ils pourront aider au référencement futur d’ouvrages en alsacien.  Une coopération avec d’autres bibliothèques possédant des fonds en alsacien pourrait être envisageable, et le référencement de ces fonds pourrait constituer la base de la constitution d’un grand corpus en alsacien. Enfin, si l’exploitation des métadonnées seules pour la détection de langues rares confirme ses performances, on peut imaginer qu’une généralisation à d’autres langues rares est possible.  Ces perspectives ne constituent qu’une partie des possibilités ouvertes dans le sens de la valorisation des langues régionales. 

---

Le texte seul est utilisable sous licence Creative Commons Attribution Utilisation non commerciale Partage dans les mêmes conditions 4.0 International. Les autres éléments (illustrations, fichiers annexes importés) sont “Tous droits réservés”, sauf mention contraire.

---

---