Versione stampabile

Thomas FRANÇOIS, Adeline MÜLLER, Baptiste DEGRYSE, Cédrick FAIRON

AMesure : une plateforme web d’assistance à la rédaction simple de textes administratifs

Thomas François
CENTAL/IL&C, Université catholique de Louvain, FNRS
thomas.francois@uclouvain.be

Adeline Müller
CENTAL/IL&C, Université catholique de Louvain
adeline.muller@uclouvain.be

Baptiste Degryse
CENTAL/IL&C, Université catholique de Louvain
degryse.baptiste@gmail.com

Cédrick Fairon
CENTAL/IL&C, Université catholique de Louvain;
cedrick.fairon@uclouvain.be

Résumé

Cet article présente la plate-forme AMesure, qui vise à assister les rédacteurs de textes administratifs dans la simplification de leurs écrits. Cette plate-forme inclut non seulement la première formule de lisibilité spécialisée pour les textes administratifs en français, mais recourt à diverses techniques de traitement automatique du langage (TAL) : ainsi, elle effectue également une analyse détaillée du texte qui met en évidence plusieurs formes linguistiques considérées comme plus difficiles à lire. Cette étude rapporte la méthodologie mise en place pour réaliser cette analyse, ainsi qu'une évaluation des résultats de cette dernière. Ceux-ci sont au niveau l'état de l'art en ce qui concerne la détection des structures syntaxiques, mais moins satisfaisants par rapport à la détection des abréviations. Enfin, l'interface de AMesure est rapidement présentée, en particulier sa fonctionnalité qui propose des conseils de rédaction simple aux rédacteurs.

Abstract

This paper introduces the AMesure platform, which aims to assist writers of administrative text in simplifying their writing. The platform not only includes the first specialized readability formula for administrative texts in French, but also makes use of various natural language processing (NLP) techniques to perform a detailed text analysis, highlighting linguistic forms considered as difficult to read. This work reports on the methodology used to carry out this analysis and assesses the quality of this analysis. Our results are similar to the state of the art in terms of detecting syntactic structures, but appear less satisfactory as regards the detection of abbreviations. Lastly, the AMesure interface is demonstrated, in particular its functionality that offers simple writing tips to writers.

1. Introduction

Dans nos sociétés modernes, l'écrit occupe une place centrale comme vecteur d'information. Pourtant, divers rapports, tels celui de l'OCDE (2016), soulignent qu'environ 20 % de la population ne dispose pas de compétences de lecture suffisantes pour composer avec les exigences de la vie quotidienne ou celles du monde du travail. En Fédération Wallonie-Bruxelles (Belgique), par exemple, le nombre d’« analphabètes fonctionnels » est estimé de 10% à 15% de la population (MOOSEN, 2015). Parmi la multiplicité des genres de textes auxquels un lecteur faible est confronté, les textes administratifs occupent une place particulière, car ils concernent directement la vie quotidienne de leurs lecteurs tout en étant pourtant souvent assez ardus à appréhender.

Conscients de l'importance d'une rédaction claire pour les textes administratifs, de nombreuses administrations ont financé des programmes destinés à simplifier les textes pour le grand public, que cela soit via la mise en place de guides de « rédaction simple » (GOUVERNEMENT DU QUÉBEC 2006 ; MINISTÈRE DE LA COMMUNAUTÉ FRANÇAISE DE BELGIQUE 2010 ; UNION EUROPÉENNE 2011) ou via des politiques diverses. L'application de ces guides semble rester problématique, car les problèmes d'accessibilité des textes administratifs restent au centre des préoccupations des administrations. On note en effet que les recommandations varient d'une institution à l'autre (par exemple la longueur d'une phrase « simple » peut varier de 15 mots (MINISTÈRE DE LA COMMUNAUTÉ FRANÇAISE DE BELGIQUE 2010) à 25 mots (GOUVERNEMENT DU QUÉBEC 2006)). De plus, les conseils prodigués sont bien souvent généraux (ex. signalent des structures syntaxiques à éviter, d'autres à privilégier, etc.) et nécessitent l'interprétation d'un rédacteur expérimenté pour être appliqués avec discernement. Enfin, il reste difficile pour un humain d'avoir à l'esprit l'ensemble de ces recommandations, en particulier quand la rédaction de textes administratifs clairs ne constitue pas son activité principale.

C'est pourquoi, en collaboration avec le service de la langue française de la Fédération Wallonie-Bruxelles (FWB), nous avons exploré une piste alternative : mettre au point une plate-forme en ligne visant à aider les rédacteurs de textes administratifs à écrire de façon plus simple. Cette plate-forme, appelée AMesure et disponible en ligne (http://cental.uclouvain.be/amesure/), s'articule autour de trois objectifs : (1) fournir un score de lisibilité global à l'aide d'une formule spécifique aux textes administratifs ; (2) identifier, dans un texte, les phénomènes linguistiques dont on suppose qu'ils pourraient influencer négativement la compréhension du texte ; (3) pour les phénomènes détectés lors de l'étape 2, proposer des conseils de simplification en se basant sur les recommandations présentées dans les guides de rédaction simple. En d'autres termes, cette plate-forme vise à automatiser un ensemble de vérifications de style et donc à offrir un accès rapide et contextualisé à des conseils de rédaction simple.

L'article est structuré de la façon suivante. La section 2 précise les enjeux scientifiques et techniques liés à nos trois objectifs et décrit les principaux travaux ayant déjà abordé ces enjeux. La section 3 présente notre formule de lisibilité spécifique aux textes administratifs. À la section 4, les techniques utilisées pour détecter un ensemble de phénomènes complexes sont décrites, tandis que la section 5 explique comment les conseils prodigués dans les guides de rédaction simple ont été partiellement intégrés dans la plate-forme. La section 6 conclut l'article avec des perspectives de recherches futures.

2. Recherches précédentes

Faciliter l'accès du plus grand nombre aux documents écrits est devenu, avec l'avènement de l'enseignement obligatoire et, par la suite, de la société d'information et de communication, une priorité de nombreux acteurs institutionnels et sociaux. Ainsi, dès les années 1920, des chercheurs américains ont cherché à développer des techniques objectives pour évaluer la difficulté de lecture des textes. Ces techniques, appelées formules de lisibilité, consistaient à associer un score de difficulté – attribué à un texte en rapport avec une population cible – à des caractéristiques linguistiques de ce texte (par exemple, la longueur des mots ou des phrases). Une fois cette association apprise à l'aide de techniques statistiques, il était alors possible d'analyser les caractéristiques linguistiques d'un nouveau texte et de prédire sa difficulté pour des individus de cette même population. Les plus connues de ces formules de lisibilité sont dues à Flesch (1948) et Dale et Chall (1948), mais on en compte plus d'une centaine rien que pour l'anglais. Pour le français, la première formule de lisibilité a été proposée par Kandel et Moles (1958).

Ces formules, dites « classiques », reposent en général sur deux caractéristiques linguistiques : par exemple, celle de Flesch (1948) utilise le nombre de syllabes et le nombre de mots par phrase. Cette simplicité s'explique à la fois par des raisons de modélisation statistique, mais également parce que les formules classiques nécessitent que leur utilisateur effectue les décomptes manuellement. Malgré le recours à des variables de surface plutôt simples, certains n'hésitent pas à promouvoir l'usage des formules de lisibilité dans une optique de rédaction simple. Ainsi en est-il de Gunning (1952), un homme d'affaires américain, qui développe sa propre formule de lisibilité, le « Fog Index », ou de Rudolph Flesch, qui propose sa formule à des quotidiens américains afin qu'ils puissent contrôler le niveau de complexité de leurs articles.

Cet usage des formules de lisibilité orienté vers la rédaction va éveiller des critiques de plus en plus vives. Bruce et al. (1981 : 9) disent ainsi que les formules de lisibilité ont été utilisées comme guide pour la simplification de textes, souvent de façon inappropriée. En effet, on est venu à croire qu'utiliser des mots plus courts et des phrases plus réduitessuffit à rendre un texte plus simple. Des chercheurs, que l'on regroupe sous le terme « courant structuro-cognitiviste », recommandent de développer des formules plus complexes, capables de tenir compte de dimensions textuelles plus variées, telles que la cohésion, la densité des idées, la charge inférentielle, etc. Kintsch (1979) propose ainsi une formule combinant six facteurs, mêlant information lexicale, syntaxique, sémantique et cognitive. Le problème de ce courant est que leurs formules ne se révèlent pas plus efficaces que les précédentes, tout en perdant leur simplicité. Il faudra attendre les années 2000 et l'utilisation de techniques du TAL pour voir apparaître des formules complexes (ex. SCHWARM ET OSTENDORF 2005 ; FENG et al. 2010), c'est-à-dire ne se basant pas uniquement sur des informations de surface, pouvant être automatisées. Ces nouveaux modèles reposent sur des techniques statistiques plus avancées et intègrent un nombre sans cesse croissant de variables, mais perdent dès lors en interprétabilité. Si les techniques actuelles de lisibilité peuvent être utiles pour analyser la complexité d'un texte, elles ne peuvent pas directement être utilisées pour guider une rédaction simple1.

Récemment, un nouveau domaine en lien avec la question de la rédaction simple est apparu au sein du TAL : la simplification automatisée de textes (SAT). Son objectif consiste à modifier automatiquement un texte ou un énoncé afin de le rendre plus accessible à la lecture, tout en conservant le sens aussi intact que possible. Depuis les premiers travaux en SAT, généralement attribués à Chandrasekar et al. (1996), le domaine a connu un développement de plus en plus intense avec, ces dernières années, des workshops lui étant spécifiquement dédiés, tels que ATS-MA2 ou QATS 20163. Les deux dimensions des textes que manipulent traditionnellement les outils de simplification textuelle sont la syntaxe et le lexique.

Nombre de travaux portant sur la simplification syntaxique reposent sur un ensemble de règles syntaxiques définies manuellement qui sont appliquées automatiquement au texte à simplifier (KLEBANOV et al. 2004 ; SIDDHARTHAN 2006 ; JONNALAGADDA et al. 2009 ; BROUWERS et al. 2012 ; etc.). Ainsi, tant Chandrasekar et al. (1996) que Jonnalagadda et al. (2009) ont développé des systèmes capables de diviser des phrases trop longues en se basant sur des règles. Ces dernières utilisent notamment certains points d'articulation tels que les virgules, les conjonctions de coordination et de subordination ou les pronoms relatifs. De leur côté, Klebanov et al. (2004) se basent uniquement sur les verbes, transformant les phrases afin de ne conserver qu'un verbe par phrase. Siddharthan (2006) est quant à lui reconnu pour avoir insisté sur la nécessité de préserver la structure rhétorique et les relations anaphoriques du texte simplifié. Enfin, Brouwers et al. (2012) ont proposé l'un des premiers systèmes de simplification syntaxique pour le français, qui se base également sur des règles de transformation des phrases complexes, et dont nous nous sommes fortement inspiré pour la conception d'AMesure.

Une seconde approche utilisée pour la simplification syntaxique repose sur des techniques d'apprentissage automatisé (machine learning). Elle modélise la problématique de la simplification de textes comme un problème de traduction automatique entre deux langues : la version complexe et la version simplifiée d'un même texte. Cette technique a été développée par Specia (2010) et Zhu et al. (2010). Elle a connu un certain succès, surtout en ce qui concerne l'anglais (WUBBEN et al. 2012 ; WOODSEND et LAPATA 2011). Le problème est que cette technique requiert un large corpus de textes parallèles, rarement disponible, ce qui explique pourquoi de nombreux auteurs privilégient encore les approches par règles. De plus, Xu et al. (2015) ont montré que même les ressources utilisées pour l'anglais, à savoir des textes issus de Wikipedia et de sa version simplifiée Simple Wikipedia, présentaient des défauts majeurs en vue d'un apprentissage automatisé des simplifications textuelles. Pour ces différentes raisons, nous avons décidé de privilégier l'approche par règles pour le projet AMesure.

En ce qui concerne la simplification lexicale, de nombreux travaux ont été effectués sur diverses langues. L'une des premières études sur le sujet est due à Carroll et al. (1998). Chaque mot d'un texte est recherché dans une ontologie (WordNet) afin d'en extraire tous ses synonymes. Ensuite, l'algorithme choisit le plus fréquent d'entre eux et remplace le mot du texte si celui-ci est considéré comme plus rare que l'un des synonymes disponibles. La méthode qui connaît le plus grand succès actuellement est celle décrite par Paetzold et Specia (2015) et dont le processus est illustré à la Figure 1. La première étape de ce processus consiste à identifier les mots complexes, ce qui se fait généralement via des modèles statistiques capables de prédire la difficulté des mots, tels que proposés par Jauhar et Specia (2012) ou Gala et al. (2014) pour le français. La seconde étape correspond à l'acquisition de synonymes. On trouve deux tendances à ce niveau : ceux qui, comme Carroll et al. (1998) ou Gala et al. (2014), consultent des ressources lexicales listant les synonymes de chaque mot, et ceux qui, à l'instar de Paetzold et Specia (2013), acquièrent automatiquement des synonymes à partir d'un corpus de textes parallèles (versions originales et simplifiées). Au cours de la troisième étape, la sélection des synonymes en contexte, un algorithme décide lesquels, parmi les synonymes obtenus lors de l'étape précédente, sont adéquats au contexte spécifique du mot à remplacer. Pour ce faire, il convient soit de recourir à un outil de désambiguïsation automatique capable de détecter le sens du mot dans le contexte, ce qui permet de ne retenir que les synonymes associés à ce sens (NUNES et al. 2013), soit à des techniques de sémantique lexicale qui utilisent les co-occurrences (BIRAN et al. 2011), afin de déterminer si le synonyme de remplacement est adapté au contexte ou non. La dernière étape, l'ordonnancement des synonymes, s'approche très fortement de la problématique d'identification des mots complexes (étape 1) et les mêmes techniques peuvent être utilisées.

Francois immagine 1

Parmi la littérature en SAT, on trouve une étude particulièrement proche de la plate-forme AMesure, à savoir Candido et al. (2009), qui ont élaboré un outil en ligne d’aide à la rédaction de textes simples pour le portugais, appelé Simplifica. On peut y définir les règles de simplification syntaxique qu’on souhaite appliquer à son texte et ainsi en obtenir une version simplifiée où toutes les modifications appliquées sont visibles. Cela permet alors de corriger les simplifications automatiques effectuées, en rejetant la modification choisie ou en sélectionnant une autre opération disponible pour celle-ci.

3. Une formule de lisibilité pour les textes administratifs4

Pour rappel, une formule de lisibilité correspond à un modèle statistique, capable – dans notre cas – de prédire automatiquement le niveau de difficulté à la lecture d'un texte administratif sur la base de plusieurs de ses caractéristiques linguistiques. La conception d'une nouvelle formule demande donc de (1) disposer d'un corpus de textes dont la difficulté est connue et (2) de définir un ensemble de caractéristiques linguistiques pertinentes, c'est-à-dire qui sont corrélées avec la difficulté des textes du corpus d'entraînement.

Le problème que nous avons rencontré est que, s'il existe un nombre important de textes pédagogiques annotés en fonction de leur difficulté de lecture, un tel corpus n'existe pas pour les textes administratifs. Nous avons donc mené une campagne d'annotations de textes authentiques provenant de la FWB et à destination du grand public. Il s'agit plus précisément de textes factitifs, c'est-à-dire des documents utilitaires que le citoyen doit lire en vue de réaliser une procédure (ex.: obtenir une prime) ou pour prendre connaissance d'une problématique (ex.: comment déclarer un héritage). Nous avons ainsi collecté 88 documents relevant de huit thématiques couvertes dans les documents de la FWB (sport, culture, enfance, etc.) ainsi que 27 lettres issues de l'administration et destinées à des particuliers. Ces documents ont ensuite été numérisés et, dans certains cas, découpés en plusieurs extraits plus courts en vue de l'annotation manuelle. Nous avons ainsi gardé 105 textes au terme de cette étape de préparation des données.

L’annotation de la difficulté de ces textes a été réalisée par une vingtaine d'experts issus de l'administration de la FWB. Nous avons divisé le corpus de 105 textes en 7 groupes de 15 textes et il a été demandé à chaque expert d’évaluer un groupe de textes. La classification a été réalisée en fonction d'une échelle simple, allant de 1 (très facile) à 5 (très ardu), et s'est appuyée sur un guide d'annotation. Au terme de cette annotation, nous avons obtenu 267 avis pour 105 textes, soit une moyenne de 2,5 avis par texte. Afin de vérifier le niveau d’accord entre les différents experts, nous avons utilisé une mesure classique de l'accord inter-annotateurs: l'alpha de Krippendorff (1980). Celui-ci n’est pas très élevé, puisque l’alpha moyen (calculé sur les batchs de 15 textes) ne dépasse pas 0,375. Bien que la fiabilité des évaluations finales soit améliorée puisque nous considérons la moyenne des avis, les prédictions de ce modèle sont à considérer avec prudence.

Francois table 1

En ce qui concerne les variables linguistiques intégrées à la formule, nous en avons envisagé 344 différentes, représentatives de phénomènes lexicaux, syntaxiques, sémantiques et discursifs, qui sont tirées de François et Fairon (2013). Seules les variables les plus corrélées à la difficulté des textes telles que définies par les annotateurs humains ont été conservées, à savoir 10 variables. Il s'agit de (1) une estimation de la difficulté lexicale du texte obtenue via un modèle unigramme lissé dont les fréquences sont tirées de Lexique3 (NEW et al. 2007) ; (2) la médiane des fréquences des verbes du texte ; (3) la proportion de mots absents des 8000 premiers mots de la liste de Gougenheim (1964) ; (4) la proportion entre le nombre de lemmes différents sur le nombre de lemmes ; (5) la proportion de mots de plus de 8 lettres ; (6) la moyenne des fréquences cumulées des voisins orthographiques6, qui proviennent également de Lexique3 ; (7) le nombre moyen de mots par phrase ; (8) le nombre de verbes conjugués au participe passé sur le nombre de verbes conjugués dans le texte ; (9) le rapport du nombre de conjonctions sur celui des pronoms et (10) un indice de personnalisation défini comme le ratio du nombre de pronoms personnels de la 1re et de la 2e personne sur le nombre de mots du texte. Pour information, les corrélations de Spearman entre ces dix variables et les niveaux de difficulté des 105 textes administratifs de notre corpus sont rapportées à la table 1.

Le modèle statistique utilisé pour combiner ces variables est une machine à vecteurs de support (SVM)7. Son efficacité a été estimée à l'aide d’une procédure qui permet d’obtenir des estimations fiables et non optimistes : une validation croisée à 10 échantillons. Le modèle retenu atteint une exactitude de 58% pour la classification et une exactitude contiguë8 de 91%. Pour comparaison, François et Fairon (2013) obtiennent respectivement 50% en exactitude et 80% en exactitude contiguë pour leur modèle sur des textes de FLE. Cela semble indiquer que le modèle se comporte plutôt bien malgré le nombre réduit de données d'entraînement. On notera toutefois qu'il a tendance à rabattre les textes de niveau 1 au niveau 2 et ceux de niveau 5 en 4, à cause du nombre plus réduit de données pour ces deux catégories.

4. Identification des phénomènes complexes dans un texte administratif

4.1. Méthodologie de détection des phénomènes complexes

Comme nous l'avons esquissé à la Section 2, les phénomènes textuels susceptibles de poser des problèmes à la lecture sont nombreux9 : phrases longues ou syntaxiquement complexes, mots rares ou termes techniques, abréviations, informations inutiles, problèmes de cohérence dans la structure argumentative, etc. Si certains de ces phénomènes restent aujourd'hui encore difficiles à formaliser en vue d'une détection automatique, d'autres sont tout à fait détectable automatiquement au sein d'une application de TAL. Dans le cadre de AMesure, nous nous sommes jusqu'à présent concentrés sur trois grands types de phénomènes : (1) les structures syntaxiques complexes (subordonnées et passives), (2) les abréviations et (3) les mots complexes. Chacun d'eux mobilise des techniques de TAL différentes qui sont détaillées dans cette section.

Tout d'abord, pour la détection des phrases passives et des propositions subordonnées, nous nous sommes inspirés de la méthodologie employée par Brouwers et al. (2012). Dans un premier temps, nous avons consulté la littérature linguistique traitant de ces deux types de phénomènes. Pour le passif, nous nous sommes basés sur les travaux de Desclés et Guentchéva (1993), Gaatone (1993) et Lamiroy (1993). Pour la subordination, ce sont les études de Kostrzewa (2011), Braun et Cabillau (2007) qui ont servi de référence. Cette exploration a permis de définir la liste des structures à détecter et celles à exclure10. En ce qui concerne les subordonnées, il a été décidé de distinguer trois sous-types : (a) les subordonnées relatives ; (b) les subordonnées complétives dont nous avons exclu les propositions infinitives, qui sont traitées dans notre troisième catégorie pour des raisons algorithmiques ; (c) les subordonnées réduites et les circonstancielles. C'est sur cette base linguistique que les règles de détection automatique des structures subordonnées ont été définies et implémentées.

L'implémentation de ces règles fait appel à un système relativement complexe. Tout d'abord, le texte à analyser est automatiquement découpé en phrases et chacun de ses mots se voit attribuer automatiquement une catégorie grammaticale via l'analyseur morpho-syntaxique MElt (DENIS et SAGOT 2012). Dans un second temps, l'analyseur syntaxique de Berkeley, dont nous utilisons la version adaptée pour le français par Candito et al. (2010), fournit une analyse syntaxique de la phrase sous la forme d'un arbre de dépendances syntaxiques. Cet arbre est ensuite exploré à l'aide de Tregex (ROGER et GALEN 2006), un outil qui permet de décrire des expressions régulières encodant des règles linguistiques, c'est-à-dire, dans notre cas, les règles définies à l'étape précédente. La Figure 2 présente un exemple des résultats d'AMesure sur un fichier de test comprenant des subordonnées relatives (en rose), des complétives (en bordeaux) et des subordonnées « autres » (en rouge).

La détection des abréviations spécifiques au langage administratif a été réalisée dans le but d'attirer l'attention du rédacteur en cas d'emploi exagéré ou problématique (abréviation non expliquée dans le texte). Pour ce faire, nous avons travaillé avec plusieurs listes fournies par les administrations belges. Nous avons fusionné toutes ces listes en une seule, et nous avons ajouté un ensemble de variantes, car certaines abréviations peuvent être écrites de plusieurs manières, par ex. U.C.L. (pour Université catholique de Louvain) peut aussi être écrite UCL par certains utilisateurs. Il fallait que notre système soit capable de détecter les deux formes et de les relier. Plus problématiques, les expressions polylexicales abrégées (ex. Fac. dr. pour Faculté de droit) ont également été prises en compte. Pour ce faire, nous avons mis en place un algorithme qui explore les mots suivants lorsqu'il rencontre un mot pouvant constituer la première unité d'une abréviation listée. Si après avoir exploré N mots, il trouve une expression polylexicale abrégée reprise dans nos listes, il est capable de la détecter.

francois figure 2

Il faut noter que cette approche présente deux faiblesses. D'une part, elle n'est pas capable de désambiguïser les acronymes ou abréviations correspondant à des référents différents. Pour l'instant, toutes les abréviations reconnues sont proposées dans la bulle d'information à destination du rédacteur, qui est amené à trancher par lui-même. D'autre part, le recours à une liste, tout exhaustive qu'elle soit, ne peut que conduire à un problème de couverture de la liste, en particulier dès que l'on sort du champ administratif belge (la France possède ainsi nombre d'abréviations différentes).

Enfin, la détection des mots rares est réalisée en deux étapes. Tout d'abord, le texte à évaluer est automatiquement lemmatisé et annoté avec des catégories grammaticales à l'aide du même analyseur syntaxique de Berkeley. Cela permet, dans un second temps, de récupérer le logarithme de la fréquence des lemmes du texte depuis la ressource lexicale Lexique3 (NEW et al. 2007) et de comparer cette fréquence à un seuil de référence (-14 dans notre exemple). Il convient de signaler que ce seuil est actuellement défini heuristiquement, mais qu'il pourrait être manipulé par l'utilisateur en fonction du public qu'il vise.

4.2. Évaluation de la détection des phénomènes complexes

Les performances du système de détection des structures syntaxiques complexes et des abréviations ont ensuite été évaluées. La détection des mots rares n’a pas été évaluée, car il s’agit d’une opération fiable dont les rares erreurs sont dues au taggeur sous-jacent à notre système. Pour les subordonnées, les passives et les abréviations, nous avons constitué un corpus de référence en annotant manuellement ces trois phénomènes dans 13 documents administratifs authentiques (non utilisés pour entraîner la formule de lisibilité). Au total, cette annotation a mis au jour 319 propositions subordonnées, 134 passives et 57 abréviations.

Dans un second temps, nous avons analysé ces 13 textes de référence avec AMesure et avons ensuite comparé les formes détectées par le système avec l’annotation de référence11. Plus précisément, nous avons calculé la précision (c.-à-d. la proportion de structures correctes parmi toutes celles détectées par AMesure) et le rappel (c.-à-d. la proportion de structures à détecter qui ont correctement été détectées). Les valeurs obtenues sont présentées dans la Table 2.

Francois table 2

Cette table nous révèle que ce sont les subordonnées complétives qui sont les structures les moins bien détectées. Les scores obtenus pour les relatives et les subordonnées « autres » sont nettement plus élevés. Par comparaison, Zilio et Fairon (2017), qui détectent des structures syntaxiques en anglais, obtiennent une précision de 0,88 et un rappel de 0,62 pour les relatives ou encore un rappel de 0,66 et une précision de 0,94 pour les infinitives introduites par la particule « TO ». Chinkina et Meurers (2016) obtiennent quant à eux, toujours sur l'anglais, un rappel de 0,83 et une précision de 0,71 pour les relatives. En ce qui concerne la détection des passives, les performances sont excellentes. Par contre, au niveau des abréviations, la couverture actuelle du système reste insuffisante. En analysant les erreurs commises, il apparaît toutefois que certaines erreurs sont discutables ou répétées. Ainsi, dans un texte, « Jo » est reconnu plusieurs fois comme étant « Journal Officiel », alors qu'il s'agit dans ce cas d'un prénom. De même, nous avons annoté « EUR » (pour « euro ») comme une abréviation, mais l'analyseur syntaxique le normalise en « euro », rendant ensuite impossible sa détection comme une abréviation.

En conclusion, le système de détection des phénomènes complexes intégré dans la plate-forme AMesure semble fonctionner de façon satisfaisante, même si certains aspects – en particulier la détection des abréviations – pourraient encore être améliorés. Toutefois, après une première série de tests auprès de rédacteurs de textes administratifs, il est rapidement apparu qu'il n'est guère utile de détecter de façon exhaustive tous ces phénomènes susceptibles de gêner la lecture. En effet, certains relatives ou participiales peuvent en réalité être très courtes et ne présenter aucune difficulté pour le lecteur. C'est pourquoi dans la section suivante, nous présentons le système de filtrage mis en place pour répondre à cette critique.

5. Production automatisée de conseils de rédaction simple

Il est clair que toute structure subordonnée ou passive n'engendre pas nécessairement des problèmes à la lecture. Ceux-ci apparaissent quand la quantité d’enchâssements de propositions subordonnées augmente, rendant la structure syntaxique de la phrase moins facile à appréhender ; quand la phrase s'allonge, ce qui nécessite une mobilisation plus importante des ressources cognitives pour la représenter en mémoire ; ou encore quand la phrase inclut plusieurs subordonnées elles-mêmes assez longues. Ce sont d'ailleurs ce genre de cas qui sont visés par les guides de rédaction simple. C'est pourquoi nous avons décidé de ne pas afficher, dans l'interface d'AMesure, tous les phénomènes détectés par le système décrit à la Section 4. Nous nous sommes limités à attirer l'attention des rédacteurs sur les phénomènes les plus problématiques, nous basant pour se faire sur les recommandations des guides de rédaction simple. Les cas décrits dans ces guides ont été associés à des conditions formelles de déclenchement. Par exemple, la condition d'imbrication requiert qu'une phrase contienne au moins trois structures syntaxiques enchâssées pour être activée. En cas de désaccord entre les guides concernant un critère (ex. la longueur de la phrase à ne pas dépasser), c'est la version du Ministère de la Communauté française de Belgique (2010) qui a été privilégiée. La Table 3 reprend les 7 cas qui ont été implémentés jusqu'à présent.

Francois table 3

Au niveau de l'interface, ce filtrage des phénomènes à mettre en exergue a engendré des changements notables. Comme on peut le voir sur la Figure 3, nous avons pu ajouter des bulles infos – sur le côté droit de l'interface – qui mettent en garde le rédacteur par rapport à certains aspects de son texte ou, dans certains cas, proposent des pistes de simplification. Nous avons également intégré la possibilité d'exprimer des conseils au niveau de la phrase, ce qui n'était pas possible avec le système précédent. L'onglet Analyse des phrases (voir Figure 3) surligne dès lors le texte à analyser avec diverses nuances de jaune : plus une phrase est surlignée dans un jaune vif, plus elle comprend de difficultés et gagnerait à être simplifiée. Cette interface offre donc une vue globale du texte, qui devrait permettre aux rédacteurs de textes administratifs d'avoir leur attention directement attirée vers les aspects les plus problématiques de leur texte. Les autres onglets permettent ensuite de s'attacher à chacun des phénomènes isolément, par exemple, les mots complexes ou les abréviations.

6. Perspectives et conclusion

Nous avons présenté dans cet article la nouvelle version de la plate-forme AMesure, dont l'objectif est d'aider les rédacteurs de textes administratifs à simplifier leurs productions. Cette plate-forme inclut la première formule de lisibilité spécialisée pour les textes administratifs, accompagnée de cinq indices de lisibilité portant sur des aspects spécifiques du texte analysé (difficulté lexicale globale, complexité de la syntaxe, niveau de personnalisation ou de cohérence du texte, etc.). AMesure ne se limite toutefois pas à produire un diagnostic global sur un texte, elle effectue également une analyse détaillée du texte basée soit sur des études en psycholinguistique et en lisibilité, soit sur des guides de rédaction simple, afin de mettre en évidence un certain nombre de formes linguistiques considérées comme plus difficiles à lire. Cette étude a décrit la méthodologie mise en place pour réaliser cette analyse, ainsi qu'une évaluation de la fiabilité de cette analyse. L'évaluation a donné des résultats similaires à l'état de l'art en ce qui concerne la détection des structures syntaxiques, mais moins satisfaisants pour la détection des abréviations.

De nombreuses pistes sont encore à exploiter afin d'améliorer AMesure. Au niveau des développements, nous envisageons d'enrichir l'analyse de la difficulté du lexique. Celle-ci se limite actuellement à identifier les mots rares, mais nous aimerions aussi proposer des synonymes plus simples aux rédacteurs en nous basant sur le dictionnaire de synonymes gradués ReSyf (FRANÇOIS et al. 2016). Un travail supplémentaire est également requis en ce qui concerne les abréviations et le recours à des techniques statistiques est envisagé. Ensuite, nous prévoyons de mettre en place une campagne d'évaluation au sein d'une ou plusieurs administrations belges. Une telle action permettra de collecter un retour sur l'efficacité réelle du système sur les pratiques des rédacteurs de textes administratifs. Il sera possible de renforcer les aspects considérés comme les plus utiles, mais également de supprimer des aspects qui seraient jugés comme inutiles. À plus long terme, nous envisageons également de tester la validité psychologique des simplifications proposées par AMesure auprès de lecteurs faibles, afin de vérifier que ces simplifications conduisent bien à une meilleure compréhension du contenu administratif.

Francois figure 3

Références bibliographiques

BIRAN, Or et al., Noémie, « Putting it Simply : a Context-Aware Approach to Lexical Simplification », The 49th Annual Meeting of the ACL, 2011.

BRAUN, Alain, et CABILLAU, Jean-François, Le français pour chacun : Grammaire interactive de la phrase et du texte, Bruxelles, Plantyn, 4eédition, 2007.

BROUWERS, Laëtitia et al., « Simplification syntaxique de phrases pour le français ». Actes de JEP-TALN-RECITAL (TALN 2012), 2012, p. 211–224.

BRUCE, Bertram et al., « Why readability formulas fail », Rapport technique, Reading Education Report, n. 28, University of Illinois at Urbana-Champaign, Champaign, IL, 1981.

CANDITO, Marie et al., « Benchmarking of Statistical Dependency Parsers for French ». Proceedings of COLING'2010 (poster session), Beijing, China, 2010.

CANDIDO JR, Arnaldo et al., « Supporting the adaptation of texts for poor literacy readers : a text simplification editor for Brazilian Portuguese », Proceedings of the Fourth Workshop on Innovative Use of NLP for Building Educational Applications, 2009, p. 34–42.

CARROLL, John et al., « Practical simplification of English newspaper text to assist aphasic readers », Proceedings of the AAAI98 Workshop on Integrating AI and Assistive Technology, 1998, p. 7–10.

CHANDRASEKAR, Raman et al., « Motivations and methods for text simplification », 16th International Conference on Computational Linguistics, 1996, p. 1041–1044.

Chinkina, Maria, et Meurers, Detmar, « Linguistically aware information retrieval: providing input enrichment for second language learners », Proceedings of the 11th Workshop on Innovative Use of NLP for Building Educational Applications, San Diego, CA, 2016.

COLLINS-THOMPSON, Kevin, Computational assessment of text readability: A survey of current and future research. In François, T. et Bernhard, D. (eds.), ITL-International Journal of Applied Linguistics, 165(2), 2014, p. 97-135.

COLTHEART, Max et al., « Access to the internal lexicon », in DORNIC, Stanislav (éd.), Attention and Performance VI, Londres, Academic Press, 1977, p. 535–555.

DALE, Edgar et CHALL, Jeanne, « A formula for predicting readability », Educational research bulletin, 27(1), 1948, p. 11–28.

DENIS, Pascal, et SAGOT, Benoît, « Coupling an annotated corpus and a lexicon for state-of-the-art POS tagging », LanguageResources and Evaluation,46 (4), 2012, p. 721-736.

DESCLÉS Jean-Pierre et GUENTCHEVA, Zlatka, « Le passif dans le système des voix du français ». Langages, 27(109), 1993, p. 73-102.

FENG, Lijun et al., « A Comparison of Features for Automatic Readability Assessment », COLING 2010 : Poster Volume, 2010, p. 276–284.

FLESCH, Rudolf, « A new readability yardstick », Journal of Applied Psychology, 32(3), 1948, p. 221–233.

FRANÇOIS, Thomas, When readability meets computational linguistics: a new paradigm in readability. Revue Française de Linguistique Appliquée, 20(2), 2015, p. 79-97.

FRANÇOIS, Thomas, Les apports du traitement automatique du langage à la lisibilité du français langue étrangère, Thèse de doctorat, Louvain-la-Neuve, Université Catholique de Louvain, 2011.

FRANÇOIS, Thomas et al., « AMesure: une formule de lisibilité pour les textes administratifs », Actes de la 21e Conférence sur le Traitement automatique des Langues Naturelles (TALN 2014), 2014.

FRANÇOIS, Thomas et al., « Bleu, contusion, ecchymose: tri automatique de synonymes en fonction de leur difficulté de lecture et compréhension », Actes de la 23e Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2016), 2016.

FRANÇOIS, Thomas et Fairon, Cédrick, « Les apports du TAL à la lisibilité du français langue étrangère », Traitement Automatique des Langues (TAL), 54(1), 2013, p. 171-202.

GAATONE, David, « Les locutions verbales et les deux passifs du français », Langages, 27 (109), 1993, p. 37-52.

GALA, Núria et al., « Un modèle pour prédire la complexité lexicale et graduer les mots », Actes de la 21e conférence sur le Traitement Automatique des Langues Naturelles (TALN'2014), 2014, p. 91-102.

GOUGENHEIM, Georges, L'élaboration du français fondamental (ler degré): Etude sur l'établissement d'un vocabulaire et d'une grammaire de base (Vol. 1). Paris, Didier, 1964.

GOUVERNEMENT DU QUÉBEC, Rédiger simplement - Principes et recommandations pour une langue administrative de qualité, Québec, Bibliothèques et archives nationales du Québec, 2006.

GUNNING, Robert, The technique of clear writing, New York, McGraw-Hill, 1952.

JAUHAR, Sujay Kumar et Specia, Lucia, « UOW-SHEF: SimpLex – Lexical Simplicity Ranking based on Contextual and Psycholinguistic Features », Proceedings of SemEval 2012, 2012, p. 477–481.

JONNALAGADDA, Siddhartha et al., « Towards Effective Sentence Simplification for Automatic Processing of Biomedical Text », Proceedings of HLT: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Companion Volume: Short Papers, 2009, p. 177–180.

KANDEL, Lilian et Moles, Abraham, « Application de l’indice de Flesch à la langue française », Cahiers Études de Radio-Télévision, 19, 1958, p. 253–274.

KINTSCH, Walter, « On modeling comprehension », Educational Psychologist, 14(1), 1979, p. 3–14.

KLEBANOV BEIGMAN, Beata et al., « Text simplification for information-seeking applications », On the Move to Meaningful Internet Systems 2004: CoopIS, DOA, and ODBASE, 2004, p. 735–747.

KOSTRZEWA, Fabienne, L'essentiel de la grammaire : le français au 1er degré du secondaire. Bruxelles, De Boeck, 2011.

KRIPPENDORF, Klaus, Content analysis: An introduction to its methodology, Beverly Hills, CA, Sage, 1980.

LAMIROY, Béatrice, « Pourquoi il y a deux passifs », Langages, 27 (109), 1993, p. 53-72.

MINISTÈRE DE LA COMMUNAUTÉ FRANÇAISE DE BELGIQUE, Écrire pour être lu – Comment rédiger des textes administratifs faciles à comprendre ? Bruxelles, Ingber, Damar, 2010.

MOOSEN, Laurent (dir.), Un Plan Lecture pour la Fédération Wallonie-Bruxelles [Rapport]. Fédération Wallonie Bruxelles, 2015.

NEW, Boris et al., « The use of film subtitles to estimate word frequencies ». Applied psycholinguistics, 28(4), 2007, p. 661-677.

NUNES, Bernardo Pereira et al., « As Simple as It Gets - A Sentence Simplifier for Different Learning Levels and Contexts », IEEE 13th ICALT, 2013.

OCDE, L’importance des compétences : Nouveaux résultats de l’Évaluation des compétences des adultes. Études de l’OCDE sur les compétences, Paris, Éditions OCDE, 2016.

PAETZOLD, Gustavo Henrique et SPECIA, Lucia, « Text simplification as tree transduction », Proceedings of the 9th Brazilian Symposium in Information and Human Language Technology, 2013, p. 116-125.

PAETZOLD, Gustavo Henrique et SPECIA, Lucia, « Lexenstein: A framework for lexical simplification », ACL-IJCNLP 2015 System Demonstrations, 2015, p. 85–90.

ROGER Levy et GALEN Andrew, « Tregex and Tsurgeon : tools for querying and manipulating tree data structures », 5th International Conference on Language Resources and Evaluation (LREC 2006), 2006.

SCHWARM, Sarah et OSTENDORF, Mari, « Reading level assessment using support vector machines and statistical language models », Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, 2005, p. 523–530.

SIDDHARTHAN, Advaith. « Syntactic Simplification and Text Cohesion », Research on Language and Computation, 4(1), 2006, p. 77–109.

SPECIA, Lucia, « Translating from complex to simplified sentences », Computational Processing of the Portuguese Language, 9th International Conference, PROPOR 2010, Porto Alegre, RS, Brazil, April 27-30, 2010. Proceedings, 2010, p. 30–39.

SPECIA, Lucia et al., « Semeval-2012 task 1: English lexical simplification », Proceedings of the First Joint Conference on Lexical and Computational Semantics, 2012, p. 347-355.

SPIEZIA, Raffaele, La lisibilité entre théorie et pratique, Schena Editore, 2007.

UNION EUROPENNE, Rédiger clairement, Luxembourg, Office des publications de l'Union européenne, 2011.

WOODSEND, Kristian et LAPATA, Mirella, « Learning to Simplify Sentences with Quasisynchronous Grammar and Integer Programming », Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP ’11, 2011, p. 409–420.

WUBBEN, Sander et al., « Sentence simplification by monolingual machine translation », Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics: Long Papers - Volume 1 , ACL ’12, 2012, p. 1015–1024.

XU, Wei et al., « Problems in current text simplification research: New data can help », Transactions of the Associaton for Computational Linguistics, 3, 2015, p. 283–297.

ZHU, Zhemin et al., « A monolingual tree-based translation model for sentence simplification », Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), 2010, p. 1353–1361.

ZILIO, Leonardo et FAIRON, Cédrick, « Using NLP for enhancing Second Language Acquisition », Proceedings of RANLP 2017, 2017.

1
Pour plus de détails sur le domaine de la lisibilité, le lecteur peut se reporter aux synthèses de Spiezia (2007), Collins-Thompson (2014) ou François (2015).

2
http://rgcl.wlv.ac.uk/events/ATS-MA/

3
http://qats2016.github.io/index.html

4
La formule de lisibilité intégrée dans la plate-forme AMesure ayant déjà fait l'objet d'une publication (FRANÇOIS et al. 2014), nous ne proposons ici qu'un résumé des principales étapes de conception de cette formule. Le lecteur curieux est invité à consulter cette publication pour plus de détails.

5
Signalons qu’un tel résultat n’est pas étonnant pour ce type de tâche d'annotation particulièrement difficile. Par comparaison, Specia et al. (2012) obtiennent, pour une tâche d'annotation de la difficulté de mots dans la campagne SemEval 2012, un kappa de 0,398.

6
La notion de voisinage orthographique a été proposée par Coltheart et al. (1977) et correspond à l’ensemble des mots de même longueur ne se différenciant que par une seule lettre (ex. pour SAGE : MAGE, SALE, etc.).

7
Pour le lecteur intéressé par les détails techniques, ce SVM intègre une norme L2. Une première série d'explorations a permis de sélectionner un « kernel » de type linéaire, pour lequel le coût (C = 0,05) a ensuite été optimisé par la technique de la « grid-search ».

8
Il s'agit de la proportion de prédictions qui s’éloignent au plus d’un niveau par rapport au niveau de référence. Son emploi, commun en lisibilité, se justifie par la difficulté qu’ont les experts humains eux-mêmes à accorder leurs jugements.

9
Pour le lecteur désireux d'en savoir davantage sur les motivations psycholinguistiques des variables utilisées en lisibilité, se reporter à François (2011).

10
Par exemple, en ce qui concerne le passif, nous n'avons pas cherché à détecter des phénomènes tels que :

  • les passifs tronqués : ex. trahi par ses proches, il quitta le pays ;
  • les structures apparentées : ex. Max s'est vu imposer un régime draconien ;
  • les cas où l'on hésite entre un verbe ou un adjectif : ex. : L'enfant était attaché à sa mère.
  • 11
    Dans certains cas, la délimitation des phénomènes par le système peut varier par rapport à l’annotation de référence. Nous avons alors décidé de considérer la structure comme correctement détectée si le mot introducteur (ex. conjonction de subordination, pronom relatif, etc.) et le verbe de la subordonnée y était bien repris.

    12
    Ces valeurs correspondent à la capacité du système à détecter correctement les subordonnées, sans faire de distinction entre les trois types. C'est pour cette raison que ces valeurs sont plus élevées que la moyenne des scores obtenus sur les trois types.

    Per citare questo articolo:

    Thomas FRANÇOIS, Adeline MÜLLER, Baptiste DEGRYSE, Cédrick FAIRON, AMesure : une plateforme web d’assistance à la rédaction simple de textes administratifs, Repères DoRiF n. 16 - LITTÉRATIE ET INTELLIGIBILITÉ : POINTS DE VUE SUR LA COMMUNICATION EFFICACE EN CONTEXTE PLURILINGUE, DoRiF Università, Roma novembre 2018, http://dorif.it/ezine/ezine_articles.php?id=403

    Ritorna alla Barra di Navigazione