Ce que les tests de lisibilité ne vous disent pas
Les tests de lisibilité sont perçus comme objectifs, faciles à mettre en œuvre et peu coûteux. Largement répandus au sein des organisations, mais souvent mal compris, ils sont peu fiables et peu utiles en pratique.
À quoi sert un test de lisibilité
Les tests de lisibilité dits objectifs servent à mesurer le niveau de difficulté d’un texte. Du moins, en théorie.
Il en existe plusieurs variantes. Le test de lisibilité le plus connu est le test Flesch-Kincaid. Il a été développé par l’armée aux États-Unis pour obtenir un score de lisibilité facile à... lire. Par exemple, le test indique que votre texte est lisible et compréhensible pour une personne ayant des compétences de lecture de niveau Secondaire 3 ou plus.
Ce test se base sur l’idée que plus les mots, les phrases et les paragraphes sont longs, plus le texte est difficile à comprendre. Grâce à une formule, chaque texte obtient en quelques secondes un score de lisibilité censé représenter le niveau de scolarité minimalement requis pour comprendre. Séduisant, n'est-ce pas?
Le saviez-vous?
Le test de Flesch-Kincaid visait à simplifier les communications de l’armée
Le test de Flesch, mis au point en 1948, permettait d’obtenir des scores entre 0 et 100. Sa méthodologie a depuis été critiquée. Flesch a testé sa formule sur des textes des années 1940 destinés à un public adulte, comme des extraits de journaux ou de magazines. Mais sa formule se basait sur un test de compréhension standardisé pour enfants, développé en 1926. De plus, ce test de compréhension standardisé reposait sur un questionnaire à choix multiples, une façon de tester la compréhension d’un texte qui était peut-être acceptable dans les années 1940, mais qui est fortement critiquée aujourd’hui. Néanmoins, ce test de lisibilité a fait son chemin dans l’administration publique, notamment parce qu’il était perçu comme objectif.
En 1975, l’armée de mer des États-Unis, la Navy, a financé l’équipe du professeur Kincaid pour rendre les scores produits avec le test de Flesch encore plus facile à interpréter. Jusqu’à 30 % des nouvelles recrues dans l’armée avaient un niveau de lecture équivalant à un Secondaire 1 (Grade 7). L’équipe de Kincaid a donc développé un nouveau score, cette fois sous forme de niveau de scolarité. Autre amélioration, ce test se basait sur un échantillon de textes produits par l’armée, plus représentatif des documents que les militaires devaient lire. Ce test a ensuite été critiqué, notamment par un chercheur de la Navy, Kern. Pour Kern, donner aux rédacteurs un objectif de niveau de scolarité a fait en sorte que les rédacteurs se sont mis à écrire pour le test plutôt qu’en tenant compte des besoins d’information du public cible. Les textes ainsi produits n’étaient pas mieux compris, même s’ils obtenaient les scores de lisibilité visés.
Le piège de la facilité
L'utilité des tests de lisibilité est en pratique très limitée. Pour le comprendre, lisez les deux extraits suivants, l’un après l’autre :
Texte 1
Les cris des deux sexes sont très différents. Apprenez à reconnaître ces marques d’affection, car vous pourrez ainsi reconnaître les paires couplées et comprendre d’autres interactions. Puisqu’il n’existe aucune différence dans leur plumage, vous devez vous fier à leurs différences de comportement. Parfois, lorsqu’un couple volera au-dessus de vous, vous entendrez l’appel de l’un puis celui de l’autre, et ceci vous aidera à faire la différence entre les deux sons. Il est aussi important de distinguer les sexes. L’un des aspects les plus extraordinaires de la cérémonie de salutation est que le mâle et la femelle alternent leurs cris de manière si bien orchestrée que l’ensemble de leur concert sonne comme s’il était donné par un seul oiseau. Si vous êtes à proximité d’un couple de bernaches du Canada pendant la saison de reproduction, vous avez toutes les chances d’être le témoin d’une remarquable cérémonie de salutation. Celui du mâle est grave, et contient deux syllabes : ahonk ; celui de la femelle est plus haut, et contient habituellement une seule syllabe : hink. C’est une série de signaux visuels et auditifs que se donne un couple chaque fois qu’il se retrouve après avoir été séparé.
Texte 2
Si vous êtes à proximité d’un couple de bernaches du Canada pendant la saison de reproduction, vous avez toutes les chances d’être le témoin d’une remarquable cérémonie de salutation. C’est une série de signaux visuels et auditifs que se donne un couple chaque fois qu’il se retrouve après avoir été séparé. Apprenez à reconnaître ces marques d’affection, car vous pourrez ainsi reconnaître les paires couplées et comprendre d’autres interactions. Il est aussi important de distinguer les sexes. Puisqu’il n’existe aucune différence dans leur plumage, vous devez vous fier à leurs différences de comportement. Les cris des deux sexes sont très différents. Celui du mâle est grave, et contient deux syllabes : ahonk ; celui de la femelle est plus haut, et contient habituellement une seule syllabe : hink. L’un des aspects les plus extraordinaires de la cérémonie de salutation est que le mâle et la femelle alternent leurs cris de manière si bien orchestrée que l’ensemble de leur concert sonne comme s’il était donné par un seul oiseau. Parfois, lorsqu’un couple volera au-dessus de vous, vous entendrez l’appel de l’un puis celui de l’autre, et ceci vous aidera à faire la différence entre les deux sons.
Score obtenu: Secondaire 3
Dans ces deux extraits, les éléments qui influencent le score de lisibilité sont exactement identiques :
9 phrases
21,4 mots par phrase en moyenne
5 caractères par mot en moyenne
Selon un test de lisibilité Flesch-Kincaid, les textes 1 et 2 sont tout aussi lisibles l’un que l’autre. Tout humain ayant des compétences de lecture de niveau Secondaire 3 pourra comprendre ces deux textes avec autant de facilité - du moins, c'est ce que nous dit la formule. Mais pour nous, humains, le premier texte est incohérent tandis que le second est facile à comprendre.
La clarté d’un texte ne repose pas seulement sur des mots de tous les jours et des phrases courtes. Elle repose également sur des éléments sémantiques, c’est-à-dire liés au sens du texte. L’ordre des idées joue ainsi un rôle essentiel pour situer votre lecteur. Ajouter une bonne mise en contexte, ou mettre l’idée principale en premier, par exemple, facilitent grandement la compréhension des détails qui suivent.
Ce que les tests de lisibilité ne vous disent pas
Langage clair
Des années 1940 à la fin des années 1970, les promoteurs du langage clair se sont concentrés sur la construction de phrases simples. Ils ont développé des conseils de rédaction qui sont encore valables aujourd’hui:
Éliminer les phrases complexes en simplifiant la syntaxe,
Préférer la voix active,
Utiliser des mots concrets de tous les jours,
Remplacer les mots difficiles par des mots plus simples, ou les expliquer s'il est impossible de les remplacer, ou encore
Construire des phrases courtes.
Bien souvent, le langage clair est réduit (à tort) à une syntaxe et un vocabulaire simples. À part la longueur des mots et des phrases, les tests de lisibilité ne tiennent même pas compte de ces éléments de base. Impossible pour le test de Flesch-Kincaid de savoir où sont les sujets, les verbes, les compléments,de détecter une syntaxe complexe ou une voix passive, ou encore un mot qui relève du jargon.
Design d'information
Les tests de lisibilité ne tiennent pas compte des aspects internes au texte qui relèvent du design d’information :
La navigabilité du texte, aussi appelée l’ergonomie de lecture,
L’utilisation de titres porteurs de sens,
La hiérarchie de l’information, qui se traduit notamment par des niveaux de titres bien distincts,
Les listes à puce comme celle que vous êtes en train de lire, et enfin
Les éléments visuels comme des schémas, des illustrations, des diagrammes, qui permettent une compréhension plus immédiate du sens (le lecteur n’a pas à conceptualiser un univers spatio-temporel dans son esprit en même temps qu’il cherche à comprendre le sens précis véhiculé par le texte).
Aspects sémantiques et contextuels
Les tests de lisibilité ne tiennent pas non plus compte des aspects sémantiques et discursifs d’un texte:
Les objectifs communicationnels,
Le choix des messages en regard de ces objectifs,
La structure du texte et l’ordre des idées, ou encore
La cohésion et la cohérence du texte dans son ensemble.
Enfin, les tests de lisibilité ne tiennent pas compte d'éléments contextuels qui sont vecteurs de sens pour le lecteur, comme:
La relation entre l'émetteur et le lecteur,
Le contexte socioculturel,
Les rapports de pouvoir ou d'autorité,
Et bien d'autres dimensions qui exigent de faire preuve d'empathie pour mieux communiquer.
Des tests à proscrire ?
Plusieurs études démontrent que les tests de lisibilité manquent cruellement de fiabilité.
Effets pervers
Essentiellement, les rédacteurs qui doivent obtenir un score de lisibilité cible ont tendance à rédiger pour le test plutôt que pour le lecteur. Dans une étude de 1980 qui portait sur 4 autres formules en plus de la formule Flesch-Kincaid, un chercheur de l'armée étasunienne, Kern, en est arrivé aux conclusions suivantes:
Les tests de lisibilité ne permettent pas de produire des textes qui correspondent au niveau de lecture du public cible.
Réécrire les textes dans le but d'obtenir un score qui correspond à un niveau de lecture plus faible n’augmente pas le niveau de compréhension du texte pour les lecteurs.
Exiger qu’un texte atteigne un score de lisibilité focalise les rédacteurs sur ce score plutôt que sur le fait d’organiser le matériel pour répondre aux besoins d’information du lecteur.
Manque de fiabilité
En 2007, Watson a fait une analyse exhaustive des tests de lisibilité offerts en ligne. Ses conclusions:
Pour un même texte, le résultat pouvait varier de 7 niveaux de scolarité (c’est la différence entre un Secondaire 1 et un niveau pré-universitaire).
Le test le plus fiable est, selon lui, celui offert avec Microsoft Word (pas offert en français).
En 2017, l’équipe du professeur Zhou a démontré que pour un même texte et en utilisant en principe la même formule, différents tests de lisibilité offerts en ligne donnent des résultats très variables. La raison tient à la manière dont chaque outil définit les paragraphes, les phrases et les mots. En particulier, les tests censés utiliser la même formule ne traitent pas de la même manière:
les traits d’union,
les barres obliques,
les nombres,
les abréviations,
les acronymes,
les adresses URL,
les dates,
les points, les points-virgules, les deux points, etc.
Pour les textes courts, un seul aspect inhabituel peut avoir un impact majeur, mais non représentatif, sur le score de lisibilité. Autrement dit, les tests de lisibilité offerts en ligne sont particulièrement peu fiables pour la plupart des communications écrites aujourd’hui (contenus web, lettres et avis, formulaires, etc.).
Malgré toutes ces failles, les tests de lisibilité ont connu un grand succès, tant dans le secteur public que privé. Faciles à mettre en œuvre et perçus à tort comme objectifs, les tests de lisibilité sont ainsi devenus très largement répandus. Certaines lois exigent même un niveau de lecture cible pour certains documents réglementés, ce qui est loin de garantir la qualité des textes.
Quoi retenir ?
Vous l’aurez compris, selon nous, les tests de lisibilité dits objectifs sont généralement à proscrire.
L’intelligibilité d’un texte ne se réduit pas à la longueur des phrases et au nombre de caractères des mots. Elle dépend aussi de facteurs contextuels comme la relation entre l’émetteur et le lecteur, de facteurs sémantiques, comme l’organisation apparente du texte et sa logique interne, et de facteurs ergonomiques relevant du design d’information. Les tests de lisibilité ne tiennent pas compte de tous ces éléments.
Les tests de lisibilité sont souvent mal utilisés. Mais même s’ils étaient utilisés strictement pour tester la longueur des phrases et des mots, différents tests de lisibilité donnent différents résultats, ce qui les rend peu fiables pour prédire le niveau de lecture requis pour comprendre.
Les tests de lisibilité sont particulièrement peu fiables pour évaluer des textes courts – c’est-à-dire la plupart des communications écrites du quotidien.
Pour contrôler la qualité de vos textes, vous devriez plutôt les tester auprès de lecteurs représentatifs de votre public cible. Au minimum, faites-vous relire par une personne extérieure à votre domaine. Si vous souhaitez organiser un groupe de discussion (focus group), gardez toujours en tête que les conditions de lecture sont biaisées dans un tel contexte: l'attention des lecteurs est dirigée vers le document, ils sont captifs pendant une certaine durée, et ils sont parfois rémunérés ou dédommagés, ce qui appelle un niveau de concentration soutenu qui n’est pas représentatif de ce qui se passe dans la vie quotidienne. En pratique, la motivation des lecteurs et leur niveau de concentration sont très variables.
Sources
Ce billet est inspiré par l’excellent article de Karen A. Schriver, « Plain language in the US gains momentum: 1940-2015 », IEEE Transactions on Professional Communications, vol. 60, no. 4, pp.343-383, décembre 2017. (Article primé, lecture recommandée!)
R. P. Kern, « Usefulness of readability formulas for achieving army readability objectives: Research and state-of-the-art applied to the army’s problem », U.S. Army Res. Inst. Behav. Soc. Sci., Alexandria, no. TR 437, 1980.
C. Watson, « Write better: Online readability testing tools compared », Smiley Cat Web Design Blog, 2007.
S. Zhou, H. Jeong, and P. A. Green, « How consistent are the best-known readability equations in estimating the readability of design standards? », IEEE Transactions on Professionnal Communications, vol. 60, no. 1, pp. 97–111, Mar. 2017.
W. Lidwell, K. Holden, J. Butler, « Universal Principles of Design », Readability, Rockport Publishers, 2010, .
Pour en savoir plus
Découvrez notre service de Diagnostic de clarté, pour un regard expert sur les sources de complexité de vos contenus.
Inscrivez-vous à notre formation L’art de la communication claire et du design d'information.
