Grand Débat : que peut l’analyse automatique des contributions ?

A l’heure où le président de la République s’apprête à annoncer ce qu’il a retenu du Grand Débat qu’il a lancé il y a quelques mois, il n’est peut-être pas inutile de s’interroger sur comment a pu être analysée la très grande masse de contributions qui ont été émises à cette occasion.

Le gouvernement a en effet annoncé que cette procédure inédite de consultation avait réuni 500 000 contributeurs sur la plate-forme en ligne, 500 000 contributions par le biais des cahiers de doléances ouverts dans chaque mairie, et 500 000 participations dans le cadre de réunions locales qui ont fait l’objet de notes synthétiques de restitution… Pour analyser toutes ces contributions, les organisateurs du Grand débat ont mis en avant l’apport de l’Intelligence Artificielle et du Traitement Automatique des Langues : toutes les contributions seront analysées automatiquement, par des comptabilisations d’occurrences de mots. Cette analyse automatique sera réalisée par OpinionWay et son sous-traitant Qwam.

Dès lors, on peut s’interroger sur les limites de cette analyse automatique. Tout d’abord, notons que l’outil informatique peut permettre, même avec des décomptes assez basiques, d’extraire de l’information de cette masse de données. C’est ainsi par exemple que les Décodeurs du Monde ont pu montrer dans une petite étude que, par delà le succès annoncé de la consultation, nombre de contributions ne sont soit que des messages extrêmement brefs, ou bien sont le résultat de multiples copier-coller de la part de participants qui ont sans doute bien détecté l’effet déformant d’une analyse purement statistique des contributions.

Mais même si l’on réalise un pré-traitement pour éliminer les doublons ou les contributions limitées à 3-4 mots d’invective, comment le TAL peut-il faire émerger du sens à partir de contributions textuelles non structurées ? Cette question, c’est la problématique scientifique de la fouille d’opinion (opinion mining en anglais) sur laquelle se repose le gouvernement. Dans la perspective d’une IA permettant une aide à la décision efficace, de plus en plus d’entreprises (parmi lesquelles OpinionWay) se sont positionnées sur ce marché. Pourtant, à ma connaissance, les résultats ne sont pas là : songez par exemple que les techniques mise en œuvre peinent le plus souvent à gérer la présence d’une négation dans un texte. Dans cet article, Hugues de Mazancourt, très bon connaisseur du domaine et contributeur à ce blog, nous explique avec des exemples concrets les limites de la fouille d’opinion telle qu’elle sera mise en oeuvre par OpinionWay. Rien de nouveau sous le soleil, sous le terme marronnier des « Intelligences Artificielles », on ne cause que d’assez banales statistiques lexicales. Une fois encore, nous sommes en présence d’annonces miraculeuses sur les capacités de l’IA et du TAL, et une fois encore (l’histoire des sciences ne nous apprend dont-elle rien ?), on ne rend pas ainsi service à ces domaines de recherche pourtant si intéressants…

Dès lors, pour une analyse plus profonde des débats qui ont agité une partie de la population française ces dernières semaines, on peut se demander si l’Intelligence Humaine n’est pas plus appropriée. C’est en tous cas le pari d’initiatives comme l’Observatoire des débats ou bien La Grande Annotation qui font résonance aux sciences et à la démocratie participatives. Ces initiatives ont certainement leur limites en termes de méthodologie et de représentativité des analyses. Mais celles-ci peuvent être débattues, alors que les réserves sur l’intervention de la fouille automatique d’opinion dans le Grand Débat n’a, à ma connaissance, suscité d’interrogations raisonnées que dans des cercles assez restreints.

Un des grands intérêts du Grand Débat est qu’il va fournir (qu’il fournit déjà, de fait) une masse de données brutes accessible librement et qui nous livre une photographie assez exceptionnelle de l’état d’esprit des français (du moins ceux qui se sont exprimés, nous ne discuterons pas ici de la représentativité des contributions), mais également de leur comportement langagier. Cette ressource intéressera les politologues, les sociologues, les analystes du discours et autres. Mais également le TALN : et si ce Grand Débat, qui nous est parfois présenté comme une démonstration éclatante de la réussite de l’IA, n’était pas pour les années à venir au contraire une base de test inestimable pour étudier, cette fois proprement, et espérons-le sans biais méthodologique, les limites de notre discipline…

Le générateur de texte d’OpenIA: nième tentative d’Elon Musk de nous faire peur

La presse nous apprend par un titre accrocheur le dernier avatar de la méchante intelligence artificielle qui va nous manger tout cru.
« Des chercheurs ont-ils développé une intelligence artificielle trop dangereuse pour être mise en service ? »
La forme interrogative est-elle le signe que les journalistes ont appris des précédentes annonces de production d’intelligences artificielles laissant apparaître des prémices d’une intelligence forte ? espérons-le.
Car cette annonce de la sortie d’un système de génération de texte est surtout un coup marketing. Ainsi, OpenIA, centre de recherche financé entre autres par Elon Musk, a produit un système de génération de texte qui, si on lui soumet une certain nombre de paragraphes initiaux, est capable de compléter le texte, en utilisant la connaissance extraite des textes présents sur le web. Les essais effectués sont particulièrement efficaces en ce qui concerne les textes journalistiques. Ceci  montre surtout la capacité de la plupart des journalistes de reproduire sous diverses formes le même article sur un sujet donné, puisque le système reproduit en fait ce qu’il trouve sur la toile.
Mais en quoi cette nouvelle intelligence artificielle serait-elle trop dangereuse pour être divulguée ? Elle se conforme effectivement à cette obligation mimétique de la plupart des journalistes, qui n’est plus à prouver, mais fera de toute façon moins bien que ses inspirateurs, les humains générant des textes sur le web et en particulier sur les réseaux sociaux. Les créateurs de GTP-2, c’est le nom du système, (ils ne se sont pas trop fatigués, peut-être devraient-ils créer une intelligence artificielle qui génère des noms accrocheurs et évocateurs…) auraient peur de sa faculté à générer des fake news qui ressemblent à des vraies. Mais évidemment, les textes permettant cette performance existent déjà sur le web, le système ne crée pas de fake news, il les répète bêtement.
Ce que le système remet en cause, c’est principalement le journalisme fast-food qui se contente de digérer un certain nombre de dépêches et les articles des collègues, pour produire un article sans intérêt ; sera-ce une perte ? J’en doute.
Mais en annonçant que les créateurs, tel Frankenstein, ont peur de leur machine, OpenIA rouvre la boîte à fantasmes du mythe de la singularité (défendu par le même Elon Musk) où l’on a surtout pu voir à l’œuvre les tentations transhumanistes et les motivations bassement mercantiles de nous vendre (à toutes les acceptions du terme) des intelligences ou des « améliorations » nous permettant de nous protéger de ces méchantes intelligences.
Il est bien sûr nécessaire de réguler l’IA, mais cela ne passera pas en mettant en avant de telles annonces catastrophes. Ce qu’il faut réguler, ce sont les industriels qui pompent les données en nous imposant des services soi-disant « gratuits », et les structures privées ou publiques qui vont également utiliser ces données pour des fins obscures, et pas ces pauvres intelligences générées par de vraies intelligences, pas forcément bienveillantes.

Équité dans les algorithmes d’apprentissage automatique

Un petit article dans Internet Actu (blog du Monde), sur les questions d’équité des algorithmes (fairness en anglais)

http://internetactu.blog.lemonde.fr/2018/09/08/concretement-comment-rendre-les-algorithmes-responsables/

La question de l’équité est au centre des préoccupations éthiques en apprentissage automatique, comme le montre l’émergence depuis 2014 de la conférence FATML (Fairness, Accountability, and Transparency in Machine Learning : https://www.fatml.org/).

Le TAL semble moins se pencher sur ces questions que par exemple, la communauté de l’analyse décisionnelle. Pourtant, ce sont les mêmes techniques d’apprentissage qui sont souvent utilisées, et des exemples de biais involontaires, ou au contraire recherchés par des groupes d’opinions qui ont utilisé la dépendance aux données de ces modèles, ont ainsi déjà pu être observés en TAL.

Ecriture inclusive et point médian : et si l’on causait science ?

InclusiveL’année qui vient de s’écouler a été le témoin de débats animés autour de l’écriture inclusive, cet ensemble de recommandations qui vise à écarter de la langue (le français en l’occurrence) toute forme linguistique pouvant véhiculer des stéréotypes de genre. Cette question n’est pas nouvelle. On se rappelle ainsi les cris d’orfraie de l’Académie Française et les clivages qui sont apparus dans la société française lorsqu’Yvettte Roudy, ministre des Droits de la Femme de François Mitterrand, avait promu en 1984 la féminisation des noms de métiers. Plus de trente ans plus tard, cette incitation linguistique à la parité en milieu professionnel est pourtant largement acceptée: même si linguistes et sociolinguistiques montrent que cette parité terminologique est encore loin d’être atteinte dans la pratique, les voix s’opposant à cette féminisation sont désormais rares et le sujet ne fait plus débat sur la place publique.

Cette fois, c’est une autre question qui agite les esprits : celle du point médian, ce petit signe typographique censé être utilisé pour remplacer les emplois du masculin générique (« je remercie les millions d’électeurs qui m’ont accordé leur confiance ») par une forme composée de l’emploi masculin suivi du suffixe de sa forme féminine (« les millions d’électeur·rice·s »). Deux évènements ont assuré la promotion de cette controverse au sein du grand public : la sortie d’un ouvrage scolaire rédigé en écriture inclusive chez les éditions Hatier et, à l’opposé, la circulaire du gouvernement appelant l’administration à ne pas utiliser cette écriture neutre [1]. Très rapidement, les querelles sur genre et langue ont repris avec une vigueur renouvelée et une fois encore, les passions semblent l'emporter sur la raison critique. Ainsi en est-il d’une France qui a toujours eu du mal à penser son rapport à sa langue, comme le montre par exemple Daniel Luzzati dans son ouvrage sur l’orthographe du français [Luzzati 2010]. Ajoutez le sujet explosif de l’évolution du français à celui de la parité, vous avez là tous les ingrédients pour un débat à la française, où les symboles l’emportent sur les faits.

Sur ce blog consacré aux enjeux éthiques de la recherche en TAL, il me semble nécessaire de se focaliser uniquement sur des faits scientifiques qui peuvent éclairer le débat. La linguistique le peut-elle sur une question qui la concerne au premier chef ? Assurément, si les scientifiques parviennent à écarter tout a priori idéologique de leur analyse. Or, cela semble être rarement le cas, sans doute parce qu’il nous est difficile d’écarter toute passion sur un objet culturel qui nous définit intimement.

Langue et société : qui est l’œuf et qui est la poule ?

Wikipedia_logo_eggPrenons la question de savoir si la langue n’est que le reflet de la réalité sociale et qu’il est donc illusoire de vouloir la réformer par décret [Hagège 2017], ou si elle créée et véhicule des symboles qu’il convient de réformer pour lutter contre les stéréotypes genrés [Butler 1997]. La linguistique diachronique (i.e. qui s’intéressse à l’évolution de la langue) a été mise à contribution dans ce débat. Les réformistes favorables à l’écriture inclusive affirment ainsi que la règle d’accord selon laquelle le masculin l’emporte sur le féminin au pluriel (« Pierre et Marie sont amis ») n’est pas naturelle : il s’agirait d’une construction imposée aux XVIII° par volonté de domination masculine, alors que le latin comme le français jusqu’aux classiques tels Racine privilégiaient l’accord par proximité (« Pierre et Marie sont amies », accord au féminin car Marie est plus proche de l’adjectif). De nombreux faits tangibles sont évoqués pour appuyer cette analyse. On cite ainsi le grammairien Dominique Bouhours, qui écrit en 1675 que « lorsque les genres se rencontrent il faut que le plus noble l’emporte », le « genre masculin étant réputé plus noble que le féminin » selon son influent collègue Nicolas Beauze.

La démonstration n’est plus à faire de l’influence qu’ont eu les grammairiens [2] sur l’évolution du français. Toutefois, nous avons une connaissance trop imparfaite de l’usage réel de l’accord de proximité en français classique pour que la linguistique tranche ce débat. Dans un article récent (Télérama 3545-3546, pp. 67-69), Alain Rey affirme que l’accord de proximité fut peu utilisé en pratique, mais il ne détaille pas la nature des données sur lesquelles il forge cette observation : se base-t-il par exemple sur des actes de la vie administrative ou juridique quotidienne ? Pour défendre à l’opposé la réalité de l’accord par proximité, Eliane Viennot s’appuie quant à elle avant tout sur des œuvres littéraires telles que celles de Ronsard (Viennot 2017).

Le point médian : une introduction anodine ou un vrai facteur de risque ?

Votes_For_WomenAinsi, les réflexions linguistiques qui sont échangées sur l’écriture inclusive relèvent le plus souvent de l’argument d’autorité. Lorsque le point médian arrive dans le débat, nous ne sommes plus très loin du café du commerce (c’est à ce niveau que je range les arguments de type « esthétiques » sur cette forme écrite) ou de postures purement idéologiques. Tâchons donc d’étudier le point médian d’un point de vue purement objectif, en répondant à la question suivante : le point médian constitue-t-il un facteur de risque pour les individus ou la société ?

Suivant une approche éthique conséquentialiste, le point médian est un facteur de risque s’il est la cause d’un effet non attendu par rapport aux objectifs de son introduction [Lefeuvre-Haltermeyer et al. 2016]. Le point médian a pour objectif de participer à la réduction des stéréotypes genrés. Quelle pourrait être son influence à d’autres points de vue ? La réponse qui a été le plus souvent évoquée est celle des difficultés de lecture et d’apprentissage qu’entraîne son usage. Que peut nous dire la science, loin de tout parti pris partisan, sur ce sujet ?

Notons tout d’abord que cette question de facilité de lecture n’est pas anodine. L’ergonomie cognitive a en effet montré de longue date que des modifications de présentation mineures d’un texte écrit pouvaient avoir un effet sensible sur la qualité de lecture. Des expériences ont ainsi montré que la longueur idéale d’une ligne d’affichage dans une langue utilisant l’alphabet latin était de 60 caractères, et que, par exemple, réduire cette longueur de 33% ralentissait de 25% la vitesse de lecture [Duchnicky & Kolers 1983]. Burns et ses collègues (1986) montrent de même que les options de formatage des textes affichés sur un écran ont un impact sensible sur les performances (vitesse, erreurs) de lecture. Il en est de même de l’utilisation d’une police d’affichage avec ou sans empattement, ou du choix de la couleur d’impression [Götz 1998].

Ces exemples de facteurs influençant les performances de lectures ne concernent que des choix d’affichage assez anodins, à la différence de l’intégration d’un signe typographique tel que le point médian au sein même des mots. Il est donc raisonnable de poser que le point médian constitue un facteur de risque sur les activités de lecture. Reste à étudier sa criticité, c’est-à-dire l’importance réelle de l’impact de son usage, pour pouvoir trancher la question de son introduction dans la langue par une analyse de type coût / bénéfice.

Risque lié à l’usage du point médian : la psycholinguistique silencieuse…

A ma connaissance, seule une expérience suisse a tenté de mesurer l’impact de l’usage du point médian (ou du tiret) : elle concernait le cas très précis des noms de métiers rédigés en écriture inclusive (par exemple : instituteur·rice) au sein de textes complets [Gygax & Gesto 2007]. Cette étude montre un effet d’habituation très rapide, puisque le ralentissement de la lecture ne concerne que la première rencontre avec le nom de métier concerné. Il serait toutefois dangereux d’en généraliser trop rapidement ses conclusions :

– l’étude ne portait que sur les noms de métier, et non pas sur l’ensemble des dénominations concernant des personnes,

– les noms de personnes sont majoritairement formés avec un nombre restreint de suffixes (-é, –eur, –iste…) et ne mobilisent donc qu’un ensemble assez réduit de formes de rédaction en écriture inclusive.

– les sujets ayant participé à l’expérience étaient des adultes en possession de toutes leurs compétences langagières : les questions de l’apprentissage de la lecture, du handicap, dépassent la portée de cette étude.

Risque lié à l’usage du point médian : intuitions neurocognitives

HearReadBrainPuisqu’aucune étude expérimentale n’a à ce jour quantifié globalement l’impact du point médian sur les activités de lecture, je propose de nous tourner vers les acquis des neurosciences cognitives. Les études sur les pathologies liées à la galaxie des troubles DYS (dyslexie, dysorthographie, etc.) nous éclairent sur les chemins cognitifs de la lecture [Crunelle 2008]. Deux voies cognitives de lectures parallèles (redondantes ou alternatives) sont mobilisées lors de l’activité de lecture :

– d’une part, une voie dite d’assemblage (ou phonologique), qui repose sur une segmentation graphémique suivie d’une conversion graphème-phonème : on passe de la lecture des caractères et de leur association à la reconnaissance des sons de base de la langue : les phonèmes puis les syllabes,

– d’autre part, une voie dite d’adressage (ou lexicale) qui consiste en un accès direct global aux mots écrits par accès à un lexique conservé en mémoire à long terme.

La voie lexicale est privilégiée pour la lecture des mots courants (mémorisés et facilement activables) ou à la prononciation irrégulière (comme pour people en anglais), puisque dans ce cas la conversion graphème-phonème est inopérante. La voie phonologique est-elle privilégiée lors de la découverte de nouveaux mots, puisqu’on tente alors de s’appuyer sur les règles de conversion graphème-phonème régulières de la langue. C’est donc la voie privilégiée de l’apprentissage de tous les mots à prononciation ordinaire.

Considérons la forme neutre du pronom pluriel ceux/celles telle que recommandée dans une écriture inclusive : ceux·lles. On voit immédiatement que le point médian casse complétement les possibilités de conversion graphème-phonème, puisque le suffixe ·lles qui est incomplet, n’est pas prononçable. Il en va de même d’une écriture moins compacte et pourtant guère plus prononçable ceux·elles. Bien entendu, par une gymnastique cérébrale peu naturelle, on doit pouvoir arriver à recomposer la bonne lecture du mot. A priori, la charge cognitive supplémentaire engendrée par cette opération ralentira la lecture. Ce calcul cognitif additionnel reste toutefois totalement inaccessible aux personnes atteintes d’une dyslexie phonologique. On peut imaginer également l’impact négatif de l’usage du point médian sur des jeunes en plein apprentissage de la lecture, puisque l’apprentissage privilégie cette voie cognitive en se basant sur des règles aussi régulières que possibles.

La seule alternative cognitive pour lire aisément la forme ceux·lles est d’en passer par la voie lexicale. Pour cela, il faut toutefois que la forme ceux·lles ait été intégrée dans le lexique phonologique. Donc que la personne ait déjà appris sa prononciation après forces lectures répétitives. Mis à part les mots grammaticaux très fréquents, cette solution n’est accessible qu’aux lecteurs et lectrices assidues. Du point de vue de l’apprentissage de la lecture, on risque donc de renforcer, par l’usage du point médian, les différenciations sociales entre personnes qui bénéficient d’un environnement favorisant la lecture et les autres. Les personnes qui souffrent de dyslexie de surface (atteinte de la voie d’adressage) ne peuvent par ailleurs se reposer sur cette solution.

Ces observations neuropsychologiques ne sont que des indications du risque lié à l’utilisation du point médian. Il conviendrait de mener des études expérimentales pour estimer précisément la criticité de cet impact négatif. Ces études semblent toutefois supporter l’idée qu’en cherchant à réduire les discriminations liées au genre dans la langue, on peut renforcer les discriminations d’accès à la lecture liées à des critères sociaux ou au handicap.

L’expérience de [Gygax & Gesto 2007] nous montre que, dans certains conditions favorables, l’écriture inclusive avec point médian ne gêne pas la lecture. Son usage dans certains écrits politiques, scientifiques ou professionnels, et sur certaines formes très régulières (é·e·s) pourrait être tolérée afin de rappeler à coût réduit l’importance de la question des stéréotypes genrés. Mais sa généralisation par décret me semble avoir un impact négatif trop important sur certaines populations fragiles pour être envisagée sans la mise en place d’études expérimentales préalables.

Ecriture inclusive : et si l’on quittait un débat franco-français ?

255px-Flag_of_Quebec.svgAlors, quelles solutions face aux discriminations de genre, mais aussi de classe sociale ou de handicap ? De mon point de vue, le problème est mal posé et le point médian n’est simplement pas le bon outil pour atteindre les objectifs énoncés par les réformistes favorables à l’écriture inclusive. Plutôt que de débattre stérilement comme jusqu’à présent, la France serait bien avisée de regarder du côté d’autres démarches amorcées depuis des décennies dans certains pays. L’article de Télérama déjà évoqué cite ainsi, en reprenant les propos du linguiste Wim Remysen (Université de Sherbrooke) l’exemple du Québec, qui a adopté sans remous des recommandations d’écriture à la fois moins genrées et fluides à la lecture. Plusieurs principes guident ces recommandations :

  • Favoriser l’utilisation de termes épicènes, c’est-à-dire qui peut être employé au masculin comme au féminin sans changer de forme, comme élève ou réformiste,
  • Ne pas utiliser le masculin générique,
  • Eviter la surabondance des formes masculines et féminines juxtaposées (les citoyens et les citoyennes),
  • Enfin, employer des termes neutres qui peuvent regrouper les deux genres (la communauté scientifique plutôt que les chercheurs et les chercheuses)

Ces recommandations vous paraissent trop lourdes et plus difficiles d’emploi que le point médian ? Relisez ce billet : il a été écrit en tentant de les respecter. Y avez-vous rencontré une difficulté de lecture, des lourdeurs terminologiques ou des stéréotypes genrés ? Non ? Dès lors, pourquoi recourir au point médian ? N’est-il pas le reflet d’une certaine paresse linguistique, là où outre-Atlantique, on joue avec sagacité avec le français pour le faire évoluer vers le reflet d’une société plus paritaire ?

[1] JO du 22 novembre 2017. Cette circulaire va au rebours des recommandations du Haut Conseil pour l’Egalité entre les Hommes et les Femmes

[2] Connaissez-vous des grammairiennes influentes ? Moi non, activité réservée à la gente masculine ?

References

Burns et al.  (1986) Formatting space-related displays to optimize expert and non-expert performance, SIGCHI’86 Human Factors in Computer Systems, ACM, N-York, 275-280

Butler J. (1997) Excitable speech: a politics of the performative. New York: Routledge.

Crunelle D. (2008) Les dys … dyslexies et autres troubles. Recherches n° 49, Troubles du langage et apprentissages, 2008-2

Duchnicky, J. L., & Kolers, P. A. (1983). Readability of text scrolled on visual display terminals as a function of window size. Human Factors, 25, 683-692

Götz V. (1998) Color and type for the screen. Grey Press & Rotovision, Berlin, RFA

Gygax P., Gesto N. (2007) Féminisation et lourdeur de texte. L’année psychologique, 107, pp. 239-255.

Hagège C. (2017) Ce n’est pas la langue qui est sexiste, mais les comportements sociaux. Le Monde, 26 décembre 2017.

Lefeuvre-Halftermeyer A., Govaere V., Antoine J.-Y., Allegre W. , Pouplin S., Departe J.-P., Slimani S., Spagnulo S. (2016) Typologie des risques pour une analyse éthique de l’impact des technologies du TAL. Traitement Automatique des Langues, TAL, vol. 57 n° 2. pp. 47-71

Mayhew D.J. (1992) Principles and guidelines in software user interface design. Prentice-Hall

Luzzati D. (2010) Le français et son orthographe. Didier, Paris. ISBN 978-2-278-05846-4.

Marshall, J. C.; Newcombe, F. (1973) Patterns of paralexia: a psycholinguistic approach. Journal of Psycholinguistic Research. 2 (3): 175–99.

Viennot E. (2017) Non, le masculin ne l'emporte pas sur le féminin ! Petite histoire des résistances de la langue franaise (2nde édition augmentée). Editions. iXe

 

Transparence des algorithmes, ça bouge encore

Cela faisait longtemps que nous n’avions pas eu de nouvelles de la transparence des algorithmes ! Il faut dire que l’actualité a largement privilégié l’IA avec la mission portée par Cédric Villani sur la stratégie nationale sur l’intelligence artificielle dont les médias sont fous.

L’IA a donné lieu a un numéro spécial de Libération et France Inter, un numéro spécial de Le Monde, de nombreuses émissions radio, télés, des articles sur la reconnaissance du cancer (sic), le remplacement des juges (sic), la lutte contre la pédophilie (sic) ou les voitures autonomes (quand même). Bref, l’IA est partout, parle de tout (donc du TAL aussi) et surtout dans tous les sens. Il y a encore quelques mois, il était possible de discuter les points de vue relayés dans les médias. La tâche est désormais impossible. Il faut donc tenter de comprendre les opinions de figures médiatiques. On pense évidemment à Yann Le Cun, dont on peut trouver une excellente interview sur France Culture.

Bref, la fin d’année était dense, ce n’est rien à côté du début de la nouvelle. Pour ceux·lles qui cherchent des éléments plus scientifiques, ils·elles pourront se consoler en lisant le rapport de la CERNA sur l’éthique en apprentissage automatique.

Nous sommes nombreux aujourd’hui à avoir entendu plusieurs spécialistes nous expliquer ce qu’est l’intelligence, la différence entre artificiel et naturel ou ce que sont les algorithmes, à l’origine de tous ces débats. Mais les choses n’ont pas beaucoup avancé concernant la compréhension de ce que font ces dits algorithmes.

Inria s’était lancé dans la mise en place d’une plateforme pour évaluer la transparence des algorithmes. Mais si l’annonce a presque un an, peu de nouvelles depuis. Sauf juste avant la trêve de fin d’année où nous avons reçu l’annonce de la mise en place de 5 groupes de travail (GT). L’occasion de vous donner les intitulés pour mieux cerner ce qu’est la transparence des algorithmes du point de vue des informaticiens :

GT1 : algorithmes de classement, de recommandation (neutralité, loyauté, non-discrimination)

GT2 : Explication des algorithmes d’apprentissage

GT3 : Confidentialité et Contrôle d’usage des données

GT4 : Neutralité/loyauté et métrologie des réseaux de communication

GT5 : Influence, Désinformation, Impersonification, Fact-checking

À lire ces intitulés, on se demande s’il s’agit de travailler sur la transparence des algorithmes ou sur l’éthique de l’informatique. On voit bien l’importance des débats qui vont se tenir, par exemple dans le GT5 qui fait facilement écho à la proposition par Macron lors de ses vœux à la presse pour légiférer sur la responsabilité des plates-formes dans la diffusion de fausses informations (fact-checking). L’idée que des algorithmes puissent être le support de la loi ouvre de nombreuses questions, ne serait-ce que pour décider le vrai du faux (sujet qui alimente largement la philosophie depuis Aristote).

Il semble bien important qu’un comité national d’éthique se mettent en place, comme le demande la CERNA, tant qu’il ne devient pas un comité Théodule mais fait la place aux discussions entre toutes les parties. Ce qui reste sûr, c’est que le sujet ne devrait pas disparaître, sentiment renforcé par les rumeurs de la très prochaine nomination d’Antoine Petit, PDG d’Inria, à la tête du CNRS.

2018 devrait donc être une année transparente. Espérons qu’elle prenne de l’épaisseur.

Pour la valorisation de la diversité de notre communauté scientifique

Nous avons fait l’année dernière un état des lieux de la représentation des femmes dans les instances de la communauté TAL. Sans surprise, nous avions conclu à un déséquilibre: les femmes sont sous représentées, notamment dans des rôles à forte visibilité comme les conférences invitées ou les présidences diverses. Et s’il s’agissait au moins en partie d’une question de confiance?

Le décalage dans la confiance en soi des hommes et des femmes a des conséquences sur l’avancement de carrière des femmes [1]. Des études scientifiques montrent la différence de perception entre la compétence des femmes et des hommes par les individus concernés et par leurs pairs: à compétence égale, les femmes sont perçues comme moins compétentes que les hommes. Cet état d’esprit est une source d’auto-censure pour se présenter – et pour obtenir – une reconnaissance professionnelle sous forme de prix, de prime, d’avancement de carrière. Des données anecdotiques récentes abondent également dans ce sens: pour un prix national d’économie sélectionnant un lauréat.e parmi des candidat.e.s auto-proclamé.e.s, seuls 8 dossiers de candidature sur 42 (soit 19%)  ont été soumis par des femmes [2].

La bonne nouvelle, c’est qu’il ne tient qu’à nous de faire évoluer cette situation et d’être pro-actifs pour améliorer la diversité et l’égalité au sein de notre communauté.

L’association ELRA (European Language Resources Association) sollicite actuellement des nominations pour le prix Antonio Zampolli, qui récompense des travaux sur les ressources langagières et l’évaluation des technologies de la langue. La liste des lauréat.e.s comporte 9 collègues… dont 8 hommes  et 1 femme (en co-nomination). On peut également noter que 7 des lauréat.e.s sont rattachés à une institution américaine et 2 rattachés à une institution britannique.

La diversité des candidats examinés à chaque session en termes de géographie ou de genre n’est pas indiquée sur le site. Cependant, nous avons cette année l’opportunité  de faire en sorte que le comité puisse examiner des contributions reflétant la diversité de notre communauté.  Je vous invite donc à nominer et à faire nominer des collègues méritant.e.s. N’hésitez pas à laisser vos suggestions en commentaires si cela peut donner des idées à d’autres pour appuyer une nomination. La date limite de réception des candidatures par ELRA est le 1er février 2018.

Références:
[1] Kay K, Shipman C. The confidence Gap. The Atlantic. May 2014.
[2] La conférence des économistes. Le prix du meilleur jeune économiste 2017. Le Monde. 22 Mai 2017.

Quelle éthique pour le crowdsourcing ?

Début septembre, j’ai été amené à donner une conférence invitée dans le cadre de l’action COST enetCollect, à Bolzano. Cette action se focalise sur l’appel au crowdsourcing (ou myriadisation) pour constituer des ressources linguistiques utiles au développement de solutions d’apprentissage des langues. Solutions qui seront également développées dans le cadre du projet. Un des working group, piloté par Karën Fort (U. Paris 4) et Katerina Zdravkova (Ss. Cyril & Methodius U. , Skopje), concerne la définition de spécifications éthiques et légales pour la conduite du processus de crowdsourcing.

C’est dans ce cadre que j’ai été invité à présenter les approches éthiques qui pourraient s’appliquer au crowdsourcing. J’ai choisi de mettre en avant les travaux de la littérature relevant d’une éthique :

(1) déontologique pour l’analyse du processus de crowdsourcing par lui-même,

(2) conséquentialiste pour l’analyse de l’impact des solutions d’apprentissage qui seront développées au cours de l’action.

Cette présentation relevant pour la partie déontologique d’une nouvelle réflexion de ma part, elle ne s’appuyait sur aucune publication personnelle. Dès lors, pourquoi ne pas la partager avec les lecteurs de ce blog ? Je ne sais si mes slides seront compréhensibles sans explications, mais je crois que la bibliographie que j’ai étudiée peut vous intéresser…

Présentation BOLZANO

 

TAL et domaine juridique : l’arrivée du Big Data

Jusqu’à une date assez récente, les applications du TAL ou du TAP (Traitement Automatique de la Parole) dans le domaine juridique ont surtout concerné les questions d’identification des personnes par leur voix ou leurs écrits. Avec l’arrivée de masses de données juridiques numériques, le Big Data investit désormais des questions comme la rédaction automatique d’acte notariés, la justice prédictive etc…

Le journal du CNRS vient précisément de publier un petit article qui fait le tour de la question : « La justice à l’heure des algorithmes et du big data« . Analyse assez équilibrée des bénéfices et risques de ces technologies langagières. Et une vision très claire des limites technologiques de ces dernières en termes de performances.

 

Relecture par les pairs : un état de l’art

Nous en discutons entre nous depuis presque un an, le sujet va et vient, la motivation pour écrire aussi… nous avons tant de choses à dire,
à contredire !

Je me lance, donc, en espérant de l’aide — Aurélie Névéol a répondu présente, ceci est donc un article à quatre mains — : quels sont les mécanismes possibles de relecture par les pairs ? ceux qui sont appliqués autour de nous ?  les options (auxquelles nous ne pensons même pas) ? leurs avantages ? leurs inconvénients ? y a-t-il des études menées sur le sujet ?
Bref, des données ! (#datalove)

Méthodes de relecture par les pairs

Il existe quatre principaux types de fonctionnement des relectures par les pairs, prenant en compte l’anonymat ou non des auteurs.trices et/ou des relecteurs.trices. On a ainsi :

  1. le double ouvert  : les auteurs.trices ne sont pas anonymes pour les relecteurs.trices et les relecteurs.trices signent leur relecture (les auteurs.trices savent qui les a relus). C’est le cas de certaines revues du groupe BMC, comme BMC Medical Informatics and Decision Making (qui comptait le 15/03/2017 186 articles publiés sur une thématique de TAL biomédical). Les revues signées ainsi que les réponses des auteurs.trices aux commentaires des relecteurs.trices sont disponibles publiquement dans la rubrique « pre-publication history » associée à chaque article publié.
  2. son pendant, le double aveugle : les auteurs.trices sont anonymisés lors de la soumission de l’article (les relecteurs.trices ne savent a priori pas qui ils/elles sont) et les relecteurs.trices ne signent pas leur relecture. C’est le cas pour TALN depuis quelques années, d’ACL, de COLING et de beaucoup d’autres conférences (il s’agit plus ou moins de la norme).
  3. le simple aveugle : les auteurs.trices ne sont pas anonymes, mais les relecteurs.trices oui. C’était le cas à TALN avant (quand ?) et c’est toujours le cas à LREC, et dans certaines revues comme BMC Bioinformatics (qui comptait le 16/03/2017 905 articles publiés sur une thématique de TAL biomédical).
  4. le cas, très rare et qui n’a pas de nom (si ?), où les auteurs.trices sont anonymes mais pas les relecteurs.trices. La revue DISCOURS, qui permet aux relecteurs.trices de signer leur relecture, permet ce cas de figure, puisque les auteurs.trices sont anonymes.

Enjeux de la méthode de relecture

Avant de rentrer dans le détail des avantages et inconvénients de chacune, il est important de noter qu’au-delà du choix principal, de nombreuses options existent, qui modifient plus ou moins la donne et qui sont tout aussi importantes.
C’est en particulier le cas des interactions entre relecteurs.trices, voire avec les auteurs.trices. Ainsi, dans la plupart des conférences, les relecteurs.trices peuvent voir leurs relectures respectives (une fois la leur entrée), voire leur nom (c’était le cas à TALN il y a quelques années, ce n’est plus possible aujourd’hui), voire, comme pour ACL, disposent de temps pour communiquer entre eux/elles et éventuellement modifier leur relecture et leur évaluation de l’article.

Par ailleurs, ACL propose une période (courte) de rebutal, pendant laquelle les auteurs.trices peuvent répondre aux remarques des relecteurs.trices, qui pourront être amenés à corriger leur évaluation. Cet échange entre auteurs.trices et relecteurs.trices est courant dans les revues, moins dans les conférences. Vue l’importance prise par les conférences dans le domaine du traitement automatique des langues, il semble logique que leur fonctionnement se rapproche de celui d’une revue.

Il faut ajouter à ces éléments le fait de savoir ou non qui est responsable de la track/area : si le processus est totalement décrit pour ACL (en particulier cette année, principalement via le blog des responsables), il ne l’est pas pour TALN. Les revues adoptent également des fonctionnements différents. Dans certains cas, l’éditeur.trice scientifique associé.e à un article ou un numéro sera clairement identifié.e auprès des auteurs.trices pendant la phase de relecture (c’est le cas pour les revues TAL ou BMC Bioinformatics, mais pas pour JAMIA) et cette information sera publiquement visible une fois l’article publié (c’est le cas pour la revue TAL, mais pas pour BMC Bioinformatics).

Pourquoi est-ce que tous ces points sont importants ? Tout simplement pour (tenter de) limiter les biais, les conflits d’intérêts et les relectures de mauvaise qualité. Un processus ouvert permet à plus d’yeux de vérifier si les auteurs.trices ne sont pas en conflit d’intérêt avec les relecteurs.trices (encore faut-il définir ce qu’est un conflit d’intérêt, là encore, ACL fournit des bases de réflexion). Il permet également de dénoncer les mauvaises relectures : un.e responsable de track/area est censé.e lire toutes les relectures, mais il est courant qu’il/elle passe à côté de certains problèmes, par ailleurs, des critiques émises par les co-relecteurs ET par le/la responsable ont un poids d’autant plus important.

Inciter les relecteurs.trices à écrire de bonnes relectures (constructives et respectueuses) peut également passer par des actions positives, comme le prix du/de la meilleur.e relecteur.trice (attribué à LTC ou à l’AMIA), ou la mise en valeur de leur travail par le biais d’un post de blog.

Avantages et inconvénients des méthodes de relecture par les pairs

Le principe de la relecture par les pairs est de permettre une évaluation scientifique des articles publiés, qui soit également indépendante des auteurs.trices.  Les différentes méthodes de relectures proposées ont donc pour but de maximiser les paramètres suivants :

garantie d’indépendance des relectures : l’anonymat des relecteurs.trices a été introduit pour s’assurer qu’ils puissent s’exprimer librement et indépendamment de leur rapport futur avec les auteurs.trices. De même, l’anonymat des auteurs.trices a été introduit afin de les protéger de tout biais (notamment genré) ou préjugé associé à leur identité (par exemple l’institution d’origine) et de focaliser la relecture sur le travail réalisé.

garantie de qualité des relectures : le principe de relecture ouverte est de s’assurer que les relecteurs.trices endossent bien la responsabilité de leur relectures. Il s’accompagne d’une hausse globale de la qualité des relectures [1] mais également d’une baisse de la sincérité des relecteurs.trices par crainte d’éventuelles futures représailles [2].

et, accessoirement :

facilité de gestion des relectures par l’éditeur de la revue : besoin éventuel de « caviarder » des relectures anonymes injurieuses [3], facilité de recrutement des relecteurs.trices (15 % de refus en plus pour le système ouvert d’après une comparaison des chiffres de deux revues d’informatique biomédicale ayant adopté un système différent : BMC Bioinformatics et BMC Biomedical Informatics and Decision Making [Daniel Shanahan communication personnelle]), facilité de mise en œuvre dans le cadre d’un comité éditorial [l’expérience de la revue TAL montre que le double aveugle induit des difficultés logistiques pour procéder à l’affectation des relecteurs.trices en préservant l’anonymat tout en gérant les conflits d’intérêt].

La gestion des revues par des systèmes informatisés permet de collecter un grand nombre d’informations sur les différentes étapes du processus, qui peuvent maintenant être exploitées pour prendre du recul et étudier l’influence des différents paramètres en jeu. Une étude réalisée avec les données issues de 14 conférences en informatique montre par exemple l’importance du dialogue entre relecteurs.trices et du facteur « chance » par rapport à d’autres leviers comme la réponse des auteurs.trices pour permettre la sélection d’articles de qualité [4].

ConclusionS

La transparence des processus génère (beaucoup) plus de travail, donc de temps, pour les organisateurs (y compris area/track chairs) et pour les relecteurs.trices (qui doivent être plus attentifs lors de l’écriture de leur relecture). Mais n’est-ce pas le prix à payer pour la qualité ?

J'(Karën Fort)étais personnellement pour le double ouvert, avant que je lise des papiers qui montrent les biais genrés [5], envers les institutions prestigieuses [6] et les auteurs.trices connus [7], bien que ces effets ne soient pas toujours constatés [8]. Je favoriserais maintenant davantage un système hybride de double aveugle dans un premier temps (avant relecture), puis d’ouverture : les relecteurs.trices voient leurs relectures (et leurs noms), les discutent entre eux, et les auteurs.trices voient les relectures, y répondent, et lorsque tout est terminé, tout le monde voit les noms de tout le monde.

En ce qui concerne l’anonymat ou non des relecteurs.trices (qui ne représente que la partie émergée de l’iceberg, vous l’aurez compris), une possibilité intermédiaire serait de donner le choix aux relecteurs.trices de signer ou non leur relecture (comme dans le cas de la revue DISCOURS). Cela aurait l’avantage de ne forcer personne et de permettre aux relecteurs.trices de s’habituer et de se tester dans cet « exercice ». Mon expérience personnelle est qu’il est beaucoup plus facile de signer une relecture positive ou dans sa langue maternelle qu’une négative ou en anglais (du fait de la finesse de vocabulaire nécessaire).

Je (Aurélie) pense qu’il faut certainement plus d’études comme [4] pour bien réfléchir aux avantages et inconvénients des différents systèmes, et ne pas sous-estimer la part de l’aléatoire qui ne peut être éliminée du processus d’évaluation.

Et vous, vous en pensez quoi (si vous avez des références, nous sommes preneuses) ?

Karën Fort et Aurélie Névéol

Références

[1] Kowalczuk, M. K., Dudbridge, F., Nanda, S., Harriman, S. L., & Moylan, E. C. (2013). A comparison of the quality of reviewer reports from author-suggested reviewers and editor-suggested reviewers in journals operating on open or closed peer review models. F1000 Posters, 4, 1252.

[2] Khan K. Is open peer review the fairest system? No. BMJ. 2010;341:c6425. doi: 10.1136/bmj.c6425.
[3] Groves T. Is open peer review the fairest system? Yes. BMJ. 2010;341:c6424. doi: 10.1136/bmj.c6424.
[4] Zhu J, Fung G, Wong WH, Li Z, Xu C. Evaluating the Pros and Cons of Different Peer Review Policies via Simulation. Sci Eng Ethics. 2016 Aug;22(4):1073-94.
[5] Kaatz A, Gutierrez B, Carnes M. Threats to objectivity in peer review: the case of gender. Trends in pharmacological sciences. 2014;35(8):371-373.
[6] Tomkins A, Zhang M, Heavlin W. Single vs. Double Blind Reviewing at WSDM,  https://arxiv.org/pdf/1702.00502.pdf
[7] Okike K, Hug KT, Kocher MS, Leopold SS. Single-blind vs Double-blind Peer Review in the Setting of Author Prestige. JAMA. 2016 Sep 27;316(12):1315-6.
[8] van Rooyen S, Godlee F, Evans S, Smith R, Black N. Effect of blinding and unmasking on the quality of peer review: a randomized trial. JAMA. 1998 Jul
15;280(3):234-7.

Note de lecture : « le temps des algorithmes »

La revue sur la culture scientifique en ligne Interstices a publié une note de lecture sur Le Temps des algorithmes (editions du Pommier), ouvrage que viennent de publier Abiteboul et Dowek sur les questions et débats éthiques que soulève le développement de notre société numérique :

https://interstices.info/jcms/p_92826/regard-sur-le-temps-des-algorithmes

Note de lecture intéressante qui vous incitera peut-être à aborder l’ouvrage lui-même…