Apprentissage et Intelligence Artificielle: les vraies questions éthiques

La CERNA (Commission de Réflexion sur l’Ethique de la Recherche en sciences et technologies du numériques) de l’alliance Allistene, organise le 13 juin 2016 (INRIA Paris) une journée sur le thème « apprentissage et intelligence artificielle ». Un sujet qui concerne directement le TAL, du fait de l’omniprésence du machine learning dans les recherches du domaine.

Pour en savoir plus : plaquette de présentation [PDF]

Les inscriptions sont ouvertes…

Ecole jeunes chercheurs sur l’éthique du numérique

La CERNA (Commission de réflexion sur l’Ethique de la Recherche en sciences et technologies du Numérique de l’alliance Allistene) se penche sur la question de la formation à l’éthique des chercheurs dès leur entrée en doctorat.

Elle organise une école jeunes chercheurs sur l’éthique du numérique à Arcachon, entre le 26 et le 30 septembre 2016. Inscriptions avant le 15 avril.

Pour en savoir plus: http://cerna-ethics-allistene.org/

Le TAL, ça marche pas

C’est un truisme d’écrire que les systèmes de TAL ne sont pas fiables à 100%, qu’ils répondent rarement à tous les fantasmes qu’on leur fait porter. Parce qu’au bout du compte, il ne s’agit que de faire répéter à un tas de ferraille et de silicium les choses qu’on lui a tant bien que mal apprises et pourtant… pourtant c’est un message souvent bien compliqué à faire entendre.

Je prends un exemple personnel : la société dans laquelle je travaille commercialise (entre autres) des analyseurs de Curriculum Vitae. Il s’agit de programmes auxquels on soumet des CVs dans des formats divers (office, pdf, voire image) et qui en produisent une belle représentation structurée avec toutes les informations : nom, prénom, adresse, liste des postes occupés avec fonction, employeur, période de temps, etc. tout ça dans un joli XML bien propret. Ca sert pour automatiser les systèmes de recrutement, en ligne ou non, et et ça vous évite d’avoir à remplir des formulaires kilométriques lorsque vous postulez à un poste sur Internet.

Pourtant, parfois, malgré tout le mal que se sont donné nos linguistes et nos développeurs, les informations ne sont pas correctement restituées. Et là, le dialogue avec le client devient très complexe (il y a un client parce que oui, au bout du compte, on essaye de les vendre, ces analyseurs). Et j’ai fréquemment des réactions du type : « ben pourquoi il ressort pas le nom ? On le voit bien, là, c’est écrit en gras ! Il marche pas, votre système ». Le dialogue qui s’ensuit est souvent difficile. Je commence par expliquer que le gars du CV s’appelant Marin Martin, il a un prénom qui pourrait être un nom de fonction et un patronyme qui pourrait être un prénom, alors c’est compliqué pour une machine, que le gras est souvent signe de… n’importe quoi dans un CV, à tel point que les infolinguistes ont décidé, comme première étape du traitement de supprimer toutes les marques de mise en page, vu qu’on ne peut rien en déduire de fiable. Enfin que la mise en page de ce CV (en PDF, qui plus est !) est on ne peut plus pénible à décortiquer. Et là, j’aboutis à la réaction : « ah bon ? Vous transformez en texte et vous comparez à des listes ? Ben moi aussi je pourrais le faire ! ». La magie est cassée.

Pourtant non, je ne fais pas de la magie noire, je vends un programme informatique qui a été programmé par des humains, un programme qui rend des services et qui a ses faiblesses, comme tout autre système automatique. Et, oui, vous pourriez le faire, moyennant un peu de formation (quand même). C’est de la programmation, c’est tout.

Maintenant imaginons un cas de figure légèrement différent où le nom serait reconnu correctement mais tronqué. Je pourrais expliquer que c’est normal vu que le champ est limité à 15 caractères et j’aurais très probablement en retour la réaction « Ah ben oui, c’est normal, il y a une limite ». Les limites de l’outil informatique sont intégrées, il faut faire avec. Mais dès que l’on aborde un comportement anthropomorphe, comme le fait un système de TAL, les attentes deviennent démesurées. Et les désillusions de même. A mon sens pour une raison simple, c’est que chacun est expert de la tâche (ici la langue), puisqu’il la pratique en continu. Donc il peut sans effort projeter un humain à la place de la machine. Il voit bien qu’il pourrait tancer vertement un stagiaire qui remplirait des fiches au stylo-bille pour n’avoir pas trouvé le nom sur le CV (pourtant, il est écrit en gras) alors qu’il lui pardonnerait sans problème de ne pouvoir écrire ce nom en entier sur cette fiche bristol qui ne comporte que 15 cases pour ce faire.

Plus le système vise à remplacer un humain, moins il a droit à l’erreur, alors que la tâche n’en devient nécessairement que plus complexe. Et les gains en temps, en productivité que fournit l’outil sont vite masqués par cette « qualité perçue » qui n’est pas au rendez-vous. Même si 99% des CVs sont bien traités, celui-là ne l’est pas. Dès lors, c’est le seul qui compte, c’est la marque d’infamie qui révèle au grand jour ma tentative de vendre un produit qui ne marche pas alors que, quand même, c’est écrit en gras.

C’est dire la grande misère des vendeurs de produit de TAL. Mais au bout du compte, et même si ça ne facilite pas l’acte de vente, je ne suis pas mécontent qu’on se pose ces questions. Pourquoi le système ne marche pas dans ce cas-là ? Qu’est-ce qu’on pourrait faire pour qu’il marche mieux ? Ce sont des questions saines. Simplement, par souci d’équité, j’aimerais aussi qu’on se pose un peu plus souvent la question de savoir pourquoi « c’est la faute à l’informatique », pourquoi on ne peut pas avoir un patronyme de 16 caractères, qui a décidé ça, de quel droit et pour quelle raison on devrait s’y soumettre.

Si on considère la critique des systèmes de TAL comme l’embryon salutaire d’un regard critique envers la technologie en général, elle me fera moins mal, à moi, modeste artisan du TAL.

Alors qu’on se le dise, le TAL, ça ne marche pas. Mais ni plus, ni moins que n’importe quel système informatique. Les systèmes de TAL ont des limites qu’il faut connaître pour pouvoir décider en pleine conscience de les accepter ou de les refuser. Comme les autres.

The Hitchhiker’s Guide to Ethics in NLP


L’article ci-dessous a été refusé à la conférence The Ethics of Data Science: The Landscape for the Alan Turing Institute organisé par The Alan Turing Institute, nous avons toutefois souhaité le partager avec vous. Bonne lecture !


The Hitchhiker’s Guide to Ethics:

the Journey towards Raising Awareness in Natural Language Processing

Alain Couillault, Karën Fort, Gilles Adda, Maxime Amblard, Jean-Yves Antoine, Hugues de Mazancourt

Ethics, NLP and Everything

Natural Language Processing (NLP), like any other science, is confronted to ethical issues, both regarding the way science is conducted (plagiarism, reproducibility, transparency) and regarding the effects of its results on society. Some issues are specific to the very nature of NLP: the building, transformation or annotation of the (sometimes huge) language resources (corpora or dictionaries) NLP (sometimes heavily) relies on implies to set up and drive large scale projects which involve human resources. NLP techniques are also often used to analyze documents which, by their nature or their content, require thoughtful considerations regarding ethics. Just think of Email corpora (De Mazancourt et al., 2014), medical corpora (Grouin et al., 2015), schizophrenics’ speech corpora (Amblard et al., 2015) or suicide letters (Bretonnel Cohen et al., 2015). NLP is also called for when it comes to providing tools for ethics, for anonymizing documents or discovering plagiarism. This article describes the various actions we conducted to raise awareness for ethics within the NLP community.

Thanks for all the Answers

It all started with a position paper (Fort et al., 2011) on the growing use of the Amazon Mechanical Turk platform, stating that such platforms are not ethical with regards to the way Turkers (i.e. task workers) are paid, underpaid, or even not paid. We then broadened our standpoint and enlarged our group by involving private and public bodies in the writing of an Ethics and Big Data Charter  (Couillault et al., 2014), which aim was to document as much as possible the building of language resources. The Ethics and Big Data Charter is a form split into three sections respectively dedicated to traceability, legal and licensing issues, and specific requirements (i.e. related to the very nature of the resource content). While the Charter has seldom been used for what it had been designed for (i.e. document language resources), we found out that talking and publishing about it and, hence, about ethics, rose interest, if not awareness, among researchers. It was then decided to push further and organize dedicated workshops in France, in November 2014  and June 2015. These workshops gave the opportunity to cover a large scope of the ethical issues pertaining to NLP, and were attended by a rather large audience. During one of the workshops, the idea arose to create a blog  to share ethics-related standpoints and to address a larger audience. A poll was also conducted, partly to collect information on the NLP researchers’ viewpoint to NLP and, we must admit, rhetorically to raise awareness. More than 100 people answered the poll (which, with regards to the French speaking NLP community is a reasonably large number) and, among them, more than thirty people volunteered to get involved in ethics-related actions. We will present the main lessons drawn from this consultation, concerning various issues such as researchers ethical responsibility, data privacy and perpetuity, data producers payment etc.

And another Thing…

We have witnessed a motivating growing interest in the NLP community for ethics, and we are eager to take more actions to further raise awareness and create momentum.
The poll on Ethics and NLP has been translated into English and addressed to a large, international audience. It is under way and, as of September 2015, more than 260 people have participated. We plan to publish the results at an international conference and journal to enlarge even further the number of people interested. We have also worked on a second version of the Ethics and Big Data Charter to extend to other domains requiring data sets (such as medicine or European projects). The next TALN conference (organized by ATALA, the French association for NLP), will include a thread on ethics, and a special issue of the international TAL journal will be dedicated to ethics and NLP. Hopefully, all these efforts will help designing standards and solutions for ethics in NLP.

This paper, including section headers and footnotes, was 42 lines long in the original paper.

References

Amblard, M., Fort, K., Demily, C., Franck, N., and Musiol, M. (2015). Analyse lexicale outillée de la parole transcrite de patients schizophrènes. Traitement Automatique des Langues, 55(3):25, August.

Bretonnel Cohen, K., Pestian, J. P., and Fort, K. (2015). Annotating suicide notes : ethical issues at a glance. In ETeRNAL (Ethique et Traitement Automatique des Langues), Caen, France, June.

Couillault, A., Fort, K., Adda, G., and De Mazancourt, H. (2014). Evaluating Corpora Documentation with regards to the Ethics and Big Data Charter. In International Conference on Language Resources and Evaluation (LREC), Reykjavik, Iceland, May.

De Mazancourt, H., Couillault, A., and Recourcé, G. (2014). L’anonymisation, pierre d’achoppement pour le traitement automatique des courriels. In Journée d’Etude ATALA Ethique et TAL, Paris, France, November.

Fort, K., Adda, G., and Cohen, K. B. (2011). Amazon Mechanical Turk: Gold mine or coal mine? Computational Linguistics (editorial), 37(2):413–420.

Grouin, C., Griffon, N., and Névéol, A. (2015). Étude des risques de réidentification des patients a partir d’un corpus désidentifié de comptes-rendus cliniques en francais. In Proc. of the TALN workshop ETeRNAL, pages 12–24, Caen, France, June.

Et si on commençait par appliquer la loi ?

Le sondage réalisé à l’occasion de la journée ETERNAL (Ethique et Traitement Automatique des Langues) fait apparaître, parmi les commentaires produits par les participants à cette enquête la réaction suivante :

Beaucoup de chercheurs se servent des données glanées sur le web sans vérifier au préalable les droit d’utilisation de ces données. Cela peut poser problème si les données collectées massivement contiennent des données personnelles et sont redistribuées à d’autres chercheurs comme outil de travail.

Il est louable de s’interroger sur l’esprit de la loi (en l’occurrence de la licence d’utilisation), qui permet ou interdit certaines choses pour de bonnes raisons (éthiques), il n’en est pas moins obligatoire d’en respecter la lettre, quelles que soient les raisons : ça n’est pas seulement s’il y a des données personnelles que ça peut poser un problème. Le problème est d’aller à l’encontre de la licence. C’est interdit, même. Et l’éthique commence avant tout par un respect de la loi.

La citation ci-dessus est caractéristique d’un état d’esprit de certains chercheurs que l’on peut résumer par « oui, mais moi c’est pour la recherche, donc la licence ne s’applique pas à mes travaux ». Etonnant état d’esprit, si on creuse un peu : jusqu’où pousse-t-on l’exception si l’on est soi-même juge de ce qui est bon de ne pas appliquer ? D’autant que de réelles exceptions, encadrées et clairement définies, existent pour la recherche et que d’autres sont en préparation dans la loi Lemaire. Mais rien qui passe par l’auto-désignation (!).

Prenons par exemple le site doctissimo.fr, source de nombreuses analyses en TAL. La licence d’usage précise, entre autres qu’il « est interdit de procéder à une extraction qualitativement ou quantitativement substantielle des bases de données mises en ligne sur le site ». J’en conclus donc que le TP de master 1 TAL consistant à compter le nombre de pronoms personnels utilisés sur les forums doctissimo est interdit. On n’a pas le droit. Compréhensible ou pas, c’est la règle.

Notons par ailleurs que, de mon expérience, les industriels sont plus enclins à respecter ce type de règles que les scientifiques. Oh, non pas qu’ils soient plus vertueux, loin de là, mais ils savent le dommage que peut leur infliger la révélation publique d’une infraction à la loi, par un concurrent mesquin, par exemple. Et c’est à mon sens l’un des leviers qui peut permettre l’avancée dans les fait d’une certaine éthique. Mais je reviendrai probablement sur le sujet dans un autre post.

Le caractère inapproprié d’une règle est souvent l’excuse que l’on rencontre pour ne pas l’appliquer. La prétendue « exception scientifique » en est un exemple, mais elle n’est pas seule et à cette aune, chacun peut se trouver ses propres arguments pour ne pas s’y conformer.

J’ai par exemple entendu dire que la loi Informatique et Liberté était inappropriée et donc inapplicable, avec force arguments, entre autres à cette même journée ETERNAL. Le premier des griefs fait à cette loi était fait qu’elle se base sur une notion de croisement de fichiers alors qu’à l’heure du Big Data, on ne parle plus que de données. La belle affaire ! Le glissement lexical ne vaut pas invalidation du concept.

Autre grief, plus sur le fond, celui-là : la loi Informatique et Liberté partirait du principe que les données collectées ou agrégées le sont dans un but précis, alors qu’à l’heure du Big Data, on collecte à tout va, on mouline les données avec des outils à la mode (Hadoop, Spark, R, …) et on voit ce qu’on peut en déduire. Il serait donc impossible de savoir a priori pourquoi on demande des informations aux individus et, partant, impossible de leur demander leur consentement. Là encore, l’argument est spécieux. Si l’on tient vraiment à corréler tout avec n’importe quoi, on peut jouer, comme le montre le site « spurious correlations », à croiser les dépenses US pour l’espace, la science et la technologie avec le nombre de suicides par pendaison et trouver un taux de corrélation supérieur à 99%.

Non, quand on croise des données, c’est toujours dans un but précis. Savoir quel type de programme télé les adolescents très présents sur les réseaux sociaux sont prêts à consommer, pourra être l’objet d’un étude de positionnement d’une chaîne de télévision. Il est alors très simple de vérifier que les données qui permettent de faire ces croisements autorisent bien de tels traitements, la première autorisation étant le consentement donné par les individus qui ont fourni l’accès à leurs informations personnelles. C’est bien là l’esprit de la loi Informatique et Liberté : vérifier le consentement. Qu’il soit donné pour des lignes dans une base de données hiérarchique ou pour des « data » en JSON n’est qu’un détail de mise en œuvre.

Je ne veux pas dire que la loi Informatique et Liberté est parfaite, loin de là. Elle doit clairement évoluer sur certains points, s’étendre à tous les domaines, et le peu de moyens donnés à la CNIL ne l’aide pas à faire d’évolutions majeures. Mais elle demeure un socle solide de protection des individus. La contourner par une paresse intellectuelle qui se cacherait derrière une désobéissance civile est l’un des pires moyens d’action. Si on veut faire évoluer cette loi, il faut avancer avec des propositions claires et respectueuses des libertés individuelles, pas masqué derrière sa propre supériorité face au règlement, qui que l’on soit.

Résultats de l’enquête Ethique et Traitement Automatique des Langues et de la Parole [1]

Nous présentons ici les résultats d’une enquête sur l’éthique dans le Traitement Automatique des Langues et de la Parole, menée auprès de chercheurs et d’industriels de ce domaine.

Pour des raisons de commodité de lecture, ce post présente les réponses aux questions fermées. Un prochain traitera des questions ouvertes et des commentaires.

Motivations

Le questionnaire a été réalisé très rapidement (pour pouvoir en disposer pendant  la conférence JEP-TALN 2015), suite à la très intéressante journée Ethique de la  CERNA (Commission de réflexion sur l’éthique de la recherche en sciences et technologies du numérique d’Allistene).

La question principale que nous nous posions était de savoir dans quelle mesure les chercheurs en TAL/P francophone se sentent responsables de l’utilisation faite de leurs recherches (moral buffer). D’autres questions sont apparues rapidement, notamment celle de savoir si les universités proposent des sensibilisations à l’éthique.
Enfin, d’autres nous sont venues en liaison avec des remarques entendues lors de séminaires ou de rencontres.
Le questionnaire a bien entendu été créé avec un biais en faveur d’une meilleure prise en compte des questions d’éthique dans nos pratiques de chercheurs, mais il n’a pas empêché les personnes étant en désaccord de s’exprimer, ce qu’elles ont fait, vous allez le voir, et nous les en remercions.

Participation

Suite à la publicité réalisée pendant JEP-TALN, sur la liste LN et par mails personnels, et malgré quelques problèmes de connexion, 102 personnes ont participé à l’enquête, entre le 23 juin et le 30  juillet 2015.
Lors des dernières conférences TALN, les organisateurs ont enregistré environ 200 inscrits (200 en 2013, 195 en 2014 et 180 en 2015), nous considérons donc cette enquête représentative de la communauté française du TAL/P  dans son ensemble.

Réponses et (début d’)analyse

Le questionnaire comprenait majoritairement des questions fermées, toutes facultatives. Chaque personne a laissé en moyenne moins de deux questions sans réponse. Les non-réponses et les réponses « ne sais pas » ont été traitées par LimeSurvey comme équivalentes.

Responsabilité des chercheurs

Question : « Vous considérez-vous responsable des utilisations faites des outils que vous développez ? »

Près de 75 % des chercheurs considèrent qu’ils sont responsables, individuellement ou collectivement, plus précisément :

  • 12,2 % ont répondu à la fois « Oui, c’est tout à fait mon rôle » et « C’est un rôle partagé par l’ensemble de l’équipe »
  • 33,3 % ont répondu « Oui, c’est tout à fait mon rôle
  • 26,7 % ont répondu « C’est un rôle partagé par l’ensemble de l’équipe »
  • 1,1 % ont répondu « C’est le rôle d’un des membres de l’équipe »

Role

Cependant, pour 26,7 % des personnes répondantes, l’utilisation faite des outils qu’elles développent n’est pas de la responsabilité des chercheurs. Ce chiffre confirme qu’il existe en TAL/P comme ailleurs, un moral buffer (tampon moral ?). Nous espérons que ce blog et les différentes actions de sensibilisation menées permettront de le faire diminuer, car si nous ne nous sentons pas responsables et que le grand public et les politiques ne comprennent pas vraiment les capacités réelles des outils que nous développons (voir plus loin), personne ne se sentira la légitimité d’agir en cas d’utilisation néfaste, contraire aux droits de l’homme par exemple.

Données personnelles

Questions : « Doit-il selon vous y avoir une exception recherche sur l’usage des données personnelles ? » et « Un statut particulier pour la recherche des données personnelles vous permettrait-il de lancer de nouveaux travaux ? »

Les données personnelles, au sens de la CNIL, sont toutes les données qui permettent d’identifier, directement ou indirectement, un individu. Cette définition couvre ainsi un large éventail de données : données d’identification, mais également informations déposées sur un réseau social, ou n’importe quel texte, dès lors que ce texte ou ces données permettent, par les indices qu’ils contiennent, ou par le croisement d’indices, de (ré)-identifier un individu.

A la question de la nécessité ou non d’un statut particulier de ces données pour la recherche :

  • 1,4 % ont répondu à la fois « non » et « les données utilisées pour une expérience doivent être mises à disposition des évaluateurs et/ou de l’ensemble de la communauté scientifique »
  • 4,2 % ont répondu « toutes les données doivent être disponibles pour la recherche »
  • 56,3 % ont répondu « oui, sous certaines conditions »
  • 14,1 % ont répondu « les données utilisées pour une expérience doivent être mises à disposition des évaluateurs et/ou de l’ensemble de la communauté scientifique »
  • 19,7 % ont répondu « Non »

Outre les considérations éthiques que ce point soulève, notons que le recueil et le traitement des données personnelles est soumis à des obligations fortes, dont le non-respect est passible d’emprisonnement ou de conséquences financières lourdes.

Commentaires des répondants

La question « Doit-il selon vous y avoir une exception recherche sur l’usage des données personnelles ? » donnait la possibilité d’insérer des commentaires, que nous reproduirons dans un post à venir.

Refus d’un projet pour raisons éthiques

Question : « Avez-vous déjà refusé ou limité un projet pour des raisons éthiques ? »

abandon_ANR5

Environ 40 % des répondants affirment avoir refusé ou limité un projet pour des raisons éthiques. Ce résultat, qui peut paraître surprenant — qui l’est pour nous — montre à quel point l’éthique est une problématique actuelle. Cette question aurait cependant mérité d’être affinée (quelles raisons ?).

Pérennisation des données

Question : « Dans vos projets intégrez-vous dès le départ la possibilité de pérenniser et redistribuer vos données ? »

Pereniser_données

Une large majorité affirme intégrer dès le début d’un projet la pérennisation et la redistribution des données. Cela semble un peu contradictoire avec le fait que le français reste encore une langue relativement peu dotée en données langagières (voir Joseph Mariani (LIMSI / CNRS) sur ce sujet, en vidéo), surtout librement disponibles. Cependant, le terme « données » est ambigu et aurait sans doute dû être précisé (« données langagières », par exemple).

Il est intéressant que près de 20 % des répondants avouent ne pas considérer cet aspect dès le début du projet : soit ils le prennent en compte plus tard, soit ils ne le prennent jamais en compte. C’est une question que nous devrons aborder ici.

Rémunération des producteurs de données

Question : « Dans les projets auxquels vous avez participé, savez-vous comment les producteurs de données ont été rémunérés ? »

Remuneration

Là encore, une majorité déclare savoir comment ont été rémunérés les producteurs de données. Reste à valoriser la documentation de cette information, via la Charte Ethique et Big Data, par exemple. Nous avons en effet montré que les articles de recherche concernant les ressources langagières les plus utilisées  ne donnent pas cette information.

Plus de 25 % des personnes interrogées (voire plus de 40 % si on y ajoute les non réponses) déclarent ne pas savoir comment les producteurs de données de leurs projets ont été rémunérés. C’est préoccupant, en particulier avec le développement des plate-formes de myriadisation du travail parcellisé à la Amazon Mechanical Turk, qui posent de nombreux problèmes éthiques.

Limites du TAL vues par les pouvoirs et le grand public(s)

Questions : « Pensez-vous que les pouvoirs publics sont conscients des limites des capacités des outils de TAL ? » et « Pensez-vous que le grand public est conscient des limites des capacités des outils de TAL ? ».

limites

Près de 9 % des répondants (8,8 %) pensent que les pouvoirs publics sont conscients des limites des capacités des outils de TAL, contre 5 % (4,9 %) concernant le grand public.

67,6 % pensent au contraire que les pouvoirs publics n’en sont pas conscients et 75,5 % que le grand public ne l’est pas non plus.

23,5 % et 19,6 % ne répondent pas (ce qui représente un nombre important de personnes), sans doute parce qu’il s’agit de donner ici une impression, non fondée sur des données concrètes. Ces questions mériteraient en effet une enquête sérieuse auprès des pouvoirs publics et du grand public.

Quoi qu’il en soit, ce blog se veut un début de réponse à cette préoccupation, même si rendre accessible à un public plus large la finesse de certaines questions de recherche représente un réel effort, voire du talent. Nous tenons au passage à rendre hommage à notre collègue Jean Véronis, décédé l’année dernière, qui avait su maintenir cet effort sur la durée, non sans talent : http://blog.veronis.fr/.

Formation à l’éthique

Question : « Existe-t-il une sensibilisation à l’éthique dans les formations dans lesquelles vous intervenez ? »

formation

Les réponses négatives sont à rapprocher d’autres réponses du questionnaire : s’il n’y a que peu de sensibilisation à l’éthique dans les formations, comment pourrait-on avoir des chercheurs, des citoyens ou des responsables politiques conscients des enjeux des limites des outils ?

Cependant, les presque 15 % de réponses positives montrent que de telles formations existent, qui pourraient être diffusées plus largement. Ce blog pourrait être le lieu pour les recenser (n’hésitez-pas à nous les signaler en commentaire), ainsi que leur contenu.

Éthique comme sujet dans l’appel général de TALN

Question : « Pensez-vous que l’éthique doit faire partie des sujets de l’appel général de la conférence TALN ? »

TALN

En d’autres termes, les trois quarts des personnes ayant émis un avis pensent qu’il faut inclure le thème dans les prochains appels de TALN. Cela tombe on ne peut mieux puisque l’AG finale de l’association savante du TAL, l’ATALA, a donné son accord pour cela.

Il faudrait bien entendu étendre cette décision à la conférence JEP (parole) et aux conférences internationales (LREC, ACL, COLING, INTERSPEECH, etc). Nous comptons pour cela sur (vous) nos collègues présents dans les différentes instances et associations et tenterons de sensibiliser à cette question autour de nous.

Participation à un groupe de travail éthique dans le TAL

Question : « Êtes-vous d’accord pour participer à un groupe de travail sur l’éthique dans le TAL ? »

TAL

26 personnes nous ont laissé leur adresse mail, dont 21 ne sont pas (encore ?) membre du comité de lecture de ce blog. C’est très encourageant ! Nous allons contacter ces personnes pour les faire travailler envisager des actions communes.

ANR

Question : « Avez-vous décrit dans l’annexe technique les dimensions éthiques des projets que vous avez soumis pour financement (ANR ou autre) ? »

ANR

Cette question donnait la possibilité de laisser un commentaire que l’on trouvera dans un post à venir.

Conclusions

La première conclusion de cette enquête est que le sujet de l’éthique est reconnu comme important par la communauté du TAL/P francophone, ce qui est pour nous une grande satisfaction.

Cela nous encourage à continuer et à proposer d’autres formes d’expression sur la sujet ainsi que d’élargir le questionnement à l’international. Nous comptons en effet réaliser une enquête similaire, en anglais, que nous proposerons à la communauté internationale du TAL/P. Nous y réfléchissons actuellement et sommes preneur/se de vos suggestions, donc n’hésitez-pas à en faire, en commentaire de ce post par exemple.

N’oubliez pas de nous signaler en commentaire les sensibilisations à l’éthique proposées dans des formations.

Karën Fort, Alain Couillault et Jean-Yves Antoine pour les graphiques.

Atelier « Fairness Accountability and Transparency in Machine Learning »

La Conférence internationale sur l’apprentissage automatique (International Conference on Machine Learning ou ICML) est la conférence de référence au niveau mondial sur l’apprentissage automatique, ces algorithmes  qui, à partir d’un ensemble de données, induisent automatiquement des modèles. Ces technologies sont par exemple utilisées en vision par ordinateur ou en reconnaissance de la parole.
Pendant la dernière conférence ICML qui s’est tenue récemment à Lille, un atelier intitulé « Fairness Accountability and Transparency in Machine Learning«  s’est tenu.
Il est intéressant de voir que ces questions font leur chemin aussi dans la communauté de l’apprentissage. Cependant, ne nous emballons pas, il y avait 30 personnes maximum pendant cet atelier alors qu’ICML a rassemblé plus de 1000 personnes.
Voici quelques exemples de communications (en ligne sur le site) :
-Nick Diakopoulo.s Algorithmic Accountability and Transparency in Journalism
-Sara Hajian. Discrimination- and Privacy-Aware Data Mining
-Salvatore Ruggieri.  Privacy Attacks and Anonymization Methods as Tools for Discrimination Discovery and Fairness
-Toshihiro Kamishima and Kazuto Fukuchi. Future Directions of Fairness-Aware Data Mining: Recommendation, Causality, and Theoretical Aspects

Vous avez dit progrès ?

Par : Jean-Yves Antoine

Drawing of an old Raschel machine - Source: Josef Worm: Die Wirkerei und Strickerei. 2. Aufl. Leipzig, 1920

Il y a quelques semaines, le responsable de formation que je suis a été sollicité par un étudiant en Master Entrepreneuriat. En relation avec une entreprise dite innovante, il désirait que je diffuse auprès de mes étudiants un questionnaire sur leurs attentes en matière d’objets connectés. Vous savez, ces smartwatch qui vous permettent de suivre vos déplacements quotidiens, vos paramètres physiologiques et enregistrer sur le cloud ces informations pour votre confort. Ayant refusé poliment de donner suite à sa demande pour des raisons éthiques, un débat s’est amorcé sur la portée de ces dispositifs mobiles. Mon interlocuteur n’avait aucune notion d’éthique, qui semblait se rapprocher d’un jugement négatif sur les profits de sa future entreprise dans son esprit. Après quelques échanges la conclusion est tombée, cinglante : « oui je comprends vos réserves, mais je ne suis pas comme vous, je suis pour le progrès ».

Ah cher Progrès, que ne justifie-t-on en ton nom ! L’Etat, la société dans son ensemble, finance nos activités de recherche au motif que nous devons être moteurs d’innovation et de progrès techniques. Chercheurs en technologies langagières, nous travaillons ainsi sous une injonction permanente de contribuer au mouvement perpétuel du progrès. Nous nous en réclamons d’ailleurs le plus souvent. Mais nous interrogeons-nous sur ce qu’est le progrès ?

La question peut étonner tant progrès rime avec civilisation dans l’inconscient collectif. Pourtant, le concept de progrès n’est pas toujours allé de soi. Tout en développant un corpus scientifique conséquent, mais aussi une technologie trop ignorée, la Grèce antique n’associait pas une idée de progrès linéaire à sa recherche de connaissance : le monde grec apparaissait comme indépassable, simplement contraint par des limites religieuses qu’il convenait de ne pas enfreindre. Au Moyen-Age, Chine, Inde et Europe ont également développé un savoir technique de plus en plus poussé. En Europe, ces innovations étaient pourtant adoptées avec prudence, la société médiévale prenant le temps de jauger leur utilité globale. Refusant une notion de progrès utilitariste au profit du maintien d’un équilibre entre Terre et Ciel, la Chine laissa de son côté d’autres civilisations profiter de son inventivité technique. La Renaissance, pourtant avide de connaissance, ne changea rien à cette situation et un Louis XIV pouvait encore à l’aube du XVIII° siècle interdire tout simplement par décret la dissémination d’une nouvelle technologie menaçant l’équilibre du système corporatiste de l’Ancien Régime. Ainsi, en dépit d’un indéniable esprit d’innovation, ces siècles ne se vivaient pas comme participant à la grande marche d’une évolution humaine guidée par le progrès techniques.

A la suite de la révolution mécaniste amorcée par Descartes, ce n’est qu’avec les Lumières que le «Progrès » se construisit comme parfait symbole de l’action bénéfique humaine. Avec la révolution industrielle, il allait rapidement tenir lieu de gloire et phare de l’humanité. Presque deux siècles plus tard, le piédestal du progrès technique vacille quelque peu à l’aune du réchauffement climatique, mais cette construction intellectuelle reste solide. Notre jeune étudiant peut ainsi justifier sa démarche : le Progrès est le moteur perpétuel de l’évolution humaine, rien ne saurait le remettre en question.

Dans cette affaire, le progrès technique auquel nous participons comme chercheurs se pare de toutes les vertus : témoignage de l’esprit d’inventivité d’homo sapiens sapiens, il n’influe pas sur une civilisation humaine dont il n’est que le produit. On parle ainsi de neutralité de la technologie comme on parlerait de neutralité du net : lorsqu’une technologie pose souci, ce sont uniquement ses mésusages qui sont discutables.

Neutralité du progrès technique ? Voire… A l’heure où les émissions carbonées menacent la planète, j’aime à citer l’exemple du moteur à explosion, extrait du livre très éclairant de François Jarrige, Technocritiques (Jarrige, 2014). Devenu fiable au début du XX° siècle, le moteur à explosion permit l’apparition de véhicules individuels, mais aussi d’utilitaires robustes. Il est très éclairant d’observer comment cette innovation fut adoptée par les populations occidentales. L’adhésion pour le camion fut immédiate : d’une puissance de traction bien supérieure, il pouvait suppléer utilement au cheval dont la présence dans les villes posait par ailleurs des problèmes d’hygiène de plus en plus importants. A l’opposé, l’utilité de la voiture individuelle fut tout de suite questionnée. Face aux premiers accidents routiers, de multiples arrêtés ont été pris par des municipalités pour limiter la vitesse des automobiles, au grand dam de leurs promoteurs : le président de l’Automobile Club de France clame ainsi que « le progrès réclame des victimes » ! Les défenseurs de l’automobile caricaturent alors la position de leurs opposants en mettant en exergue une résistance passéiste au Progrès. Pourtant, ces critiques étaient justifiées dans la société de l’époque : la mobilité des populations était faible et assurée efficacement par le chemin de fer. La famille et les amis habitant dans un environnement proche, les congés payés n’existant pas encore, l’objet technique « automobile » n’était d’aucune utilité, à l’opposé de l’objet technique « camion », mu pourtant par le même dispositif thermique. De fait, l’automobile ne répondait qu’au désir d’autonomie individuelle de la société aisée des Années Folles, qui pesa de tout son poids pour une acclimatation sociale de cette nouvelle technologie. Ce ne sera qu’au tournant des années 1960 que la démocratisation de l’automobile sera acquise, avec les conséquences que l’on connait sur nos modes de vie quotidiens.

Voiturette Renault - domaine public

Ainsi, l’invention du moteur à explosion était une innovation technique qui avait une utilité tout de suite perçue par ses contemporains. Mais l’automobile individuelle par elle-même ne répondait pas aux besoins de la société de l’époque. Peut-on dès lors parler de progrès inéluctable à l’arrivée d’une Renault Type A en 1898 ? Je me permets d’en douter. On ne peut de même nier que les automobiles furent de tout temps utilisées pour ce à quoi elles sont été conçues (je ne parle pas ici des courses de Rallye-Cross avec 2CV démolies au milieu de champs boueux). La pollution automobile ne peut donc être considérée comme un mésusage du moteur à explosion. Non, simplement, la technologie automobile, comme toute technologie, n’est pas neutre. Et ses opposants s’interrogeaient simplement sur le sens du progrès, en se demandant quelles technologies étaient vraiment bénéfiques en termes de bien-être. Est-ce là une attitude passéiste que de prendre le temps d’une telle réflexion ? En tous cas, nous sommes loin ici de notre jeune étudiant obéissant à la loi supérieure du Progrès. Ce qui ne veut pas dire que nous le refusons…

Que peut enseigner ce retour historique sur nos activités de chercheurs en TALN ? Comme Louis Renault, nous sommes des créateurs de nouvelles technologies. Comme lui, nous participons à la marche d’un progrès technique qui est questionnable de par ses impacts. Les technologies numériques telles que le TALN revêtent une dimension virtuelle qui les rend plus propres, plus acceptables a priori aux yeux du public. Pourtant, leur impact n’en est pas moins réel. Il peut même être physique ! Pour le montrer, je vais prendre un exemple que j’aime beaucoup car il est inattendu mais parfaitement documenté. Il s’agit de l’utilisation des technologies vocales par les préparateurs de commande des grands centres logistiques tels que ceux d’Amazon. Afin de permettre un travail mains libres, les préparateurs de commande sont guidés dans leur mission grâce à un dialogue oral homme-machine : dès qu’un produit a été récupéré, le système de dialogue envoie immédiatement une commande vocale guidant le préparateur vers un nouveau produit commandé. Ce mode de gestion entraîne une densification du travail intéressante en termes de productivité. Il se trouve que l’Institut National de Recherche et Sécurité a monté que ce mode de gestion du travail par une technologie langagière peut entraîner une augmentation des lombalgies ou des troubles musculo-squelettiques de par la surcharge de travail qu’elle induit (INRS 2009). Voilà un bel exemple à mes yeux : l’utilisation d’une commande vocale à la place d’une bête fiche papier de mission est-elle vraiment un progrès portant la marque du génie humain ? Le choix d’une augmentation de la productivité au mépris de la santé de l’employé n’est-il pas plutôt un exemple de choix sociétal permis par le progrès technique ?

Cet exemple peut paraître isolé, caricatural du point de vue du TALN. Il n’en est rien. De nombreuses études en sociologie du travail ont montré que l’automatisation des tâches permises par les machines, puis les robots automates ont successivement profondément changé les conditions de travail tout d’abord des ouvriers et artisans, puis des professions intermédiaires (cols blancs). Les technologies numériques intelligentes, parmi lesquelles se trouvent le TALN, s’intéressent désormais à des activités complexes relevant de professions intellectuelles supérieures : les analystes financiers sont désormais remplacés par des algorithmes, de même que Google lance des «Google Award for Computational Journalism» où les technologies langagières vont suppléer au travail d’investigation du journalisme ? Au vu de ces exemples, l’impact de nos recherches ne peut être nié…

Dès lors quelle attitude pour le chercheur en traitement automatique des langues, mais aussi le citoyen intéressé par l’émergence des technologies langagières dans un contexte big data ? Doit-on refuser tout progrès technique ? Doit-on devenir schizophrène et créer de nouveaux systèmes tout en étant persuadés de leurs effets néfastes ? La question n’est jamais facile à trancher, mais avoir un regard lucide sur nos activités serait déjà utile : ne pas penser que le progrès technique est un Moloch aveugle auquel on doit se plier, se dire que chaque innovation est l’occasion d’un choix de société qui nous permet de réfléchir au sens de nos actions et aux priorités que l’on se donne dans nos modes de vie. Et lorsque des choix ont été faits, consciemment ou non, par la société, être toujours aux aguets sur leurs conséquences éventuellement néfastes.

Ma grand-mère pensait que les systèmes de dialogue homme-machine que je concevais allaient mettre des employés au chômage. Si elle savait qu’en plus, ces derniers iraient chercher leurs allocations avec une lombalgie…

Pour aller plus loin

INRS (2009) Fiche pratique de sécurité ED 135. Préparation de commande guidée par reconnaissance vocale.

JARRIGE F. (2014) Technocritiques : du refus des machines à la contestation des technosciences. La Découverte.

Avis du comité d’éthique du CNRS (COMETS) sur les sciences participatives

Jean-Gabriel Ganascia, membre du Comité d’éthique du CNRS (COMETS), nous a envoyé l’avis que vient d’émettre cette instance concernant les sciences participatives (ou citoyennes). Nous en reproduisons ici le résumé, l’avis complet étant disponible sur le site du COMETS.

Nous reviendrons sur cet avis un peu plus tard pour en fournir un éclairage, en attendant, voici de quoi alimenter la réflexion :

Résumé : Les relations de la science avec la société se sont profondément modifiées au cours de l’histoire. A partir des années 70, la notion de progrès est réinterrogée face aux nouveaux défis environnementaux et sanitaires. Ceci met aujourd’hui au premier plan les questions posées par les citoyens aux chercheurs et aux institutions de recherche, ainsi que le besoin des chercheurs de faire comprendre la nature et l’importance de leur démarche à l’ensemble de la société. Le COMETS affirme ici qu’il y a urgence à construire une relation de confiance entre les citoyens et les scientifiques. Deux voies sont abordées : celle des sciences participatives et celle d’un dialogue science-citoyens renouvelé.

La voie des sciences participatives, en grand développement aujourd’hui grâce à internet, associe les citoyens amateurs aux activités scientifiques pour la collecte des données et parfois la co-création ou l’interprétation des résultats. Il en résulte un apport mutuel considérable, d’une part pour l’enrichissement de la production des connaissances, d’autre part pour la formation des citoyens aux méthodes et à l’esprit scientifique. Cette voie encourage les vocations pour les sciences chez les jeunes. Le COMETS formule des recommandations portant sur l’encadrement des pratiques des réseaux amateurs, sur l’importance de la validation des résultats, sur le respect de l’anonymat lorsqu’il s’agit de données privées, enfin sur le statut et la reconnaissance dus aux contributeurs.

Dans un monde secoué de crises successives et traversé par des controverses sur des sujets sensibles, le COMETS est d’avis que les chercheurs et leurs institutions doivent être à l’écoute des questionnements du public sur l’impact de leurs choix. Tout en réaffirmant l’autonomie du champ scientifique, il estime nécessaire d’engager une réflexion sur les formes à donner au débat public autour des questions de recherche. Il souligne fortement l’importance de la diffusion de la culture scientifique et de sa promotion active à tous les niveaux de la société. Il recommande que les expertises exercées par les scientifiques sur des questions ayant un impact sociétal soient menées à l’abri des conflits d’intérêt, dans un cadre interdisciplinaire et si possible international. Il préconise que le CNRS soutienne l’implication d’équipes de recherche dans l’analyse des perceptions des sciences et encourage les initiatives abordant des thèmes sensibles. Il suggère enfin que le CNRS développe une expertise collective mobilisable pour répondre aux sollicitations des décideurs publics et des instances démocratiques.