principes pour ne pas automatiser l’injustice – IA3

Je poursuis ma quête autour de l’IA, la responsabilité publique, la gestion et la protection des données personnelles, la transparence et l’accès aux données, les gouvernements ouverts (GO)  et la participation des organisations de la société civile (OSC) à la définition et à la surveillance des GO. Un centre d’intérêt particulièrement dynamique en ce moment.

Délaissant momentanément Twitter comme source d’information je suis retourné à la lecture des quelques 150 fils RSS issus de blogues et magazines que je consulte pour l’essentiel avec Feedly.

Clément Laberge, dont Intelligence artificielle et services publics, publié il 5 jours, m’apprend que de nouveaux textes ont été déposés dans le répertoire thématique de l’IRPP auquel je référais il y a peu, dont un par Jean-Noé Landry, AI in government: for whom, by whom? Clément pointe aussi vers le même document mis en discussion par le Conseil du Trésor du Canada : Responsible Artificial Intelligence in the Government of Canada, en soulignant l’intérêt de la section Policy, Ethical, and Legal Considerations of AI. En effet c’est là que Michael Karlin, premier auteur du document, résume en 7 principes ses considérations éthiques et politiques (traduction de Google, presque seul) :

  1. Les humains (people) devraient toujours être gouvernés – et percevoir être gouvernés – par des humains;
  2. Les systèmes d’IA déployés pour le compte du gouvernement devraient être formés pour refléter les valeurs et l’éthique du secteur public ainsi que les obligations canadiennes et internationales en matière de droits de la personne; ils devraient être utilisés pour renforcer ces valeurs dans la mesure du possible;
  3. Les organisations sont responsables des actions des systèmes d’IA et doivent mettre en place des systèmes vérifiables;
  4. Comprenant la nécessité de protéger la vie privée et la sécurité nationale, les systèmes d’IA devraient être déployés de la manière la plus transparente possible;
  5. Les organisations doivent veiller à ce que des mesures d’urgence fiables soient prises en cas de défaillance des systèmes d’IA ou pour fournir des services à ceux qui ne peuvent pas accéder à ces systèmes.
  6. Les systèmes d’IA devraient être développés dans une équipe diversifiée comprenant des individus capables d’évaluer les implications éthiques et socio-économiques du système;
  7. Les systèmes d’IA doivent être déployés de manière à minimiser l’impact négatif sur les employés lorsque cela est possible, et devraient, dans la mesure du possible, être créés aux côtés des employés qui travailleront avec eux.

Les commentaires faits par les lecteurs du billet de Laberge sont intéressants en réponse à sa question « Existe-il un répertoire des décisions qui sont prises, par l’administration québécoise, sur la base d’un procédé algorithmique ? » (À lire, de Hubert Guillaud L’austérité est un algorithme)

Dans le même ordre d’idées, publié par Nesta (21/02/18), reproduit (traduit) par InternetActu, et présenté par Hubert Guillaud, Principes pour la prise de décision algorithmique du secteur public. Ici les 10 principes émis par l’organisme britannique :

  1. Tout algorithme utilisé par une organisation du secteur public devrait être accompagnée d’une description de ses fonctions, objectifs et impacts attendus, mis à disposition de ceux qui l’utilisent.
  2. Les organisations du secteur public devraient publier les détails décrivant les données avec lesquels l’algorithme a été entraîné et les hypothèses utilisées à sa création ainsi qu’une évaluation des risques pour atténuer ses biais potentiels.
  3. Les algorithmes devraient être catégorisés sur une échelle de risque (de 1 à 5) pour distinguer leur impact sur les individus.
  4. La liste de toutes les données d’entrées utilisées par l’algorithme pour prendre une décision devrait être publiée.
  5. Les citoyens doivent être informés lorsque leur traitement a été en partie ou entièrement décidé par un algorithme.
  6. Tout algorithme doit être disponible en version de test, afin que les auditeurs puissent tester leur impact (et confirmer qu’il fait ce qu’il prétend notamment pour ceux qui ne peuvent pas être ouverts par défaut).
  7. Lorsque les services publics ont recours à des tiers pour créer ou exécuter des algorithmes en leur nom, ils devraient s’assurer que ces tiers respectent ces principes.
  8. Une personne de la direction doit être tenue responsable de toute mesure prise à la suite d’une décision algorithmique.
  9. Les organisations du secteur public qui souhaitent adopter des procédures de prise de décision algorithmique à haut risque devraient souscrire une assurance capable d’offrir des compensations aux personnes négativement touchées par une décision algorithmique erronée.
  10. Les organisations du secteur public devraient s’engager à évaluer l’impact de leurs algorithmes et à publier les résultats de ces études.

Ce même Hubert Guillaud (et son magazine InternetActu.net) publiait récemment  Pourquoi mes données personnelles ne peuvent pas être à vendre ! (06/02/18); et aussi :

Sur la question de la vente de ses données personnelles : Revendre ses données « personnelles », la fausse bonne idée

Still digging… 

IA n’est pas conscience

On parle beaucoup, de plus en plus de l’intelligence artificielle (IA). Surtout depuis que Montréal est reconnue comme centre international de recherche en la matière. Même Juan-Luis Klein en parlait dans sa conférence de clôture du colloque sur le développement des collectivités de décembre dernier.

La crise… la quatrième révolution industrielle et l’IA transforment nos modèles d’action. Il faut réagir, se donner les outils pour le défier et transformer ce contexte. Il faut développer une alternative et pas juste refuser le modèle dominant. Refabriquer le rapport de la société au territoire pour fabriquer des communautés. (conférence sur Youtube)

L’AIIA organisait, en janvier dernier, un colloque de deux jours sur IA en mission sociale, auquel j’ai participé avec intérêt (intelligence artificielle et finalités sociales). Mais les principes d’équité ou l’éthique ne semblent pas les premières préoccupations lorsque les gouvernements investissent pour soutenir le développement du secteur. C’est d’abord en termes de performance et compétitivité que les programmes sont définis.

Avec l’annonce récente du fédéral (15 février 2018) d’un financement milliardaire (950M$  pour les 5 grappes) qui « misera sur l’intelligence artificielle et la robotique afin de faire du Canada un chef de file mondial de la numérisation des chaînes d’approvisionnement industrielles » on ne semble pas s’orienter particulièrement vers la mission sociale ou la mesure de l’impact social des entreprises… On précise plutôt que l’objectif est d’accroître les revenus et la performance de ces entreprises. On comprend qu’il s’agit de la performance économique. (extrait du billet IA et finalités sociales)

Cet engouement pour l’IA n’est pas qu’un effet de mode ou de fierté devant la réussite d’un secteur économique, d’une grappe locale. Il y a vraiment des choses qui se passent et qui s’en viennent. Les grands du numérique investissent dans l’IA, ce qui veut dire dans l’IA en santé (Cherchez et vous trouverez. L’évangile médical selon Google.) et l’IA en aménagement urbain (Values-based AI and the new smart cities).

Si les informations recueillies déjà par Google pouvaient être couplées à celles de votre dossier médical… ce serait très… efficace ? payant ? Pour qui ? Nous ne pourrons nous défendre contre de telles entreprises uniquement en renforçant les exigences de « consentement éclairé » personnel. Il faut repenser les questions de protection et de propriété des données personnelles. Certains proposent même de verser ces données dans le « domaine public » (Evgeny Morozov et le « domaine public » des données personnelles). Autrement dit, les données recueillies par Google ou Apple seraient versées au domaine public et rendues accessibles aux autres. C’est en payant une redevance que les entreprises pourraient ensuite les utiliser… Dans un long article, Lionel Maurel et Laura Aufrère (Pour une protection sociale des données personnelles) proposent de recadrer la protection de la vie privée et des renseignements personnels comme une « protection sociale » qui doit faire l’objet d’une négociation, d’une convention impliquant les travailleurs et usagers. Ce sont des questions trop importantes pour les laisser à la seule discrétion des individus isolés devant leur écran… ou plutôt bienficelés dans la plateforme (voir Plateform Capitalism) qui les relie au monde.

Comme disait Klein, « Il faut se donner les outils pour le défier et transformer ce contexte. » Il y a bien quelques associations et mouvements sur lesquels s’appuyer pour développer ces réflexions et batailles : réseau de la société civile pour un gouvernement ouvert, la Déclaration de Montréal pour une IA responsable, les mouvements pour des données ouvertes, des logiciels libres… Les universités, souvent soutenues par la grande entreprise, auront leurs centres et leurs échanges… Avons-nous des réseaux et outils pour la « société civile » ayant un minimum d’indépendance devant les centres privés et institutions publiques ? Il faudrait aux communautés locales, régionales et nationales des moyens pour se positionner, participer et se défendre parfois. Des courtiers de connaissances et de données, au service d’associations citoyennes ou de syndicats d’usagers et de travailleurs, pour connaitre, suivre l’évolution et négocier l’utilisation, les conditions de production des données et les usages et interprétations qui en seront faits.

Dans son document de travail, Responsible artificial intelligence in the Government of Canada, Michael Karlin décrit bien les limites dans lesquelles la question se pose aujourd’hui pour un gouvernement. Il souligne, avec raison devant la toute-puissance des machines imaginées par la science-fiction ou le cinéma, que l’utilisation faite ou envisageable de l’IA par un gouvernement est très étroite : en fonction d’une tâche bien précise. Il nous rappelle que l’IA n’est pas une personne, ni un être conscient, mais plutôt un logiciel. Et qu’on ne devrait pas reconnaître à ce logiciel une autonomie d’action qui aurait pour conséquence de réduire la responsabilité de l’entreprise ou du ministère qui l’utilise.

Billet d’abord publié sur le blogue du développement collectif Nous.blogue

Voir aussi billet précédent : licence de réciprocité et index social

intelligence artificielle et finalités sociales

La conférence de Yoshua Bengio (32 minutes) est sans doute ce qui m’a convaincu de m’inscrire à ce colloque « Intelligence artificielle en mission sociale ».  En tant que figure de prou (montréalaise et internationale) du secteur en forte croissante du Deep Learning j’étais curieux de voir ce qu’il avait à dire en général sur l’intelligence artificielle et en particulier sous cet angle novateur proposé par le colloque « en mission sociale ».

L’intervention de monsieur Bengio, faite en français et sur un ton presque « zen », mettait la table pour deux jours de discussions et conférences faites par des intervenants du monde des OBNL, de la recherche universitaire ou du monde des affaires (entreprises sociales, innovation sociale, services juridiques). Les avancées de l’intelligence artificielle sont réelles même si le monde ne changera pas du jour au lendemain. On est encore loin de l’intelligence du cerveau humain. C’était le message de Bengio : Les changements se feront graduellement aussi il est encore temps de prévenir les dérapages par une règlementation éthique.

Après avoir identifié les secteurs où les changements seront les plus importants, et les risques soulevés ou prévisibles, Bengio souligne l’importance d’améliorer le filet de sécurité (ex: revenus garantis) afin de soutenir l’adaptation des personnes à ces changements. Il en appelle à une meilleure fiscalité afin que la richesse produite par ces puissantes nouvelles technologies ne fassent pas que la concentrer encore plus tout en excluant, appauvrissant des masses de plus en plus grandes. Le remplacement des audits comptables par des audits moraux est suggéré afin de mesurer la contribution des entreprises au bien-être collectif.

La conférence de Charles C Onu (11 minutes) suivait : Saving Newborn with AI, où il expliquait comment l’enregistrement des pleurs des bébés naissants a permis de dépister, grâce au « machine learning », les enfants souffrant d’asphyxie périnatale au Nigeria. Voir le site de l’organisme www.ubenwa.com

L’intervention de Kathryn Hume (34 minutes) de chez Integrate.ai, s’intitulait Ethical Algorithms, Bias and Explainability in Machine Learning. L’intelligence artificielle est déjà utilisée par la justice américaine (entre autre pour aider les juges à statuer sur le risque associé à la liberté sous caution ou la libération sur parole) avec parfois des biais importants. Les algorithmes et « boites noires » qui définissent l’intelligence artificielle doivent être corrigés et expurgés des biais qui sont les nôtres (concepteurs, codeurs, analystes et usagers).

Et ce n’était que le début, la plénière d’ouverture de ce colloque de deux jours tenu les 25 et 26 janvier dernier à Montréal au Centre canadien d’architecture. Organisé par Alliance Impact Intelligence Artificielle (AIIA), on peut revoir la plupart des conférences et panels sur la chaine Youtube de AIIA.  La principale animatrice de l’évènement, Valentine Goddard, résume mieux que je ne saurais le faire les questions soulevées et pistes ouvertes dans un article (en anglais) au sous-titre (en français) synthétique : Pour que l’intelligence articifielle contribue au bien public, les citoyens doivent participer au débat sur les valeurs qui seront intégrées aux politiques et aux systèmes d’IA. Cet article et au moins deux autres, issus de conférences données au colloque((How can Indigenous knowledge shape our view of AI? et L’IA et nos principes de justice fondamentale)), font partie du dossier Dimensions éthique et sociale de l’intelligence artificielle, publié par la revue Options politique de l’IRPP, l’Institut de recherche en politiques publiques. Tracey Lauriaut mérite d’être lue : Values-based AI and the new smart cities, à propos du projet Sidewalk Labs (du groupe Alphabet) à Toronto.

L’intelligence artificielle est un terme flou, qui réfère autant à l’aide à la décision déjà à l’oeuvre dans les domaines juridique et médical, grâce à la consultation de masses importantes de données formelles accumulées dans ces secteurs, qu’aux systèmes de gestion des flux de circulation dans les villes ou encore aux méthodes du « deep learning » où les machines apprennent par elles-mêmes à partir de masses de données ou d’interactions pratiques dont elles tirent les leçons. Parce que les leçons ou décisions tirées de ces « apprentissages profonds » ne sont pas toujours explicables ou explicites (les interactions, corrélations et computations étant trop nombreuses et complexes), plusieurs conférenciers et auteurs ont mis de l’avant la nécessité de connaître et d’avoir accès aux algorithmes qui fondent les décisions et recommandations de l’IA. Une accessibilité aux algorithmes et aux données qui pourrait être garantie par une instance publique. On a parlé d’une éventuelle certification ISO pour le caractère éthique et respectueux des droits humains des mécanismes d’IA développés par les entreprises et les États.

Si on veut éviter que les règles habituelles s’appliquent au développement de l’IA, et ne servent qu’à accentuer et accélérer la concentration de richesse plutôt qu’à résoudre les problèmes qui confrontent nos collectivités, il est proposé de développer un Index de l’impact social qui permettrait de mesurer, en les distinguant des indicateurs habituels de rendement et résultats financiers, les coûts et rendements sociaux d’une entreprise ou une institution. La méthode proposée du Social Return On Investment (SROI) a fait l’objet d’une page et d’une fiche synthèse (pdf, 8 pages) par le TIESS l’an dernier. On y indique cependant que la « méthode SROI est très souvent coûteuse en ressources. »

Les annonces du gouvernement fédéral en soutien à une supergrappe d’entreprises autour de l’IA (SCALE.AI) n’avaient pas été faites au moment du colloque de janvier. Les gouvernements provincial et fédéral avaient annoncé en 2017 quelques 225M$ pour soutenir de développement des réseaux canadiens et québécois de recherche et développement en intelligence artificielle. Avec l’annonce récente du fédéral (15 février 2018) d’un financement milliardaire (950M$  pour les 5 grappes) qui « misera sur l’intelligence artificielle et la robotique afin de faire du Canada un chef de file mondial de la numérisation des chaînes d’approvisionnement industrielles » on ne semble pas s’orienter particulièrement vers la mission sociale ou la mesure de l’impact social des entreprises… On précise plutôt que l’objectif est d’accroître les revenus et la performance de ces entreprises. On comprend qu’il s’agit de la performance économique.

Les questions soulevées par le colloque de janvier, mais aussi par d’autres initiatives telle la Déclaration de Montréal IA Responsable_, sont d’autant pertinentes et urgentes que ces investissements massifs des gouvernements et entreprises privées risquent d’accélérer la concentration des richesses, des savoirs, des droits et des pouvoirs entre les mains d’un nombre de plus en plus restreint de corporations et de personnes.

Rôles des gouvernements, des OBNL, de la philanthropie

Le gouvernement fédéral Libéral se veut un leader mondial en matière de gouvernement numérique et ouvert : il occupe depuis peu un des quatre postes de représentants gouvernementaux (avec Italie, Afrique du Sud et Corée du Sud) au comité directeur du Partenariat pour un gouvernement ouvert ((Une organisation regroupant 75 gouvernements et des centaines d’organisations de la société civile)); le Canada est aussi devenu en mars 2017 l’un des 7 États membres du « Digital 7 », le D7, avec l’Estonie, Israël, la Nouvelle-Zélande, le Royaume-Uni, la Corée du Sud et l’Uruguay. Un groupe d’États dont la mission vise « à adopter la technologie numérique dans l’intérêt des citoyens.» Ce comité se veut « une tribune qui permet aux nations membres d’échanger des pratiques exemplaires, de déterminer la façon d’améliorer la prestation de services numériques aux citoyens, de collaborer à des projets communs et d’appuyer et de promouvoir leurs économies numériques respectives en expansion.» La représentante de la Nouvelle-Zélande, qui semble avoir le leadership pour le moment, insiste sur les dimensions citoyenne et démocratique de l’orientation : « develop a fully citizen-centric approach (…)  make sure all our citizens are thriving in a digital world. »

Le président du Conseil du Trésor, Scott Bryson, est le ministre représentant le Canada sur ces deux comités internationaux. De manière congruente avec les principes d’un gouvernement ouvert, Michael Karlin, du Secrétariat du Conseil du Trésor du Canada, proposait récemment pour commentaires et co-construction un document intitulé  :  Responsible artificial intelligence in the Government of Canada. En plus d’identifier différentes avenues concrètes par lesquelles l’IA pourrait aider à « mieux servir les canadiens », de même que les risques qui doivent être pris en compte, l’auteur nous rappelle que l’IA n’est pas une personne, mais bien un logiciel qui ne devrait en rien diminuer la responsabilité de l’organisation qui l’utilise.

AI is software, not a conscious being, and should not be ascribed agency over its actions. Doing so removes the accountability of an organization over its software. 

Une telle consultation semble bien reçue par le milieu, qui souligne toutefois l’effort à faire pour inclure des populations marginalisées ou réticentes (autochtones, syndicats). On note aussi les ressources limitées que les OBNL ont pour participer à de telles consultations, dont l’utilité ou l’impact sur les orientations gouvernementales sont loin d’être toujours évidents. Michael Geist parle même d’une « crise de la consultation » (Too Much of a Good Thing: What Lies Behind Canada’s Emerging Consultation Crisis).

Des initiatives comme celles de l’AIIA, ou encore la Déclaration de Montréal, ont le mérite de poser des questions, identifier des principes qui devraient guider l’action, de créer des ponts entre des mondes trop souvent étrangers (mission sociale et développement technologique). Que le gouvernement fédéral réfléchisse de manière ouverte et réactive aux conditions à réunir pour une application judicieuse et d’intérêt public de l’IA, c’est une bonne nouvelle. Mais c’est d’abord une question de régie interne des programmes et services gouvernementaux. Sûr que le gouvernement peut et doit jouer un rôle de bon élève, d’utilisateur exemplaire et responsable de la puissance de l’IA. Mais l’exemple suffira-t-il ? À la vitesse Grand V à laquelle les investissements se précipitent dans le domaine ?

Le fait d’assujettir chaque supergrappe à des chaines de production, de fabrication ou d’approvisionnement et à un financement au moins équivalent apporté par le privé, cela garantie que les investissements publics seront alliés à la croissance des intérêts dominants des secteurs retenus. Il est peut-être des réflexions qui mériteraient d’être menées à l’abris des pressions avides du marché.

La Fondation Ford et la Fondation MacArthur financent le AI Now Institute, logé à l’Université de New-York. L’institut a publié deux rapports. Le premier (2016) portait sur les impacts sociaux et économique de l’IA sur un horizon de 10 ans, alors que le second rapport, publié en 2017, se concentrait sur « labor and automation, bias and inclusion, rights and liberties, and ethics and governance. »