Peut-on faire confiance aux IA ?

Peut-on faire confiance aux IA ?

Emmanuel Vincent

Les algorithmes d'intelligence artificielle (IA) [1] ont commencé à assister les humains dans des tâches courantes : conduire une voiture, conseiller un client, orienter un élève vers une filière d'enseignement supérieur, décider d'octroyer un prêt.

Que peut-on confier à une intelligence artificielle ? studiostoks / shutterstock.

Le Règlement Général sur la Protection des Données (RGPD) [2] autorise ainsi la « prise de décisions individuelles automatisée », à condition qu'elle ne produise pas des « effets juridiques » ou affecte « de manière significative » la personne concernée. Dans toute autre situation, un algorithme d'IA ne peut émettre qu'un avis à destination d'un humain chargé de prendre la décision.

Face à ces tendances qui vont considérablement se renforcer, peut-on avoir confiance dans les décisions prises, les avis émis ou plus généralement les traitements effectués par les IA ? La réponse à cette question est avant tout de nature légale, éthique et sociale. L'« IA de confiance » devra respecter cinq grands principes : explicabilité, sûreté de fonctionnement, équité, protection de la vie privée, et viabilité écologique et sociale [3]. Le respect de ces principes et la détermination des responsabilités en cas de non-respect passent par la recherche active de solutions techniques en France [4] et en Europe [5].

Explicabilité

Le RGPD introduit le droit pour un humain de contester une décision prise par un algorithme et de réclamer une explication. Lorsque l'algorithme ne rend qu'un avis, une telle explication est aussi primordiale pour l'humain chargé de prendre la décision. Cette explication peut prendre la forme d'une réponse écrite ou visuelle aux questions « pourquoi cette décision ? », « pourquoi pas cette autre décision ? » et « quelle aurait été la décision dans tel autre contexte ? ».

Dans le cas d'un refus de prêt bancaire, il s'agit ainsi de lister les variables (revenus, dépenses, âge, etc.) prises en compte et d'indiquer leur poids dans la décision. Dans le cas d'un accident de voiture dû à la non-identification d'un obstacle, la quantité et la complexité des informations enregistrées par les capteurs du véhicule rendent l'explication plus ardue. Dans tous les cas, l'explication se doit d'être compréhensible et adaptée à l'utilisateur, qu'il soit un professionnel ou un simple citoyen.

Si certaines méthodes d'IA comme les arbres de décision [6] sont intrinsèquement explicables lorsque le nombre de variables d'entrée est réduit, ce n'est souvent pas le cas dans une situation réelle ou avec d'autres méthodes comme les réseaux de neurones artificiels [7] qui opèrent en « boîte noire ». Cela nécessite de concevoir des méthodes capables d'expliquer la décision a posteriori [8]. L'explication peut réserver des surprises [9] quant aux raisons effectives d'une décision, que celle-ci s'avère « bonne » ou « mauvaise ».

Sûreté de fonctionnement

Certains algorithmes d'IA sont embarqués dans des systèmes (avions, voitures, machines-outils...) ou des infrastructures (réseaux d'énergie, de transport, de communication...) dont le fonctionnement est dit « critique » : la sûreté de fonctionnement de ces algorithmes doit être certifiée, tout défaut pouvant se traduire par des pertes humaines ou financières importantes.

Par exemple, la certification d'un avion requiert une probabilité de défaillance catastrophique inférieure à un milliardième par heure de vol [10]. Le test manuel des algorithmes – et de leur incarnation sous forme de puce matérielle ou de logiciel – est utile mais par nature incomplet. Dans le cas de systèmes critiques, il doit donc être complété par l'identification automatique ou semi-automatique de l'ensemble des bugs, des comportements inattendus ou des failles [11] susceptibles d'être attaquées.

Pour les algorithmes basés sur une forme de raisonnement logique, cette analyse prend la forme de preuves mathématiques [12]. Elle est plus délicate pour les algorithmes basés sur l'apprentissage automatique (machine learning en anglais) [13], dont le comportement dépend des données sur lesquelles cet apprentissage a été réalisé. Il s'agit alors d'assurer par la collecte et la simulation massive de données que l'algorithme a été confronté à un grand nombre de situations lors de la phase d'apprentissage, mais il est impossible de garantir qu'elles couvrent toutes celles qu'il rencontrera en phase de fonctionnement.

Équité

Que penseriez-vous d'un algorithme [14] conçu pour aider à identifier les patients bénéficiaires de certains soins qui, pour un même degré de gravité, en fait moins souvent bénéficier les patients à faibles revenus ? Ou d'un algorithme d'aide au recrutement [15] qui, à compétences égales, favorise les candidats masculins ?

Ce ne sont que deux exemples des nombreux biais qui peuvent, volontairement ou non, influencer la décision d'un algorithme. Ces biais peuvent provenir de stéréotypes véhiculés inconsciemment par le programmeur qui l'a écrit, du choix des variables d'entrée ou, dans le cas d'un algorithme d'apprentissage automatique, de biais ou d'erreurs dans les données d'apprentissage que cet algorithme ne fait que reproduire. De façon contre-intuitive, supprimer les variables d'entrée telles que le niveau socioculturel ou le genre ne suffit pas à rendre la décision équitable et peut même aggraver les biais entachant les autres variables d'entrée (adresse, emploi, etc.) corrélées au niveau socioculturel ou au genre en supprimant la possibilité de les corriger. Pour assurer l'équité des décisions, les relations de causalité entre variables d'entrée doivent être analysées. La modification d'un algorithme d'IA afin de le rendre équitable est aujourd'hui un problème ouvert, pour lequel il n'existe pas de solution automatique satisfaisante.

Protection de la vie privée

En utilisant une application de navigation par GPS [16], en retouchant notre âge sur une photo [17], en dialoguant avec un assistant vocal [18], ou en faisant une simple recherche Internet, nous faisons appel à des algorithmes d'IA que nous autorisons à collecter des données personnelles.

Certaines de ces données sont sensibles : il s'agit par exemple de notre visage ou notre « empreinte vocale », qu'une photo ou quelques secondes de voix suffisent à obtenir, ou d'informations sur notre santé révélées par une recherche Internet sur nos symptômes. En cas de faille de sécurité se traduisant par une fuite de données, ces données pourraient être exploitées à des fins d'usurpation d'identité ou de chantage. Même lorsque les données prises individuellement sont à première vue anodines, leur agrégation révèle de nombreux détails de notre vie. Cette collecte massive de données personnelles nuit non seulement à notre vie privée, mais aussi aux entreprises qui peuvent voir des informations confidentielles ou les habitudes d'achat de leurs clients ainsi révélées à des plates-formes tierces.

La conception d'algorithmes d'IA respectueux de la vie privée repose sur la cryptographie [19], la recherche d'un compromis entre l'utilité des données et leur anonymisation [20], et la relocalisation des traitements des données sur les terminaux des utilisateurs [21], plutôt que dans le cloud.

Vers l'« IA de confiance » viable d'un point de vue écologique et social

Indépendamment de la confiance qu'on accorde aux IA, la crise écologique interroge sur les bénéfices réels offerts par les algorithmes au regard de la consommation énergétique [22] très importante engendrée par leur apprentissage et surtout leur fonctionnement. Ce critère doit donc être pris en compte dans la conception des algorithmes [23] et des architectures matérielles [24] qui les font fonctionner, ainsi que dans l'information fournie aux utilisateurs.

Les potentiels bénéfices doivent aussi être mis au regard des impacts sociaux [25], par exemple en termes de transformation rapide du monde du travail avec la réduction du temps consacré à des tâches routinières et son recentrage sur d'autres tâches non automatisables. Un autre exemple est la possible évolution néfaste des capacités intellectuelles (humaines) qui passeraient de l'analyse, à la simple consommation d'informations. Ces impacts sociaux doivent être étudiés et interrogés [26] lorsque est prise la décision de développer ou non une certaine application.

Lorsque les décisions prises par un algorithme ont été programmées manuellement, le respect de ces cinq grands principes incombe au programmeur. La situation est plus complexe pour les algorithmes d'apprentissage automatique dont le comportement n'a pas été explicitement programmé. La science informatique peut fournir des outils afin d'analyser et de favoriser le respect de ces principes, mais elle ne peut pas garantir qu'ils seront toujours respectés, ni même assurer qu'une garantie automatique soit techniquement possible. C'est pourquoi les usages de l'IA doivent reposer avant tout sur un cadre légal et moral qui détermine les responsabilités de chacun. C'est dans ces conditions qu'elle se construira au bénéfice de l'humanité et non contre elle.

Emmanuel Vincent
Inria

À lire aussi : Systèmes d'armes létales autonomes : y aura-t-il un Terminator tricolore ?
https://www.epi.asso.fr/revue/articles/a2303d.htm

Publié le 20 novembre 2020, sur The Conversation.
https://theconversation.com/peut-on-faire-confiance-aux-ia-148867

Cet article est sous licence Creative Commons (selon la juridiction française = Paternité - Pas de Modification). http://creativecommons.org/licenses/by-nd/2.0/fr/

NOTES

[1] https://www.franceinter.fr/emissions/la-tete-au-carre/la-tete-au-carre-09-fevrier-2017.

[2] https://www.cnil.fr/fr/reglement-europeen-protection-donnees

[3] https://www.europarl.europa.eu/stoa/en/document/EPRS_STU( 2019)624261

[4] https://project.inria.fr/hyaiai/

[5] https://cordis.europa.eu/project/id/952215

[6] https://fr.wikipedia.org/wiki/Arbre_de_décision

[7] https://fr.wikipedia.org/wiki/Réseau_de_neurones_artificiels

[8] https://lrpserver.hhi.fraunhofer.de/

[9] https://www.nature.com/articles/s41467-019-08987-4

[10] https://openclassrooms.com/fr/courses/5439136-developpez-un-systeme-embarque-critique-pour-lavionique/5643051-evaluez-la-securite-des-systemes-embarques-en-vol

[11] https://medium.com/@Julien_Corb/machine-learning-et-sécurité-les-exemples-contradictoires-a8b5bea331b9