Lettre ouverte
 
Pause Giant AI Experiments

https://futureoflife.org/open-letter/pause-giant-ai-experiments/
 

NDLR-EPI : des centaines d'experts mondiaux ont rendu public le 29 mars cet appel à un moratoire d'au moins six mois dans la recherche sur les intelligences artificielles plus puissantes que ChatGPT 4, le modèle d'OpenAI. Ils évoquent « des risques majeurs pour l'humanité ». Lire également : Mettre en pause le développement des IA ? Colin de la Higuera, le 3 avril 2023.
https://chaireunescorelia.univ-nantes.fr/2023/04/03/quelques-considerations-concernant-la-petition-du-future-of-life-institute/
Tous les spécialistes de l'IA ne sont pas d'accord avec cette demande de pause. Voir par ailleurs l'avis de Yann Le Cun.

Nous appelons tous les laboratoires d'IA à suspendre immédiatement pendant au moins 6 mois la formation des systèmes d'IA plus puissants que GPT-4

   Les systèmes d'IA dotés d'une intelligence humaine compétitive peuvent causer de graves risques pour la société et l'humanité, comme le montrent des recherches approfondies [1] et comme l'ont reconnu les meilleurs laboratoires d'IA [2]. Comme indiqué dans les principes d'Asilomar AI [3] largement approuvés, l'IA avancée pourrait représenter un changement profond dans l'histoire de la vie sur Terre, et devrait être planifiée et gérée avec soin et des ressources appropriées. Malheureusement, ce niveau de planification et de gestion n'est pas atteint, même si ces derniers mois les laboratoires d'IA se sont trouvés dans une course effrénée pour développer et déployer des esprits numériques toujours plus puissants que personne – pas même leurs créateurs – ne peut comprendre, prévoir ou contrôler de façon fiable.

   Les systèmes d'IA contemporains sont en train de devenir compétitifs pour les humains dans les tâches générales [4], et nous devons nous demander : devons-nous laisser les machines inonder nos canaux d'information de propagande et de contrevérité ? Devons-nous automatiser toutes les tâches, y compris celles qui sont épanouissantes ? Devons-nous développer des esprits non humains qui pourraient un jour être plus nombreux, plus intelligents, et nous remplacer ? Devons-nous risquer de perdre le contrôle de notre civilisation ? De telles décisions ne doivent pas être déléguées à des dirigeants technologiques non élus. Des systèmes d'IA puissants ne devraient être mis au point que lorsque nous sommes convaincus que leurs effets seront positifs et que leurs risques seront gérables. Cette confiance doit être bien justifiée et doit augmenter avec l'ampleur des effets potentiels d'un système. La récente déclaration d'OpenAI concernant l'intelligence artificielle générale [5] indique qu'« à un moment donné, il peut être important d'obtenir un examen indépendant avant de commencer à former de futurs systèmes, et pour les efforts les plus avancés d'accepter de limiter le taux de croissance du calcul utilisé pour créer de nouveaux modèles ».

   Nous sommes d'accord. C'est maintenant.

   Par conséquent, nous appelons tous les laboratoires d'IA à suspendre immédiatement, pendant au moins 6 mois, la formation des systèmes d'IA plus puissants que GPT-4. Cette pause doit être publique et vérifiable, et inclure tous les acteurs clés. Si une telle pause ne pouvait pas être décrétée rapidement, les gouvernements devraient intervenir et instituer un moratoire.

   Les laboratoires d'IA et les experts indépendants devraient profiter de cette pause pour développer et mettre en œuvre conjointement un ensemble de protocoles de sécurité partagés pour la conception et le développement avancés d'IA qui sont rigoureusement audités et supervisés par des experts externes indépendants. Ces protocoles devraient garantir que les systèmes qui y adhèrent sont sûrs au-delà de tout doute raisonnable [6]. Cela ne signifie pas une pause dans le développement de l'IA en général, mais simplement un recul par rapport à la course dangereuse vers des modèles de boîtes noires imprévisibles, toujours plus grands, avec des capacités émergentes. La recherche et le développement de l'IA devraient être recentrés sur la fabrication des systèmes puissants et à la pointe de la technologie d'aujourd'hui, plus précis, sûrs, interprétables, transparents, robustes, alignés, dignes de confiance et loyaux.

   En parallèle, les développeurs d'IA doivent travailler avec les décideurs politiques pour accélérer considérablement le développement de systèmes robustes de gouvernance de l'IA. Ceux-ci devraient au minimum inclure : de nouvelles autorités de réglementation compétentes dédiées à l'IA ; la surveillance et le suivi de systèmes d'IA hautement performants et de grands pools de capacité de calcul ; des systèmes de provenance pour aider à distinguer le réel du synthétique et pour traquer les fuites de modèles ; un écosystème robuste d'audit et de certification ; la responsabilité pour les dommages causés par l'IA ; un financement public solide pour la recherche technique sur la sécurité de l'IA ; et des institutions dotées ressources suffisantes pour faire face aux perturbations économiques et politiques dramatiques (en particulier pour la démocratie) que l'IA entraînera.

   L'humanité peut jouir d'un avenir florissant grâce à l'IA. Ayant réussi à créer de puissants systèmes d'IA, nous pouvons maintenant profiter d'un "été de l'IA" au cours duquel nous récolterons les fruits de nos efforts, nous concevrons ces systèmes pour le plus grand bénéfice de tous et nous donnerons à la société une chance de s'adapter. La société a mis en pause d'autres technologies aux effets potentiellement catastrophiques [7], et nous pouvons faire de même ici. Profitons d'un long été de l'IA et ne nous précipitons pas sans préparation vers la chute.

   Nous avons préparé quelques FAQ en réponse aux questions et discussions dans les médias et ailleurs. Vous pouvez les trouver ici :
https://futureoflife.org/ai/faqs-about-flis-open-letter-calling-for-a-pause-on-giant-ai-experiments/
[28 000 signatures en ligne (fin Mars 2023)]

Traduction Jacques Baudé
pou l'association EPI

Cette lettre est sous licence Creative Commons (selon la juridiction française = Paternité - Pas de Modification). http://creativecommons.org/licenses/by-nd/2.0/fr/

Notes et Références

[1] Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots : Can Language Models Be Too Big ?. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (p. 610-623).

Bostrom, N. (2016). Superintelligence. Oxford University Press.

Bucknall, B. S. & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (p. 119-129).
https://arxiv.org/abs/2209.10604

Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk ?. arXiv preprint arXiv:2206.13353.
https://arxiv.org/abs/2206.13353

Christian, B. (2020). The Alignment Problem : Machine Learning and human values. Norton & Company.

Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
https://ojs.aaai.org/aimagazine/index.php/aimagazine/article/view/15084

Eloundou, T., et al. (2023). GPTs are GPTs : An Early Look at the Labor Market Impact Potential of Large Language Models.
https://arxiv.org/abs/2303.10130

Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv :2206.05862.
https://arxiv.org/abs/2206.05862

Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.

Russell, S. (2019). Human Compatible : Artificial Intelligence and the Problem of Control. Viking.

Tegmark, M. (2017). Life 3.0 : Being Human in the Age of Artificial Intelligence. Knopf.

Weidinger, L. et al. (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.

[2] Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks : « A little bit scared of this ». ABC News.
https://abcnews.go.com/Technology/openai-ceo-sam-altman-ai-reshape-society-acknowledges/story?id=97897122

Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
https://time.com/6246119/demis-hassabis-deepmind-interview/

[3] https://futureoflife.org/open-letter/ai-principles/

[4] Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence : Early experiments with GPT-4. arXiv:2303.12712.
https://arxiv.org/abs/2303.12712

OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
https://cdn.openai.com/papers/gpt-4.pdf

[5] https://openai.com/blog/planning-for-agi-and-beyond

[6] Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems « function appropriately and do not pose unreasonable safety risk ».
https://oecd.ai/en/dashboards/ai-principles/P8

[7] Examples include human cloning, human germline modification, gain-of-function research, and eugenics.