Center for AI Safety
| Fondation |
|---|
| Sigle |
(en) CAIS |
|---|---|
| Type | |
| Forme juridique | |
| Domaines d'activité | |
| Siège | |
| Pays |
| Président |
Dan Hendrycks (depuis ) |
|---|---|
| Site web |
(en) www.safe.ai |
Le Center for AI Safety (signifiant « Centre pour la sûreté de l'IA »), ou CAIS, est une organisation à but non lucratif basée à San Francisco qui promeut la sécurité dans le développement et le déploiement de l'intelligence artificielle (IA). Les activités de CAIS en sûreté de l'IA incluent de la recherche technique, des plaidoyers et du support pour la croissance de ce champ de recherche[1],[2].
En mai 2023, CAIS a publié une déclaration affirmant que l'IA représente un risque d'extinction humaine. Celle-ci a été signée par des chercheurs, personnalités publiques et dirigeants de grandes entreprises du domaine de l'IA[3],[4].
Contexte[modifier | modifier le code]
En 2023, le 1er sommet mondial sur la sécurité de l’IA (Bletchley Park, Londres, 2023) a été lancé par le gouvernement britannique.
En 2024, suite à ce sommet, un accord entre le gouvernement Biden et le gouvernement de Rishi Sunak, prévoit que la nouvelle Agence britannique AI Safety Institute (qui devrait bénéficier de 100 millions de livres, soit 117 millions d’euros) va coopérer avec les USA, qui annoncent 10 millions de dollars (9,3 millions d’euros) pour l'Agence américaine équivalente (non encore crée). L'objectif est d'évaluer le risque posé par les nouveaux modèles d’intelligence artificielle. L'Union européenne a décidé de légiférer en la matière, mais pas le Royaume-Uni[5].
Recherche[modifier | modifier le code]
En 2023, les chercheurs du CAIS ont publié un rapport sur les risques de catastrophe liés à l'IA et les stratégies d'atténuation. Les risques mentionnés incluent entre autres l'automatisation de la guerre, l'ingénierie de pandémies ainsi que les capacités de l'IA pour la tromperie et les cyberattaques[6],[7]. Un autre travail, mené en collaboration avec des chercheurs de l'Université Carnegie Mellon, a décrit un moyen automatisé de contourner les mesures de sécurité des grands modèles de langage, soulignant l'insuffisance des systèmes de sécurité actuels[8],[9].
Activités[modifier | modifier le code]
D'autres activités du CAIS en sûreté de l'IA incluent la mise à disposition de capacités de calcul, la mise en ligne d'un cours pour débutants intitulé Intro to ML Safety, et l'offre de bourses pour les professeurs de philosophie souhaitant s'attaquer aux problèmes conceptuels[7].
Notes et références[modifier | modifier le code]
- (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Center for AI Safety » (voir la liste des auteurs).
- (en-US) « AI poses risk of extinction, tech leaders warn in open letter. Here's why alarm is spreading », USA TODAY,
- (en) « Our Mission | CAIS », www.safe.ai (consulté le )
- « Tech. L’intelligence artificielle crée “un risque d’extinction”, alertent… ses concepteurs », sur Courrier international, (consulté le )
- « IA: des experts alertent sur les menaces d'"extinction" pour l'humanité », sur BFMTV (consulté le )
- « Coopération. Intelligence artificielle : les États-Unis et le Royaume-Uni signent un accord “historique” », sur Courrier international, (consulté le )
- (en) Dan Hendrycks, Mantas Mazeika et Thomas Woodside, « An Overview of Catastrophic AI Risks », .
- (en-US) Scharfenberg, « Dan Hendrycks from the Center for AI Safety hopes he can prevent a catastrophe », The Boston Globe, (consulté le )
- (en) « Researchers Poke Holes in Safety Controls of ChatGPT and Other Chatbots », The New York Times, (lire en ligne, consulté le )
- (en) « Universal and Transferable Attacks on Aligned Language Models », llm-attacks.org (consulté le )
