À propos de

Pourquoi "Incidents IA"?

Les systèmes intelligents sont actuellement sujets à des pannes imprévues et souvent dangereuses lorsqu'ils sont déployés dans le monde réel. Tout comme le secteur des transports avant lui (par exemple, FAA et FARS) et plus récemment systèmes informatiques, les systèmes intelligents nécessitent un référentiel de problèmes rencontrés dans le monde réel afin que les futurs chercheurs et développeurs puissent atténuer ou éviter les mauvais résultats répétés.

Qu'est-ce qu'un incident ?

La série initiale de plus de 1 000 rapports d’incidents était intentionnellement large. Les exemples actuels incluent,

• Une voiture autonome tue un piéton
• Un algorithme de trading provoque un "flash crash" de marché où des milliards de dollars sont transférés entre les parties.
• Un système de reconnaissance faciale provoque l'arrestation d'une personne innocente

Vous êtes invité à explorer les incidents collectés à ce jour, afficher la liste complète et à soumettre des rapports d'incident supplémentaires. Les chercheurs sont invités à consulter notre définition pratique des incidents d’IA.

Utilisateurs actuels et futurs

La base de données est un produit de données et un ensemble d'applications en constante évolution.

• Les utilisateurs actuels incluent les architectes système, les développeurs de produits industriels, les responsables des relations publiques, les chercheurs et les chercheurs en politiques publiques. Ces utilisateurs sont invités à utiliser l'application Discover pour découvrir de manière proactive comment les systèmes intelligents récemment déployés ont produit des résultats inattendus dans le monde réel. Ce faisant, ils pourraient éviter de commettre des erreurs similaires dans leur développement.
• Les utilisations futures évolueront grâce aux contributions de code de la communauté open source, y compris des base de données résumés et taxonomies.

Quand devez-vous signaler un incident ?

En cas de doute quant à savoir si un événement est considéré comme un incident, veuillez le soumettre ! Ce projet vise à converger vers une définition partagée d'« incident d'IA » à travers l'exploration des incidents candidats soumis par la communauté au sens large.

Conseil d'administration

La base de données des incidents est gérée de manière participative par des personnes et des organisations qui contribuent au code, à la recherche et à des impacts plus larges. Si vous souhaitez participer à la gouvernance du projet, veuillez nous contacter et inclure votre contribution prévue à la base de données des incidents AI.

Membres votants

• Patrick Hall: Patrick était récemment scientifique principal chez bnh.ai, un cabinet d'avocats basé à Washington et spécialisé dans l'IA et l'analyse de données. Patrick est également professeur adjoint à la George Washington University School of Business. Avant de co-fonder bnh.ai, Patrick a dirigé les efforts responsables d’IA au sein de la société de logiciels d’apprentissage automatique H2O.ai, où ses travaux ont abouti à l’une des premières solutions commerciales au monde pour un apprentissage automatique explicable et équitable. Entre autres écrits dans les médias universitaires et technologiques, Patrick est le principal auteur de livres électroniques populaires sur l'apprentissage automatique explicable et responsable. Patrick a étudié la chimie computationnelle à l'Université de l'Illinois avant d'être diplômé de l'Institute for Advanced Analytics de la North Carolina State University. Contributions : Patrick est l'un des principaux contributeurs de rapports d'incidents à la base de données d'incidents AI (https://incidentdatabase.ai/summaries/leaderboard) et assure un leadership stratégique pour le conseil d'administration.

• Heather Frase: Heather Frase, PhD, est chercheuse principale au [Centre pour la sécurité et les technologies émergentes] de Georgetown(https://cset.georgetown.edu/) (CSET), où elle travaille sur l'évaluation de l'IA. Elle est également conseillère non rémunérée pour le projet Open Loop de Meta, fournissant son expertise sur la mise en œuvre du cadre de gestion des risques liés à l’IA du National Institute for Standards and Technology. Avant de rejoindre le CSET, Heather a passé huit ans à fournir un support en matière d'analyse de données, de modélisation informatique, d'apprentissage automatique (ML) et d'intelligence artificielle (IA) pour les contrats de renseignement, de défense et fédéraux. De plus, Heather a passé 14 ans à l'Institut d'analyses de la défense (IDA), en tant que directrice adjointe des tests opérationnels et de l'évaluation (DOT&E). À l'IDA, elle a dirigé des équipes de recherche analytique qui ont appliqué leur expertise scientifique, technologique et statistique pour développer des mesures de données et des plans de collecte pour les tests opérationnels des principaux systèmes de défense, analyser les données de test et produire des évaluations de l'efficacité et de l'adéquation opérationnelles. Elle est titulaire d'un doctorat. en science des matériaux du California Institute of Technology et un BS en physique de l'Université de Miami à Oxford Ohio. Contributions: Heather développe la recherche sur les incidents d'IA en plus de sa supervision de la taxonomie CSET.

• Kristian J. Hammond: Kris Hammond est professeur d'informatique Bill et Cathy Osborn Science à la Northwestern University et co-fondateur de la société d'intelligence artificielle Narrative Science, récemment acquise par Salesforce. Il est également directeur pédagogique de l’initiative CS + X de Northwestern, qui explore la manière dont la pensée informatique peut être utilisée pour transformer des domaines tels que le droit, la médecine, l’éducation et les affaires. Il est directeur du Master of Science in Artificial Intelligence (MSAI) de Northwestern. Plus récemment, le Dr Hammond a fondé le Center for Advancing Safety in Machine Intelligence (CASMI), un centre de recherche financé par Underwriter’s Laboratories. CASMI se concentre sur l’opérationnalisation de la conception et de l’évaluation des systèmes d’IA du point de vue de leur impact sur la vie et la sécurité humaines. Contributions : Kris développe un projet collaboratif centré sur les études de cas d'incidents.

Conseil émérite

Les membres émérites du conseil d’administration sont ceux qui se sont particulièrement distingués dans leur service au sein du Responsible AI Collaborative. Ils n’occupent aucun poste de gouvernance au sein de l’organisation.

• Sean McGregor : Sean McGregor a fondé le projet AI Incident Database et a récemment rejoint le Digital Safety Research Institute en tant que directeur fondateur. Avant de démarrer Responsible AI Collaborative, Sean a quitté son poste d'architecte d'apprentissage automatique au sein de la start-up d'accélérateurs neuronaux Syntiant afin de pouvoir se concentrer à plein temps sur l'assurance de systèmes intelligents. Les travaux du Dr McGregor couvrent les accélérateurs neuronaux pour l'inférence économe en énergie, l'apprentissage profond pour la parole et l'héliophysique, et l'apprentissage par renforcement pour les politiques de suppression des incendies de forêt. En dehors de son travail rémunéré, Sean a organisé une série d'ateliers lors de grandes conférences universitaires sur l'IA sur le thème « l'IA pour le bien » et cherche désormais à tirer parti en toute sécurité des avantages de l'IA en reliant les enregistrements d'incidents d'IA aux programmes de test d'IA.

• Helen Toner : Helen Toner est directrice de la stratégie au Centre pour la sécurité et les technologies émergentes (CSET) de Georgetown. Elle a auparavant travaillé comme analyste de recherche principale chez Open Philanthropy, où elle a conseillé les décideurs politiques et les bailleurs de fonds sur la politique et la stratégie en matière d'IA. Entre son travail chez Open Philanthropy et son arrivée au CSET, Helen a vécu à Pékin, étudiant l'écosystème chinois de l'IA en tant que chercheur affilié au Centre pour la gouvernance de l'IA de l'Université d'Oxford. Helen a écrit pour Foreign Affairs et d'autres médias sur les implications de l'IA et de l'apprentissage automatique sur la sécurité nationale pour la Chine et les États-Unis, et a témoigné devant la Commission d'examen économique et de sécurité entre les États-Unis et la Chine. Elle est membre du conseil d'administration d'OpenAI. Helen est titulaire d'une maîtrise en études de sécurité de Georgetown, ainsi que d'un baccalauréat en génie chimique et d'un diplôme en langues de l'Université de Melbourne.

Collaborateurs

Responsible AI Collaborative : Personnes qui servent l'organisation derrière la base de données des incidents AI.

• Scott Allen Cambo
• Janet Boutilier Schwartz

Digital Safety Research Institute (DSRI) : Personnes affiliées au DSRI, qui apporte un soutien substantiel au programme AIID.

• Kevin Paeth est un responsable du DSRI
• César Varela est un ingénieur Full Stack
• Luna McNulty est ingénieur UX
• Pablo Costa est un ingénieur Full Stack
• Clara Youdale Pinelli est une ingénieure front-end
• Sean McGregor est directeur chez DSRI

Éditeurs d'incidents : personnes qui résolvent les incidents soumis à la base de données et les maintiennent.

• Daniel Atherton
• Sean McGregor
• Khoa Lam
• Kate Perkins
• Janet Boutilier Schwartz

De plus, Zachary Arnold a apporté des contributions significatives aux critères d'incident.

Éditeurs de taxonomie : Organisations ou personnes qui ont contribué aux taxonomies à la base de données.

• Centre pour la sécurité et les technologies émergentes (CSET)
• Nikiforos Pittaras (GMF)

Partenariat sur les membres du personnel d'IA : Jingying Yang et Dr. Christine Custis a contribué de manière significative aux premières étapes de l'AIID.

Contributeurs Open Source : Personnes qui ont contribué à plus d'une demande d'extraction, de graphiques, de copie de site ou de rapport de bogue à la base de données d'incidents AI.

• Neama Dadkhahnikoo : Neama a été directrice exécutive bénévole et observatrice du conseil d'administration du Responsible AI Collaborative.
• Kit Harris : Kit a servi en tant qu'observateur au conseil d'administration et a fourni des conseils stratégiques depuis son poste de conseiller en subventions.
• Alex Muscă
• Chloe Kam Développement du logo AIID
• JT McHorse *Seth Reid

Contributeurs à l'incident : Personnes qui ont contribué à un grand nombre d'incidents dans la base de données.

• Roman Lutz (Institut Max Planck pour les systèmes intelligents, anciennement Microsoft)
• Patrick Hall (Burt and Hall LLP)
• Catherine Olsson (Google)
• Roman Yampolskiy (Université de Louisville)
• Sam Yoon (en tant qu'entrepreneur chez PAI, puis chez Deloitte Consulting, puis avec la Kennedy School of Government)

Les personnes suivantes ont collecté un grand nombre d’incidents en attente d’ingestion.

• Zachary Arnold, Helen Toner, Ingrid Dickinson, Thomas Giallella et Nicolina Demakos (Centre pour la sécurité et les technologies émergentes, Georgetown)
• Charlie Pownall via le référentiel d'incidents et de controverses d'IA, d'algorithme et d'automatisation (AIAAIC)
• Lawrence Lee, Darlena Phuong Quyen Nguyen, Iftekhar Ahmed (UC Irvine)

Il existe une communauté croissante de personnes concernées par la collecte et la caractérisation des incidents d’IA, et nous encourageons chacun à contribuer au développement de ce système.