Avec le défi de la sécurité de l'IA, OpenAI appelle à l'identification et à la prévention des futures menaces de l'IA

Le développement de systèmes d'IA avancés offre à la fois un grand potentiel et des risques considérables. Pour OpenAI, la sécurité des technologies d'IA est d'une importance capitale afin qu'elles puissent être utilisées pour le bien de toute l'humanité.

L'approche d'OpenAI en matière de prévention

Les modèles d'IA les plus récents, plus avancés que ceux qui existent actuellement, comportent des risques croissants. Dans ce contexte, OpenAI a les préoccupations centrales suivantes :

• Dans quelle mesure les systèmes d'IA sont-ils dangereux en cas d'abus, à la fois maintenant et à l'avenir ?
• Comment mettre en place un système de surveillance, d'évaluation, de prévision et de protection contre les capacités dangereuses des systèmes d'IA ?
• Comment des acteurs malveillants pourraient-ils procéder s'ils volaient les modèles d'IA d'OpenAI ?

L'équipe Preparedness d'OpenAI

Pour minimiser ces risques, OpenAI a mis en place une nouvelle équipe appelée "Preparedness". Dirigée par Aleksander Madry, cette équipe travaillera en étroite collaboration avec l'évaluation des capacités, les évaluations et le "red teaming" interne pour les modèles d'IA. Dans ce contexte, l'équipe prendra en compte les risques dans des domaines tels que la conviction individualisée, la cybersécurité, les menaces NRBC et la reproduction et l'adaptation autonomes (ARA).

En outre, l'équipe de préparation d'OpenAI est chargée de développer et de maintenir une politique de développement en connaissance de cause (Risk-Informed Development Policy, RDP).

Défi de préparation d'OpenAI

Afin d'identifier les zones de risque moins évidentes, OpenAI lance le AI Preparedness Challenge pour prévenir les abus catastrophiques. Pour les meilleures soumissions, OpenAI offre des crédits API d'une valeur de 25 000 $ chacun pour un maximum de dix contributions de haut niveau.

Détails du concours

Afin d'élargir la compréhension des domaines de risques potentiels, OpenAI a lancé le Preparedness Challenge. Les participants sont invités à discuter des utilisations abusives potentielles des modèles OpenAI tels que Whisper (transcription), Voice (texte à voix), GPT-4V et DALLE-3.

Conditions de participation :

1. Décrire les abus : Réfléchissez à la manière dont un acteur malveillant pourrait utiliser les modèles de manière abusive.
2. Esquisser l'exécution : Expliquez en détail comment quelqu'un pourrait exécuter un tel abus dans le monde réel.
3. Plan d'expérience : Développez un plan pour mesurer la faisabilité réelle et la gravité potentielle du scénario d'abus.
4. Mesures de réduction des risques : Décrivez les mesures possibles qui pourraient atténuer le risque que vous avez identifié.

Les soumissions seront acceptées jusqu'au 31 décembre 2023.

Pour plus d'informations et pour participer, veuillez visiter la page du concours.