L’équipe Superalignment d’OpenAI, chargée de contrôler le danger existentiel d’un système d’IA surhumain, aurait été dissoute, selon Filaire vendredi. La nouvelle arrive quelques jours seulement après que les fondateurs de l’équipe, Ilya Sutskever et Jan Leike, quitter simultanément l’entreprise.
Wired rapporte que l’équipe Superalignment d’OpenAI, lancée pour la première fois en juillet 2023 pour empêcher les systèmes d’IA surhumains du futur de devenir des voyou, n’est pas plus. Le rapport indique que le travail du groupe sera absorbé dans les autres efforts de recherche d’OpenAI. Les modèles d’IA seront désormais dirigés par John Schulman, cofondateur d’OpenAI, selon Wired. Sutskever et Leike faisaient partie des meilleurs scientifiques d’OpenAI. sur les risques liés à l’IA.
Leike a posté un fil long sur X Vendredi, expliquant vaguement pourquoi il a quitté OpenAI. Il dit qu’il se bat depuis un certain temps avec les dirigeants d’OpenAI sur les valeurs fondamentales, mais qu’il a atteint un point de rupture cette semaine. Leike a noté que l’équipe Superaligment « naviguait contre le vent », luttant pour obtenir suffisamment de calculs pour des recherches cruciales. . Il pense que OpenAI doit être davantage concentré sur la sécurité, la sûreté et l’alignement.
I joined because I thought OpenAI would be the best place in the world to do this research.
However, I have been disagreeing with OpenAI leadership about the company's core priorities for quite some time, until we finally reached a breaking point.
— Jan Leike (@janleike) May 17, 2024
L’équipe de presse d’OpenAI nous a orienté à Le tweet de Sam Altman lorsqu’on lui a demandé si l’équipe Superalignment avait été dissoute. Altman dit qu’il aura un poste plus long dans les prochains jours et OpenAI a “beaucoup plus à faire”.
i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.
— Sam Altman (@sama) May 17, 2024
Plus tard, un porte-parole d’OpenAI a clarifié que « le superalignement va maintenant être enraciné plus profondément dans la recherche, ce qui nous aidera à mieux atteindre notre objectif. Objectifs de Superalignment.” La société affirme que cette intégration a commencé « il y a des semaines »et à terme déplacera les membres de l’équipe et les projets de Superalignment vers d’autres parties de l’entreprise.
“Actuellement, nous n’avons pas de solution pour piloter ou contrôler une IA potentiellement superintelligente et l’empêcher de devenir malveillante”, a déclaré le responsable. L’équipe Superalignment dans un article de blog OpenAI lorsqu’elle lancé en juillet. «Mais les humains ne seront pas capables de superviser de manière fiable les systèmes d’IA beaucoup intelligents que nous, et donc nos techniques d’alignement actuelles ne évoluer vers la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques.
On ne sait pas vraiment si la même attention sera accordée à ces avancées techniques. Sans aucun doute, il y a d’autres équipes chez OpenAI qui se concentrent sur la sécurité. L’équipe de Schulman, qui assumerait apparemment les responsabilités de Superalignment, est actuellement chargée de peaufiner les modèles d’IA après la formation. Cependant, Superalignment s’est concentré spécifiquement sur les conséquences les plus graves d’une IA malveillante. Comme Gizmodo l’a noté hier, plusieurs des plus ardents défenseurs de la sécurité de l’IA d’OpenAI ont a démissionné ou a été licencié au cours des derniers mois.
Plus tôt cette année, le groupe a publié un document de recherche remarquable sur contrôler de grands modèles d’IA avec des modèles d’IA plus petits-considéré comme une première étape vers le contrôle des systèmes d’IA superintelligents. On ne sait pas qui fera les prochaines étapes sur ces projets chez OpenAI.
La startup d’IA de Sam Altman a lancé cette semaine par dévoilement GPT-4 Omni, le dernier modèle frontière de l’entreprise qui présentait des réponses à latence ultra-faible qui semblaient plus humaines que jamais. De nombreux membres du personnel d’OpenAI ont fait remarquer à quel point son Le dernier modèle d’IA était plus proche que jamais de quelque chose de la science-fiction, en particulier du film. Son.
