Fêtes sexuelles, LSD et création d'une IA plus intelligente que l'humain : que se passe-t-il dans les coulisses d'OpenAI
Il y a quelques jours, Jan Lek a quitté OpenAI. Le chercheur était à la tête d'une équipe qui devait prévenir les risques liés à la création de l'intelligence artificielle générale (AGI), une intelligence artificielle générale dont les capacités sont égales ou supérieures à celles des humains.
« J'ai été en désaccord avec les dirigeants d'OpenAI sur les principales priorités de l'entreprise pendant un certain temps, jusqu'à ce que nous atteignions finalement un point critique. Je pense qu'une part beaucoup plus grande de nos ressources devrait être consacrée à la préparation des prochaines générations de modèles, c'est-à-dire pour elles. vraiment sûrs. Et quel sera leur impact sur la société.
Ces problèmes sont très difficiles à résoudre, et je crains que nous ne soyons pas sur la bonne voie pour en arriver là. Au cours des derniers mois, mon équipe a navigué à contre-courant. Nous avons eu du mal à obtenir la puissance de calcul nécessaire pour mener nos recherches, mais cela devient de plus en plus difficile.
Construire des machines plus intelligentes que les humains est une entreprise très dangereuse. OpenAI a une grande responsabilité au nom de l’humanité toute entière. Mais ces dernières années, la culture et les opérations de sécurité ont cédé le pas aux produits brillants. « Il est grand temps de prendre très au sérieux les implications de l’intelligence artificielle générale », a écrit Jan Leckey sur le réseau social X.
Il a terminé son message avec la phrase étrange « Apprenez à ressentir l'AGI ».
Il y a quelque temps, il est devenu clair que le scientifique en chef d'OpenAI, Ilya Sutzkever, était obsédé par l'expression « ressentir AGI ». Il a même organisé des cérémonies quasi religieuses au nom de l’intelligence artificielle mondiale.
« Si vous ne ressentez pas d'AGI lorsque vous vous réveillez et lorsque vous vous endormez, vous ne devriez pas travailler dans cette entreprise », avait précédemment déclaré OpenAI.
Le clin d’œil dans cette phrase semble avoir déclenché des informations assez « épicées ».
Sonia Joseph est une spécialiste de l'apprentissage automatique de l'Université de Princeton et actuellement doctorante qui étudie le potentiel de l'explicabilité multimodale. Son environnement précédent était composé de professionnels de l’IA de la Silicon Valley, dont plusieurs employés d’OpenAI.
« Être un membre actif de la scène du piratage informatique de la Silicon Valley, c'est comme travailler comme un homme politique de l'ombre.Sonia Joseph commence.
« Pendant que j'y étais, je me suis retrouvé parmi les cercles d'élite dans le domaine des technologies d'intelligence artificielle. J'ai vu des choses troublantes dans les cercles sociaux de certains des premiers employés d'OpenAI et de leurs amis et collègues entrepreneurs dont j'ai gardé le silence.
Il n'est pas approprié pour moi de parler de la raison de la démission de Jan Lake et du Supergroupe. Je ne sais pas pourquoi et je ne peux faire aucune réclamation. Cependant, je pense que mes observations culturelles de l’environnement sont assez révélatrices de ce qui s’y passe.
Les fêtes sexuelles et la consommation massive de LSD par certains chercheurs d'élite en IA sont une pratique qui a des conséquences négatives pour les femmes dans ce domaine et pour la sécurité autour des AGI en général.
Ils sont emblématiques de problèmes plus vastes : un climat de coercition qui normalise l’insouciance et les abus.
En théorie, il n'y a rien de mal avec les soirées sexuelles et la forte consommation de LSD, mais comme les groupes d'intérêt ont encore 100 milliards de dollars sur leur compte en banque, cela crée une dynamique sociale véritablement destructrice. Imaginez des banquiers de Wall Street prenant du LSD en 2008 : la situation n’augure rien de bon pour la sécurité de l’IA.
Les femmes sont comme des canaris dans une mine. Ils sont souvent les premiers à se rendre compte que quelque chose ne va vraiment pas et les premiers à sentir le monoxyde de carbone culturel dans l’air. Lorsque je soulève cette question, je ressens une clôture immédiate et une réflexion de groupe.
Il est possible que ces problèmes ne soient pas vraiment un problème OpenAI, mais le symptôme d'une pourriture beaucoup plus profonde dans la vallée. J'aimerais pouvoir en dire plus, mais peut-être que je ne devrais pas.
Je n’écris ceci au nom de personne et je ne veux pas généraliser. Il y a beaucoup de gens sympas, sympas et extraordinaires chez OpenAI, et il y a beaucoup de gens sympas, sympas et extraordinaires chez Anthropic/EA/Google. Je suis agnostique. Ma seule loyauté est envers le respect et la dignité de la vie humaineSonia Joseph écrit.
« Je ne suis pas sous NDA. Je n'ai jamais travaillé pour OpenAIajoute Joseph.Je viens d'être témoin de la culture autour des chercheurs en IA à San Francisco, d'entendre des informations privilégiées, de découvrir des accords en coulisses et de rencontrer pas mal de personnes « stressantes ».« .
Il est difficile de tirer des conclusions des déclarations de Joseph car elles ne sont pas précises. Cependant, ils ont du sens dans le contexte de la culture d'entreprise du secteur informatique, où « produire un produit plus rapidement que la concurrence » est un principe directeur. Un nombre croissant d’anciens travailleurs de l’IA tirent la sonnette d’alarme : la sécurité et les impacts sociétaux de cette technologie sont relégués au second plan. Dans le même temps, tous les leaders du secteur ont pour objectif de développer l’intelligence artificielle générale (AGI), une intelligence artificielle dotée de capacités mentales égales ou supérieures aux nôtres.
