OpenAI, que desarrolló ChatGPT, prioriza los ‘productos llamativos’ sobre la seguridad, dice exempleado
Por temas de seguridad, Jan Leike, investigador clave en seguridad de la empresa detrás de ChatGPT, renunció días después del lanzamiento de su último modelo de inteligencia artificial, GPT-4o.
Por temas de seguridad, Jan Leike, investigador clave en seguridad de la empresa detrás de ChatGPT, renunció días después del lanzamiento de su último modelo de inteligencia artificial, GPT-4o.
Un exempleado senior de OpenAI dijo que la compañía detrás de ChatGPT está priorizando los “productos llamativos” sobre la seguridad, y reveló que renunció después de que un desacuerdo sobre objetivos clave alcanzó un “punto de quiebre”.
Jan Leike fue un investigador clave de seguridad en OpenAI como codirector de superalineación, garantizando que los potentes sistemas de inteligencia artificial se adhirieran a los valores y objetivos humanos. Su intervención se produce antes de una cumbre mundial sobre inteligencia artificial que se celebrará en Seúl la próxima semana, donde políticos, expertos y ejecutivos tecnológicos discutirán la supervisión de la tecnología.
Leike renunció días después de que la empresa con sede en San Francisco lanzara su último modelo de inteligencia artificial, GPT-4o. Su partida significa que dos figuras senior de seguridad en OpenAI han dejado la compañía esta semana, luego de la renuncia de Ilya Sutskever, cofundador de OpenAI y codirector de superalineación.
Leike detalló los motivos de su partida en un hilo en X publicado el viernes, en el que dijo que la cultura de seguridad se había convertido en una prioridad menor.
“En los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos llamativos”, escribió.
OpenAI se fundó con el objetivo de garantizar que la inteligencia artificial general, que describe como “sistemas de IA que generalmente son más inteligentes que los humanos”, beneficie a toda la humanidad. En sus publicaciones X, Leike dijo que había estado en desacuerdo con la dirección de OpenAI sobre las prioridades de la compañía durante algún tiempo, pero que el enfrentamiento “finalmente llegó a un punto de quiebre“.
Leike dijo que OpenAI, que también desarrolló el generador de imágenes Dall-E y el generador de video Sora, debería invertir más recursos en temas como seguridad, impacto social, confidencialidad y protección para su próxima generación de modelos.
“Estos problemas son bastante difíciles de solucionar y me preocupa que no estemos en la trayectoria para llegar allí”, escribió, añadiendo que cada vez era “más difícil” para su equipo realizar sus investigaciones.
“Construir máquinas más inteligentes que los humanos es una tarea intrínsecamente peligrosa. OpenAI asume una enorme responsabilidad en nombre de toda la humanidad”, escribió Leike, y agregó que OpenAI “debe convertirse en una empresa AGI que priorice la seguridad”.
Sam Altman, director ejecutivo de OpenAI, respondió al hilo de Leike con una publicación en X agradeciendo a su excolega por sus contribuciones a la cultura de seguridad de la empresa.
“Tiene razón, tenemos mucho más por hacer; estamos comprometidos a hacerlo”, escribió.
Sutskever, quien también fue el científico jefe de OpenAI, escribió en su publicación en X al anunciar su partida que confiaba en que OpenAI “construirá AGI que sea segura y beneficiosa” bajo su liderazgo actual. Sutskever había apoyado inicialmente la destitución de Altman como jefe de OpenAI en noviembre pasado, antes de respaldar su reinstalación después de días de agitación interna en la empresa.
La advertencia de Leike se produjo cuando un panel de expertos internacionales en IA publicó un informe inaugural sobre la seguridad de la inteligencia artificial, que decía que había desacuerdo sobre la probabilidad de que poderosos sistemas de IA evadieran el control humano. Sin embargo, advirtió que los rápidos avances en la tecnología podrían dejar a los reguladores rezagados, advirtiendo sobre la “disparidad potencial entre el ritmo del progreso tecnológico y el ritmo de una respuesta regulatoria”.
Síguenos en
