No ha llegado al año de vida. El pasado julio, OpenAI anunció la creación de un equipo enfocado en los riesgos que entraña el
desarrollo de una AGI o Inteligencia Artificial General. Esto es, un tipo
de IA que tiene la capacidad de comprender, aprender y aplicar conocimiento de
una manera comparable a la inteligencia humana. Dirigido por el cofundador de
OpenAI, Ilya Sutskever, y por el investigador Jan Leike, ha sido
disuelto por OpenAI entre acusaciones de no dedicarle los recursos
suficientes. En los últimos días, tanto Sutskever como Leike han
anunciado su marcha de la compañía de Sam Altman.
Este departamento tenía la tarea de crear medidas de
seguridad para sistemas avanzados de inteligencia general que ‘podrían
conducir a la pérdida de poder de la humanidad o incluso a la extinción humana’,
según una publicación en el blog de OpenAI el pasado julio. Es lo que la
compañía denomina superalineamiento y tiene como objetivo que una IA se
comporte de manera alineada con los valores humanos, de forma segura y
fiable, incluso en situaciones imprevistas y complejas. ‘Actualmente, no
tenemos una solución para dirigir o controlar una IA potencialmente
superinteligente y evitar que se vuelva deshonesta’, dijo entonces la
compañía.
‘OpenAI asume una enorme responsabilidad en nombre de toda
la humanidad. Pero en los últimos años, la cultura y los procesos de
seguridad han pasado a un segundo plano frente a los productos novedosos.
Hace tiempo que deberíamos tomarnos increíblemente en serio las implicaciones
de la AGI’, ha afirmado Leike en una serie de publicaciones en X al anunciar su
marcha de la compañía, este viernes.
Tanto la marcha de Leike como la de Sutskever se han
producido en los días siguientes a que OpenAI presentara su nuevo modelo de IA, GPT-4o. Según CNBC, algunos miembros del equipo de superalineamiento
están siendo transferidos a otros departamentos de la empresa. Tanto
este medio como Wired recogen las denuncias de varios empleados de OpenAI por no
destinar suficientes recursos computacionales al departamento de
superalineación.
‘He estado en desacuerdo con el liderazgo de OpenAI sobre
las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente
llegamos a un punto de ruptura’, escribió Leike. ‘Durante los últimos meses
mi equipo ha estado navegando contra el viento. A veces estábamos luchando
por la informática y cada vez era más difícil realizar esta investigación
crucial’.
Sobre la marcha de Leike, Altman aseguró en X que ‘estoy muy
agradecido por las contribuciones de @janleike a la investigación de alineación
y la cultura de seguridad de OpenAI, y me entristece mucho verlo irse. Tiene
razón, tenemos mucho más por hacer; estamos comprometidos a hacerlo. Tendré
una publicación más larga en los próximos días’.
En su anuncio sobre la formación del equipo de seguridad en
julio pasado, OpenAI dijo que estaba dedicando el 20% de su potencia
informática disponible a medidas de seguridad a largo plazo y esperaba
resolver el problema en cuatro años.
Sutskever no ha dado ninguna explicación sobre las razones
que han llevado a su salida de la empresa, aunque afirmó en X que estaba ‘seguro
de que OpenAI construirá [AGI] que sea seguro y beneficioso’ bajo la
dirección de Altman.
Sutskever fue uno de los cuatro miembros de la junta
directiva de OpenAI que participaron en el intento de expulsar a Altman de la
compañía el otoño pasado y que se saldó con su restitución como CEO unos
días después de su despido.
Estas no han sido las únicas bajas que ha tenido el ahora
disuelto equipo de superalineación en los últimos meses. Según publicó The
Information el mes pasado, Leopold Aschenbrenner y Pavel Izmailov,
dos investigadores del equipo, fueron despedidos por filtrar secretos de la
empresa. Y según Ars Technica, Cullen O’Keefe dejó su puesto como líder
de investigación sobre fronteras políticas en abril y Daniel Kokotajlo,
un investigador de OpenAI que es coautor de varios artículos sobre los peligros
de modelos de IA más capaces, ‘abandonó OpenAI debido a la pérdida de confianza
en que se comportaría de manera responsable en la época de AGI’.
OpenAI ha señalado que el trabajo del equipo de
superalineación estará ‘integrado más profundamente’ en sus otros equipos de
investigación, un cambio que se encuentra actualmente en curso. La
investigación sobre los riesgos asociados con modelos más potentes ahora estará
dirigida por John Schulman, quien codirige el equipo responsable de
ajustar los modelos de IA después del entrenamiento.
