jueves, 23 de noviembre de 2023

Antes de despedir a Altman, OpenAI hizo un descubrimiento. Uno que plantea una "amenaza para la humanidad"

Antes de despedir a Altman, OpenAI hizo un descubrimiento. Uno que plantea una

El maremágnum de acontecimientos que hemos vivido en los últimos días con OpenAI dejaba varias incógnitas, pero la más importante era teóricamente la más sencilla de responder. ¿Por qué le despidieron en primer lugar? Nuevos datos revelan ahora una nueva teoría.

Amenaza para la humanidad. Según indican en The Information y en Reuters, justo antes del "exilio" de Altman sus investigadores escribieron una carta al consejo advirtiendo de que habían hecho un importante descubrimiento. Uno que según fuentes cercanas a los acontecimientos "podía amenazar a la humanidad".

Un motivo más para el despido. Esas fuentes indican que esa carta y el nuevo algoritmo de IA del que se hablaba en ella acabó convirtiéndose en una de las razones de la decisión que más tarde acabaría tomando el consejo, que despidió a Altman y forzó la dimisión de Brockman.

Desarrollo seguro vs ganar dinero. En ese consejo había preocupación por la tendencia a comercializar esos avances sin entender sus potenciales consecuencias. En OpenAI confirmaron en un mensaje interno a la plantilla que había un proyecto llamado "Q*" (pronunciado "Q star") y que se había escrito una carta advirtiendo de sus potenciales implicaciones. En The Information destacan que quien lideró ese proyecto fue Ilya Sutskever, Chief Scientist en OpenAI y uno de los artífices del despido de Altman.

Un potencial paso hacia la AGI. Según fuentes internas, hay empleados de OpenAI que creen que Q* podría ser un punto de inflexión en la consecución de lo que se conoce como inteligencia artificial general (AGI), es decir, un sistema de IA que según la empresa sobrepasaría a los humanos en todas las tareas con valor económico.

Resolviendo las matemáticas. Al darle enormes recursos computacionales, el nuevo modelo Q* fue capaz de resolver varios problemas matemáticos. Aunque el rendimiento matemático era similar al de los alumnos de primaria, los investigadores de OpenAI eran especialmente optimistas sobre el futuro de Q*.

Más allá del "loro estocástico". En aprendizaje automático se califica a ChatGPT y sus rivales como "loros estocásticos": se basan en grandes modelos de lenguaje (LLMs) que son buenos generando textos, pero que en realidad no entienden el significado del texto que están procesando. A diferencia de esos logros, con Q* se plantea un nuevo hito en el desarrollo de modelos de IA generativa. Uno que podría comenzar a emular el razonamiento y la inteligencia humana.

Pero eso podría ser muy peligroso. En su carta al consejo, los investigadores calificaron ese avance como un peligro potencial, aunque no especificaron los riesgos en esa carta. También hablaron de un trabajo desarrollado por otro grupo de investigación en IA que estaba explorando cómo optimizar los modelos de IA existentes para mejorar su razonamiento y acabar realizando tareas científicas.

Altman lo mencionó... y fue despedido. En un reciente evento en San Francisco, el Asia-Pacifica Economic Cooperation Summit, Altman insinuó que creía que se vislumbraban grandes avances en este campo. "Cuatro veces en la historia de OpenAI, la última en las dos últimas semanas, he tenido la oportunidad de estar en la sala en la que dejo atrás el velo de la ignorancia y la frontera del descubrimiento delante, y poder hacerlo es un honor profesional en mi vida".

Un día después, la junta despidió a Altman.

Imagen | Universal Pictures

En Xataka | Cronología de la crisis de OpenAI: todo lo que ha pasado desde el despido de Sam Altman hasta hoy



via Robótica e IA - Xataka https://ift.tt/3ci6p1L

No hay comentarios:

Publicar un comentario