OpenAI publicó recientemente en forma de beta la API de su último modelo de lenguaje, GPT-3. Con esta herramienta algunos desarrolladores han comenzado a mostrar de qué es capaz esta plataforma capaz de generar contenido con tan sólo darle órdenes en inglés y de forma comprensible por cualquiera. Por ejemplo, "crea una web con siete botones con los colores del arcoíris" generará exactamente el código HTML de una web con siete botones de diferentes colores.
GPT-3 es un modelo de lenguaje, esto significa que (en líneas muy generales) su objetivo es predecir qué es lo siguiente que viene en función de los datos previos. Es como una especie de "autocompletado" que tenemos en buscadores como Google, pero claro, a un nivel mucho mayor. Puedes por ejemplo escribir dos o tres frases de un artículo y GPT-3 se encargará de escribir el resto del artículo. También puedes generar conversaciones y las respuestas estarán basadas en el contexto de las preguntas y respuestas anteriores.
Es importante entender que cada respuesta que ofrece GPT-3 es solo una posibilidad, no tiene que ser la única y a la misma petición puede ofrecer siempre una respuesta distinta en incluso contradictoria. Un modelo que devuelve respuestas en función a lo que se ha dicho previamente y relacionándolo con todo lo que sabe para obtener la posible respuesta con más sentido. No comprende realmente el contexto Pero claro, cuando lo que se ha aprendido son millones de páginas web, libros o la Wikipedia... los resultados son sorprendentes.
Todos los libros públicos en Internet, la Wikipedia y millones de artículos científicos y noticias
El modelo de lenguaje GPT-3 de OpenAI ha necesitado un entrenamiento previo para ser lo que es. Este entrenamiento consistió en aprenderse una ingente cantidad de información disponible en Internet. OpenAI alimentó a GPT-3 con todos los libros públicos que se hayan escrito y estén disponibles, toda la Wikipedia y millones de páginas web y documentos científicos disponibles en Internet. Esencialmente ha absorbido todo el conocimiento humano más relevante que hemos publicado en la red.
Tras leerse esta información y analizarla el modelo de lenguaje creó conexiones en un modelo de 700 GB ubicado en 48 GPUs de 16 GB cada una de ellas. Para ponerlo en contexto, el año pasado OpenAI publicó GPT-2 con un peso de 40 GB y analizando 45 millones de páginas web. Mientras que GPT-2 tenía 1.500 millones de parámetros, GPT-3 tiene 175.000 millones de parámetros.
Los alucinantes experimentos con GPT-3
Uno de los experimentos que más popularidad ha ganado en los últimos días es el de Sharif Shameem. En él muestra un generador web al que sólo hay que describirle en lenguaje natural qué queremos que se muestre y genera el código HTML/CSS para ello.
This is mind blowing.
— Sharif Shameem (@sharifshameem) July 13, 2020
With GPT-3, I built a layout generator where you just describe any layout you want, and it generates the JSX code for you.
W H A T pic.twitter.com/w8JkrZO4lk
En otro experimento de Sharif Shameem el modelo de OpenAI directamente programa una app en React. Según muestra, basta con describirle a GPT-3 qué queremos en la app y qué queremos que haga para que genere todo el código y programe su funcionamiento.
I just built a functioning React app by describing what I wanted to GPT-3.
— Sharif Shameem (@sharifshameem) July 17, 2020
I'm still in awe. pic.twitter.com/UUKSYz2NJO
Siguiendo con las apps y su creación, Jordan Singer muestra un ejemplo de un plugin para Figma. Figrma es una plataforma de prototipado muy utilizada en el diseño de aplicaciones móviles o webs. Con este plugin basado en GPT-3 se le describe que se quiere y directamente crea todos los ítems. Por ejemplo "una app con el icono de una cámara, el título Fotos y un feed de fotos con el icono de un usuario y el icono de un corazón". Esencialmente crea una versión de Instagram básica.
This changes everything. 🤯
— Jordan Singer (@jsngr) July 18, 2020
With GPT-3, I built a Figma plugin to design for you.
I call it "Designer" pic.twitter.com/OzW1sKNLEC
Shreya Shankar tiene una demo en la que GPT-3 transforma ecuaciones descritas en lenguaje humano (inglés) a LaTeX.
After many hours of retraining my brain to operate in this "priming" approach, I also now have a sick GPT-3 demo: English to LaTeX equations! I'm simultaneously impressed by its coherence and amused by its brittleness -- watch me test the fundamental theorem of calculus.
— Shreya Shankar (@sh_reya) July 19, 2020
cc @gdb pic.twitter.com/0dujGOKaYM
Kirk Ouimet por ejemplo ha estado experimentando con GPT-3 mediante un programa capaz de mantener conversaciones. Conversaciones sobre absolutamente todo tipo de temas. Por ejemplo sobre Bitcoin y criptodivisas, sobre 'The Legend of Zelda: Breath of the Wild', sobre veganismo, sobre la IA y su impacto en la política.
En otra prueba vemos un simple buscador que al preguntarle algo devuelve la respuesta y el enlace a la URL de donde ha obtenido la información. Sí, Google y muchos asistentes de voz consiguen algo muy similar.
I made a fully functioning search engine on top of GPT3.
— Paras Chopra (@paraschopra) July 19, 2020
For any arbitrary query, it returns the exact answer AND the corresponding URL.
Look at the entire video. It's MIND BLOWINGLY good.
cc: @gdb @npew @gwern pic.twitter.com/9ismj62w6l
Más información | arXiv
via Magazine - robotica-e-ia https://ift.tt/2E3kc1T
No hay comentarios:
Publicar un comentario