¿Qué es el algoritmo GPT-3 y qué implicaciones tiene?

Para quienes no hayan escuchado hablar de GPT-3, se trata de un algoritmo catalogado como una inteligencia artificial debido a su actuar semejante al de un ser humano. Es un algoritmo capaz de generar texto, código fuente de programación o responder preguntas simulando las respuestas de Platón o Albert Einstein. Para conocer más al respecto, comencemos por la compañía que lo creó: OpenAI.

¿Qué es OpenAI?

Se trata de una organización fundada en el año 2015 por grandes personalidades del mundo de la tecnología y la investigación en inteligencia artificial. El objetivo principal de la organización en sus palabras es: “desarrollar una inteligencia artificial capaz de superar la inteligencia humana y que beneficie a la humanidad en general”. Entre las principales áreas de investigación de OpenAI se encuentran las siguientes disciplinas:

• Procesamiento del lenguaje natural (Natural Language Processing, NLP).
• Redes neuronales profundas (Deep learning, DL).

A partir de la sinergia de dichas disciplinas es que surge el famoso algoritmo que despertó gran revuelo a mediados del año 2020.

GPT-3 (Generative Pretrained Transormer 3)

GPT-3 revolucionó la investigación y la industria relacionada con NLP debido a que, hasta antes de su llegada, los algoritmos utilizados para tareas como generación de texto, chatbots y traductores automáticos, tenían muchas deficiencias, eran capaces de trabajar en tareas muy delimitadas y no era posible aumentar la generalización de su funcionamiento. En cambio, GPT-3 en unas cuantas demostraciones realizadas por la compañía, presentó una gran superioridad a lo que existía hasta ese momento. Parece ser que será un parteaguas como en su momento lo fueron las redes neuronales para temas relacionados con el reconocimiento de imágenes y la utilización en la navegación de coches autónomos.

El algoritmo fue publicado en el artículo Language Models are Few-Shot Learners, el 28 de mayo del 2020, donde se puede encontrar información técnica sobre su funcionamiento y lo que hay dentro de su estructura matemática. Cabe mencionar que dicho artículo fue desarrollado por más de 15 autores entre los cuales se encuentran destacados científicos en el mundo de la inteligencia artificial. Una de las características más importantes que menciona el artículo es que GPT-3 es un modelo de lenguaje autorregresivo con 175 millones de parámetros, esto significa que si cada uno de esos parámetros se optimizara de forma correcta podría mejorar sus capacidades exponencialmente.

Las aplicaciones más sobresalientes y que se han mostrado al público por parte de OpenAI son las siguientes:

• Generación de texto que puede ser una respuesta a una pregunta, ya sea con una respuesta lógica o no.
• Interacción con una persona como si fuera una conversación trivial respecto a un tema concreto.
• Creación de un pequeño cuento o un poema con características específicas.
• Generación de artículos de noticias capaces de engañar a evaluadores humanos respecto a la veracidad de las mismas.
• Generación de código fuente a partir de simples instrucciones en el lenguaje de programación especificado por el usuario.

Dichas aplicaciones eran metas que desde hace años intentaban lograr muchas universidades y compañías tecnológicas y ahora un sólo algoritmo es capaz de realizar cada una de las tareas, sin configuraciones externas.

La revolución de GPT-3

Existen muchos métodos y algoritmos en la actualidad que pueden conseguir resolver problemas similares a GPT-3 pero que lo hacen de forma específica para problemas muy delimitados. En cambio, GPT-3 trabaja de manera generalizada; en otras palabras, el mismo entrenamiento que se le realizó al algoritmo para generar un poema también puede utilizarse para generar código fuente de programación. Esto es el talón de Aquiles de algoritmos ya existentes, el poder realizar dos tareas diferentes con la misma programación y entrenamiento. La característica de generalización se debe a dos principales razones:

1. La gran cantidad de datos que se utilizaron para su entrenamiento, por ejemplo: todo Wikipedia, todos los libros disponibles en la red de forma gratuita y artículos científicos de diversos temas.
2. La estructura y el uso de redes neuronales: gracias a dicha estructura innovadora es posible comprender más el comportamiento del algoritmo y le concede la capacidad de utilizar de forma adecuada toda la información que tiene almacenada.

¿Qué efectos va a tener GPT-3?

Debido a los avances que implica este algoritmo en el mundo de la tecnología, podría acarrear grandes cambios en diversas áreas:

• Los chatbots que hasta ahorita vemos en diversas páginas de retail, aerolíneas, bancos y del gobierno. En la mayoría de los casos son conversaciones con una estructura muy delimitada y el chatbot no da una respuesta correcta sino se comunica con él de forma estructurada y casi robótica. Por ende, si los chatbots utilizaran el algoritmo GPT-3, quienes interactúan con dichos chatbots conseguirían tener una conversación más fluida y muchos de los procesos que se llevan a cabo con chatbots se podrían automatizar y serían más eficaces.
• Los casos donde GPT-3 genera código de manera directa con solo decirle un par de instrucciones. Implica que si todos los programadores en el mundo tuvieran acceso a este algoritmo podrían ahorrar tiempo en la programación de una página web, el desarrollo de una aplicación móvil o de escritorio y hasta en el análisis de datos de compañías. Esto no significa que el trabajo de los programadores vaya a desaparecer, ya que que cada página web, análisis de datos o desarrollo de aplicación es única en su tipo y aunque mucho del código se podría escribir en cuestión de segundos por GPT-3, es necesario de tener a programadores para, en primer lugar, comprobar la exactitud del código y, en segundo lugar, programar partes del proyecto  muy específicas y es imposible de generalizar con GPT-3.
• Estos cambios en el paradigma de la tecnología también conllevan la creación de leyes y normas que regularicen los nuevos algoritmos para evitar que se haga un uso indebido de ellos, como lo es la generación de fake news casi imposibles de detectar. Por ello, muchos intelectuales, emprendedores y personas involucradas en la tecnología están en pro del desarrollo de nuevas tecnologías a la vez de su regularización por parte de los gobiernos para evitar conflictos en el mundo como el sonado caso de Cambridge Analytica, en las elecciones presidenciales del 2016 en Estados Unidos.

Si crees que la ciencia de datos es lo tuyo, o si quieres saber más sobre este área, consulta ya nuestro Data Science Bootcamp.