En las últimas semanas, si te llegaron noticias sobre tecnología o Machine Learning e Inteligencia Artificial, muy probablemente hayas escuchado o leído la sigla GPT-3.
GPT-3 (Generative Pre-Trained Transformer 3) es un modelo generativo de texto lanzado en julio de este año por la empresa OpenAI. Supone un gran avance con respecto al GPT-2 del año pasado, yendo a los datos más duros se pasa de 1.5 mil millones de parámetros entrenados a 175 mil millones.
La única tarea del modelo es predecir, dado un texto inicial, cuáles son las palabras que seguirían, teniendo en cuenta el estilo de escritura que empleamos en nuestro texto inicial, y el contexto que pueda capturar de lo que escribimos.
Para realizar esa tarea, GPT-3 fue entrenado con millones de textos de Internet, en donde intentó aprender la estructura del lenguaje, de qué manera los humanos decimos lo que sea que digamos, y de esa manera, intenta replicarlo lo más creíble posible.
Ahora bien, ¿Qué hace que GPT-3 sea prácticamente de lo único que se hable en la prensa especializada?
Lo primero que nos viene a la mente es la gran variedad de aplicaciones y su efectividad.
Porque en el afán de predecir la próxima palabra, emergieron algunas funcionalidades del modelo que pareciera van un poco más allá de su tarea inicial. Veamos un poco esto:
- Es posible decirle al modelo: Quiero una aplicación con el logo de Google, un cuadro de búsqueda, y dos botones grises que digan “Buscar con Google” y “Me siento con suerte”. Y GPT-3 va a entender que las mejores palabras a seguir son aquellas que arman el código de la home page de Google .
- O podemos pedirle que traduzca algún texto al español, y el modelo, sin ser entrenado específicamente para esto, nos va a devolver un resultado más que aceptable.
- También podemos dar el inicio de una noticia y pedirle que la complete por nosotros, utilizando nuestro estilo de escritura.
- O podemos usarlo como un chatbot donde, por ejemplo, podemos hablar con Turing o Newton.
- Y parecería ser que nuestra imaginación es el límite en las aplicaciones que le podamos dar al modelo, y en todas ellas, parecería comportarse más que satisfactoriamente.
Todos estos ejemplos y muchos otros pueden verlos en este video de dot CSV.
Esto nos lleva a preguntarnos si finalmente logramos una IA multipropósito; porque el estado del arte actual en Inteligencia Artificial es que tenemos muchos algoritmos que son increíblemente buenos, resolviendo cada uno un tipo muy específico de problemas, pero cuando nos queremos mover un poco de su ámbito de aplicación, vemos que su efectividad deja de ser aceptable.
La respuesta es que no, GPT-3 no es un algoritmo multipropósito, y solamente puede resolver un tipo de problema: Predecir las próximas palabras dado un texto inicial. Sin embargo, la diferencia está en que esta vez el problema es muy amplio, y predecir la próxima palabra dependiendo del ámbito en el que estemos, puede significar muchas cosas distintas.
Algunos pensamientos finales:
Al ver estos ejemplos, es casi inmediato preguntarse cuánto tiempo pasará hasta que el trabajo de “programador” quede obsoleto. Creo que todavía vamos a necesitar un humano que le diga a la maquina qué queremos que haga, sin embargo, los conocimientos técnicos para hacerlo cada vez irán siendo menores, y eso está bien.
No me quiero imaginar la cantidad de ideas que nunca se realizaron porque la barrera de entrada para el desarrollo es alta, la distancia que hay que recorrer entre tener una idea y su implementación es actualmente muy larga, y este tipo de algoritmos, entre otras cosas, son el primer paso real para acortar dicha distancia.
Por otro lado, y teniendo en cuenta que la generación de texto es cada vez más realista… ¿Cuándo será el momento en el que no podamos distinguir entre una noticia generada por un humano y otra realizada por un algoritmo?, ¿Cómo impactará eso en la generación de fake news?
¿O será posible en algún momento leer una novela escrita por una IA?
Todas estas cuestiones, hasta hace unos pocos años, pertenecían 100% al ámbito de la ciencia ficción, sin embargo, creo que con el avance que estamos viendo del Machine Learning, es necesario plantearnos estas preguntas y pensar en cómo impactarán nuestro trabajo y nuestro mundo.
NOTA: Este texto surge como reflexión tras visualizar la serie de GPT-3 del canal dot CSV.
Recomiendo con ansias que vean estos videos en los cuales se profundiza sobre algunos de los temas que tocamos acá, y en donde se puede ver el modelo en acción.
Autor: Andrés Bohl.