Los grandes modelos de lenguaje (LLMs por su sigla en inglés) es uno de los desarrollos de inteligencia artificial más sorprendente de los últimos años. Son una herramienta que revolucionaron la industria en todos los niveles (automatización, productividad, generación de contenido, planificación, etc.).
Al día de hoy, siguen apareciendo cada vez más funcionalidades de estos modelos que no se creía que serían capaz. Estas habilidades que surgen día a día son conocidas como Habilidades Emergentes, y es una característica que hace a los modelos de lenguaje tan poderosos.
¿Qué son las Habilidades Emergentes en los Modelos de Lenguaje?
Los modelos de lenguaje como GPT, Llama o Gemini, están evolucionando rápidamente, y con ellos surgen lo que conocemos como “habilidades emergentes”. Estas habilidades no son programadas explícitamente por los desarrolladores, sino que son resultado de la complejidad y el aprendizaje del propio modelo.
Estos modelos están basados en algo llamado “aprendizaje profundo”, un tipo de modelo de inteligencia artificial que imita la forma en que los humanos aprenden, y lo logra a través de las llamadas redes neuronales artificiales. Al alimentar a estos modelos con enormes cantidades de texto, aprenden patrones y matices del lenguaje, lo que les permite no solo entender y generar texto, sino también desarrollar habilidades nuevas y sorprendentes.
Antes de ver los ejemplos de habilidades emergentes a continuación, debemos primero entender que los modelos de lenguaje están diseñados para predecir la próxima palabra más probable a partir de una oración, o parte de ella. Es decir, a partir de una oración truncada predice cuál sería la palabra siguiente, en función de los datos de los que fue aprendiendo.
Como nos podemos suponer, es casi imposible imaginarse que, a partir de esta lógica, un modelo de lenguaje sea capaz de hacer un razonamiento matemático (aunque sea muy simple). A continuación te listo algunos de los ejemplos más característicos de Habilidades Emergentes en Modelos Grandes de Lenguaje.
Ejemplos de Habilidades Emergentes
- Comprensión Contextual Mejorada: Pueden entender mejor el contexto de una conversación, captando matices y subtextos.
- Generación Creativa de Contenido: Pueden escribir poemas, cuentos, e incluso generar ideas creativas, aprendiendo de estilos y géneros variados.
- Capacidad de Resolución de Problemas: Estos modelos pueden ofrecer soluciones a problemas complejos, aplicando lo aprendido en diferentes contextos.
- Interacción Más Natural: Se comunican de una manera que parece más humana, reconociendo emociones y adaptando sus respuestas.
Este tipo de comportamientos (que realmente son sorprendentes) crean la falsa ilusión de que los LLMs comprenden lo que les decimos e, incluso, algunos llegan a creer que el algoritmo tiene algún tipo de consciencia. Por una simplicidad de expresión haré abuso de lenguaje técnico y llamaré “comprender” a este comportamiento que genera la ilusión de que un LLM tiene capacidad de comprensión. Si quieres conocer más sobre la Habilidades Emergentes en LLMs, te recomiendo que leas este artículo.
¿Cómo nos puede ayudar un LLM en esto?
Una vez que tenemos una comprensión “a alto nivel” de lo que son las habilidades emergentes, podemos ver que estos LLMs son capaces de “comprender” lo que escribimos. Y con esta última habilidad encontré una función que me resultó particularmente útil, sobre todo si eres escritor/a. No importa si escribes artículos de blog o una novela, siempre es importante tener la opinión y retroalimentación del público.
Hace un tiempo estaba experimentando con una técnica de LLMs llamada RAG (Retrieval Augmented Generation) utilizando GPT. Sin entrar en detalles técnicos aquí (ya escribiré un artículo, o varios, al respecto) un RAG es una técnica mediante la cual podemos darle a nuestro modelo una gran extensión de texto (por ejemplo, un libro) y éste lo divide en partes que pueda manejar mejor y los almacena en una base de datos vectorial. Luego, podemos hacerle preguntas a GPT relacionadas con ese texto y él irá a buscar a esa base de datos todas esas partes en las que dividió el texto que estén relacionadas con el contexto de lo que le preguntamos. Una vez que localizó las partes relevantes, se las pasa a GPT como parte del contexto que ingresamos en su prompt para que construya la respuesta a partir de esta información. De esta manera, podemos incorporarle información extra a GPT sobre un tema en particular para que nos dé una respuesta más exacta.
El resultado
Como resultado de esta experimentación, construí una aplicación web que me permitía hacerle preguntas a GPT sobre un libro que le ingresé como entrada. Para hacer las cosas más entretenidas, tuve la idea de pasarle como información a nuestro LLM el libro Harry Potter y la Piedra Filosofal.
Una vez que indexó cada parte del contenido del libro, comencé a hacerle preguntas al respecto, a lo cual mi solución respondía como yo esperaba. Sin embargo, una de las preguntas me llamó la atención. Le pregunté a mi modelo “¿quiénes son los mejores amigos de Harry?”. Como buen seguidor de la historia esperaba que mi modelo me respondiera “Ron y Hermione”, todos sabemos que el trío de amigos más famoso de la saga son ellos tres.
Sin embargo, sorprendentemente su respuesta fue “Ron y Hagrid”. Al principio concluí que quizá mi modelo no funcionaba bien y que seguramente debería ser entrenado mejor o afinar sus parámetros para ajustarlos al contenido del libro. Luego, me puse a pensar un poco más a fondo y descubrí que el algoritmo tiene razón. Estaba en lo correcto. En el primer libro de Harry Potter, Harry se hace amigo de Hermione en la segunda mitad, mientras que se vuelve amigo de Hagrid antes de subirse al Hogwarts Express, donde conoce a Ron y también se vuelven amigos.
Esto me reveló que el modelo comprendió el libro mejor que mi memoria, lo que me disparó una idea. Es posible utilizar modelos de lenguaje como GPT para que nos sirvan de nuestro primer público. ¿Cómo es eso? Una vez que escribimos nuestro libro, o un nuevo capítulo, o un artículo de blog, se lo damos a GPT para que lo “lea” y luego le hacemos ciertas preguntas para validar si nuestro contenido se entiende, y si el mensaje que quiero transmitir es claro. De esta manera podremos crear más y mejor contenido, teniendo a un LLM como nuestro primer lector. Incluso, podemos instruirlo para que se comporte como un lector de determinadas características.
Conclusión
Los modelos de lenguaje presentan cada vez más funcionalidades y habilidades, algunas previstas y otras (como las habilidades emergentes) que se manifiestan sin que nos demos cuenta.
Si quisiéramos, podríamos construir una lista enorme de cosas que es capaz de hacer un LLM, siendo una de ellas ser un crítico de nuestro contenido. Por eso, cuando escribas algo, no solamente utilices a GPT (o cualquier otro modelo de lenguaje) como un corrector ortográfico y gramatical, sino también utilízalo para validar la complejidad del mismo, y la capacidad de transmitir lo que queremos transmitir.