En los últimos años, la investigación en Inteligencia Artificial ha avanzado a pasos agigantados. Entre los grandes descubrimientos, uno que tuvo un gran auge fue el del Procesamiento del Lenguaje Natural. Esta nueva disciplina dio lugar a un tipo de modelos que son los conocidos Modelos de Lenguaje, capaces de comprender las palabras que preceden para generar las próximas palabras y, así, completar la frase.
Con el avance y la sofisticación de estos modelos y la aparición de nuevas arquitecturas (como los Transformers), estos modelos evolucionaron y crecieron para convertirse en los que hoy llamamos Modelos Grandes de Lenguaje, o LLM por su sigla en inglés. El término Grande surgió gracias a la gran cantidad de parámetros que poseen estos modelos, la cual, para modelos como GPT 3.5, asciende a ~175 mil millones de parámetros (o 175 billones como se dice en inglés).
Debido a este incremento en la cantidad de parámetros (parte por el aumento en la cantidad de datos utilizada para su entrenamiento y parte por el aumento del poder de cómputo para llevarlo a cabo), estos modelos han mostrado ciertas habilidades que antes no presentaban: las habilidades emergentes.
¿Qué son las habilidades emergentes?
Como su nombre lo indica, son habilidades que surgen (o emergen) bajo ciertas condiciones. En el caso de los LLM, esta condición es el aumento del número de parámetros.
Aún no es completamente claro por qué aparecen estas habilidades, pero lo que sí es cierto es que están allí, y los LLM son capaces de emplearlas sin que hayan sido explícitamente entrenados para ese fin.
Las habilidades emergentes no son algo propio de los LLM. En la naturaleza ocurre con mucha frecuencia. Un caso cotidiano es el del agua. Normalmente la encontramos en estado líquido. Si le aplicamos calor de forma sostenida, el agua aumentará su temperatura. Más calor, más temperatura, nada nuevo. Pero, si seguimos aplicando una cantidad de calor suficiente, de repente, el agua muestra una propiedad que antes no había mostrado, la capacidad de convertirse en vapor.
De la misma manera que el agua, si aumentamos el número de parámetros de un LLM irá incrementando su rendimiento. Pero, llegado un cierto punto (algunos dicen 10.000 millones de parámetros, otros más, otros menos), el modelo muestra ciertas propiedades que antes no había sido capaz de manifestar: las habilidades emergentes.
Entre las habilidades emergentes más notorias podemos encontrar:
Comprensión de texto
Estos algoritmos, por construcción, están diseñados para comprender el orden y contexto de las palabras en una oración o frase, y utilizar este conocimiento para poder predecir la próxima palabra más probable en dicho contexto (esto es, el funcionamiento básico de un modelo de lenguaje). Sin embargo, los Modelos Grandes de Lenguaje son capaces de comprender un párrafo (o varios) no solo gramatical o semánticamente, sino que también “entienden” el contexto en el que se escribió. Esto le permite al modelo hacer cosas como generar respuestas con mayor coherencia, en concordancia con lo que se escribió originalmente.
Esta habilidad es, quizá, la más polémica, ya que es muy parecida a la función original que tiene un LLM, por lo que algunos no la categorizan como una habilidad emergente. Sin embargo, las que siguen seguramente sí lo son.
Capacidad de síntesis
A raíz de la habilidad anterior, como el modelo es capaz de comprender todo el contexto, “adquirió” la habilidad de poder resumir grandes cuerpos de texto, extrayendo las ideas más importantes. Esto nos permite poder comprender someramente un texto considerablemente largo en muy poco tiempo, entendiendo de qué va y cuáles son los principales puntos a los cuales les tendríamos que prestar atención.
Aclaración: Si van a utilizar LLMs para realizar resúmenes de textos, siempre es conveniente conocer el escrito original y cotejar el resultado arrojado, ya que no podemos asegurar 100% que el algoritmo haya comprendido el texto y haya extraído el contenido de forma correcta. Además, siempre es aconsejable realizar luego nuestros propios resúmenes o, al menos, incorporar nuestras propias opiniones, ya que, justamente, un resúmen es algo muy personal y que está influenciado por nuestros conocimientos, experiencias, y formas de ver las cosas. Así que, a no confiar ciegamente en los resultados de un LLM.
Generación de texto creativo
Todo esto de comprender el contexto es muy útil para generar respuestas a preguntas o instrucciones. Sin embargo, algo con lo cual estos modelos sorprendieron con estas habilidades emergentes es en la creación y generación de texto creativo. Los LLM son capaces de generar respuestas con un alto grado de creatividad (principalmente controlado con un parámetro llamado temperatura). Las aplicaciones de esta habilidad están solo limitadas, justamente, por la propia creatividad de los usuarios. Los LLMs son capaces de escribir poemas, narrar hechos de una forma totalmente creativa, crear historias completamente nuevas, cambiar finales a historias existentes, letras de canciones, entre tantas otras funciones.
Escritura de código de progamación
Una habilidad para la que no fueron originalmente entrenados es, quizá, una de las más utilizadas hoy en día, y es la escritura de código y la capacidad de crear programas en una gran cantidad de lenguajes.
A partir de toda la información con la cual fueron entrenados, estos modelos aprendieron a comprender cómo funcionan los lenguajes de programación y su estructura sintáctica. Esto les permitió desarrollar pequeños programas o rutinas, que sean capaces de realizar una o más funciones. Como los modelos genéricos como ChatGPT no están entrenados específicamente para desarrollar código, cuanto más concisa sea la consigna, y más acotadas sus funciones, mejores serán los resultados.
Comprensión multilingüe
Es bien sabido que los modelos de lenguaje, gracias a su arquitectura basada en Transformers, son capaces de realizar traducción de texto en distintos idiomas. Sin embargo, algo sorprendente que surgió a partir de los LLMs, es la capacidad de comprender texto en distintos idiomas y realizar acciones acorde en idiomas que no necesariamente sean el mismo que el original. Por ejemplo, podemos darle una instrucción completa en inglés de lo que queremos, y pedirle que el resultado lo devuelva en castellano (o viceversa), y el algoritmo va a ser capaz de manejar ambos idiomas en simultáneo sin ningún inconveniente.
Análisis de sentimientos
Estos modelos son capaces de comprender la semántica y el contexto de una oración o una frase. Pero, además, a raíz de esto, los LLM son capaces de comprender el sentimiento encerrado dentro del texto. Es decir, es capaz de reconocer si el texto escrito está indicando un enojo por parte del escritor del texto, o si está expresando un sentimiento positivo o negativo al respecto.
Esta habilidad permite, por ejemplo, analizar el sentimiento detrás de reviews de productos, servicios, películas, etc. También permite conocer el tono de ánimo que una persona está imprimiendo en un correo, identificando si éste es en todo amistoso, si es una queja, un pedido, un reclamo, o simplemente un elogio.
Conclusión
Esta lista de habilidades emergentes no es exhaustiva. Existen muchas otras habilidades más, pero solo les presento estas a modo de ejemplo.
Como se puede ver, este tipo de comportamiento hace que los LLM estén causando el revuelo que causan hoy en día, y que de tanto en tanto, personas descubran nuevas habilidades que no se sabía que tenía.
Si este contenido te resultó interesante, quiero que colabores con nosotros contándonos debajo qué otra habilidad emergente conoces de estos modelos de lenguaje. Podríamos intentar hacer una lista lo más exhaustiva posible.
Gracias por tu tiempo, espero verte pronto!