En la alborotada carrera por la inteligencia artificial (IA) se suceden las novedades. Y entre los nuevos lanzamientos afloran cada vez más los llamados pequeños modelos, small language models o SLM. Son diferentes a los LLM, los grandes modelos que sirven como motor a ChatGPT o Google Gemini. Estos sistemas, más sencillos y orientados a una mayor eficiencia de los recursos, a veces se pueden ejecutar en un ordenador o incluso un móvil.

Es lo opuesto al funcionamiento de los grandes sistemas de IA, que recurren a la computación en la nube para funcionar. Esto significa procesar la información en la gran maquinaria de los centros de datos. Y los efectos en el medioambiente se dejarán notar. El banco de inversión Goldman Sachs calcula que la IA incrementará las necesidades energéticas de los centros de datos en un 165% para 2030. El pronóstico se produce en el contexto de una fiebre por construir este tipo de infraestructuras.

La empresa estadounidense OpenAI tiene previsto invertir, junto a varios socios, hasta 500.000 millones de dólares en levantar centros de datos. Solo en 2025, Amazon, Microsoft, Google y Meta planean desembolsar un total de más de 320.000 millones en este tipo de infraestructura. Al mismo tiempo, la Comisión Europea anunció un programa para dedicar 200.000 millones de euros, con financiación mixta, para construir centros de datos destinados a la IA.

Ante esta batalla por acumular recursos de computación, los pequeños modelos de IA podrían ser una alternativa más sostenible. Mistral Small 3.1, la opción de la startup francesa del mismo nombre, funciona en un Mac con 32 gigabytes de memoria RAM, mientras que el proyecto de código abierto TinyLlama 1.1B se puede implementar en ordenadores con más de 8 gigabytes de RAM, incluso hay quien lo ha probado en smartphones. Como parte de su catálogo de novedades en IA, Google lanzó recientemente Gemma 3 1B, un modelo preparado para dispositivos móviles. La idea es que los desarrolladores lo integren en sus apps para realizar tareas sin conectarse a internet.

“Los pequeños modelos están optimizados de forma que tengan menor número de parámetros, así que al final la red es más pequeña. Cuanto más pequeño es el modelo más eficiente es en consumo de energía, porque necesita hacer menos operaciones y necesita menos espacio de almacenamiento”, explica Verónica Bolón-Canedo, investigadora de IA en el Centro de Investigación en Tecnologías de la Información y de las Comunicaciones de la Universidad de A Coruña. Ella es una de las autoras de un estudio que explora fórmulas para fomentar una IA más sostenible a nivel medioambiental.

“Si además consigues que el modelo se pueda ejecutar en un dispositivo, te ahorras tener que estar enviando cada nueva consulta a un centro de datos. Esto, obviamente, tiene el coste de transmitir los datos y, además, los grandes centros de datos consumen más energía. Todo eso te lo ahorras si lo haces en tu propio dispositivo”, comenta Bolón-Canedo.

Eso sí, los pequeños modelos que se ejecutan en un ordenador o un móvil son menos precisos y no sirven para cualquier tarea. Todo lo que tenga que ver con generación de imágenes se complica, por ejemplo. Aunque se hacen progresos rápidamente.

“El desarrollo de modelos de lenguaje pequeños, modelos multimodales y de razonamiento de alta calidad avanza a gran velocidad. Las compañías preparan estos modelos de manera activa para aplicaciones comerciales y para la inferencia (las operaciones que los modelos hacen para responder a una consulta) en el propio dispositivo”, indica George Tsirtsis, director de tecnología de Qualcomm en Europa. Su empresa, que vende chips a una gran cantidad de marcas de teléfonos, utilizó hace dos años el modelo Stable Diffusion en un móvil para generar una imagen y comprobó que tardaba 15 segundos. La tarea ocupa ahora menos de un segundo gracias al desarrollo de procesadores diseñados para la IA.

Es difícil de calcular, pero cabe pensar que el ahorro de energía sería considerable al ejecutar modelos en un dispositivo. “Los grandes centros de datos tienen máquinas mucho más potentes, que consumen más energía. Y tienen muchos problemas de refrigeración. En tu ordenador o tu dispositivo, todo eso te lo ahorras”, apunta Canedo-Bolón, que añade otras ventajas de ejecutar los sistemas en local. “No hay tantos problemas de privacidad. Tus datos no abandonan tu dispositivo, no se van a la nube. Además, se gana en rapidez porque no existe la latencia derivada de enviar la información, procesarla y recibir la respuesta”.

Un informe de la Agencia Internacional de la Energía estima que los centros de datos, que ahora representan el 1,5% del total de la energía consumida, supondrán el 3% en 2030. Alcanzarían los 945 teravatios-hora anuales, una cifra superior a las necesidades energéticas de Japón. Las cargas de trabajo vinculadas a inteligencia artificial consumirían un 30% de electricidad más cada año.

“El procesamiento de la IA en un dispositivo suele ser mucho más eficiente a nivel energético que preguntar a modelos de IA alojados en centros de datos, sobre todo en aplicaciones que requieren una respuesta en tiempo real o casi en tiempo real”, señala Tsirtsis. Pero la ejecución local tiene sus dificultades. La IA consume una gran cantidad de energía y, si funciona solo dentro de un dispositivo, esto repercute en su batería. De ahí que los fabricantes como Qualcomm hayan desarrollado las NPU (siglas en inglés de unidad de procesamiento neuronal), destinadas a manejar la inferencia de forma eficiente.

La compañía también ha aplicado este tipo de procesadores a la primera generación de los AI PC, una etiqueta inventada para pregonar la llegada de la IA a los ordenadores. “Nuestra plataforma Snapdragon X incorpora NPU de alto rendimiento y eficiencia energética desarrolladas para la inferencia de la IA generativa. El diseño de este hardware permite que los chips puedan gestionar tareas de IA complejas en el portátil, mientras que cuidan la batería”, expone Tsirtsis.

Pero aún queda por ver para qué tareas serán útiles las IA ejecutadas en local. En todo caso, los pequeños modelos no son un reemplazo de los grandes. “Habrá tareas para las que nos puede valer con el rendimiento que nos proporciona un modelo más pequeño que se ejecute en local, probablemente para generación de texto”, reflexiona la investigadora de IA. “Pero después están las tareas que son más costosas computacionalmente, como una comprensión más profunda, un razonamiento o la IA multimodal (que integra información y conocimientos en distintos formatos, como texto, imágenes o audio). Para esas tareas seguramente necesites un modelo grande”.

Algunas de las tareas aptas para llevar a cabo en el propio dispositivo podrían ser la redacción de textos sencillos, generar resúmenes, la lectura de escritura a mano en imágenes, traducción de textos o transcripciones de audio. Tsirtsis se muestra de acuerdo en que el futuro pasa por adoptar un enfoque híbrido. Su vaticinio es que serán las aplicaciones de IA las que llamarán a la nube cuando sea necesario y resolverán otras tareas en el propio dispositivo. Es una forma de avanzar hacia un equilibrio entre rendimiento y eficiencia energética.

FUENTE: https://elpais.com/mexico/

Read Full Post »