Aunoa ha finalizado con éxito el proyecto «Adaptadores y Técnicas Complementarias en la utilización de modelos de lenguaje (LLM)», una iniciativa de I+D+i que ha permitido desarrollar AunoaLLM, una nueva plataforma para el entrenamiento, despliegue y explotación de modelos de inteligencia artificial especializados mediante adaptadores LoRA y QLoRA.
El proyecto ha supuesto un avance significativo en la estrategia de la compañía para reforzar sus capacidades propias en inteligencia artificial generativa. Reduce la dependencia de servicios externos y avanza hacia un modelo de mayor soberanía tecnológica en el uso de modelos de lenguaje y en el procesamiento de información especializada.
Qué es AunoaLLM
El objetivo del proyecto era investigar y desarrollar una solución que permitiera adaptar modelos de lenguaje a dominios específicos de conocimiento, mejorando la precisión de las respuestas y garantizando un mayor control sobre los datos, la privacidad y la sostenibilidad económica de los despliegues de IA.
El principal resultado ha sido AunoaLLM, una plataforma integral para gestionar el ciclo completo de especialización de grandes modelos de lenguaje mediante técnicas de adaptación eficiente como LoRA y QLoRA. La solución permite personalizar modelos fundacionales para ámbitos concretos sin necesidad de reentrenar miles de millones de parámetros, optimizando tanto los costes de infraestructura como los tiempos de desarrollo.
La plataforma integra todas las funcionalidades necesarias para el entrenamiento, despliegue y explotación de adaptadores especializados:
- Motor de entrenamiento y fine-tuningEspecialización de modelos mediante LoRA y QLoRA.
- Despliegue y gestión de adaptadoresServicio para poner en producción y administrar cada adaptador.
- Interfaz gráficaConfiguración, entrenamiento y evaluación desde un mismo entorno.
- Monitorización y rendimientoPanel de análisis del comportamiento de cada modelo.
- Recuperación de información (RAG)Retrieval-Augmented Generation para responder con conocimiento propio.
- Versiones y trazabilidadRepositorio con el historial completo de los modelos entrenados.
- Módulo avanzado de inferenciaPruebas y validación de adaptadores antes de su despliegue.
- Comparación entre modelosEvaluación objetiva de resultados entre modelos y versiones.
Qué son LoRA y QLoRA
LoRA (Low-Rank Adaptation) es una técnica de adaptación eficiente de modelos de lenguaje: en lugar de reentrenar todos los parámetros del modelo, congela el modelo base y entrena solo unas pequeñas matrices adicionales, los «adaptadores». Según el artículo original de Hu et al. (Microsoft, 2021), aplicada a GPT-3 175B reduce el número de parámetros entrenables unas 10.000 veces y la memoria de GPU necesaria unas 3 veces, con una calidad comparable al ajuste completo.
QLoRA lleva esta idea un paso más allá: combina LoRA con un modelo base cuantizado a 4 bits. Sus autores (Dettmers et al., 2023) demostraron que permite ajustar un modelo de 65.000 millones de parámetros en una sola GPU de 48 GB. Por eso estas técnicas son la base de AunoaLLM: permiten crear modelos especializados por sector o por cliente sin la infraestructura que exigiría un entrenamiento completo.
Resultados del proyecto
La tecnología desarrollada ha sido validada sobre un catálogo de cuatro modelos base de última generación: Phi-4 14B, Qwen2.5-7B, Qwen2.5-32B y Gemma 4-31B. Estas pruebas han demostrado la capacidad de la plataforma para trabajar con modelos de más de 30.000 millones de parámetros, ampliando las capacidades inicialmente previstas y garantizando su adaptación a futuras generaciones de modelos abiertos.
Las validaciones han confirmado que las técnicas de adaptación eficiente permiten obtener modelos especializados con un uso optimizado de los recursos computacionales, reduciendo significativamente la complejidad asociada al entrenamiento completo de grandes modelos de lenguaje.
Los resultados evidencian además la eficiencia operativa de la solución. La plataforma es capaz de intercambiar adaptadores especializados en un tiempo de entre 12 y 20 segundos cuando el modelo base ya está cargado en memoria, lo que facilita el despliegue ágil de múltiples asistentes sobre una misma infraestructura tecnológica.
El proyecto también ha permitido avanzar en una estrategia basada en modelos abiertos e infraestructura gestionada por Aunoa, reforzando la autonomía tecnológica de la compañía y el control sobre los datos procesados. Esta aproximación reduce la dependencia de proveedores externos de inteligencia artificial y ofrece ventajas significativas en términos de privacidad, cumplimiento normativo y soberanía digital.
Casos de uso validados
Durante el proyecto se han desarrollado y validado cinco casos de uso representativos en distintos ámbitos de actividad. Estos demostradores han permitido comprobar que un mismo modelo base puede adaptarse a dominios de conocimiento completamente diferentes mediante adaptadores especializados, facilitando el desarrollo de asistentes avanzados ajustados a las necesidades de cada organización.
- Atención al cliente en entidades financieras.
- Soporte técnico para operadores de telecomunicaciones.
- Comercio electrónico.
- Atención ciudadana en administraciones públicas.
- Consulta y asistencia sobre normativa y conocimiento corporativo.
Impacto y próximos pasos
Con la finalización del proyecto, Aunoa dispone de una plataforma preparada para seguir evolucionando sus capacidades en inteligencia artificial generativa y acelerar la transferencia de los resultados de investigación al mercado. La tecnología desarrollada permitirá abordar nuevos escenarios en sectores donde la privacidad, la trazabilidad, la soberanía tecnológica y la especialización del conocimiento son factores clave.
Además, el conocimiento generado ha trascendido el ámbito empresarial y se ha materializado en una línea de investigación académica desarrollada por miembros del equipo técnico de Aunoa, contribuyendo a la transferencia de conocimiento sobre técnicas eficientes de adaptación de modelos de lenguaje.
Los avances alcanzados sientan las bases de una nueva generación de soluciones más precisas, eficientes y adaptadas a las necesidades de empresas y administraciones públicas. De este modo, la compañía refuerza una estrategia centrada en transformar el conocimiento tecnológico en productos y servicios de alto valor añadido, con la investigación aplicada como uno de sus principales motores de innovación y crecimiento.
Financiación valenciana y europea
El proyecto «Adaptadores y Técnicas Complementarias en la utilización de modelos de lenguaje (LLM) en Infraestructura propia» se ha desarrollado en el marco del programa INNOVATeiC-CV, dentro de la convocatoria INNOVA-CV 2025 impulsada por IVACE+i y financiada por la Generalitat Valenciana con Fondos Europeos. Esta iniciativa fomenta proyectos de investigación industrial y desarrollo experimental orientados a crear nuevas soluciones tecnológicas con potencial de transferencia al mercado.
Gracias a este respaldo, Aunoa ha podido acelerar la investigación en técnicas avanzadas de especialización de modelos de lenguaje, generando conocimiento propio y activos tecnológicos estratégicos que mejoran la competitividad de la empresa, fortalecen el ecosistema tecnológico valenciano y avanzan hacia una mayor soberanía tecnológica en el ámbito de la IA. Puedes consultar la ficha completa en la página del proyecto Adaptadores.
Preguntas frecuentes
Respuestas a las dudas más habituales sobre el proyecto Adaptadores y la plataforma AunoaLLM.
¿Qué es AunoaLLM?
AunoaLLM es la plataforma de Aunoa para entrenar, desplegar y explotar modelos de lenguaje especializados mediante adaptadores LoRA y QLoRA. Permite adaptar modelos abiertos a dominios concretos de conocimiento sin reentrenarlos por completo y sobre infraestructura propia.
¿Qué diferencia hay entre LoRA y QLoRA?
LoRA entrena solo unas pequeñas matrices adicionales (adaptadores) sobre un modelo base congelado. QLoRA aplica la misma técnica sobre un modelo base cuantizado a 4 bits, lo que reduce todavía más la memoria necesaria para especializar modelos grandes.
¿Con qué modelos se ha validado la plataforma?
Con cuatro modelos abiertos de última generación: Phi-4 14B, Qwen2.5-7B, Qwen2.5-32B y Gemma 4-31B, lo que demuestra su capacidad para trabajar con modelos de más de 30.000 millones de parámetros.
¿Quién ha financiado el proyecto Adaptadores?
El proyecto se ha desarrollado en el programa INNOVATeiC-CV, dentro de la convocatoria INNOVA-CV 2025 de IVACE+i, financiada por la Generalitat Valenciana con Fondos Europeos.
