Mixture of Experts (MoE): el truco de los LLM gigantes

En agosto, DeepSeek publicó la versión final de DeepSeek-V4-Pro: 1,6 billones de parámetros, con los pesos abiertos para que cualquiera los descargue. Kimi K3, de Moonshot, llega a 2,8 billones. Son tamaños de modelo imposible de mover. Y, sin embargo, para escribir cada palabra, V4-Pro usa solo 49 000 millones: el 3 %.

No es un caso raro. Casi todos los modelos abiertos grandes de 2026 funcionan así: DeepSeek, Kimi, Qwen, Llama 4, gpt-oss de OpenAI y el Gemma 4 mediano de Google. Se llaman Mixture of Experts, «mezcla de expertos», o MoE. Y aquí va la pregunta tonta, que es obligatoria: si solo usa el 3 %, ¿para qué quiere el otro 97?

Un apunte antes de seguir: un modelo de lenguaje no lee palabras, sino tokens, que son trozos de palabra. Aquí diré «palabra» para no liar.

Un LLM tradicional, de los que los técnicos llaman densos, es como un cocinero enorme que prepara todos los platos. Para cada palabra que escribe trabaja el modelo entero: todos sus parámetros, todas las veces.

Un MoE es una cocina con muchos cocineros y un jefe de cocina. Llega la comanda (la palabra), el jefe mira de qué va y se la pasa a dos o tres cocineros. El resto descansa.

De la analogía salen las dos ideas de este post:

1. Cada plato cuesta el trabajo de dos cocineros, no el de toda la plantilla. Por eso se pueden contratar muchos más sin que cada plato salga más caro. Y más cocineros es más conocimiento guardado en el modelo.
2. La cocina tiene que tener sitio para todos, trabajen o no. Ese sitio es la memoria del ordenador. Los cocineros que descansan no cobran, pero ocupan.

Con los nombres técnicos: los cocineros que trabajan son los parámetros activos, y la plantilla entera, los parámetros totales.

Un LLM es una pila de capas, y cada capa tiene dos piezas. La primera es la atención: cada palabra mira a las demás para entender el contexto. La segunda es una red que transforma cada palabra por separado y que guarda la mayor parte de los parámetros. Un MoE solo cambia la segunda pieza: la parte en muchas redes pequeñas, los expertos, y añade un router, que hace de jefe de cocina.

El router puntúa a todos los expertos, se queda con los mejores (2 de 8 en Mixtral, 8 de 256 en DeepSeek-V3, 16 de 896 en Kimi K3) y mezcla sus respuestas con pesos. La elección se hace para cada palabra y en cada capa: en una misma frase, cada palabra puede pasar por cocineros distintos, y en la capa siguiente, por otros.

Una advertencia, porque el nombre engaña: «experto» no quiere decir que uno sepa de medicina y otro de poesía. Cuando los autores de Mixtral miraron a qué expertos iban textos de biología, de filosofía y artículos científicos, no encontraron reparto por temas. Lo que se reparten de verdad es más raro y más divertido: lo cuento en Mitos de los MoE.

Porque aprender sale más barato. Con el mismo presupuesto de cálculo, un MoE puede tener muchos más parámetros, y más parámetros bien entrenados dan un modelo mejor. Google lo midió en 2021 con el Switch Transformer: con los mismos recursos, entrenaba hasta 7 veces más rápido que sus equivalentes densos, y 4 veces más rápido que el T5 más grande. En 2023, Mixtral 8x7B igualaba o superaba a Llama 2 70B, un denso de 70 000 millones, en todas las pruebas de su artículo, con solo 13 000 millones por palabra.

La idea no es nueva: aparece en un artículo de 1991 firmado, entre otros, por Geoffrey Hinton. Pero hasta hace pocos años era difícil entrenarla sin que se descontrolara. Hoy es lo normal:

¿Y los modelos cerrados, como Claude, GPT o Gemini? Sus empresas no publican la arquitectura, así que no se sabe. La excepción es Gemini 1.5 Pro, que su informe técnico describe como un MoE.

Aquí está la trampa, y es la que más confunde a quien quiere usar estos modelos en casa:

• Lo que calcula depende de los parámetros activos. Calcular poco hace que cada palabra salga rápida y barata.
• Lo que ocupa depende de los parámetros totales. Todos los expertos tienen que estar cargados en la memoria de la tarjeta gráfica, porque el router puede pedir cualquiera en la palabra siguiente.

El ejemplo más claro es gpt-oss-120b, el modelo abierto de OpenAI: usa 5100 millones de parámetros por palabra, pero tiene 117 000 millones. Calcula como un modelo pequeño y ocupa como uno grande. Si cabe en una GPU de servidor de 80 GB es porque sus expertos vienen comprimidos a unos 4 bits por parámetro, no por ser MoE.

Prueba con la calculadora: elige un modelo o mueve los deslizadores, y mira dónde cabe.

Hay dos parejas que merece la pena comparar porque son de la misma familia: Qwen3-32B (denso) frente a Qwen3-30B-A3B (MoE), y Gemma 4 31B frente a Gemma 4 26B A4B. Cada pareja ocupa casi lo mismo, pero el MoE calcula entre 8 y 10 veces menos por palabra. Google presenta el suyo como casi tan rápido como un modelo de 4000 millones.

Si usas ChatGPT, Claude o cualquier API, no tienes que decidir nada: pagas por palabra, y el ahorro del MoE, si lo hay, ya te llega en el precio. La pregunta importa cuando el modelo lo vas a mover tú.

• «Usa 5B por palabra, así que cabe donde cabe uno de 5B». No: la memoria la marcan los parámetros totales. gpt-oss-120b necesita sitio para sus 117 000 millones, y encima va la memoria de la conversación.
• «Cada experto sabe de un tema». No: en Mixtral, los textos de biología, de filosofía y de artículos científicos se repartían casi igual entre los expertos. Lo que hacen de verdad está en Mitos de los MoE.
• «Un MoE siempre es más rápido». Calcula menos, sí. Pero con muchos usuarios a la vez, cada palabra pide expertos distintos, hay que leerlos casi todos, y el experto más cargado marca el ritmo. Mídelo con tu caso, no con la ficha.

1. Un modelo denso usa todo lo que tiene en cada palabra; un MoE guarda mucho y usa poco.
2. Activos → cálculo. Totales → memoria. Pregunta siempre por las dos cifras.
3. Con poca memoria y pocos usuarios, denso. Con mucha memoria, mucho tráfico o una API de por medio, MoE.

Si no tienes claro qué es un parámetro o una neurona, empieza por la lección ¿Regresión logística o red neuronal?.