Emergencia y Leyes de Escala

🌊 ¿Qué es la emergencia?

En ciencia, llamamos emergencia a la aparición de propiedades o comportamientos complejos en un sistema que no están presentes en sus componentes individuales. Una sola neurona artificial no "entiende" nada; pero miles de millones de ellas, organizadas y entrenadas con suficientes datos, pueden exhibir capacidades que nunca fueron programadas explícitamente: traducir idiomas, razonar sobre lógica, escribir código.

En el contexto de deep learning, la emergencia se manifiesta de forma concreta: un modelo de lenguaje entrenado con 1B de parámetros no sabe hacer aritmética de tres dígitos, pero uno de 100B sí. Un modelo de visión pequeño reconoce bordes; uno masivo desarrolla detectores de conceptos abstractos (objetos, emociones, estilos artísticos) sin que nadie le enseñe qué son.

Emergencia débil vs fuerte

En la práctica, la emergencia conecta con preguntas muy concretas para quien desarrolla modelos: ¿merece la pena invertir en un modelo más grande, o la ganancia será marginal? ¿Pueden predecirse las capacidades de un modelo a partir de versiones más pequeñas? Y para la sociedad en general: ¿cómo regulamos sistemas cuyas capacidades no podemos anticipar? Estas preguntas motivan el estudio riguroso tanto de la emergencia como de las leyes de escala que exploraremos a lo largo de este módulo. Antes de sumergirnos en los datos empíricos, conviene situar el fenómeno en su contexto histórico.

📜 Historia: de la termodinámica al deep learning

La idea de que "el todo es más que la suma de las partes" es antigua, pero su formalización científica tiene hitos concretos que conectan física, biología, complejidad y, finalmente, inteligencia artificial.

Este recorrido muestra que la emergencia no es una idea nueva ni exclusiva del deep learning; es un principio que aparece en física estadística, biología y sistemas complejos. Lo que ha cambiado en la última década es que, por primera vez, podemos observar y cuantificar estas transiciones dentro de modelos computacionales, lo que nos permite formular leyes matemáticas precisas sobre su comportamiento. A continuación exploraremos los marcos teóricos que explican por qué aparece la emergencia en redes neuronales.

🧬 Fundamentos teóricos de la emergencia

¿Por qué un sistema de componentes simples (neuronas artificiales con pesos y activaciones) puede exhibir comportamientos cualitativamente nuevos al escalar? Existen varias perspectivas teóricas complementarias.

Transiciones de fase y umbrales

En física, una transición de fase es un cambio abrupto en las propiedades de un sistema al variar un parámetro continuo (temperatura, presión). El agua pasa de líquido a gas a 100°C: no hay un "medio gas". Varios investigadores han trazado analogías directas con redes neuronales:

En la teoría de percolación, cuando la fracción de conexiones activas p supera un umbral crítico p_c, aparece un cluster conectado que abarca todo el sistema. La analogía en redes neuronales: cuando el número de parámetros/datos supera cierto umbral, el modelo "percola" hacia una representación coherente del concepto.

La hipótesis del modelo del mundo

Li et al. (2023, arXiv:2210.13382) demostraron que un Transformer entrenado para predecir movimientos legales del juego Othello desarrolla internamente un modelo del tablero — una representación del estado del juego que nunca fue proporcionada explícitamente. Esto sugiere que las redes suficientemente grandes no solo memorizan correlaciones superficiales, sino que construyen modelos del mundo como estrategia óptima de compresión.

La conexión entre predicción, compresión y modelos del mundo no es solo filosófica. Trabajos de mechanistic interpretability — como los de Neel Nanda sobre induction heads (arXiv:2209.11895) — han identificado circuitos concretos dentro de los Transformers que implementan algoritmos específicos (p.ej., copiar secuencias o completar patrones). Estos circuitos aparecen de forma abrupta durante el entrenamiento, reforzando la hipótesis de que las capacidades emergen cuando el modelo desarrolla los "circuitos" internos adecuados. Esta perspectiva mecanicista será clave para resolver el debate sobre si la emergencia es genuina o un artefacto (sección El debate de los mirajes).

Doble descenso y grokking

Dos fenómenos relacionados con la emergencia que han sorprendido a la comunidad:

Tanto el doble descenso como el grokking sugieren algo profundo: las redes neuronales no aprenden de forma monótona y predecible. Existen fases de reorganización interna — períodos en los que el modelo parece estancado externamente, pero sus representaciones se reestructuran de forma radical. Estas fases recuerdan a las transiciones de fase de la física y refuerzan la hipótesis de que la emergencia en redes neuronales comparte la misma mecánica fundamental: cambios abruptos cuando se cruza un umbral crítico (ya sea de tamaño, datos o tiempo de entrenamiento). Esto conecta naturalmente con la pregunta de si la emergencia se puede entender como una forma de compresión óptima.

¿Compresión como inteligencia?

Una perspectiva unificadora viene de la teoría de la información. Según la conjetura de Hutter (2005), la inteligencia es fundamentalmente compresión: un agente que comprime mejor sus observaciones necesita modelos más precisos del mundo, y por tanto puede hacer mejores predicciones. Escalar modelos les da más capacidad de compresión, lo que fuerza representaciones más ricas.

El modelo que mejor comprime los datos de entrenamiento es aquel que ha capturado la estructura subyacente real. A medida que los modelos escalan, pueden encontrar compresiones más sofisticadas — y esas compresiones son las "capacidades emergentes".

👁️ Emergencia en CNNs: jerarquías de características

Antes de que los LLMs acaparasen la atención, la comunidad de visión por computador ya observaba fenómenos emergentes fascinantes en redes convolucionales. La emergencia en CNNs se manifiesta como una jerarquía progresiva de representaciones que el modelo construye sin supervisión directa sobre qué características aprender.

La jerarquía de features aprendidas

Zeiler y Fergus (2013, arXiv:1311.1901) mostraron mediante técnicas de visualización que las capas de una CNN desarrollan una jerarquía clara de representaciones:

Lo notable es que nadie le dice a la red qué buscar en cada capa. La presión del gradiente y la arquitectura convolucional fuerzan a la red a organizar sus representaciones de forma jerárquica. Esto es emergencia débil: sorprendente, pero deducible de la estructura del problema y la arquitectura.

Neuronas de concepto en redes modernas

Trabajos posteriores como Network Dissection (Bau et al., 2017, netdissect.csail.mit.edu) cuantificaron sistemáticamente cuántas neuronas individuales en una GAN o clasificador se especializan en conceptos semánticos: cielo, hierba, ventana, rueda. Descubrieron que:

• Las redes más grandes desarrollan más neuronas interpretables.
• Las unidades se organizan jerárquicamente: texturas → materiales → partes → objetos → escenas.
• En GANs (como StyleGAN), neuronas individuales controlan atributos semánticos: "quitar gafas", "cambiar iluminación".

Los hallazgos en CNNs establecieron un patrón que se repetiría a escalas mucho mayores: las redes neuronales, cuando disponen de suficiente capacidad y datos, desarrollan representaciones internas que reflejan la estructura del mundo real, sin que nadie les enseñe esa estructura explícitamente. En visión, esto se traduce en detectores de bordes → texturas → objetos → escenas. Pero el ejemplo más dramático de emergencia pre-LLM no vino de la visión, sino de un modelo de lenguaje a nivel de carácter: la Neurona Sintiente de OpenAI, que veremos a continuación.

💭 La Neurona Sintiente: emergencia en LSTMs

En abril de 2017, Alec Radford y otros investigadores de OpenAI publicaron un resultado que causó gran revuelo: "Learning to Generate Reviews and Discovering Sentiment" (arXiv:1704.01444). Es quizás el ejemplo más elegante de emergencia en deep learning pre-LLM.

El experimento

Entrenaron una LSTM multiplicativa de 4.096 unidades (mLSTM) con un objetivo extremadamente simple: predecir el siguiente carácter en un corpus de 82 millones de reseñas de Amazon. Sin etiquetas de sentimiento, sin clasificación, sin supervisión de ningún tipo más allá de la predicción carácter a carácter.

¿Por qué esto es emergencia?

• No fue entrenada para sentimiento. El único objetivo era predecir el siguiente byte.
• La capacidad apareció en una sola neurona. No en un patrón distribuido complejo, sino en una unidad discreta.
• Es útil y transferible. El detector de sentimiento funciona en dominios diferentes a las reseñas de Amazon.
• Requiere escala. Modelos más pequeños no desarrollaban esta capacidad. Se necesitaron 4.096 unidades y millones de reseñas.

# Neurona de sentimiento → valor alto
"I absolutely love this product! It's the best thing I've ever bought.
The quality is outstanding and I highly recommend it to everyone."

# Neurona de sentimiento → valor bajo
"This is terrible. Complete waste of money. It broke after one day
and customer service was unhelpful. Do not buy this."

import torch
import torch.nn as nn
import numpy as np

# Modelo simplificado: mLSTM para predicción de caracteres
class CharLSTM(nn.Module):
    def __init__(self, vocab_size, hidden_size=4096):
        super().__init__()
        self.embed = nn.Embedding(vocab_size, 256)
        self.lstm = nn.LSTM(256, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, vocab_size)

    def forward(self, x):
        emb = self.embed(x)
        out, (h, c) = self.lstm(emb)
        return self.fc(out), c  # c contiene las activaciones de las celdas

# Extraer la activación de la "neurona de sentimiento" (celda 2388)
def get_sentiment_activation(model, text, char2idx):
    tokens = torch.tensor([[char2idx.get(c, 0) for c in text]])
    with torch.no_grad():
        _, (_, cell_state) = model(tokens)
    # cell_state shape: (1, 1, 4096)
    sentiment_value = cell_state[0, 0, 2388].item()
    return sentiment_value

# Ejemplo de uso (requiere modelo pre-entrenado)
# score = get_sentiment_activation(model, "This movie was amazing!", char2idx)
# print(f"Sentimiento: {score:.3f}")  # Valor alto → positivo

📄 Radford, A., Józefowicz, R., Sutskever, I. "Learning to Generate Reviews and Discovering Sentiment." 2017. arXiv:1704.01444 · Blog post de OpenAI

La Neurona Sintiente anticipó lo que vendría con modelos más grandes: cuando la escala es suficiente, los objetivos de pre-entrenamiento "simples" (predecir el siguiente token) producen representaciones sorprendentemente ricas y transferibles. Este mismo principio es el motor de GPT-2, GPT-3 y toda la generación actual de LLMs. La diferencia es que, a la escala de miles de millones de parámetros, las capacidades emergentes son mucho más variadas y poderosas. Pasemos ahora a explorar qué ocurre cuando la escala aumenta dramáticamente.

🚀 Fenómenos emergentes en LLMs

El paper "Emergent Abilities of Large Language Models" de Wei et al. (2022, arXiv:2206.07682) formalizó una observación que ya era evidente con GPT-3: ciertos modelos de lenguaje, al superar un umbral de escala, adquieren capacidades que no existían en modelos más pequeños.

Capacidades emergentes documentadas

Wei et al. analizaron más de 100 benchmarks en múltiples familias de modelos (GPT-3, LaMDA, PaLM, Chinchilla) e identificaron capacidades que solo aparecen en modelos de suficiente escala:

El patrón de la emergencia

Lo que hace especial a la emergencia en LLMs es la forma de la curva de rendimiento vs escala. En lugar de una mejora gradual, se observa un patrón de "escalón": el rendimiento en una tarea permanece cerca del azar durante varias órdenes de magnitud de escala, y luego salta abruptamente a un nivel competente. Este comportamiento recuerda a las transiciones de fase de la física (ver sección de fundamentos teóricos). La dificultad radica en que no sabemos, a priori, a qué escala ocurrirá cada transición: la aritmética aparece a ~13B, pero el chain-of-thought requiere ~100B. Usa el simulador de abajo para explorar este fenómeno interactivamente.

Es importante señalar que la tabla anterior recoge los umbrales originales documentados por Wei et al. con las familias de modelos disponibles en 2022 (GPT-3, PaLM, Chinchilla, LaMDA). Modelos posteriores como LLaMA 2/3, Mistral o Qwen 2.5 han logrado algunas de estas capacidades a escalas menores, gracias a mejoras en datos, arquitectura (p.ej., GQA, RoPE) y técnicas de entrenamiento (DPO, RLHF). Esto no invalida la emergencia — más bien sugiere que los umbrales no son fijos, sino que dependen de la "calidad efectiva" del entrenamiento. Un modelo de 7B bien entrenado en 2024 puede equivaler funcionalmente a uno de 70B de 2020 en ciertos benchmarks. La pregunta fundamental sigue abierta: ¿existen capacidades que ningún modelo pequeño puede alcanzar, independientemente de la calidad del entrenamiento? La respuesta a esta pregunta tiene profundas implicaciones para la seguridad de la IA.

🎲 La impredecibilidad de las capacidades emergentes

Uno de los aspectos más inquietantes de la emergencia es que no sabemos predecir qué capacidades aparecerán a qué escala. Esto plantea desafíos significativos para la seguridad y la gobernanza de la IA.

¿Por qué es difícil predecirlo?

La dificultad de predicción no es solo teórica — tiene consecuencias prácticas directas. Imagine una empresa que entrena un modelo de 50B parámetros para atención al cliente. Todo funciona bien. Luego escalan a 200B parámetros esperando simplemente "mejor calidad". Pero al cruzar cierto umbral, el modelo desarrolla capacidades de persuasión sofisticada que no tenía antes y que nadie había previsto. ¿Está eso cubierto por las evaluaciones de seguridad originales? Probablemente no. Las razones de esta impredecibilidad son múltiples:

• No es lineal. No hay una tendencia suave que podamos extrapolar; la capacidad simplemente "salta" a un cierto punto.
• Depende de la métrica. La pérdida (cross-entropy) sí mejora suavemente, pero las métricas discretas de tarea (precisión, exact match) muestran el salto.
• Varía entre familias de modelos. PaLM puede mostrar emergencia en una tarea a 62B mientras que GPT-3 la muestra a 175B.
• El pre-training data importa. La composición del corpus puede adelantar o retrasar la aparición de capacidades.

🔬 ¿Es la emergencia real? El debate de los mirajes

En 2023, un influyente artículo de Schaeffer, Miranda y Koyejo (arXiv:2304.15004) titulado "Are Emergent Abilities of Large Language Models a Mirage?" argumentó que las capacidades emergentes podrían ser un artefacto de la métrica elegida, no una propiedad real de los modelos.

El argumento del miraje

El contraargumento

Este debate ilustra una tensión fundamental en la investigación sobre IA: la forma de medir un fenómeno puede afectar nuestra interpretación del mismo. Para avanzar, la comunidad necesita métricas más granulares que las binarias de exact-match, pero que sigan capturando la utilidad real para el usuario. Trabajos recientes sobre métricas continuas de capacidad (p.ej., probabilidad calibrada por token, Brier score multitarea) intentan precisamente esto. Independientemente de si llamamos "emergencia" o "mejora no lineal" al fenómeno, su existencia tiene consecuencias prácticas directas: las leyes de potencias que gobiernan el escalado, tema de las siguientes secciones, determinan cuánto cuesta cada mejora incremental y cómo asignar óptimamente el presupuesto de cómputo.

📐 Leyes de escala: fundamentos y primeras observaciones

Las leyes de escala (scaling laws) cuantifican cómo el rendimiento de un modelo depende de tres variables fundamentales: el número de parámetros N, el tamaño del dataset D, y el cómputo de entrenamiento C. Resulta que estas relaciones siguen leyes de potencias sorprendentemente limpias.

¿Qué es una ley de potencias?

Una ley de potencias describe una relación de la forma:

Donde L es la pérdida (loss), x es la variable de escala (parámetros, datos o cómputo), L_\infty es la pérdida irreducible, y \alpha es el exponente de la ley. En escala log-log, esto es una línea recta, lo que hace que las leyes de potencias sean fáciles de identificar y extrapolar.

Leyes de escala antes de los LLMs

Aunque Kaplan et al. (2020) formalizaron las leyes de escala para modelos de lenguaje, la idea de que "más grande = mejor de forma predecible" tiene precedentes:

• Hestness et al. (2017) (arXiv:1712.00409): Observaron leyes de potencias en traducción automática, reconocimiento de voz, clasificación de imágenes y detección de objetos.
• Rosenfeld et al. (2019) (arXiv:1909.12673): Propusieron un marco predictivo para extrapolar rendimiento a escalas mayores.
• Ley de Zipf (1935): La frecuencia de la n-ésima palabra más común es proporcional a 1/n. Los modelos de lenguaje operan sobre datos que ya siguen leyes de potencias.

Estas observaciones previas eran prometedoras pero dispersas: cada trabajo estudiaba un dominio diferente con métricas y escalas distintas. Faltaba un marco unificado que cuantificase las relaciones de forma precisa y las conectase con decisiones prácticas de diseño. Ese marco llegó en 2020 con el trabajo seminal de Kaplan et al., que transformó las leyes de escala de una curiosidad empírica a una herramienta operacional.

import math

def chinchilla_optimal(compute_flops):
    """
    Dado un presupuesto de cómputo en FLOPs,
    calcula el tamaño óptimo del modelo y los tokens.
    Regla: C ≈ 6 · N · D (aproximación estándar)
    Con N_opt ∝ C^0.5 y D_opt ∝ C^0.5, y D ≈ 20·N
    """
    # De C ≈ 6·N·D y D = 20·N → C = 120·N² → N = sqrt(C/120)
    N_opt = math.sqrt(compute_flops / 120)
    D_opt = 20 * N_opt
    return {
        'params': N_opt,
        'tokens': D_opt,
        'flops': compute_flops,
        'ratio': D_opt / N_opt
    }

# Ejemplo: presupuesto de GPT-3
budget = 3.14e23  # ~314 ZettaFLOPs
result = chinchilla_optimal(budget)
print(f"Parámetros óptimos: {result['params']:.1e}")
print(f"Tokens óptimos:     {result['tokens']:.1e}")
print(f"Ratio D/N:          {result['ratio']:.0f} tokens/param")
# → Parámetros óptimos: 5.1e+10 (~51B)
# → Tokens óptimos:     1.0e+12 (~1T)
# → Ratio D/N:          20 tokens/param