De Boltzmann a ChatGPT: de la física estadística a la IA — Cómic educativo

Q: ¿Qué relación hay entre Boltzmann y ChatGPT?

La función softmax que usan los modelos como ChatGPT para convertir logits en probabilidades es matemáticamente idéntica a la distribución de Boltzmann (1877). Ambas ecuaciones comparten exactamente la misma forma matemática: softmax(z_i)=exp(z_i/τ)/Σexp(z_j/τ) y P(E_i)=exp(-E_i/kT)/Σexp(-E_j/kT). La T (temperatura) en física es análoga a τ (temperatura de sampling) en ML.

Q: ¿Qué es la función softmax?

La función softmax convierte un vector de números reales (logits) en una distribución de probabilidad donde todos los valores suman 1. Es el componente final de los transformers que usan ChatGPT, Gemini y Claude. Fue popularizada en el paper 'Attention Is All You Need' (Vaswani et al., 2017).

Q: ¿Qué tiene que ver la temperatura con la IA?

El parámetro τ (temperatura) en la función softmax controla qué tan determinista o creativa es la salida de un LLM. τ→0 produce respuestas deterministas; τ→∞ produce respuestas más creativas. Es análogo a la temperatura en un gas: frío = ordenado (determinista), caliente = caótico (creativo).

Q: ¿Por qué la entropía conecta la física con la IA?

Shannon tomó el concepto de entropía de la termodinámica para fundar la teoría de la información en 1948. Hoy, los LLMs se entrenan minimizando la entropía cruzada, que es matemáticamente equivalente a maximizar la verosimilitud. Minimizar entropía cruzada = maximizar verosimilitud: dos tradiciones convergen en la misma función.

Q: ¿Cómo se relaciona el modelo de Ising con las redes neuronales?

John Hopfield (1982) adaptó el modelo de Ising de la física estadística para crear redes neuronales asociativas (redes de Hopfield). En estas redes, los patrones de memoria son mínimos de energía en un paisaje energético, y recordar es descender por la superficie hasta alcanzar un mínimo. En 2024, Hopfield y Hinton recibieron el Premio Nobel de Física por estos trabajos.

Gustavo Adrián Salvini

doi:10.5281/zenodo.XXXXX

De Boltzmann a ChatGPT

— / 9