Clase 2 de 9 del curso gratuito «IA desde Cero». ¿Qué hay dentro de ChatGPT, Claude o Gemini? En la Clase 1 vimos el Transformer; ahora vemos cómo se pasó de ese motor a los grandes modelos de lenguaje (LLM) de hoy, explicado desde cero y sin programación.
Qué es un LLM por dentro: lo que aprenderás
Por qué ganó el modelo de solo decodificador: BERT frente a GPT.
Las leyes de escala: por qué más grande (y con más datos) es mejor.
La mezcla de expertos: modelos enormes que solo usan una parte en cada palabra.
Cómo el modelo sabe dónde está cada palabra (RoPE) y cómo ahorra cálculo y memoria (ventana deslizante, caché, GQA).
Cómo elige la siguiente palabra: temperatura, top-k y top-p.
Qué es la ventana de contexto y por qué funciona la cadena de pensamiento.
Capítulos de la clase
0:00 — Introducción
2:23 — BERT y GPT: tres familias de modelos
12:44 — Las leyes de escala: más grande es mejor
22:06 — Mezcla de expertos
33:19 — Saber dónde está cada palabra: RoPE
43:29 — Atención más barata: ventana deslizante y GQA
49:51 — Normalizar mejor: RMSNorm
53:27 — Cómo elige la siguiente palabra: temperatura, top-k, top-p
1:03:09 — Ventana de contexto, prompts y cadena de pensamiento
1:11:35 — Repaso y cierre
Sigue con la Clase 3
Ya sabes cómo está hecho un gran modelo de lenguaje. En la Clase 3 vemos cómo se entrena: preentrenamiento, ajuste fino, RLHF y DPO.
Ver el curso en YouTube Página del curso
Basado en la clase 2 (otoño de 2026) del curso CME295 de la Universidad de Stanford (Transformers y grandes modelos de lenguaje), de Afshine y Shervine Amidi, explicada y adaptada al español.
Producido por Aaron Ballesteros · SofBiz Technologies. Narración: voz sintética de Aaron Ballesteros. Música: «Epic Impact» · The_Mountain · Pixabay.