Clase 3 de 9 del curso gratuito «IA desde Cero». ¿Cómo se entrena un modelo como ChatGPT, Claude o Gemini? Esta vez el video es la clase original de la Universidad de Stanford, con su voz en español, a la que le quitamos todo lo que no es explicación del curso y le añadimos frases clave para tomar nota y placas animadas en español que explican mejor cada diapositiva. Viene de la Clase 2.
Cómo se entrena un LLM: lo que aprenderás
El preentrenamiento: predecir el siguiente token sobre billones de palabras, la pérdida de entropía cruzada y cómo se eligen los datos.
El entrenamiento intermedio y cómo se enseña a leer textos largos.
El ajuste fino supervisado (SFT) y LoRA, la forma barata de hacerlo.
El ajuste por preferencias: RLHF (modelo de recompensa y aprendizaje por refuerzo) y DPO.
Cómo se entrenan los modelos de razonamiento: recompensas verificables, GRPO y destilación.
Un caso real completo: cómo se entrenó GLM-5.
Capítulos de la clase
0:00 — Introducción: de la clase anterior a esta
1:06 — Preentrenamiento: predecir el siguiente token
5:57 — La pérdida de entropía cruzada
11:15 — Los datos del preentrenamiento
14:54 — Entrenamiento intermedio y contexto largo
18:21 — Contexto largo: currículo y frecuencias
21:43 — Ajuste supervisado (SFT)
28:47 — LoRA: ajuste fino eficiente
33:27 — Ajuste por preferencias
39:25 — Etapa 1: el modelo de recompensa
45:33 — Etapa 2: aprendizaje por refuerzo
48:34 — DPO: optimización directa de preferencias
53:34 — Modelos de razonamiento
59:06 — Entrenar el razonamiento: recompensas verificables y GRPO
1:02:34 — Destilación en política: lo mejor de ambos mundos
1:06:07 — Caso práctico GLM-5: preentrenamiento y entrenamiento intermedio
1:14:20 — GLM-5: SFT, RL y destilación entre etapas
Repasa la clase anterior
Si quieres repasar cómo está hecho un gran modelo de lenguaje por dentro, mira la Clase 2.
Ver el curso en YouTube Página del curso
Clase original: Stanford CME295 «Transformers & Large Language Models», clase 3 (otoño de 2026), de Afshine y Shervine Amidi. Voz en español: doblaje automático de YouTube. Introducción, frases clave y placas: IA desde Cero.
Producido por Aaron Ballesteros · SofBiz Technologies. Narración de la introducción: voz sintética de Aaron Ballesteros. Música: «Epic Impact» · The_Mountain · Pixabay.