¿Qué es XGBoost?
Extreme Gradient Boosting
XGB
Implementación optimizada y práctica de Gradient Boosting
eXtreme
Gradient
Boosting
No solo teoría: es una librería real en Python
"Una de las técnicas más poderosas
del Machine Learning clásico"
Permite entrenar modelos de boosting de forma eficiente
— Basado en el video de referencia
3.1
¿Qué hace XGBoost? El Proceso Secuencial
1
2
3
4
5
Predicción
Inicial
Detecta
Errores
Árbol 1
Árbol 2...n
Predicción
Final
Predice el
promedio general
¿Qué tan lejos
estuvo?
Corrige los
errores grandes
Corrige errores
restantes
Suma de todos
los árboles
Cada árbol nuevo observa los errores del anterior y los corrige — aprendizaje progresivo.
3.2
La Predicción Final es una Suma de Árboles
Predicción Final = π³ Árbolβ + π³ Árbolβ + π³ Árbolβ + ... + π³ Árbolβ
Ejemplo real: Predicción de ventas (Rossman — Kaggle)
Predicción base (promedio)
2,000
Árbol 1 — detecta promociones
+ 500
= 2,500
Árbol 2 — detecta día de semana
+ 150
= 2,650
Árbol 3 — detecta competencia
+ 75
= 2,725
PREDICCIÓN FINAL: 2,725 unidades vendidas
3.3
¿Por Qué XGBoost es Tan Usado? — Ventajas
β
Alto rendimiento
Resultados de primer nivel en
competencias de Machine Learning
π‘ Regularización
Parámetros integrados para controlar el
sobreajuste
β‘
Eficiente
Rápido computacionalmente,
optimizado para velocidad
π No lineal
Captura relaciones complejas entre
variables
π Datos tabulares
Excelente con CSV, bases de datos y
reportes de negocio
π§ Flexible
Regresión y clasificación, compatible
con Scikit-Learn
3.4
¿Dónde Brilla XGBoost? — Datos Tabulares
β Ideal para XGBoost
β No es el mejor para...
πͺ Ventas de tiendas (ej: Rossman — Kaggle)
πΌοΈ Imágenes → mejor Redes Convolucionales
π° Registros financieros y bancarios
π Texto y lenguaje → mejor NLP / BERT
π₯ Historiales médicos estructurados
π΅ Audio → mejor Redes Recurrentes
π₯ Datos de clientes y comportamiento
π¦ Inventarios y logística
Del video: "Para casi cualquier problema con datos tabulares, es útil probar Gradient Boosting"
3.5
Problemas Reales que Resuelve XGBoost
π
π¨
π³
π°
Predicción
de ventas
Detección
de fraude
Riesgo
crediticio
Predicción
de precios
π¦
π₯
π₯
π
Predicción
de demanda
Clasificación
de clientes
Diagnóstico
asistido
Competencias
Kaggle
3.6
Dos Versiones: Según el Tipo de Problema
XGBRegressor
XGBClassifier
Para predecir números continuos
Para clasificar en categorías
π·οΈ Precio de casa:
π¨ ¿Fraude?:
$250,000
Sí / No
VS
π Ventas del día:
2,725 unidades
π Riesgo crediticio:
Bajo / Alto
π‘οΈ Temperatura:
28.5°C
π·οΈ Tipo de tienda:
A/B/C
3.7
XGBoost vs Modelo Lineal — ¿Por Qué No Usar Algo Más Simple?
Modelo Lineal
XGBoost
Ventas = base + factorβ + factorβ
Ventas = Árbolβ + Árbolβ + ... + Árbolβ
β
Fácil de entender e interpretar
β
Captura relaciones complejas y no lineales
β
Rápido de entrenar
β
Detecta interacciones entre variables
β Solo captura relaciones lineales
β No detecta interacciones entre variables
β Falla con patrones complejos
βΆ
β
Promo + Día + Tienda + Estación — TODO a la vez
β
Muy preciso en problemas reales
β Más complejo de interpretar
3.8
Limitaciones — No Todo es Perfecto
01
π
03
π
Difícil de Interpretar
Es una "caja negra": difícil explicar exactamente por
qué hizo cada predicción. Requiere herramientas
adicionales como SHAP.
Riesgo de Sobreajuste
02
βοΈ
04
Si no se valida correctamente puede memorizar el
entrenamiento y fallar con datos nuevos (overfitting).
Muchos Hiperparámetros
Tiene muchas configuraciones que ajustar. Si no se
hace bien, el modelo no funcionará de forma óptima.
No Siempre Necesario
Para problemas muy simples con pocas variables, un
modelo lineal puede ser suficiente y más fácil de usar.
οΈ
Nota: El Integrante 5 profundizará en cómo manejar estas limitaciones con hiperparámetros y validación.
3.9
Resumen: XGBoost en 4 Puntos
1
Es una implementación práctica y optimizada de Gradient
Boosting
A continuación...
π» Integrante 4
Implementación en Python
2
Combina muchos árboles de forma secuencial — cada uno
corrige errores
→ Importar XGBoost en Python
→ Preparar y dividir los datos
3
Muy poderoso para datos tabulares: ventas, finanzas,
medicina...
→ Entrenar con fit()
→ Predecir con predict()
4
→ Evaluar con RMSE
Requiere ajuste de parámetros para evitar sobreajuste
3.10