📈 Gradient Boosting
Construye árboles secuencialmente donde cada uno aprende a predecir los residuos (gradientes negativos) del modelo anterior. La predicción final es la suma ponderada de todos los árboles.
📉 Learning Rate (η)
Escala la contribución de cada árbol (típicamente 0.01–0.3). Un η pequeño requiere más árboles pero generaliza mejor. Es el principal mecanismo de regularización en boosting.
⚡ XGBoost
Implementación optimizada de Gradient Boosting con regularización L1/L2, poda de árboles, manejo de valores nativos nulos y paralelización. Ganadora de incontables competencias Kaggle.
💨 LightGBM
Usa histogramas y crecimiento por hoja (leaf-wise) en vez de nivel (level-wise). Es más rápido que XGBoost en datasets grandes. Soporta datos categóricos nativamente.
Explora los conceptos con ejemplos practicos disponibles en la simulacion interactiva de este modulo.
Intuicion
El ML permite a las computadoras aprender patrones de los datos sin ser programadas explicitamente para cada tarea.
Formula clave
Cada algoritmo tiene una funcion de perdida que optimiza durante el entrenamiento.
Paso a paso
El proceso sigue pasos: datos, modelo, entrenamiento, evaluacion.
Error comun: Data leakage
Cuando informacion del test afecta al entrenamiento: validacion invalida.
Ejemplo concreto
Aplica ML a problemas reales de clasificacion y regresion.
Conexion
ML se construye sobre estadistica inferencial y predictiva.