Machine Learning Clásico

🧠 ¿Qué es el Machine Learning?

El Machine Learning (aprendizaje automático) es una rama de la inteligencia artificial que permite a los sistemas aprender patrones a partir de datos, sin ser programados explícitamente para cada caso. En lugar de escribir reglas a mano ("si la temperatura > 30°, entonces…"), dejamos que el algoritmo descubra esas reglas por sí mismo.

La idea central es que un sistema puede mejorar su comportamiento con la experiencia. A diferencia de la programación convencional, donde el desarrollador codifica instrucciones paso a paso para cada situación posible, en ML proporcionamos ejemplos y dejamos que el algoritmo infiera las reglas subyacentes. Este cambio de paradigma ha transformado campos tan diversos como la medicina, las finanzas, la robótica y, por supuesto, la inteligencia artificial moderna.

Programación tradicional vs Machine Learning

Programación tradicional: tú escribes las reglas.

Machine Learning: el algoritmo descubre las reglas.

Esto significa que ML brilla cuando las reglas son difíciles de codificar: reconocer caras, entender lenguaje natural, predecir el precio de una acción… problemas donde la complejidad es tan alta que un humano no puede especificar todas las casuísticas.

El campo del machine learning abarca una enorme variedad de algoritmos y técnicas, desde métodos estadísticos clásicos como la regresión lineal hasta sofisticados ensembles de modelos como XGBoost. Todos comparten un mismo principio: extraer conocimiento de los datos. A lo largo de este módulo veremos los algoritmos más importantes, sus fundamentos matemáticos y cuándo conviene usar cada uno. Estos conceptos son la base sobre la que se construye todo el deep learning moderno.

Breve historia del Machine Learning

Esta línea temporal muestra cómo el campo ha evolucionado desde modelos simples de neuronas hasta los grandes modelos de lenguaje actuales. Sin embargo, es importante destacar que los algoritmos de ML clásico no han quedado obsoletos: siguen siendo la mejor opción en multitud de escenarios prácticos, como veremos a lo largo de este módulo.

📚 Tipos de aprendizaje

Los algoritmos de ML se clasifican según el tipo de supervisión que reciben durante el entrenamiento. Esta taxonomía es fundamental para elegir la técnica adecuada para cada problema.

Aprendizaje supervisado

El modelo aprende de pares (\mathbf{x}_i, y_i): entradas y sus etiquetas correctas. El objetivo es aprender una función f: \mathbf{X} \rightarrow Y que prediga correctamente en datos nuevos nunca vistos. Es el paradigma más utilizado en la práctica porque, cuando disponemos de datos etiquetados, ofrece los resultados más directos e interpretables.

Dentro del aprendizaje supervisado distinguimos dos grandes familias de problemas según la naturaleza de la variable objetivo:

• Regresión: la etiqueta es un valor continuo (precio de una casa, temperatura, concentración de un fármaco).
• Clasificación: la etiqueta es una categoría discreta (spam/no spam, especie de flor, diagnóstico médico).

A continuación se presentan algunos de los modelos supervisados más habituales. Cada uno se aborda en detalle en las secciones posteriores de este módulo.

Aprendizaje no supervisado

No hay etiquetas. El modelo busca estructura oculta en los datos: agrupaciones, relaciones, patrones de densidad. Es especialmente útil para exploración de datos, preprocesamiento y para obtener insights cuando no disponemos de datos etiquetados (algo muy frecuente en la práctica).

El aprendizaje no supervisado responde a preguntas como "¿existen grupos naturales en mis datos?", "¿puedo representar estos datos en menos dimensiones sin perder información relevante?" o "¿hay puntos que se comportan de forma anómala?". Los tres grandes tipos de problemas no supervisados son:

• Clustering: agrupar datos similares (segmentar clientes, agrupar documentos, comprimir imágenes).
• Reducción de dimensionalidad: comprimir features manteniendo la información esencial (visualización, preprocesamiento).
• Detección de anomalías: encontrar datos que no encajan con el patrón normal (fraude, fallos industriales).

Aprendizaje por refuerzo

Un agente interactúa con un entorno, tomando acciones y recibiendo recompensas. El objetivo es aprender una política (una estrategia de comportamiento) que maximice la recompensa acumulada a lo largo del tiempo. A diferencia del aprendizaje supervisado, aquí no hay un "profesor" que indique la respuesta correcta: el agente debe descubrirla por ensayo y error.

Este paradigma ha demostrado resultados espectaculares: desde AlphaGo derrotando al campeón mundial de Go, hasta agentes que aprenden a controlar robots o conducir vehículos autónomos. Las técnicas clave incluyen Q-Learning, Policy Gradient y PPO, entre otras.

¿Y el semi-supervisado y el auto-supervisado?

⚖️ Machine Learning vs Deep Learning

El deep learning es un subconjunto del machine learning que utiliza redes neuronales con muchas capas (deep = profundas). Pero, ¿cuándo usar ML clásico y cuándo DL?

Tabla comparativa

¿Cuándo elegir ML clásico?

• Tienes pocos datos (< 10.000 muestras).
• Necesitas interpretabilidad (medicina, finanzas, legal).
• Trabajas con datos tabulares (hojas de cálculo, bases de datos SQL).
• Tu presupuesto computacional es limitado.
• Quieres un prototipo rápido para validar una idea.

¿Cuándo elegir Deep Learning?

• Tienes mucho dato no estructurado (imágenes, texto, audio, vídeo).
• El feature engineering manual es imposible o impracticable.
• Necesitas rendimiento estado del arte (SOTA).
• Puedes permitirte el coste computacional y el tiempo de desarrollo.

🔄 El pipeline de Machine Learning

Independientemente del algoritmo que elijas, todo proyecto de ML sigue un flujo de trabajo estándar. Entender este pipeline es tan importante como entender los algoritmos en sí, porque un modelo brillante aplicado sobre datos mal preparados o evaluado incorrectamente no sirve de nada. De hecho, la mayoría de los fracasos en proyectos de ML no se deben a la elección del algoritmo, sino a errores en las etapas de datos, preprocesamiento o evaluación.

El pipeline típico consta de seis grandes etapas, y en la práctica el proceso es iterativo: es muy habitual volver atrás para recoger más datos, probar otro preprocesamiento o cambiar de modelo después de evaluar los resultados.

Veamos cada etapa con más detalle:

1. Recolección de datos

Todo proyecto de ML empieza con los datos. Antes de pensar en algoritmos, necesitas definir qué datos necesitas y de dónde los vas a obtener. Las fuentes pueden ser muy diversas: bases de datos internas, APIs públicas, web scraping, sensores IoT, encuestas, datasets abiertos (Kaggle, UCI ML Repository, HuggingFace Datasets), o incluso generación sintética de datos.

La calidad de los datos es, con diferencia, el factor que más impacta en el resultado final. Un modelo sofisticado entrenado con datos ruidosos o sesgados dará peores resultados que un modelo simple entrenado con datos limpios y representativos. El mantra del campo es "garbage in, garbage out": si los datos de entrada son basura, la salida también lo será.

2. Análisis exploratorio (EDA)

Antes de entrenar cualquier modelo, es imprescindible entender los datos. El análisis exploratorio (Exploratory Data Analysis) consiste en visualizar distribuciones, calcular estadísticas descriptivas, detectar correlaciones entre variables, identificar valores faltantes (NaN), localizar outliers y comprobar si las clases están desbalanceadas.

Herramientas como pandas, matplotlib, seaborn y plotly son fundamentales en esta etapa. Un buen EDA te ahorrará horas de frustración posterior: muchas veces, los problemas de rendimiento de un modelo se deben a cuestiones que se habrían detectado con una buena exploración inicial.

3. Preprocesamiento

Los datos rara vez llegan listos para entrenar un modelo. El preprocesamiento incluye múltiples pasos: limpieza (gestión de valores faltantes, eliminación de duplicados, corrección de errores), transformación (normalización, estandarización, transformaciones logarítmicas), encoding de variables categóricas (one-hot encoding, label encoding, target encoding) y feature engineering (creación de nuevas variables a partir de las existentes).

El feature engineering es un arte en sí mismo y suele marcar la diferencia entre un modelo mediocre y uno excelente. Por ejemplo, en un problema de predicción de ventas, transformar la fecha en features como "día de la semana", "es festivo" o "días hasta fin de mes" puede mejorar radicalmente el rendimiento del modelo.

4. Entrenamiento del modelo

Con los datos preparados, es momento de elegir uno o varios algoritmos y entrenarlos. Esto incluye dividir los datos en conjuntos de train, validación y test (se explica en la siguiente sección), entrenar el modelo y ajustar sus hiperparámetros. Técnicas como grid search, random search o optimización bayesiana permiten explorar el espacio de hiperparámetros de forma sistemática.

Una buena práctica es empezar con un modelo sencillo (regresión lineal, árbol de decisión) como baseline y luego probar modelos más complejos para comprobar si la ganancia en rendimiento justifica la complejidad adicional.

5. Evaluación

Medir el rendimiento del modelo con las métricas adecuadas es crucial. No todas las métricas son iguales: en un problema de detección de fraude donde el 99.9% de las transacciones son legítimas, un modelo que siempre prediga "no fraude" tendría un 99.9% de accuracy pero sería completamente inútil. Por eso, hay que elegir métricas alineadas con el objetivo del negocio: precision, recall, F1-score, AUC-ROC para clasificación; MSE, MAE, R² para regresión. La validación cruzada proporciona estimaciones más robustas del rendimiento real.

6. Despliegue y monitorización

Un modelo que no se despliega en producción no genera valor. Las opciones de despliegue incluyen APIs REST (con frameworks como FastAPI o Flask), procesamiento por lotes (batch), o integración en aplicaciones existentes. Pero el trabajo no termina ahí: hay que monitorizar el rendimiento del modelo en producción, porque los datos del mundo real cambian con el tiempo (fenómeno conocido como data drift o concept drift). Un modelo de predicción de ventas entrenado antes de una pandemia, por ejemplo, dejará de ser válido cuando el contexto cambie radicalmente.

Train / Validation / Test

Nunca evalúes un modelo con los mismos datos con los que lo entrenaste. Esta es probablemente la regla más importante de todo el machine learning. Si usas los mismos datos para entrenar y evaluar, obtendrás una estimación falsamente optimista del rendimiento: el modelo habrá memorizado los datos de entrenamiento (incluido su ruido) y parecerá que funciona bien, cuando en realidad puede fallar estrepitosamente con datos nuevos.

La solución es dividir el dataset en tres subconjuntos disjuntos, cada uno con un propósito diferente:

• Train (entrenamiento): el modelo aprende de estos datos. Es el subconjunto más grande porque necesitamos la mayor cantidad de datos posible para que el modelo capture los patrones subyacentes.
• Validation (validación): se usa durante el desarrollo para ajustar hiperparámetros, comparar distintos modelos y detectar overfitting. Puedes evaluar sobre este conjunto tantas veces como necesites.
• Test (prueba): evaluación final y definitiva. Este conjunto simula datos completamente nuevos. Solo se usa una única vez al final del proyecto, cuando ya has tomado todas las decisiones de diseño. Si lo usas repetidamente para tomar decisiones, deja de ser una estimación fiable del rendimiento real.

Las proporciones exactas dependen del tamaño del dataset. Con pocos miles de muestras, una división 70/15/15 es habitual. Con millones de datos (como en muchos problemas de deep learning), dedicar un 1-2% a validación y test puede ser más que suficiente porque la estimación ya es estadísticamente robusta.

Data leakage: el error más peligroso

El data leakage (fuga de datos) ocurre cuando información del conjunto de test o validación se "filtra" al proceso de entrenamiento, inflando artificialmente las métricas. Es uno de los errores más comunes y más difíciles de detectar en proyectos de ML. Algunas formas habituales de data leakage:

• Preprocesamiento antes de dividir: si calculas la media y desviación estándar de todo el dataset para normalizar, y luego divides en train/test, la normalización del train contiene información del test. Lo correcto es dividir primero y luego normalizar usando solo las estadísticas del train.
• Features que contienen la respuesta: a veces, una variable del dataset contiene información que solo estaría disponible después de conocer el resultado. Por ejemplo, incluir "importe del tratamiento" como feature para predecir si un paciente será hospitalizado.
• Datos duplicados entre conjuntos: si un mismo registro aparece en train y test, el modelo lo memoriza y el rendimiento en test se infla.
• Datos temporales desordenados: en series temporales, si no respetas el orden cronológico y usas datos futuros para predecir el pasado, estás introduciendo un leak temporal. En estos casos se debe usar una división temporal (los datos más recientes como test).

📈 Regresión lineal y polinómica

La regresión lineal es probablemente el algoritmo más importante de todo el ML —no porque sea el más potente, sino porque es la base conceptual de casi todo lo que viene después, incluido el deep learning. Si entiendes la regresión lineal, entiendes el 80% de cómo funciona una red neuronal.

La regresión lineal formaliza una idea simple: predecir un valor numérico como una combinación lineal ponderada de las variables de entrada. Aunque su capacidad expresiva es limitada (solo captura relaciones lineales), su sencillez matemática la convierte en el punto de partida ideal para entender conceptos que se reutilizan en todo el ML: funciones de coste, optimización por gradiente descendente, regularización y generalización.

El modelo

Dado un vector de entrada \mathbf{x} = (x_1, x_2, \ldots, x_d), el modelo predice:

donde \mathbf{w} son los pesos (weights) y b es el sesgo (bias). ¿Te suena? Es exactamente lo que hace una neurona sin función de activación (o con activación lineal).

Función de coste: MSE

Entrenamos buscando los parámetros que minimizan el Error Cuadrático Medio:

En regresión lineal, esta función tiene un único mínimo global (es convexa), por lo que existe una solución analítica (la ecuación normal). Pero en la práctica, cuando hay millones de features, se usa gradiente descendente… igual que en DL.

Regresión polinómica

Si la relación entre x e y no es lineal, podemos crear nuevas features: x^2, x^3, \ldots y seguir usando regresión lineal sobre las features transformadas. El modelo sigue siendo "lineal en los parámetros", pero la predicción es una curva.

🔀 Regresión logística y clasificación

A pesar de su nombre, la regresión logística es un algoritmo de clasificación. Es la extensión natural de la regresión lineal para problemas donde la salida es binaria (0 o 1, sí o no, spam o no spam). Su importancia va más allá del ML clásico: como veremos, la capa de salida de cualquier red neuronal de clasificación binaria es una regresión logística, y entenderla es requisito para comprender el perceptrón y las redes neuronales en general.

Del valor continuo a la probabilidad

La idea es pasar la combinación lineal \mathbf{w}^T\mathbf{x} + b por la función sigmoide para obtener una probabilidad entre 0 y 1:

Si \hat{y} \geq 0.5, clasificamos como clase 1; si no, clase 0. Ese umbral (0.5) se puede ajustar según las necesidades del problema.

Función de pérdida: Binary Cross-Entropy

Esta pérdida penaliza mucho las predicciones confiadas pero incorrectas. Si el modelo predice \hat{y} = 0.99 pero la verdad es y = 0, la pérdida es enorme (-\log(0.01) \approx 4.6).

Frontera de decisión

La regresión logística traza una frontera lineal (un hiperplano) que separa las clases. Esto funciona bien cuando las clases son linealmente separables, pero falla en casos más complejos.

Clasificación multiclase: Softmax

🌳 Árboles de decisión y Random Forests

Los árboles de decisión son quizás el algoritmo de ML más intuitivo: funcionan como una secuencia de preguntas tipo "¿Feature X ≤ umbral?" que van dividiendo los datos hasta llegar a una predicción. Son el modelo que más se parece a cómo pensamos los humanos.

Su gran ventaja es la interpretabilidad: puedes visualizar el árbol, seguir las reglas y explicar exactamente por qué el modelo tomó una decisión concreta. Esto los hace especialmente valiosos en dominios donde la explicabilidad es requisito legal o ético, como medicina, finanzas o justicia. Además, son la pieza fundamental de los métodos de ensemble (Random Forest, Gradient Boosting) que dominan los problemas con datos tabulares.

¿Cómo funcionan?

El algoritmo construye un árbol binario eligiendo, en cada nodo, la feature y el umbral que mejor separa los datos. ¿Mejor según qué criterio?

• Gini impurity (clasificación): mide cuán "mezcladas" están las clases. G = 1 - \sum_{k=1}^{K} p_k^2. Perfecto = 0, máximo desorden = 0.5 (binario).
• Entropía (clasificación): H = -\sum_{k} p_k \log_2 p_k. Similar a Gini pero basada en teoría de la información.
• MSE (regresión): el árbol divide para minimizar la varianza dentro de cada hoja.

Visualización interactiva

El problema: overfitting

Un árbol sin restricciones crecerá hasta que cada hoja tenga un solo dato → accuracy 100% en train, pero generalización terrible. Técnicas para controlarlo:

• Profundidad máxima (max_depth): limitar cuántos niveles puede tener.
• Mínimo de muestras (min_samples_split): no dividir si hay pocos datos.
• Poda (pruning): eliminar ramas que no mejoran significativamente.

Random Forests: el poder del ensemble

Un Random Forest soluciona el overfitting de los árboles individuales con una idea brillantemente simple: entrenar muchos árboles independientes y promediar (regresión) o votar (clasificación) sus predicciones.

📐 Support Vector Machines (SVM)

Las Support Vector Machines buscan el hiperplano que separa las clases con el máximo margen posible. La idea es elegante: de todos los hiperplanos que separan las clases, elegir el que deja más "espacio" entre las dos, maximizando la robustez.

Las SVM fueron el algoritmo dominante en aprendizaje automático durante más de una década (aproximadamente 1995-2012), especialmente en problemas de clasificación con pocos datos y alta dimensionalidad. Su formulación matemática como un problema de optimización convexa garantiza encontrar el óptimo global (a diferencia de las redes neuronales), y el kernel trick les permite manejar fronteras de decisión no lineales de forma elegante y computacionalmente eficiente.

Margen máximo

Los vectores de soporte (support vectors) son los puntos más cercanos al hiperplano de separación. Son los que "definen" la frontera. El margen es la distancia entre el hiperplano y los vectores de soporte más cercanos de cada clase.

La optimización busca maximizar \frac{2}{\|\mathbf{w}\|} (el margen) sujeto a que todos los puntos estén correctamente clasificados. Es un problema de optimización convexa con restricciones.

El truco del kernel

¿Qué pasa cuando los datos no son linealmente separables? SVM tiene un arma secreta: el kernel trick. Transforma los datos a un espacio de mayor dimensionalidad donde sí son separables, pero sin calcular explícitamente esa transformación.

• Lineal: K(\mathbf{x}, \mathbf{z}) = \mathbf{x}^T\mathbf{z}
• Polinómico: K(\mathbf{x}, \mathbf{z}) = (\mathbf{x}^T\mathbf{z} + c)^d
• RBF (Gaussiano): K(\mathbf{x}, \mathbf{z}) = \exp(-\gamma\|\mathbf{x}-\mathbf{z}\|^2)

🎯 K-Nearest Neighbors (KNN)

KNN es el algoritmo más intuitivo de todos: para clasificar un punto nuevo, busca los K vecinos más cercanos en el dataset de entrenamiento y asigna la clase mayoritaria (o promedia los valores en regresión). No hay "entrenamiento" propiamente dicho —el modelo simplemente memoriza todos los datos.

Por eso se le llama un lazy learner (aprendiz perezoso): no aprende un modelo explícito durante el entrenamiento, sino que difiere todo el cómputo al momento de la predicción. Esto lo hace instantáneo de "entrenar" pero lento de predecir, especialmente con datasets grandes. A pesar de su simplicidad, KNN puede ser sorprendentemente efectivo en problemas de baja dimensionalidad y con suficientes datos, y sirve como un excelente baseline no paramétrico contra el que comparar modelos más complejos.

El algoritmo

El hiperparámetro K

• K pequeño (ej. K=1): muy sensible al ruido, fronteras complejas → overfitting.
• K grande (ej. K=50): fronteras suaves pero puede perder detalle → underfitting.
• K óptimo: se elige por validación cruzada. Una regla heurística es K \approx \sqrt{N}.

🔮 Clustering: K-Means y más

El clustering (agrupamiento) es la tarea estrella del aprendizaje no supervisado: dado un conjunto de datos sin etiquetas, encontrar grupos naturales de puntos similares. Aplicaciones: segmentación de clientes, agrupación de documentos, compresión de imágenes, descubrimiento de genes co-expresados, análisis de redes sociales…

La idea es intuitiva: los puntos dentro de un mismo cluster deben ser más similares entre sí que a los puntos de otros clusters. Sin embargo, formalizar esta intuición matemáticamente no es trivial, y distintos algoritmos lo hacen de formas muy diferentes: algunos buscan clusters esféricos (K-Means), otros detectan regiones de alta densidad (DBSCAN) y otros construyen jerarquías de agrupaciones (clustering jerárquico).

K-Means: el algoritmo más popular

K-Means divide los datos en K clusters minimizando la distancia intra-cluster. Su nombre viene de que busca K medias (centroides) alrededor de las cuales se agrupan los datos.

donde \boldsymbol{\mu}_k es el centroide del cluster C_k. Este objetivo se llama inercia o within-cluster sum of squares (WCSS).

¿Cómo elegir K?

Otros métodos de clustering

📊 Reducción de dimensionalidad

Los datasets modernos pueden tener miles de features (genes, píxeles, palabras…). La reducción de dimensionalidad comprime estas features a un número menor, manteniendo la información esencial. Es crucial para visualización, preprocesamiento y combatir la maldición de la dimensionalidad.

En el contexto del deep learning, la reducción de dimensionalidad es ubicua: cada capa de una red neuronal aprende una representación comprimida de los datos. Los autoencoders son la generalización no lineal de PCA al deep learning. Entender PCA y t-SNE te dará una base sólida para comprender cómo las redes neuronales aprenden representaciones internas.

PCA: Análisis de Componentes Principales

PCA (Principal Component Analysis) encuentra las direcciones de máxima varianza en los datos. La primera componente principal (PC1) captura la mayor varianza posible, PC2 captura la mayor varianza restante (ortogonal a PC1), y así sucesivamente.

donde \mathbf{W} contiene los eigenvectors (autovectores) de la matriz de covarianza, ordenados por su eigenvalue (autovalor) correspondiente. Los eigenvalues indican cuánta varianza captura cada componente.

t-SNE: visualización no lineal

t-SNE (t-distributed Stochastic Neighbor Embedding) es un algoritmo de reducción de dimensionalidad diseñado específicamente para visualización en 2D/3D. A diferencia de PCA (que es lineal), t-SNE puede revelar estructuras no lineales complejas.

• Convierte distancias entre puntos en probabilidades de vecindad.
• Minimiza la divergencia KL entre las distribuciones en alta y baja dimensionalidad.
• Usa una distribución t de Student (colas pesadas) en baja dimensionalidad para evitar el "crowding problem".

🚨 Detección de anomalías

La detección de anomalías (outlier detection) identifica datos que se desvían significativamente del patrón normal. Es un caso especial de aprendizaje no supervisado (o semi-supervisado) con aplicaciones críticas: fraude financiero, detección de intrusiones en ciberseguridad, mantenimiento predictivo en industria, control de calidad en fabricación, y detección de enfermedades raras en medicina.

Lo que hace especial a la detección de anomalías es que nos interesa lo que no es normal, y definir "normalidad" a partir de los datos es el reto central. Los métodos más efectivos aprenden un modelo de lo que es "normal" y marcan como anómalo todo aquello que no encaja.

¿Por qué no usar clasificación supervisada?

Porque las anomalías son, por definición, raras. Si solo el 0.01% de las transacciones son fraudulentas, entrenar un clasificador supervisado es extremadamente difícil: las clases están totalmente desbalanceadas. Además, las anomalías futuras pueden ser muy diferentes a las pasadas.

Enfoques principales

Isolation Forest: la idea clave

Isolation Forest es probablemente el algoritmo más elegante para anomalías:

Las anomalías se aíslan rápidamente (pocos splits) porque son puntos "diferentes" al resto. Los puntos normales, al ser similares entre sí, necesitan muchos más splits para separarse. El anomaly score es inversamente proporcional a la profundidad de aislamiento.

⚖️ Bias-Variance y generalización

El tradeoff bias-varianza es posiblemente el concepto más importante de todo el machine learning. Entenderlo te da una intuición profunda sobre por qué los modelos fallan y cómo solucionarlo, tanto en ML clásico como en deep learning.

Imagina que entrenas el mismo tipo de modelo muchas veces, cada vez con un subconjunto ligeramente distinto de los datos. Un modelo con alto bias dará predicciones consistentes pero sistemáticamente alejadas de la realidad (se equivoca siempre en la misma dirección). Un modelo con alta varianza dará predicciones muy diferentes según los datos de entrenamiento (es inestable, se adapta demasiado a cada dataset particular). El objetivo es encontrar el equilibrio: un modelo lo suficientemente complejo para capturar el patrón real, pero no tanto como para memorizar el ruido.

El error de generalización se descompone

El error esperado de un modelo sobre datos nuevos se puede descomponer en tres componentes:

• Bias (sesgo): error por simplificar demasiado el problema. Un modelo con alto bias no captura la relación real → underfitting. Ejemplo: usar regresión lineal para datos cuadráticos.
• Varianza: error por ser demasiado sensible a los datos de entrenamiento. Un modelo con alta varianza memoriza el ruido → overfitting. Ejemplo: un árbol de decisión sin poda.
• Ruido irreducible: la incertidumbre intrínseca de los datos. No podemos hacer nada al respecto.

Ejemplos prácticos del tradeoff

Técnicas para combatir el overfitting

Tanto en ML clásico como en deep learning, estas estrategias reducen la varianza y mejoran la capacidad de generalización del modelo. Aquí las presentamos de forma general; muchas de ellas se ven en mucho más detalle y aplicadas específicamente a deep learning en el submódulo de Regularización dentro del módulo de Técnicas de Entrenamiento.

• Más datos: siempre es la mejor solución (cuando es posible). Al tener más ejemplos, el modelo tiene menos oportunidad de memorizar y se ve obligado a aprender patrones generales. En deep learning, el data augmentation es una forma inteligente de "crear" más datos transformando los existentes.
• Regularización: L1 (Lasso), L2 (Ridge), Elastic Net — penalizan pesos grandes, forzando al modelo a ser más simple. En deep learning, además de L2 (weight decay), se usa Dropout, Batch Normalization y otras técnicas específicas que se cubren en el submódulo de Regularización.
• Validación cruzada: estimación más robusta del rendimiento real, evitando conclusiones basadas en una única división afortunada de los datos.
• Reducción de features: PCA, selección de features, eliminación de redundancia — reducir la dimensionalidad del problema limita la capacidad del modelo de memorizar.
• Ensemble: Random Forest, Gradient Boosting → combinan múltiples modelos para reducir varianza. La diversidad entre modelos es clave para que funcione.
• Early stopping: detener el entrenamiento cuando el error en validación empieza a subir, antes de que el modelo memorice. Es una técnica fundamental tanto en ML como en DL.

Recursos adicionales y referencias

Para profundizar en los temas tratados en este módulo, estos recursos son excelentes puntos de partida:

• 📕 An Introduction to Statistical Learning (James, Witten, Hastie, Tibshirani) — el libro de referencia para ML clásico, con enfoque práctico y disponible gratuitamente online.
• 📕 The Elements of Statistical Learning (Hastie, Tibshirani, Friedman) — versión más avanzada y matemática del anterior, también gratuito.
• 📕 Machine Learning (Tom Mitchell, 1997) — el libro que formalizó la definición clásica de ML.
• 💻 Documentación de scikit-learn — además de referencia de la API, contiene tutoriales excelentes sobre cada algoritmo.
• 🎓 Machine Learning (Andrew Ng, Coursera) — el curso online que ha formado a una generación de practicantes de ML.