Recurrir a la validación cruzada en el aprendizaje automático

A veces, la máquina de aprendizaje requiere que tendrá que recurrir a la validación cruzada. Un problema notable con el conjunto de división de tren / prueba es que en realidad estás introduciendo un sesgo en sus pruebas porque estás reduciendo el tamaño de los datos de capacitación dentro de la muestra. Al dividir los datos, es posible que en realidad mantener algunos ejemplos útiles de entrenamiento. Por otra parte, a veces los datos son tan complejos que establece una prueba, aunque aparentemente similar a la del conjunto de entrenamiento, no es realmente similares porque las combinaciones de valores son diferentes (lo cual es típico de los conjuntos de datos altamente dimensionales).

Video: Nº 166: IA Aprendizaje - Introducción 01

Estas cuestiones añadir a la inestabilidad de los resultados del muestreo cuando usted no tiene muchos ejemplos. El riesgo de dividir los datos de una manera desfavorable también explica por qué la división de tren / prueba no es la solución preferida por la máquina profesionales de aprendizaje cuando se tiene que evaluar y poner a punto una solución de aprendizaje automático.

La validación cruzada basado en k-pliegues es en realidad la respuesta. Se basa en la división al azar, pero esta vez se divide los datos en un número k de pliegues (porciones de sus datos) de igual tamaño. Entonces, cada pliegue se tendió a su vez como un conjunto de pruebas y los otros se utilizan para la formación. Cada iteración utiliza un pliegue diferente como una prueba, que produce una estimación de error.

Video: Nº 170: IA Grafos - Aprendizaje por Refuerzo 02 (Pasivo)

De hecho, después de completar la prueba en un rebaño contra los otros utilizados como entrenamiento, un pliegue sucesiva, diferente de la anterior, se tendió y se repite el procedimiento con el fin de producir otra estimación del error. El proceso continúa hasta que todos los k-pliegues se utilizan una vez como un conjunto de pruebas y tiene un número k de error estima que se puede calcular en una estimación de la media de error (la puntuación de validación cruzada) y un error estándar de las estimaciones.

Este procedimiento proporciona las siguientes ventajas:

• Funciona bien sin importar el número de ejemplos, ya que al aumentar el número de pliegues utilizados, en realidad se está aumentando el tamaño de su conjunto de entrenamiento (k más grande, más grande conjunto de entrenamiento, la reducción de sesgo) y disminuyendo el tamaño del conjunto de prueba.
• Las diferencias en la distribución de pliegues individuales no importan tanto. Cuando un pliegue tiene una distribución diferente en comparación con los otros, se utiliza sólo una vez como un conjunto de ensayo y se mezcla con otros como parte de conjunto de entrenamiento durante las pruebas restantes.
• En realidad se está probando todas las observaciones, por lo que se está probando completamente su hipótesis de aprendizaje automático utilizando todos los datos que tiene.
• Tomando la media de los resultados, se puede esperar un rendimiento predictivo. Además, la desviación estándar de los resultados se puede decir que el grado de variación que puede esperar en datos reales fuera de la muestra. mayor variación en las actuaciones con validación cruzada le informa de los datos extremadamente variadas que el algoritmo es capaz de capturar correctamente.

El uso de k-veces validación cruzada es siempre la mejor opción a menos que los datos que está utilizando tiene algún tipo de orden que importa. Por ejemplo, podría implicar una serie de tiempo, tales como las ventas. En ese caso, no se debe utilizar un método de muestreo aleatorio, sino que se basan en una fracción de tren / prueba basada en la secuencia original, de modo que el orden se conserva y se puede probar en los últimos ejemplos de esa serie ordenada.