Blancos blandos enfatizados para clasificación máquina

Abstract

El modo más habitual de entrenar máquinas de clasificación es minimizar mediante búsqueda analítica una función de coste que depende de los valores de blancos y de salidas. Ello impone abandonar las salidas duras, no derivables. Además, el carácter discreto de los blancos no permite obtener buenos diseños considerando salidas lineales. De lo anterior surge la conveniencia de emplear las clásicas activaciones sigmoidales; ahora bien, su presencia no puede considerarse “natural” para cualesquiera problemas. Por otra parte, la ponderación de los errores entre blanco y salida de la máquina es una técnica bien conocida que permite conceder más atención a aquellos ejemplos que resulten más importantes para un buen aprendizaje. Esa importancia típicamente es función creciente del correspondiente error y de la proximidad a la frontera de decisión de las muestras, aunque en forma dependiente del problema y no conocida “a priori”. Lo dicho conduce a concebir la posibilidad de construir y aplicar blancos blandos enfatizados (“Emphasized Soft Targets”, ESTs): valores modificados de los blancos, en principio distintos para distintos ejemplos, establecidos según la relevancia de cada ejemplo para el aprendizaje. Con ello, cabe la posibilidad de prescindir de la activación, aprovechando el carácter “continuo” de los ESTs, al tiempo que el énfasis facilita obtener diseños de buenas prestaciones. Debe resaltarse que la supresión de la activación permite utilizar para clasificación formulaciones que son propias de la estimación, como es el caso del modelado directo de las muestras mediante mezcla de gaussianas (“Gaussian Mixture Models”, GMM) y, sobre todo, de los llamados procesos gaussianos (“Gaussian Processes”, GP), versión generalizada del filtro de Wiener y que presenta numerosas ventajas de manejo e interpretacin frente a métodos alternativos de regresión no lineal. La presente Tesis explora la utilización de ESTs para resolver problemas de clasificación, considerando tanto esquemas tradicionales -perceptrones multicapa (“Multi-Layer Perceptrons”, MLPs) entre los discriminativos, GMMs entre los generativos- como los ya mencionados GPs. Se presenta y aplica una poderosa forma de ESTs, consistente en una combinación convexa local del blanco original y la salida de un clasificador auxiliar o guía, siendo el parámetro funcional de combinación dependiente del error y la proximidad a la frontera de cada muestra tratada por la guía. Los resultados obtenidos indican que estos ESTs permiten frecuentemente alcanzar mejores (y muy altas) prestaciones, si bien a cambio de un sensible inconveniente de carga computacional debido a la necesidad de determinar mediante validación cruzada (“Cross Validation”, CV) los valores de los parámetros de la forma de los ESTs. Versiones simplificadas llevan a situaciones intermedias. Una sostenida reflexión sobre el desarrollo del trabajo y los resultados de éste condujo a determinar una semejanza funcional inmediata entre ponderaciones de errores y ESTs, así como a una interpretación del papel de las activaciones desde la perspectiva de regulación de la atención que se dedica a las diferentes muestras. Ello abre la posibilidad de recurrir a conversiones de ponderaciones a ESTs y de ESTs a ponderaciones en una serie de situaciones en que cabe esperar ventajas -mejora de prestaciones o simplificación de arquitecturas-, así como de disponer de orientación para elegir formas de las activaciones. Tales posibilidades se examinan y discuten en el Capítulo 6, y las más atractivas se incluyen como sugerencia de líneas futuras, junto con otras y la revisión de las aportaciones de la Tesis, en el último capítulo. -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------