Antes de explorar las diferencias entre el DIC y el WAIC, conviene entender qué problema común resuelven y por qué los criterios frecuentistas como el AIC o el BIC no siempre son suficientes en el contexto bayesiano de estimación de volatilidad.
Un modelo con muchos parámetros puede ajustarse muy bien a los datos de estimación y funcionar mal sobre datos nuevos. Ese fenómeno, conocido como sobreajuste, es uno de los problemas más frecuentes en el análisis estadístico aplicado. Los criterios de selección de modelos abordan ese problema añadiendo una penalización por complejidad a la medida de ajuste del modelo. El AIC, desarrollado por Hirotugu Akaike, penaliza en función del número de parámetros libres del modelo. El BIC, propuesto por Gideon Schwarz, aplica una penalización más severa que crece con el tamaño de la muestra. Ambos criterios son útiles en el marco frecuentista, pero no capturan de forma natural la incertidumbre paramétrica que caracteriza al enfoque bayesiano. En un modelo bayesiano, los parámetros no son valores fijos sino distribuciones, y la complejidad efectiva del modelo depende de cuánto aprenden esos parámetros de los datos, no solo de cuántos son. El DIC y el WAIC están diseñados precisamente para medir esa complejidad efectiva dentro del marco bayesiano, produciendo penalizaciones más apropiadas para modelos estimados mediante métodos de cadenas de Markov Monte Carlo o aproximaciones similares. Para un analista que trabaja con modelos de volatilidad de distinta complejidad, disponer de criterios que respetan la naturaleza bayesiana de la estimación es una ventaja metodológica concreta.
El Criterio de Información de la Devianza fue propuesto por David Spiegelhalter y sus colaboradores en un artículo publicado en el año 2002 en el Journal of the Royal Statistical Society. El DIC combina dos componentes: la devianza media a posteriori, que mide el ajuste promedio del modelo sobre todos los valores plausibles de los parámetros según la distribución a posteriori, y el número efectivo de parámetros, que cuantifica cuánta información absorbe el modelo de los datos. El número efectivo de parámetros en el DIC se calcula como la diferencia entre la devianza media a posteriori y la devianza evaluada en la media a posteriori de los parámetros. Cuando ese número es similar al número de parámetros nominales del modelo, los datos están informando plenamente cada parámetro. Cuando es menor, indica que la distribución a priori está restringiendo la complejidad efectiva del modelo. El DIC final es la suma de la devianza media y el doble del número efectivo de parámetros: un valor más bajo indica un mejor balance entre ajuste y complejidad. Su principal ventaja es la facilidad de cálculo a partir de las muestras obtenidas en una simulación de cadenas de Markov Monte Carlo, lo que lo ha convertido en un criterio ampliamente usado en la práctica bayesiana aplicada. Su limitación más conocida es que puede producir estimaciones inestables en modelos con distribuciones a posteriori muy asimétricas o multimodales, que son precisamente los modelos que pueden aparecer en el análisis de volatilidad con cambio de régimen.
El Criterio de Información Ampliamente Aplicable, cuyas siglas en inglés corresponden a Widely Applicable Information Criterion, fue propuesto por Sumio Watanabe como una generalización de la idea de criterios de información que funciona correctamente incluso cuando la distribución a posteriori no es aproximadamente normal. A diferencia del DIC, el WAIC no depende de un único punto resumen de la distribución a posteriori, sino que utiliza la distribución completa para calcular tanto el ajuste como la penalización por complejidad. El término de ajuste del WAIC es la log-verosimilitud predictiva a posteriori calculada punto a punto sobre cada observación de los datos, promediando sobre la distribución a posteriori completa. La penalización por complejidad se estima como la varianza de las log-verosimilitudes individuales sumada sobre todas las observaciones, lo que produce una medida de cuánto varía la predicción de cada dato según los distintos valores plausibles de los parámetros. Esa medida de varianza es más robusta que la del DIC en modelos complejos porque no requiere que la distribución a posteriori sea unimodal ni simétrica. El estadístico Andrew Gelman ha señalado en su trabajo sobre evaluación de modelos bayesianos que el WAIC es preferible al DIC en modelos jerárquicos y en modelos con estructura de mezcla, que incluyen precisamente los modelos de cambio de régimen aplicados al análisis de volatilidad. Su cálculo también es directo a partir de las muestras de una simulación de cadenas de Markov Monte Carlo, aunque requiere guardar las log-verosimilitudes individuales por observación, lo que implica un ligero aumento en los requisitos de almacenamiento durante la estimación.
En el contexto del promediado de modelos bayesianos, los pesos asignados a cada modelo se basan idealmente en la verosimilitud marginal o evidencia bayesiana de cada modelo, que es computacionalmente costosa de calcular con precisión. El DIC y el WAIC ofrecen aproximaciones a esa verosimilitud que son más accesibles en la práctica. Para construir pesos de combinación a partir del WAIC, se exponencia la diferencia entre el WAIC de cada modelo y el WAIC mínimo observado entre todos los modelos considerados, y se normalizan esos valores para que sumen uno. El modelo con menor WAIC recibe el mayor peso; los modelos con WAIC mucho más alto que el mínimo reciben pesos cercanos a cero y contribuyen poco a la previsión combinada. Este procedimiento es análogo al que se aplicaría con el BIC como aproximación a la verosimilitud marginal, pero con la ventaja de que el WAIC está mejor calibrado para modelos bayesianos complejos. Una consideración importante: los pesos calculados de este modo son sensibles al conjunto de modelos incluidos en la comparación. Añadir un nuevo modelo puede redistribuir los pesos entre todos los modelos existentes, lo que implica que la combinación debe revisarse cada vez que se incorpora una especificación alternativa. Documentar con precisión qué modelos se incluyeron en la comparación y por qué es una parte esencial de cualquier análisis que use estos criterios para construir previsiones combinadas de volatilidad.
El DIC y el WAIC son herramientas útiles, pero tienen limitaciones concretas que conviene conocer antes de aplicarlas sin escrutinio. La primera limitación del DIC es su sensibilidad a la parametrización del modelo: reformular un modelo en términos de parámetros distintos puede cambiar el número efectivo de parámetros estimado por el DIC, aunque el modelo sea matemáticamente equivalente. Esa sensibilidad reduce su comparabilidad entre modelos con distintas estructuras paramétricas. La segunda limitación, compartida por ambos criterios, es que miden la capacidad predictiva sobre los datos de estimación usando una corrección por complejidad, pero no sustituyen a una evaluación genuinamente fuera de muestra. Un modelo puede tener un WAIC bajo sobre los datos de entrenamiento y una calibración deficiente sobre datos nuevos si las condiciones del mercado han cambiado respecto al período analizado. La tercera limitación es que tanto el DIC como el WAIC asumen que las observaciones son intercambiables condicionalmente a los parámetros del modelo, lo que puede no ser válido cuando los datos presentan dependencia temporal fuerte, como ocurre en las series de rendimientos financieros. Para esos casos, Vehtari y sus colaboradores han propuesto la validación cruzada aproximada dejando uno fuera, conocida como LOO-CV, como alternativa más robusta que el WAIC en presencia de dependencia temporal. Conocer estas limitaciones no invalida el uso del DIC y el WAIC; simplemente recuerda que son herramientas de apoyo a la decisión, no árbitros definitivos de la calidad de un modelo.
Cuando se aplican al mismo conjunto de modelos de volatilidad, el DIC, el WAIC y el BIC pueden producir rankings distintos, y esa divergencia es en sí misma informativa. El BIC favorece modelos más parsimoniosos conforme aumenta el tamaño de la muestra, porque su penalización por complejidad crece con el número de observaciones. En muestras grandes, el BIC tiende a seleccionar modelos más simples que el DIC o el WAIC. El DIC, al usar la distribución a posteriori para medir la complejidad efectiva, puede favorecer modelos con distribuciones a priori informativas que restringen los parámetros, porque esa restricción reduce el número efectivo de parámetros estimado. El WAIC, al distribuir el cálculo sobre cada observación individual, es más sensible a las observaciones atípicas o de alta influencia, lo que puede hacerlo más conservador en períodos donde unos pocos días de alta turbulencia dominan la log-verosimilitud total. Para un analista que compara un modelo GARCH estándar, un modelo de volatilidad estocástica y un modelo de cambio de régimen, aplicar los tres criterios simultáneamente y verificar si coinciden en el ranking es una práctica de rigor que añade robustez a las conclusiones. Cuando los tres criterios coinciden, la evidencia a favor del modelo mejor clasificado es más sólida. Cuando divergen, la divergencia indica que la elección del modelo depende de supuestos específicos sobre qué tipo de predicción se valora más, y esa dependencia debe comunicarse explícitamente en el análisis.
Los valores absolutos del DIC y el WAIC no tienen una interpretación directa fuera del contexto de la comparación entre modelos. Un DIC de trescientos veinte no dice nada por sí solo; lo que importa es cuánto mayor o menor es ese valor respecto al DIC de los modelos alternativos. Por convención, una diferencia de menos de cinco puntos entre los valores de DIC o WAIC de dos modelos se considera insuficiente para concluir que uno es claramente superior al otro. Diferencias de más de diez puntos ofrecen evidencia más sustancial, aunque no definitiva. Al presentar los resultados de una comparación por DIC o WAIC, conviene incluir todos los modelos comparados con sus valores respectivos, no solo el modelo ganador. Presentar únicamente el modelo con menor criterio, sin mostrar cuánto se separa de los modelos alternativos, priva al lector de la información necesaria para evaluar si la diferencia es sustancial o marginal. También conviene acompañar los valores de criterio con una evaluación fuera de muestra, aunque sea sobre un período corto, para verificar que el modelo mejor clasificado por el criterio también produce mejores predicciones sobre datos nuevos. Esa verificación adicional transforma el criterio de un indicador de ajuste en muestra en una señal más robusta de calidad predictiva real. Los resultados varían según el activo, el período y la especificación de los modelos incluidos en la comparación.
El DIC y el WAIC son herramientas complementarias que mejoran la comparación entre modelos bayesianos de volatilidad, pero su valor real aparece cuando se combinan con evaluación fuera de muestra y con transparencia sobre los modelos incluidos en la comparación.
Este sitio utiliza cookies propias y de terceros para garantizar su funcionamiento técnico y analizar el uso de forma agregada y anónima. Conforme al Reglamento General de Protección de Datos, necesitamos tu consentimiento para instalar cookies no estrictamente necesarias. Puedes aceptar todas las cookies, rechazar las opcionales o gestionar tus preferencias por categoría.