Los cronos difieren de otros modelos previamente capacitados en Gluonts principalmente a través de su base como un modelo de lenguaje previo a la aparición adaptado para el pronóstico de series de tiempo. Utiliza una arquitectura basada en transformadores diseñada originalmente para el modelado de idiomas, pero vuelve a pensar esto para interpretar y predecir los datos de series de tiempo. Este enfoque contrasta modelos de aprendizaje tradicional y profundo que generalmente se entrenan desde cero en conjuntos de datos individuales o colecciones de series de tiempo específicamente formateadas para tareas de pronóstico.
Chronos toca los valores de las series de tiempo en un vocabulario fijo utilizando escala y cuantización, lo que le permite entrenar modelos de lenguaje basados en transformadores como los de la familia T5 en corpus grandes y diversos de series de tiempo. Al convertir el pronóstico de series temporales en un problema de modelado de secuencia similar al modelado de idiomas, Chronos aprovecha los avances en modelos de lenguaje previos a la aparición para los beneficios de pronóstico. El entrenamiento utiliza la pérdida de entropía cruzada en un marco de pronóstico probabilístico, que respalda la rica cuantificación de la incertidumbre directamente en los resultados de predicción.
El modelo está previado en una extensa colección de conjuntos de datos de series de tiempo disponibles públicamente, complementados por datos sintéticos generados utilizando procesos gaussianos para mejorar la generalización. Este corpus de pretrenesa diverso y grande permite que los cronos se desempeñen bien en las tareas donde no se ha producido una capacitación específica para la tarea, que se conoce como pronóstico de disparo cero. En configuraciones de disparo cero, Chronos genera pronósticos para series de tiempo nuevas e invisibles con una precisión notable, a menudo coincidiendo o superando modelos que se han entrenado específicamente en esos conjuntos de datos.
Los modelos cronos generalmente se comparan con dos clases amplias de modelos: métodos estadísticos clásicos (como ARIMA, ETS, Naive de Estacional) y modelos especializados de aprendizaje profundo entrenados para conjuntos de datos de pronóstico particulares (como Deepar, TFT, N-Beats y más). En una variedad de puntos de referencia, incluidos 42 conjuntos de datos que abarcan diferentes dominios y frecuencias, los cronos supera constantemente las líneas de base clásica y la mayoría de los modelos de aprendizaje profundo específicos de tareas en conjuntos de datos en el dominio donde se ha practicado. En los conjuntos de datos de disparo cero, aquellos que no se ven durante el pretruación, los modelos Chronos aún mantienen un rendimiento competitivo, superan a muchos modelos locales y coinciden con los principales modelos de aprendizaje profundo específicamente entrenados para esas tareas.
Uno de los diferenciadores clave es la capacidad de los cronos para operar efectivamente fuera de la caja sin requerir un ajuste o reentrenamiento específicos de tareas, lo que permite una implementación mucho más simple y rápida en el pronóstico de tuberías. Sin embargo, los usuarios pueden ajustar a los cronos opcionalmente en sus propios conjuntos de datos para mejorar aún más la precisión si hay suficientes datos y recursos computacionales disponibles.
En términos de arquitectura, Chronos adopta el diseño del transformador, pero lo aplica a los datos de la serie temporal mediante la codificación de entradas como tokens que representan valores numéricos escalados y cuantificados, en lugar de palabras o tokens de texto. Este enfoque le permite aprovechar las fortalezas de los transformadores que modelan dependencias de largo alcance y patrones temporales complejos ", al tiempo que gestiona la incertidumbre de manera probabilística.
Los modelos de Chronos vienen en varios tamaños, desde decenas de millones hasta cientos de millones de parámetros (20 m a 710 m), lo que refleja las compensaciones entre la capacidad del modelo y las demandas computacionales. A pesar de esto, Chronos logra mantener un tamaño de modelo relativamente moderado en comparación con modelos de idiomas muy grandes, lo que lo hace accesible para los profesionales con modestos recursos de GPU. Esto contrasta con algunos otros grandes modelos o conjuntos de series de tiempo previos a la pretrada que pueden requerir un cómputo más significativo para el entrenamiento e inferencia.
El régimen de capacitación incluye estrategias integrales de aumento de datos, incluida la generación de conjuntos de datos sintéticos para mejorar la robustez del modelo en diferentes dominios y frecuencias de muestreo. Este aumento sintético permite que el modelo se generalice a las características de las series temporales no muy representadas en los conjuntos de datos reales disponibles.
Desde el punto de vista computacional y de implementación, Chronos es un modelo grande y puede requerir recursos significativos para la capacitación y el ajuste, con la aceleración de GPU recomendada para la eficiencia. En comparación con los modelos tradicionales clásicos, tiene mayores requisitos de memoria de inferencia y calculación, pero estas compensaciones a menudo están justificadas por las capacidades mejoradas de precisión y generalización. El tamaño de la imagen Docker para la implementación de cronos puede ser más grande que los modelos de aprendizaje automático clásico típicos, lo cual es importante considerar en entornos de producción con restricciones de recursos o múltiples instancias paralelas.
El rendimiento de Chronos se compara cuidadosamente en múltiples evaluaciones. En la configuración del dominio donde los conjuntos de datos utilizados para la benchmarking se superponen con el pretrénmente, los cronos alcanzan la precisión de pronóstico de mejor clasificación en varias métricas, superando las líneas de base estadística y de aprendizaje profundo de manera consistente. En una evaluación de disparo cero con conjuntos de datos excluidos de la pretruación, los cronos aún supera a los modelos estadísticos locales independientes e incluso algunos modelos de aprendizaje profundo capacitados en tareas, que muestran una fuerte generalización. Por ejemplo, en el pronóstico probabilístico, se ubica cerca de la cima entre varios métodos competitivos.
Los cronos también se distingue a través de sus capacidades de pronóstico probabilísticas, produciendo distribuciones en lugar de solo estimaciones de puntos, lo que proporciona información más rica sobre la incertidumbre de pronóstico. Esto contrasta con algunos modelos clásicos o enfoques de pronóstico deterministas que solo generan predicciones de valor único.
Además, Chronos está alineado con las tendencias en evolución en el aprendizaje automático, donde dominan los modelos de base y las técnicas de aprendizaje de transferencia. Al enmarcar el pronóstico de series temporales como un problema de modelado de idiomas, Chronos abre vías para la integración con avances en modelos de idiomas grandes (LLM) e investigación de modelos de base. Este diseño lo convierte en una plataforma prometedora para futuras innovaciones en enfoques de modelado unificados en todos los dominios.
Comparaciones con otros modelos de series de tiempo previos a la pretrada como Moirai-1.0-R, LAG-LLAMA, LLMTIME, PROVASTPFN y los modelos GPT-2 ajustados finos muestran cronos de manera consistente por delante o a la par, lo superan con frecuencia para tareas de disparo cero. El ajuste fino de los cronos posteriores a la pretraining mejora aún más los resultados, lo que lo convierte en uno de los pronósticos de última generación en contextos convencionales y de disparo cero. Este rendimiento superior se atribuye a su capacitación en un corpus muy diverso combinado con su enfoque de tokenización y predicción basado en modelos de lenguaje.
En resumen, Chronos se diferencia de otros modelos de petróleo de Gluonts al emplear una arquitectura fundamentalmente diferente inspirada en modelos de lenguaje de transformadores, aprovechando el prostramiento a gran escala en series de tiempo tokenizadas y logrando un rendimiento de pronóstico de disparo cero robusto. Equilibra el tamaño del modelo y las necesidades computacionales con alta precisión y generalidad, admite pronósticos probabilísticos y ajuste fino, y representa un nuevo paradigma en los marcos de pronóstico de series temporales que unen avances en PNL y análisis de series de tiempo.