Chronos отличается от других предварительно обученных моделей в глюонтах, главным образом, благодаря своей основе в качестве предварительно проведенной языковой модели, адаптированной для прогнозирования временных рядов. Он использует архитектуру, основанную на трансформаторах, изначально разработанную для языкового моделирования, но переосмысливает это для интерпретации и прогнозирования данных временных рядов. Этот подход контрастирует с традиционными и глубокими моделями обучения, которые обычно обучаются с нуля для отдельных наборов данных или коллекций временных рядов, специально отформатированных для прогнозирования задач.
Chronos токенизирует значения временных рядов в фиксированный словарный запас с использованием масштабирования и квантования, что позволяет ему обучать языковые модели на основе трансформатора, такие как семейство T5 в крупных и разнообразных корпорациях временных рядов. Преобразуя прогнозирование временных рядов в проблему моделирования последовательности, аналогичную языковому моделированию, Chronos использует достижения в предварительных языковых моделях для прогнозирования преимуществ. Обучение использует потерю межсети-энтропии в вероятностной структуре прогнозирования, поддерживая богатую неопределенность количественную оценку непосредственно в результатах прогнозирования.
Модель предварительно подготовлена в обширной коллекции общедоступных наборов данных временных рядов, дополненных синтетическими данными, генерируемыми с использованием гауссовых процессов для улучшения обобщения. Этот разнообразный и большой предварительный корпус позволяет Chronos хорошо выполнять задачи, где не было никакого конкретного обучения, которое не было, что известно как прогнозирование с нулевым выстрелом. В настройках с нулевым выстрелом Chronos генерирует прогнозы для новых, невидимых временных рядов с замечательной точностью, часто сопоставляющими или превосходящими моделями, которые были специально обучены этим наборам данных.
Модели Chronos обычно сравниваются с двумя широкими классами моделей: классические статистические методы (такие как ARIMA, ETS, Seasonal Naive) и специализированные модели глубокого обучения, обученные для конкретных наборов данных (например, Deepar, TFT, N-Beats и многое другое). В различных показателях, включая 42 набора данных, охватывающие различные домены и частоты, Chronos последовательно превосходит классические базовые линии и большинство специфичных для задач моделей глубокого обучения в наборах данных в области домены, где они были предварительно проведены. На наборах данных с нулевым выстрелом те, которые не видели во время предварительной подготовки, модели Chronos по-прежнему поддерживают конкурентную производительность, опережая многие локальные модели и соответствуют лучшим моделям глубокого обучения, специально обученным для этих задач.
Одним из ключевых различий является способность Chronos эффективно работать из коробки, не требуя настройки или переподготовки для конкретной задачи, что позволяет гораздо более простому и более быстрому развертыванию в прогнозировании трубопроводов. Тем не менее, пользователи могут опционально настраивать Chronos в своих собственных наборах данных для дальнейшего повышения точности, если доступны достаточные данные и вычислительные ресурсы.
С точки зрения архитектуры, Chronos принимает конструкцию трансформатора, но применяет его к данным временных рядов, кодируя входы в качестве токенов, представляющих масштабированные и квантовые числовые значения, а не слова или токены текста. Этот подход позволяет ему использовать сильные стороны трансформеров, моделирующих дальние зависимости и сложные временные закономерности, а также вероятность управления неопределенностью.
Модели Chronos бывают разных размеров, от десятков миллионов до сотен миллионов параметров (от 20 млн. До 710 м), что отражает компромиссы между модельными мощностью и вычислительными требованиями. Несмотря на это, Chronos удается сохранить относительно умеренный размер модели по сравнению с очень большими языковыми моделями, что делает его доступным для практиков со скромными ресурсами GPU. Это контрастирует с некоторыми другими большими моделями временных рядов или ансамблях, которые могут потребовать более значительных вычислений для обучения и вывода.
Режим обучения включает в себя комплексные стратегии увеличения данных, включая генерацию синтетических наборов данных, чтобы повысить модели модели в разных областях и частотах отбора проб. Это синтетическое увеличение позволяет модели обобщать характеристики временных рядов, которые не сильно представлены в доступных реальных наборах данных.
С точки зрения вычислений и развертывания, Chronos является большой моделью и может потребовать значительных ресурсов для обучения и тонкой настройки, при этом ускорение графического процессора рекомендуется для эффективности. По сравнению с классическими традиционными моделями, он имеет более высокую память о выводе и вычислительные требования, но эти компромиссы часто оправдываются повышенной точностью и возможностями обобщения. Размер изображения Docker для развертывания Chronos может быть больше, чем типичные модели классического машинного обучения, что важно учитывать в производственных средах с ограничениями ресурсов или несколькими параллельными экземплярами.
Производительность Chronos тщательно сравнивается с несколькими оценками. В настройках в доменах, где наборы данных, используемые для сравнительного анализа, перекрываются с предварительной подготовкой, Chronos достигает точности прогнозирования высокого рейтинга в различных показателях, последовательно превосходя статистическое и глубокое обучение. При оценке с нулевым выстрелом с наборами данных, исключенных из предварительной подготовки, Chronos по-прежнему превосходит автономные локальные статистические модели и даже некоторые модели глубокого обучения, обученные задачей, демонстрируя сильное обобщение. Например, в вероятностном прогнозировании он входит в верхнюю часть нескольких конкурирующих методов.
Chronos также различает себя благодаря своим вероятностным возможностям прогнозирования, производя распределения, а не только точечные оценки, что предоставляет более богатую информацию о прогнозируемой неопределенности. Это контрастирует с некоторыми классическими моделями или детерминированными подходами прогнозирования, которые выводят только однозначные прогнозы.
Кроме того, Chronos согласуется с развивающимися тенденциями в машинном обучении, где доминируют методы обучения фундамента и методы обучения передачи. Создавая прогнозирование временных рядов в качестве проблемы с языковым моделированием, Chronos открывает пути для интеграции с достижениями в крупных языковых моделях (LLMS) и Foundation Model Research. Этот дизайн делает его многообещающей платформой для будущих инноваций в подходах к единым моделированию в разных областях.
Сравнения с другими предварительно предварительно проведенными моделями временных рядов, таких как Moirai-1.0-R, Lag-Llama, LLMTime, прогноз, и тонкие модели GPT-2, показывают хронос, последовательно впереди или на номинал, часто превосходя их для задач с нулевым выстрелом. Посттрагирующая точная настройка Chronos еще больше улучшает результаты, что делает его одним из самых современных прогнозов как в обычных, так и в нулевых контекстах. Это превосходство объясняется его обучением по очень разнообразному корпусу в сочетании с его языковым подходом на основе языковых моделей.
Таким образом, Chronos отличается от других моделей Gluonts, предварительно используя фундаментально различную архитектуру, вдохновленную моделями Transformer Language, используя крупномасштабную предварительную подготовку на токенизированных временных рядах и достигая надежной производительности с нулевым выстрелом. Он уравновешивает размер модели и вычислительные потребности с высокой точностью и общностью, поддерживает вероятностное прогнозирование и тонкую настройку и представляет собой новую парадигму в рамках прогнозирования временных рядов, которые Bright Advances в NLP и анализе временных рядов.