Chronos khác với các mô hình được đào tạo trước khác trong Gluonts

Chronos mã hóa các giá trị chuỗi thời gian thành một từ vựng cố định bằng cách sử dụng tỷ lệ và lượng tử hóa, cho phép nó đào tạo các mô hình ngôn ngữ dựa trên máy biến áp như các mô hình từ gia đình T5 trên Corpora chuỗi thời gian lớn và đa dạng. Bằng cách chuyển đổi dự báo chuỗi thời gian thành một vấn đề mô hình hóa trình tự tương tự như mô hình ngôn ngữ, Chronos tận dụng những tiến bộ trong các mô hình ngôn ngữ đã được đưa ra để dự báo lợi ích. Việc đào tạo sử dụng tổn thất chéo trong khung dự báo xác suất, hỗ trợ định lượng độ không đảm bảo phong phú trực tiếp trong các đầu ra dự đoán.

Mô hình này được đặt trước trên một bộ sưu tập các bộ dữ liệu chuỗi thời gian có sẵn công khai, được bổ sung bởi dữ liệu tổng hợp được tạo ra bằng các quy trình Gaussian để cải thiện khái quát hóa. Corpus presraining đa dạng và lớn này cho phép Chronos thực hiện tốt các nhiệm vụ trong đó không có đào tạo cụ thể về nhiệm vụ, được gọi là dự báo không có shot. Trong các cài đặt không có ảnh, Chronos tạo dự báo cho chuỗi thời gian mới, không nhìn thấy với độ chính xác đáng chú ý, thường khớp hoặc vượt qua các mô hình đã được đào tạo cụ thể trên các bộ dữ liệu đó.

Các mô hình Chronos thường được so sánh với hai loại mô hình rộng: các phương pháp thống kê cổ điển (như Arima, ETS, ngây thơ theo mùa) và các mô hình học tập sâu chuyên dụng được đào tạo cho các bộ dữ liệu dự báo cụ thể (như Deepar, TFT, N-beats, v.v.). Trên nhiều điểm chuẩn bao gồm 42 bộ dữ liệu trải rộng trên các miền và tần số khác nhau, Chronos luôn vượt trội so với các đường cơ sở cổ điển và hầu hết các mô hình học tập sâu dành riêng cho nhiệm vụ trên các bộ dữ liệu trong miền nơi nó đã được đưa ra trước. Trên các bộ dữ liệu không bắn, những bộ dữ liệu không được nhìn thấy trong quá trình xử lý trước, các mô hình Chronos vẫn duy trì hiệu suất cạnh tranh, vượt trội hơn nhiều mô hình địa phương và phù hợp với các mô hình học tập sâu hàng đầu được đào tạo cụ thể cho các nhiệm vụ đó.

Một trong những sự khác biệt chính là khả năng của Chronos hoạt động hiệu quả ra khỏi hộp mà không cần điều chỉnh hoặc đào tạo lại theo nhiệm vụ, cho phép triển khai đơn giản và nhanh hơn nhiều trong các đường ống dự báo. Tuy nhiên, người dùng có thể tùy chọn điều chỉnh các Chronos trên bộ dữ liệu của riêng họ để tăng cường hơn nữa độ chính xác nếu có đủ dữ liệu và tài nguyên tính toán có sẵn.

Về kiến ​​trúc, Chronos áp dụng thiết kế máy biến áp nhưng áp dụng dữ liệu chuỗi thời gian bằng cách mã hóa các đầu vào dưới dạng mã thông báo biểu thị các giá trị số được chia tỷ lệ và lượng tử hóa, thay vì từ hoặc mã thông báo văn bản. Cách tiếp cận này cho phép nó tận dụng các điểm mạnh của mô hình hóa các phụ thuộc tầm xa và các mô hình thời gian phức tạp trong khi cũng quản lý tính không chắc chắn về mặt xác suất.

Các mô hình Chronos có nhiều kích cỡ khác nhau, từ hàng chục triệu đến hàng trăm triệu thông số (20m đến 710m), phản ánh sự đánh đổi giữa năng lực mô hình và nhu cầu tính toán. Mặc dù vậy, Chronos quản lý để giữ kích thước mô hình tương đối vừa phải so với các mô hình ngôn ngữ rất lớn, giúp các học viên có tài nguyên GPU khiêm tốn. Điều này tương phản với một số mô hình hoặc nhóm thời gian trước khi đầu tiên khác có thể yêu cầu tính toán quan trọng hơn để đào tạo và suy luận.

Phác đồ đào tạo bao gồm các chiến lược tăng dữ liệu toàn diện, bao gồm tạo bộ dữ liệu tổng hợp để cải thiện sự mạnh mẽ của mô hình trên các lĩnh vực khác nhau và tần số lấy mẫu. Sự gia tăng tổng hợp này cho phép mô hình khái quát hóa các đặc điểm chuỗi thời gian không được thể hiện rất nhiều trong các bộ dữ liệu thực có sẵn.

Từ quan điểm tính toán và triển khai, Chronos là một mô hình lớn và có thể yêu cầu các nguồn lực quan trọng để đào tạo và tinh chỉnh, với gia tốc GPU được khuyến nghị cho hiệu quả. So với các mô hình truyền thống cổ điển, nó có bộ nhớ suy luận và yêu cầu tính toán cao hơn, nhưng các sự đánh đổi này thường được chứng minh bằng khả năng chính xác và tổng quát được cải thiện. Kích thước hình ảnh Docker để triển khai Chronos có thể lớn hơn các mô hình học máy cổ điển điển hình, điều này rất quan trọng để xem xét trong môi trường sản xuất với các ràng buộc tài nguyên hoặc nhiều trường hợp song song.

Hiệu suất của Chronos được đánh giá cẩn thận trên nhiều đánh giá. Trong các cài đặt trong miền trong đó các bộ dữ liệu được sử dụng để điểm chuẩn trùng với việc đặt trước, Chronos đạt được độ chính xác dự báo được xếp hạng hàng đầu trên các số liệu khác nhau, vượt trội so với các cơ sở học tập thống kê và sâu sắc nhất quán. Trong đánh giá không có ảnh với các bộ dữ liệu được loại trừ khỏi việc xử lý trước, Chronos vẫn vượt trội so với các mô hình thống kê cục bộ độc lập và thậm chí một số mô hình học sâu được đào tạo nhiệm vụ, cho thấy sự khái quát hóa mạnh mẽ. Ví dụ, trong dự báo xác suất, nó được xếp hạng gần đầu trong số một số phương pháp cạnh tranh.

Chronos cũng phân biệt chính nó thông qua các khả năng dự báo xác suất của nó, tạo ra các phân phối thay vì chỉ ước tính điểm, cung cấp thông tin phong phú hơn về độ không đảm bảo dự báo. Điều này tương phản với một số mô hình cổ điển hoặc các phương pháp dự báo xác định chỉ đưa ra các dự đoán có giá trị đơn.

Ngoài ra, Chronos phù hợp với các xu hướng phát triển trong học máy nơi các mô hình nền tảng và các kỹ thuật học tập chuyển tiếp chiếm ưu thế. Bằng cách đóng khung dự báo chuỗi thời gian như một vấn đề mô hình hóa ngôn ngữ, Chronos mở ra các con đường tích hợp với những tiến bộ trong các mô hình ngôn ngữ lớn (LLM) và nghiên cứu mô hình nền tảng. Thiết kế này làm cho nó trở thành một nền tảng đầy hứa hẹn cho các đổi mới trong tương lai trong các phương pháp mô hình hóa thống nhất trên các lĩnh vực.

So sánh với các mô hình chuỗi thời gian trước đây như Moirai-1.0-R, Lag-Llama, LLMtime, AripastPFN và các mô hình GPT-2 được điều chỉnh tinh chỉnh cho thấy Chronos liên tục ở phía trước hoặc ngang bằng, thường xuyên vượt qua các mô hình này cho các nhiệm vụ không có. Việc tinh chỉnh sau khi điều chỉnh các Chronos giúp cải thiện hơn nữa kết quả, khiến nó trở thành một trong những dự báo tiên tiến trong cả bối cảnh thông thường và không có. Sự vượt trội này được quy cho việc đào tạo của nó trên một kho văn bản rất đa dạng kết hợp với cách tiếp cận và dự đoán dựa trên mô hình ngôn ngữ của nó.