Chronos berbeda dari model pra-terlatih lainnya di Gluont terutama melalui fondasinya sebagai model bahasa pretrained yang diadaptasi untuk peramalan deret waktu. Ini menggunakan arsitektur berbasis transformator yang awalnya dirancang untuk pemodelan bahasa, tetapi memberi tahu ulang ini untuk menafsirkan dan memprediksi data deret waktu. Pendekatan ini kontras dengan model pembelajaran tradisional dan mendalam yang biasanya dilatih dari awal pada set data individu atau koleksi deret waktu yang diformat khusus untuk tugas -tugas peramalan.
Chronos tokenisasi nilai-nilai deret waktu menjadi kosa kata tetap menggunakan penskalaan dan kuantisasi, yang memungkinkannya untuk melatih model bahasa berbasis transformator seperti yang dari keluarga T5 pada corpora deret waktu yang besar dan beragam. Dengan mengonversi seri waktu yang diperkirakan menjadi masalah pemodelan urutan yang mirip dengan pemodelan bahasa, Chronos memanfaatkan kemajuan dalam model bahasa pretrained untuk peramalan manfaat. Pelatihan ini menggunakan hilangnya cross-entropy dalam kerangka peramalan probabilistik, mendukung kuantifikasi ketidakpastian yang kaya secara langsung dalam output prediksi.
Model ini pretrained pada koleksi luas dataset seri waktu yang tersedia untuk umum, ditambah dengan data sintetis yang dihasilkan menggunakan proses Gaussian untuk meningkatkan generalisasi. Korpus pretraining yang beragam dan besar ini memungkinkan Chrono untuk berkinerja baik pada tugas-tugas di mana tidak ada pelatihan khusus tugas yang terjadi, yang dikenal sebagai peramalan zero-shot. Dalam pengaturan zero-shot, Chronos menghasilkan perkiraan untuk rangkaian waktu baru yang tidak terlihat dengan akurasi luar biasa, seringkali mencocokkan atau melampaui model yang telah dilatih secara khusus pada set data tersebut.
Model Chronos biasanya dibandingkan dengan dua kelas model luas: metode statistik klasik (seperti ARIMA, ETS, musiman naif) dan model pembelajaran mendalam khusus yang dilatih untuk dataset peramalan tertentu (seperti Deepar, TFT, N-Beats, dan banyak lagi). Di berbagai tolok ukur termasuk 42 dataset yang mencakup berbagai domain dan frekuensi, Chrono secara konsisten mengungguli baseline klasik dan sebagian besar model pembelajaran mendalam khusus tugas pada dataset in-domain di mana ia telah di-pretrain. Pada dataset zero-shot, mereka yang tidak terlihat selama pretraining, model Chronos masih mempertahankan kinerja kompetitif, mengungguli banyak model lokal dan mencocokkan model pembelajaran mendalam terbaik yang secara khusus dilatih untuk tugas-tugas tersebut.
Salah satu pembeda utama adalah kemampuan chronos untuk beroperasi secara efektif di luar kotak tanpa memerlukan penyetelan atau pelatihan ulang khusus tugas, memungkinkan penyebaran yang jauh lebih sederhana dan lebih cepat dalam perkiraan pipa peramalan. Namun demikian, pengguna dapat secara opsional menyempurnakan chronos pada dataset mereka sendiri untuk lebih meningkatkan akurasi jika data yang cukup dan sumber daya komputasi tersedia.
Dalam hal arsitektur, Chronos mengadopsi desain transformator tetapi menerapkannya pada data deret waktu dengan menyandikan input sebagai token yang mewakili nilai numerik yang diskalakan dan terkuantisasi, daripada kata atau token teks. Pendekatan ini memungkinkannya untuk memanfaatkan kekuatan pemodelan transformer, ketergantungan jarak jauh dan pola temporal yang kompleks "juga mengelola ketidakpastian secara probabilistik.
Model Chronos datang dalam berbagai ukuran, dari puluhan juta hingga ratusan juta parameter (20m hingga 710m), yang mencerminkan pertukaran antara kapasitas model dan tuntutan komputasi. Meskipun demikian, Chronos berhasil menjaga ukuran model yang relatif moderat dibandingkan dengan model bahasa yang sangat besar, membuatnya dapat diakses oleh praktisi dengan sumber daya GPU sederhana. Ini kontras dengan beberapa model rangkaian waktu pretrained besar lainnya atau ansambel yang mungkin memerlukan komputasi yang lebih signifikan untuk pelatihan dan inferensi.
Rejimen pelatihan mencakup strategi augmentasi data komprehensif, termasuk pembuatan dataset sintetis untuk meningkatkan ketahanan model di berbagai domain dan frekuensi pengambilan sampel. Augmentasi sintetis ini memungkinkan model untuk menggeneralisasi ke karakteristik deret waktu yang tidak banyak terwakili dalam set data nyata yang tersedia.
Dari sudut pandang komputasi dan penyebaran, Chronos adalah model besar dan dapat membutuhkan sumber daya yang signifikan untuk pelatihan dan penyempurnaan, dengan akselerasi GPU yang direkomendasikan untuk efisiensi. Dibandingkan dengan model tradisional klasik, ia memiliki memori inferensi yang lebih tinggi dan persyaratan komputasi, tetapi trade-off ini sering dibenarkan oleh peningkatan akurasi dan kemampuan generalisasi. Ukuran gambar Docker untuk menggunakan chrono dapat lebih besar dari model pembelajaran mesin klasik yang khas, yang penting untuk dipertimbangkan dalam lingkungan produksi dengan kendala sumber daya atau beberapa instance paralel.
Kinerja Chronos dengan hati -hati dibandingkan di beberapa evaluasi. Dalam pengaturan in-domain di mana set data yang digunakan untuk membandingkan tumpang tindih dengan pretraining, Chronos mencapai akurasi peramalan peringkat teratas di berbagai metrik, mengungguli statistik dan pembelajaran mendalam dasar secara konsisten. Dalam evaluasi zero-shot dengan set data yang dikecualikan dari pretraining, chrono masih mengungguli model statistik lokal mandiri dan bahkan beberapa model pembelajaran mendalam yang terlatih, menunjukkan generalisasi yang kuat. Misalnya, dalam peramalan probabilistik, ia berada di peringkat dekat di antara beberapa metode yang bersaing.
Chronos juga membedakan dirinya melalui kemampuan peramalan probabilistiknya, menghasilkan distribusi daripada hanya estimasi titik, yang memberikan informasi yang lebih kaya tentang ketidakpastian perkiraan. Ini kontras dengan beberapa model klasik atau pendekatan peramalan deterministik yang hanya menghasilkan prediksi bernilai tunggal.
Selain itu, Chronos selaras dengan tren yang berkembang dalam pembelajaran mesin di mana model pondasi dan teknik pembelajaran transfer mendominasi. Dengan membingkai rangkaian waktu yang diperkirakan sebagai masalah pemodelan bahasa, Chronos membuka jalur untuk integrasi dengan kemajuan dalam model bahasa besar (LLM) dan penelitian model yayasan. Desain ini menjadikannya platform yang menjanjikan untuk inovasi masa depan dalam pendekatan pemodelan terpadu di seluruh domain.
Perbandingan dengan model deret waktu pretrained lainnya seperti Moirai-1.0-R, Lag-Llama, LLMTIME, ForecastPFN, dan model GPT-2 yang disempurnakan menunjukkan chrono secara konsisten di depan atau setara, sering melampaui ini untuk tugas nol-shot. Fine-tuning chronos pasca-pretraining lebih lanjut meningkatkan hasil, menjadikannya salah satu perkiraan canggih dalam konteks konvensional dan nol-shot. Kinerja yang lebih baik ini disebabkan oleh pelatihannya pada korpus yang sangat beragam yang dikombinasikan dengan pendekatan tokenize dan prediksi berbasis model bahasanya.
Singkatnya, Chronos membedakan dirinya dari model pretrained Gluonts lainnya dengan menggunakan arsitektur yang berbeda secara fundamental yang diilhami oleh model bahasa transformator, memanfaatkan pretraining skala besar pada seri waktu tokenisasi, dan mencapai kinerja peramalan nol-shot yang kuat. Ini menyeimbangkan ukuran model dan kebutuhan komputasi dengan akurasi tinggi dan umum, mendukung peramalan dan penyesuaian probabilistik, dan mewakili paradigma baru dalam kerangka peramalan deret waktu yang menjembatani kemajuan dalam analisis NLP dan waktu deret.