كيف يختلف Chronos عن النماذج الأخرى المدربة مسبقًا في Gluonts

يقوم Chronos Tokens بقيم السلاسل الزمنية إلى مفردات ثابتة باستخدام التحجيم والتكميلية ، والتي تسمح لها بتدريب نماذج اللغة القائمة على المحولات مثل تلك الموجودة في عائلة T5 على سلسلة زمنية كبيرة ومتنوعة. من خلال تحويل التنبؤ بسلسلة زمنية إلى مشكلة في نمذجة التسلسل على غرار نمذجة اللغة ، فإن Chronos يعزز التقدم في نماذج اللغة المسبقة للتنبؤ. يستخدم التدريب فقدان الإيداع المتقاطع في إطار التنبؤ الاحتمالي ، مما يدعم القياس الكمي للثقة الغنية مباشرة في مخرجات التنبؤ.

تم تجهيز النموذج على مجموعة واسعة من مجموعات بيانات السلاسل الزمنية المتاحة للجمهور ، تستكمل بالبيانات الاصطناعية التي تم إنشاؤها باستخدام عمليات غوسية لتحسين التعميم. تتيح هذه المجموعة المتنوعة والكبيرة التدريبة Chronos أداء جيدًا في المهام التي لم يحدث فيها أي تدريب خاص بالمهمة ، والذي يُعرف باسم التنبؤ الصفري. في إعدادات الصفر ، تقوم Chronos بإنشاء تنبؤات لسلسلة زمنية جديدة غير مرئية بدقة ملحوظة ، وغالبًا ما تتطابق مع النماذج التي تم تدريبها على وجه التحديد على مجموعات البيانات هذه.

عادة ما تتم مقارنة نماذج Chronos مع فئتين عريضتين من النماذج: الطرق الإحصائية الكلاسيكية (مثل ARIMA ، ETS ، Sainal Said) ونماذج التعلم العميق المتخصصة المدربين على مجموعات بيانات التنبؤ الخاصة (مثل Deepar و TFT و N-beats والمزيد). عبر مجموعة متنوعة من المعايير بما في ذلك 42 مجموعة بيانات تمتد على مختلف المجالات والترددات ، يتفوق Chronos باستمرار على خطوط الأساس الكلاسيكية ومعظم نماذج التعلم العميق الخاصة بالمهمة على مجموعات بيانات في المناطق في مجال حيث تم تجميعها. على مجموعات بيانات الصفر ، لا تزال نماذج ChronOs التي لم تشاهدها خلال النماذج المسبقة ، تتفوق على العديد من النماذج المحلية ومطابقة نماذج التعلم العميقة الأعلى التي تم تدريبها على وجه التحديد لتلك المهام.

أحد المميزات الرئيسية هو قدرة ChronOs على العمل بشكل فعال خارج الصندوق دون الحاجة إلى ضبط أو إعادة تدريب محددة المهمة ، مما يتيح نشرًا أبسط وأسرع في خطوط أنابيب التنبؤ. ومع ذلك ، يمكن للمستخدمين اختياريًا ، يمكن لضوء الكرونوس على مجموعات البيانات الخاصة بهم لزيادة الدقة في حالة توفر البيانات الكافية والموارد الحسابية.

فيما يتعلق بالهندسة المعمارية ، تتبنى Chronos تصميم المحولات ولكنه يطبقه على بيانات السلاسل الزمنية عن طريق ترميز المدخلات على أنها الرموز التي تمثل القيم الرقمية المقاس والكمي ، بدلاً من الكلمات أو الرموز النصية. يتيح هذا النهج ذلك بالاستفادة من نقاط القوة في نمذجة تبعيات طويلة المدى وأنماط زمنية معقدة مع إدارة عدم اليقين بشكل عام.

تأتي نماذج Chronos بأحجام مختلفة ، من عشرات الملايين إلى مئات الملايين من المعلمات (من 20 إلى 710 مترًا) ، مما يعكس المفاضلات بين السعة النموذجية والمطالب الحسابية. على الرغم من ذلك ، تمكنت Chronos من الحفاظ على حجم نموذج معتدل نسبيًا مقارنة بنماذج اللغة الكبيرة جدًا ، مما يجعله في متناول الممارسين الذين لديهم موارد متواضعة في GPU. يتناقض هذا مع بعض نماذج السلاسل الزمنية الكبيرة الأخرى أو المجموعات التي قد تتطلب حسابًا أكثر أهمية للتدريب والاستدلال.

يتضمن نظام التدريب استراتيجيات شاملة لزيادة البيانات ، بما في ذلك توليد مجموعة البيانات الاصطناعية لتحسين متانة النماذج عبر المجالات المختلفة وترددات أخذ العينات. يمكّن هذا التعزيز الاصطناعي النموذج من التعميم على خصائص السلاسل الزمنية غير ممثلة بشكل كبير في مجموعات البيانات الحقيقية المتاحة.

من وجهة نظر حسابية ونشر ، يعد Chronos نموذجًا كبيرًا ويمكن أن يتطلب موارد كبيرة للتدريب والضبط ، مع موصى على تسريع GPU للكفاءة. بالمقارنة مع النماذج التقليدية الكلاسيكية ، فإن لديها ذاكرة الاستدلال أعلى وحساب متطلبات ، ولكن غالبًا ما يتم تبرير هذه المقايضات من خلال إمكانات الدقة والتعميم المحسنة. يمكن أن يكون حجم صورة Docker لنشر ChronOs أكبر من نماذج التعلم الآلي الكلاسيكي النموذجية ، وهو أمر مهم للنظر في بيئات الإنتاج مع قيود الموارد أو مثيلات متوازية متعددة.

يتم تحديد أداء Chronos بعناية عبر تقييمات متعددة. في الإعدادات في المجال حيث تتداخل مجموعات البيانات المستخدمة لقياس التداخل مع ما قبل التدريب ، يحقق Chronos دقة التنبؤ الأعلى مرتبة عبر مقاييس مختلفة ، يتفوق على خطوط التعلم الإحصائي والعميق باستمرار. في التقييم صفريًا مع مجموعات البيانات المستبعدة من ما قبل الرصاص ، لا يزال Chronos يتفوق على النماذج الإحصائية المحلية المستقلة وحتى بعض نماذج التعلم العميق المدربين بالمهمة ، مما يدل على تعميم قوي. على سبيل المثال ، في التنبؤ الاحتمالي ، يحتل المرتبة بالقرب من القمة بين العديد من الأساليب المتنافسة.

يميز Chronos أيضًا من خلال قدرات التنبؤ الاحتمالية ، حيث ينتج عن توزيعات بدلاً من تقديرات النقطة فقط ، والتي توفر معلومات أكثر ثراءً عن عدم اليقين المتوقع. يتناقض هذا مع بعض النماذج الكلاسيكية أو مناهج التنبؤ الحتمية التي تخرج فقط تنبؤات ذات قيمة واحدة.

بالإضافة إلى ذلك ، يتم محاذاة Chronos مع الاتجاهات المتطورة في التعلم الآلي حيث تهيمن نماذج الأساس وتقنيات التعلم النقل. من خلال تأطير التنبؤ بسلسلة زمنية كمشكلة في نمذجة اللغة ، يفتح Chronos مسارات للتكامل مع التقدم في نماذج اللغة الكبيرة (LLMS) وأبحاث نموذج الأساس. يجعل هذا التصميم منصة واعدة للابتكارات المستقبلية في مقاربات النمذجة الموحدة عبر المجالات.

تُظهر مقارنات مع نماذج السلاسل الزمنية الأخرى مثل Moirai-1.0-R و Lag-Llama و LLMTIME و PROTICASTPFN ونماذج GPT-2 التي تم ضبطها بشكل مستمر إلى الأمام أو على قدم المساواة ، مما يتفوق في كثير من الأحيان على مهام الصفر. يحسن عملية التغذية الرائعة لكرونوس النتائج بعد ذلك ، مما يجعلها واحدة من المتوقعات الحديثة في كل من السياقات التقليدية والصفر. يعزى هذا الأداء المتفوق إلى تدريبه على مجموعة متنوعة للغاية مع نهج الرمز المميز القائم على نموذج اللغة.