Chronos แตกต่างจากรุ่นที่ผ่านการฝึกอบรมมาก่อนใน gluonts อย่างไร

Chronos tokenizes ค่าอนุกรมเวลาเป็นคำศัพท์คงที่โดยใช้การปรับสเกลและ quantization ซึ่งช่วยให้สามารถฝึกอบรมแบบจำลองภาษาที่ใช้หม้อแปลงเช่นจากตระกูล T5 ใน Corpora ซีรีย์เวลาขนาดใหญ่และหลากหลาย โดยการแปลงอนุกรมเวลาการพยากรณ์เป็นปัญหาการสร้างแบบจำลองลำดับคล้ายกับการสร้างแบบจำลองภาษา Chronos ใช้ประโยชน์จากความก้าวหน้าในแบบจำลองภาษาที่ผ่านการฝึกฝนเพื่อการพยากรณ์ผลประโยชน์ การฝึกอบรมใช้การสูญเสียข้ามการเข้าร่วมในกรอบการพยากรณ์ความน่าจะเป็นซึ่งสนับสนุนการหาปริมาณความไม่แน่นอนที่หลากหลายโดยตรงในเอาต์พุตการทำนาย

แบบจำลองนี้ได้รับการปรับแต่งเกี่ยวกับชุดข้อมูลอนุกรมเวลาที่เปิดเผยต่อสาธารณชนซึ่งเสริมด้วยข้อมูลสังเคราะห์ที่สร้างขึ้นโดยใช้กระบวนการเกาส์เพื่อปรับปรุงการวางนัยทั่วไป คลังข้อมูลที่มีความหลากหลายและมีขนาดใหญ่นี้ช่วยให้ Chronos ทำงานได้ดีในงานที่ไม่มีการฝึกอบรมเฉพาะงานที่เกิดขึ้นซึ่งเป็นที่รู้จักกันในชื่อการพยากรณ์แบบศูนย์-ช็อต ในการตั้งค่าแบบไม่มีการยิง Chronos สร้างการคาดการณ์สำหรับอนุกรมเวลาที่มองไม่เห็นใหม่ด้วยความแม่นยำที่น่าทึ่งมักจะจับคู่หรือเหนือกว่ารุ่นที่ได้รับการฝึกฝนโดยเฉพาะในชุดข้อมูลเหล่านั้น

โดยทั่วไปแล้วโมเดล Chronos จะถูกเปรียบเทียบกับแบบจำลองสองคลาส: วิธีการทางสถิติแบบคลาสสิก (เช่น ARIMA, ETS, Naive ตามฤดูกาล) และแบบจำลองการเรียนรู้เชิงลึกพิเศษที่ได้รับการฝึกฝนสำหรับชุดข้อมูลการพยากรณ์โดยเฉพาะ (เช่น Deepar, TFT, N-beats และอื่น ๆ ) ในการวัดประสิทธิภาพที่หลากหลายรวมถึงชุดข้อมูล 42 ชุดซึ่งประกอบไปด้วยโดเมนและความถี่ที่แตกต่างกัน Chronos มีประสิทธิภาพสูงกว่าพื้นฐานคลาสสิกและโมเดลการเรียนรู้เชิงลึกเฉพาะงานส่วนใหญ่ในชุดข้อมูลในโดเมนที่ได้รับการปรับสภาพ ในชุดข้อมูล zero-shot ชุดที่ไม่ได้เห็นในระหว่างการเตรียมการรุ่น Chronos ยังคงรักษาประสิทธิภาพการแข่งขันสูงกว่ารุ่นท้องถิ่นจำนวนมาก

หนึ่งในความแตกต่างที่สำคัญคือความสามารถของโครโนสในการทำงานอย่างมีประสิทธิภาพนอกกรอบโดยไม่ต้องใช้การปรับแต่งเฉพาะงานหรือการฝึกอบรมใหม่ทำให้การปรับใช้ง่ายขึ้นและเร็วขึ้นในการพยากรณ์ท่อ อย่างไรก็ตามผู้ใช้สามารถเลือกปรับแต่งโครโนสในชุดข้อมูลของตนเองเพื่อเพิ่มความแม่นยำให้มากขึ้นหากมีข้อมูลและทรัพยากรการคำนวณที่เพียงพอ

ในแง่ของสถาปัตยกรรม Chronos ใช้การออกแบบหม้อแปลง แต่ใช้กับข้อมูลอนุกรมเวลาโดยการเข้ารหัสอินพุตเป็นโทเค็นที่แสดงค่าตัวเลขที่ปรับขนาดและเชิงปริมาณมากกว่าคำหรือโทเค็นข้อความ วิธีการนี้ช่วยให้สามารถใช้ประโยชน์จากจุดแข็งของการสร้างแบบจำลองการพึ่งพาระยะยาวและรูปแบบชั่วคราวที่ซับซ้อนในขณะที่ยังจัดการความไม่แน่นอน

โมเดล Chronos มีขนาดต่าง ๆ ตั้งแต่พารามิเตอร์หลายสิบล้านถึงหลายร้อยล้าน (20m ถึง 710m) ซึ่งสะท้อนให้เห็นถึงการแลกเปลี่ยนระหว่างความสามารถของแบบจำลองและความต้องการการคำนวณ อย่างไรก็ตามเรื่องนี้ Chronos สามารถรักษาขนาดรุ่นที่ค่อนข้างปานกลางเมื่อเทียบกับแบบจำลองภาษาที่มีขนาดใหญ่มากทำให้ผู้ปฏิบัติงานสามารถเข้าถึงทรัพยากร GPU ที่เรียบง่าย สิ่งนี้ตรงกันข้ามกับโมเดลอนุกรมเวลาขนาดใหญ่ที่มีขนาดใหญ่อื่น ๆ หรือวงดนตรีที่อาจต้องใช้การคำนวณที่สำคัญกว่าสำหรับการฝึกอบรมและการอนุมาน

ระบบการฝึกอบรมรวมถึงกลยุทธ์การเพิ่มข้อมูลที่ครอบคลุมรวมถึงการสร้างชุดข้อมูลสังเคราะห์เพื่อปรับปรุงความทนทานของแบบจำลองในโดเมนที่แตกต่างกันและความถี่ในการสุ่มตัวอย่าง การเพิ่มการสังเคราะห์นี้ช่วยให้แบบจำลองสามารถสรุปลักษณะของอนุกรมเวลาที่ไม่ได้แสดงอย่างหนักในชุดข้อมูลจริงที่มีอยู่

จากมุมมองการคำนวณและการปรับใช้ Chronos เป็นแบบจำลองขนาดใหญ่และสามารถต้องการทรัพยากรที่สำคัญสำหรับการฝึกอบรมและการปรับแต่งด้วยการเร่งความเร็ว GPU ที่แนะนำสำหรับประสิทธิภาพ เมื่อเปรียบเทียบกับแบบจำลองดั้งเดิมแบบคลาสสิกมันมีหน่วยความจำการอนุมานที่สูงขึ้นและข้อกำหนดการคำนวณ แต่การแลกเปลี่ยนเหล่านี้มักจะเป็นธรรมโดยความแม่นยำและความสามารถทั่วไปที่ดีขึ้น ขนาดภาพนักเทียบท่าสำหรับการปรับใช้โครโนสอาจมีขนาดใหญ่กว่าแบบจำลองการเรียนรู้ของเครื่องคลาสสิกทั่วไปซึ่งเป็นสิ่งสำคัญที่ต้องพิจารณาในสภาพแวดล้อมการผลิตที่มีข้อ จำกัด ด้านทรัพยากรหรืออินสแตนซ์แบบขนานหลายครั้ง

ประสิทธิภาพของ Chronos นั้นได้รับการเปรียบเทียบอย่างรอบคอบในการประเมินหลายครั้ง ในการตั้งค่าในโดเมนที่ชุดข้อมูลที่ใช้สำหรับการเปรียบเทียบการทับซ้อนกับการเตรียมการก่อนหน้านี้โครโนสบรรลุความแม่นยำในการพยากรณ์ชั้นบนสุดในตัวชี้วัดต่างๆ ในการประเมินผลแบบไม่มีการยิงด้วยชุดข้อมูลที่แยกออกจากการเตรียมการก่อนหน้านี้โครโนสยังคงมีประสิทธิภาพสูงกว่าแบบจำลองทางสถิติท้องถิ่นแบบสแตนด์อโลนและแม้แต่แบบจำลองการเรียนรู้ที่ลึกซึ้งที่ได้รับการฝึกอบรมจากงาน ตัวอย่างเช่นในการพยากรณ์ความน่าจะเป็นมันอยู่ใกล้กับจุดสูงสุดของวิธีการแข่งขันหลายวิธี

Chronos ยังแยกแยะตัวเองผ่านความสามารถในการพยากรณ์ความน่าจะเป็นทำให้เกิดการแจกแจงมากกว่าเพียงแค่การประมาณจุดซึ่งให้ข้อมูลที่สมบูรณ์ยิ่งขึ้นเกี่ยวกับความไม่แน่นอนของการคาดการณ์ สิ่งนี้ตรงกันข้ามกับแบบจำลองคลาสสิกบางอย่างหรือวิธีการพยากรณ์ที่กำหนดขึ้นซึ่งจะส่งออกการคาดการณ์ที่มีค่าเดี่ยวเท่านั้น

นอกจากนี้ Chronos ยังสอดคล้องกับแนวโน้มการพัฒนาในการเรียนรู้ของเครื่องจักรที่รูปแบบพื้นฐานและเทคนิคการถ่ายโอนการเรียนรู้ที่ครอบงำ โดยการกำหนดกรอบการพยากรณ์อนุกรมเวลาเป็นปัญหาการสร้างแบบจำลองภาษา Chronos เปิดเส้นทางสำหรับการรวมเข้ากับความก้าวหน้าในรูปแบบภาษาขนาดใหญ่ (LLMs) และการวิจัยแบบจำลองพื้นฐาน การออกแบบนี้ทำให้เป็นแพลตฟอร์มที่มีแนวโน้มสำหรับนวัตกรรมในอนาคตในแนวทางการสร้างแบบจำลองแบบรวมในโดเมน

การเปรียบเทียบกับโมเดลอนุกรมเวลาที่ผ่านการฝึกอบรมอื่น ๆ เช่น Moirai-1.0-R, Lag-llama, LLMTIME, PORERSASTPFN และรุ่น GPT-2 ที่ได้รับการปรับแต่งแสดงให้เห็นถึง Chronos อย่างต่อเนื่องหรือเสมอ การปรับจูนโพสต์การปรับแต่งของ Chronos ช่วยปรับปรุงผลลัพธ์เพิ่มเติมทำให้เป็นหนึ่งในการคาดการณ์ที่ล้ำสมัยทั้งในบริบททั้งแบบดั้งเดิมและศูนย์ ผลการดำเนินงานที่สูงกว่านี้มีสาเหตุมาจากการฝึกอบรมเกี่ยวกับคลังข้อมูลที่มีความหลากหลายสูงรวมกับวิธีการทำแบบโมเดลแบบจำลองภาษาและการทำนาย