Chronos se liší od jiných předškolených modelů v gluontách primárně prostřednictvím svého základu jako předem jazykový model přizpůsobený prognózám časové řady. Používá architekturu založenou na transformátoru původně navrženou pro modelování jazyka, ale znovu se vyskytuje k interpretaci a předpovídání dat časových řad. Tento přístup kontrastuje s tradičními a hlubokými modely učení, které jsou obvykle vyškoleny od nuly na jednotlivých datových souborech nebo sbírkách časových řad specificky naformátovaných pro předpovědní úkoly.
Chronos tokenizuje hodnoty časové řady na pevnou slovní zásobu pomocí škálování a kvantizace, což mu umožňuje trénovat jazykové modely založené na transformátoru, jako jsou modely z rodiny T5 na velkých a rozmanitých časových řadách. Převedením prognózy časových řad na problém sekvenčního modelování podobného modelování jazyka, Chronos využívá pokroky v přesahujících jazykových modelech pro prognózu výhod. Školení používá ztrátu mezi entropií v pravděpodobnostním prognózovacím rámci, což podporuje kvantifikaci bohaté nejistoty přímo v predikčních výstupů.
Model je přehodnocen na rozsáhlé sbírce veřejně dostupných datových sad časových řad, doplněných syntetickými daty generovanými pomocí Gaussovských procesů ke zlepšení zobecnění. Tento rozmanitý a velký předběžný korpus umožňuje Chronosovi dobře plnit úkoly, kde nedošlo k žádnému školení specifickému v oblasti úkolu, což je známé jako prognóza nulového výstřelu. V nastavení nulového výstřelu generuje Chronos prognózy pro nové, neviditelné časové řady s pozoruhodnou přesností, často odpovídající nebo překonávající modely, které byly na těchto datových sadách specificky vyškoleny.
Modely Chronos jsou obvykle porovnány se dvěma širokými třídami modelů: klasické statistické metody (jako jsou Arima, ETS, sezónní naivní) a specializované modely hlubokého učení vyškolené pro konkrétní datové sady prognózy (jako Deepar, TFT, N-Beats a další). V různých benchmarcích, včetně 42 datových sad zahrnujících různé domény a frekvence, Chronos důsledně překonává klasické základní linie a většinu úkolů specifických modelů hlubokého učení na datových sadách v oblasti v doméně, kde byl přehodnocen. Na datových sadách s nulovým výstřelem, ty, které nebyly vidět během předběžných modelů, si modely Chronos stále udržují konkurenční výkon, překonávají mnoho místních modelů a odpovídají špičkovým modelům hlubokého učení specificky vyškoleného pro tyto úkoly.
Jedním z klíčových diferenciatorů je schopnost Chronos efektivně pracovat z krabice, aniž by vyžadoval ladění nebo rekvalifikaci specifické pro úkol, což umožňuje mnohem jednodušší a rychlejší nasazení v předpovídání potrubí. Uživatelé však mohou volitelně doladit Chronos na svých vlastních datových sadách, aby dále zvýšili přesnost, pokud jsou k dispozici dostatečné údaje a výpočetní zdroje.
Pokud jde o architekturu, Chronos přijímá návrh transformátoru, ale aplikuje jej na data časové řady kódováním vstupů, protože žetony představující škálované a kvantizované číselné hodnoty, spíše než slova nebo textové tokeny. Tento přístup mu umožňuje využívat silné stránky modelování transformátorů modelování závislostí a složitých časových vzorů a zároveň pravděpodobně zvládnout nejistotu.
Modely Chronos přicházejí v různých velikostech, od desítek milionů až po stovky milionů parametrů (20 m do 710 metrů), což odráží kompromisy mezi kapacitou modelu a výpočetními požadavky. Přesto se Chronos podaří udržet relativně mírnou velikost modelu ve srovnání s velmi velkými jazykovými modely, což je přístupné odborníkům se skromnými zdroji GPU. To je v kontrastu s některými dalšími velkými modely časové řady nebo soubory, které mohou vyžadovat významnější výpočet pro trénink a odvození.
Tréninkový režim zahrnuje komplexní strategie augmentace dat, včetně generování syntetických datových sad pro zlepšení robustnosti modelu napříč různými doménami a frekvencemi vzorkování. Tato syntetická augmentace umožňuje modelu zobecnit charakteristiky časové řady, které nejsou silně reprezentovány v dostupných skutečných datových sadách.
Z hlediska výpočetního a nasazení je Chronos velkým modelem a může vyžadovat významné zdroje pro školení a jemné doladění, přičemž zrychlení GPU je doporučeno pro efektivitu. Ve srovnání s klasickými tradičními modely má vyšší inferenční požadavky na paměť a výpočet, ale tyto kompromisy jsou často odůvodněny zlepšenou schopností přesnosti a zobecnění. Velikost obrazu Docker pro nasazení chronos může být větší než typické modely klasického strojového učení, což je důležité zvážit ve výrobním prostředí s omezeními zdrojů nebo více paralelních instancí.
Výkon společnosti Chronos je pečlivě srovnáván v rámci více hodnocení. V nastavení v oblasti v doméně, kde se datové sady používané pro benchmarking překrývají s předběžným, Chronos dosahuje přesnosti prognózy nejvyššího hodnocení napříč různými metrikami a důsledně překonává statistické a hluboké učení. V hodnocení nulového výstřelu s datovými sadami vyloučenými z předběžného přesahu Chronos stále překonává samostatné místní statistické modely a dokonce i některé modely hlubokého učení vyškoleného úkolu, což ukazuje silnou zobecnění. Například při pravděpodobnostním prognóze se řadí na vrchol mezi několika konkurenčními metodami.
Chronos se také rozlišuje prostřednictvím svých pravděpodobnostních předpovědních schopností a vytváří spíše distribuce než pouhými bodovými odhady, které poskytují bohatší informace o prognóze nejistoty. To je v kontrastu s některými klasickými modely nebo deterministickými přístupy pro předpovědi, které vydávají pouze předpovědi s jedním hodnotem.
Kromě toho je Chronos v souladu s vyvíjejícími se trendy ve strojovém učení, kde dominují modely nadace a techniky přenosu učení. Chronos otevírám prognózu časových řad rámování časových řad jako problému modelování jazyka, otevírá cesty pro integraci s pokroky ve velkých jazykových modelech (LLMS) a výzkum nadace. Tento design z něj činí slibnou platformu pro budoucí inovace v sjednocených modelovacích přístupech napříč doménami.
Srovnání s jinými modely předběžných modelů časových řad, jako jsou Moirai-1.0-R, Lag-Llama, LLMTime, ProgAstpfn a jemně vyladěné modely GPT-2, ukazují Chronos důsledně dopředu nebo na PAR, často je překonávají pro nulové úlohy. Jehnitelné doladění chronos po předeskupení dále zlepšuje výsledky, což z něj činí jednu z nejmodernějších prognóz v konvenčních i nule-shotových kontextech. Tato překonání je přičítána tréninku na velmi rozmanitém korpusu v kombinaci s přístupem na tokenizaci a prediktu založeným na jazyce.
Stručně řečeno, Chronos se odlišuje od ostatních modelů Gluontů tím, že využívá zásadně odlišnou architekturu inspirovanou modely jazyků transformátoru, využívá rozsáhlé předběžné předem a dosahuje robustního výkonu nulového výstřelu. Vyvažuje velikost modelu a výpočetní potřeby s vysokou přesností a obecností, podporuje pravděpodobnostní prognózu a doladění a představuje nové paradigma v časových řadách prognózy, které překlenují pokroky v analýze NLP a časové řady.