Chronos skiljer sig från andra förtränade modeller i gluonts främst genom sin grund som en förtränad språkmodell anpassad för tidsserieprognoser. Den använder en transformatorbaserad arkitektur som ursprungligen är utformad för språkmodellering, men påpekar detta för att tolka och förutsäga tidsseriedata. Detta tillvägagångssätt kontrasterar traditionella och djupa inlärningsmodeller som vanligtvis tränas från grunden på enskilda datasätt eller samlingar av tidsserier som specifikt formateras för prognosuppgifter.
Chronos tokeniserar tidsserievärden till ett fast ordförråd med skalning och kvantisering, vilket gör att den kan utbilda transformatorbaserade språkmodeller som de från T5-familjen på stora och olika tidsserieföretag. Genom att konvertera tidsserieprognoser till ett sekvensmodelleringsproblem som liknar språkmodellering utnyttjar Chronos framsteg i förtroliga språkmodeller för prognosfördelar. Utbildningen använder korsentropiförlust i en probabilistisk prognosram, som stöder rik osäkerhetskvantifiering direkt i förutsägelseutgångar.
Modellen är förtrång på en omfattande samling av offentligt tillgängliga tidsseriedatasätt, kompletterat med syntetiska data som genereras med Gaussiska processer för att förbättra generaliseringen. Detta mångsidiga och stora förtryckande corpus gör det möjligt för Chronos att prestera bra på uppgifter där ingen uppgiftsspecifik träning har inträffat, vilket kallas nollskottsprognos. I inställningar för nollskott genererar Chronos prognoser för nya, osynliga tidsserier med anmärkningsvärd noggrannhet, ofta matchande eller överträffade modeller som specifikt har utbildats i dessa datasätt.
Chronos-modeller jämförs vanligtvis med två breda klasser av modeller: klassiska statistiska metoder (som ARIMA, ETS, säsongsbetonade naiva) och specialiserade djupinlärningsmodeller tränade för särskilda prognosdatasätt (som Deepar, TFT, N-Beats och mer). Över en mängd olika riktmärken inklusive 42 datasätt som sträcker sig över olika domäner och frekvenser, överträffar Chronos konsekvent klassiska baslinjer och de mest uppgiftsspecifika djupinlärningsmodellerna på datasätt i domän där det har prövats. På noll-shot-datasätt, de som inte ses under prövning, upprätthåller Chronos-modellerna fortfarande konkurrenskraftiga prestanda, överträffar många lokala modeller och matchande toppdjupinlärningsmodeller specifikt utbildade för dessa uppgifter.
En av de viktigaste differentiatorerna är Chronos förmåga att fungera effektivt ur lådan utan att kräva uppgiftsspecifik inställning eller omskolning, vilket möjliggör mycket enklare och snabbare distribution vid prognosrörledningar. Ändå kan användare valfritt finjustera Chronos på sina egna datasätt för att ytterligare förbättra noggrannheten om tillräckliga data och beräkningsresurser finns tillgängliga.
När det gäller arkitektur antar Chronos transformatordesignen men tillämpar den på tidsseriedata genom att kodas för input som tokens som representerar skalade och kvantiserade numeriska värden, snarare än ord eller texttokens. Detta tillvägagångssätt gör det möjligt för den att utnyttja styrkorna hos transformatorernas modellering av långväga beroenden och komplexa temporära mönster samtidigt som det hanterar osäkerhet sannolikt.
Chronos-modeller finns i olika storlekar, från tiotals miljoner till hundratals miljoner parametrar (20 m till 710 m), vilket återspeglar avvägningar mellan modellkapacitet och beräkningskrav. Trots detta lyckas Chronos hålla en relativt måttlig modellstorlek jämfört med mycket stora språkmodeller, vilket gör den tillgänglig för utövare med blygsamma GPU -resurser. Detta står i kontrast till några andra stora förtränade tidsseriemodeller eller ensembler som kan kräva mer betydande beräkning för träning och slutsatser.
Utbildningsregimen innehåller omfattande strategier för förstärkning av data, inklusive syntetisk datasätt för att förbättra modellens robusthet över olika domäner och provtagningsfrekvenser. Denna syntetiska förstärkning gör det möjligt för modellen att generalisera till tidsseriesegenskaper som inte är starkt representerade i de tillgängliga verkliga datasätten.
Ur beräknings- och distributionssynpunkt är Chronos en stor modell och kan kräva betydande resurser för träning och finjustering, med GPU-acceleration som rekommenderas för effektivitet. Jämfört med klassiska traditionella modeller har det högre inferensminne och beräknar krav, men dessa avvägningar är ofta motiverade av förbättrade noggrannhets- och generaliseringsfunktioner. Docker -bildstorleken för att distribuera Chronos kan vara större än typiska klassiska maskininlärningsmodeller, vilket är viktigt att överväga i produktionsmiljöer med resursbegränsningar eller flera parallella instanser.
Chronos prestanda är noggrant benchmarked över flera utvärderingar. I domäninställningar där datasätt som används för benchmarking överlappning med förträngande, uppnår Chronos topprankad prognosnoggrannhet över olika mätvärden, vilket överträffar statistiska och djupa inlärningsbaslinjer konsekvent. I utvärderingen av nollskott med datasätt uteslutet från pretraining, överträffar Chronos fortfarande fristående lokala statistiska modeller och till och med vissa uppgiftsutbildade djupa inlärningsmodeller, vilket visar stark generalisering. Till exempel, i sannolikhetsprognoser, rankas den nära toppen bland flera konkurrerande metoder.
Chronos skiljer sig också genom sin sannolikhetsprognosfunktioner och producerar distributioner snarare än bara poänguppskattningar, vilket ger rikare information om prognostiserad osäkerhet. Detta står i kontrast till vissa klassiska modeller eller deterministiska prognosmetoder som endast matar ut enskilda förutsägelser.
Dessutom är Chronos i linje med de utvecklande trenderna i maskininlärning där grundmodeller och överföringsinlärningstekniker dominerar. Genom att inrama tidsserieprognoser som ett språkmodelleringsproblem öppnar Chronos vägar för integration med framsteg i stora språkmodeller (LLM) och grundmodellforskning. Denna design gör det till en lovande plattform för framtida innovationer inom enhetliga modelleringsmetoder över domäner.
Jämförelser med andra förtränade tidsseriemodeller som Moirai-1.0-R, Lag-llama, LLMTime, prognospfn och finjusterade GPT-2-modeller visar kronos konsekvent framåt eller på par, ofta överträffar dessa för nollhotningsuppgifter. Finering av kronos efter preting av Chronos förbättrar ytterligare resultaten, vilket gör det till en av de senaste prognoserna i både konventionella och nollskottsförhållanden. Denna överträdelse tillskrivs sin träning på ett mycket mångfaldigt corpus i kombination med dess språkmodellbaserade tokenisering och förutsägelse.
Sammanfattningsvis skiljer Chronos sig från andra gluonts förtrolade modeller genom att använda en grundläggande annorlunda arkitektur inspirerad av transformatorspråksmodeller, utnyttja storskalig förträngande på tokeniserade tidsserier och uppnå robust noll-prognosprestanda. Den balanserar modellstorlek och beräkningsbehov med hög noggrannhet och generalitet, stöder sannolikhetsprognoser och finjustering och representerar ett nytt paradigm i tidsserieprognoser som överbryggar framsteg i NLP och tidsserieanalys.