Nenváta je open-source rámec určený k optimalizaci a urychlení procesu doladění velkých jazykových modelů (LLM), jako je DeepSeek-R1. Zde jsou klíčové rysy neloty, které pomáhají při doladění DeepSeek-R1:
1. Operace optimalizované matice: Nenváta optimalizuje jemné doladění ručním odvozením diferenciálů matic a prováděním multiplikací s připojenou maticí. Tento přístup zvyšuje výpočetní účinnost a snižuje složitost maticových operací, což je zásadní pro manipulaci s velkými modely, jako je DeepSeek-R1 [1].
2. Účinnost paměti: Undoth je navržena tak, aby výrazně snížila využití paměti, což umožnilo doladit velké modely na pomalejších GPU. To je zvláště výhodné pro uživatele, kteří nemají přístup k špičkovým výpočetním zdrojům [4].
3. Efektivní stahování: Nemota zrychluje proces stahování pro modely a datové sady, které mohou být pro velké modely časově náročné. Tato funkce pomáhá zefektivnit proces nastavení pro doladění [4].
4. Použití LORA (nízkofakcestátní adaptace): Undoth využívá techniky, jako je LORA k efektivní jemné doladění velkých modelů. LORA umožňuje aktualizace nízkých hodnot hmotností modelu, což snižuje výpočetní požadavky a paměť potřebnou pro doladění. Tato metoda je zvláště účinná pro přizpůsobení předškolených modelů ke specifickým úkolům, aniž by vyžadovala rozsáhlé rekvalifikaci [4].
5. Rozhraní pro začátečníky: Undoth poskytuje rozhraní přátelské pro začátečníky, takže je přístupné uživatelům, kteří jsou nové pro jemné doladění velkých jazykových modelů. To zahrnuje přímé procesy instalace a nastavení, což uživatelům umožňuje soustředit se spíše na úkol doladění než na řešení složitých technických konfigurací [2].
6. Podpora místního školení: Nemota podporuje místní školení modelů, jako je DeepSeek-R1 pomocí GRPO (generalizovaná optimalizace parametrů rekurzivních parametrů), která uživatelům umožňuje reprodukovat a přizpůsobovat modely výhradně na svých místních strojích. Tato funkce je vylepšena tak, aby se používala výrazně méně VRAM, díky čemuž je místní trénink proveditelnější [2] [8].
7. Integrace s objímáním tváře a dalšími nástroji: Nerota se dobře integruje s platformami, jako je objímání obličeje, což uživatelům umožňuje snadno načíst modely a tokenizátory. Podporuje také experimenty s protokolováním a sledováním nástrojů, jako jsou hmotnosti a zkreslení, což pomáhá při sledování procesu doladění a hodnocení výkonu modelu [7].
Celkově jsou funkce UNSLOTH navrženy tak, aby byl proces doladění velkých modelů, jako je DeepSeek-R1 přístupnější, efektivnější a přizpůsobitelný pro uživatele s různou úrovní odborností a výpočetních zdrojů.
Citace:
[1] https://youssefh.substack.com/p/fine-tuning-deepseek-r1-on-leasoning
[2] https://unsloth.ai/blog/r1-leasonring
[3] https://youssefh.substack.com/p/fine-tuning-deepseek-r1-on-seasonring-2d2
[4] https://www.kdnuggets.com/how-to-tune-deeepseek-r1-nustom-dataset
[5] https://www.reddit.com/r/localllama/comments/1ie1r8x/how_to_prepare_datasets_to_fine_tuning_deepseek/
[6] https://techifysolutions.com/blog/fine-tuning-deepseek-r1/
[7] https://www.datacamp.com/Tutorial/fine-tuning-deepseek-r1-leasoning-model
[8] https://www.reddit.com/r/singularity/comments/1ik2zf6/you_can_now_train_your_own_deepseeKr1_model_on/