Probíhá inference DeepSeek na vzduchu M4 MacBook zahrnuje pochopení schopností křemíku Apple a specifické požadavky modelů Deepseek. Zde je rozpis toho, co potřebujete vědět:
Přehled modelů DeepSeek
-DeepSeek-V3: Tento model je velký model směsi expertů (MOE) s 671 miliardami parametrů. Úspěšně probíhal na shluku M4 MAC minis, což představuje účinnost křemíku Apple pro velké jazykové modely [1].
- Deepseek R1: Tento model, který byl vydán v lednu 2025, je open-source a soupeři GPT modely. Nabízí různé kvantizované verze, které snižují požadavky na velikost a hardware, což je proveditelnější pro místní nasazení na zařízeních, jako je M4 MacBook Air [2].
Běh DeepSeek na M4 MacBook Air
Klíčové úvahy
1. paměť a velikost modelu: M4 MacBook Air obvykle přichází s méně RAM ve srovnání s klastrem M4 Mac Mini používaným pro DeepSeek-V3. Budete muset vybrat menší nebo kvantizovanou verzi modelu DeepSeek, aby se vešly do dostupné RAM [2].
2. Sjednocená architektura paměti: Unified Memory Architecture Apple Silicon je prospěšná pro efektivní provoz velkých modelů, zejména při generování odpovědí jeden po druhém [1].
3. kvantizace a výběr modelu: Pro spuštění na M4 MacBook Air můžete zvážit kvantizované verze DeepSeek R1, jako je model 14B, který může běžet s nějakou RAM, který má ušetřit [2].
Kroky pro běh deepseek lokálně
1. Nainstalujte Ollama: Pomocí Ollama spravujte místní LLMS na vašem MacBook Air. Umožňuje instalovat a spustit různé modely, včetně Deepseek [2].
2. Vyberte model: Vyberte kvantizovanou verzi DeepSeek R1, která se hodí do RAM MacBook Air. Vhodné možnosti jsou modely jako DeepSeek-R1-Distill-QWEN-14B [2].
3. spusťte model: Použijte příkazy jako `EXO Run DeepSeek-R1-Zasážení M4-Pro, M4-MAX-Quvantizace 4-bit` pro spuštění modelu s kvantizací pro lepší výkon na čipy řady M [4].
Závěr
Spuštění DeepSeek Inference na vzduchu M4 MacBook je proveditelné se správným výběrem a kvantizací modelu. Sjednocená paměťová architektura Apple Silicon poskytuje výhodu výkonu, zejména pro scénáře generování jedné odpovědi. Omezený RAM ve srovnání s nastavením serveru však znamená, že se musíte rozhodnout pro menší nebo kvantizované modely, abyste zajistili hladký provoz.
Citace:[1] https://digialps.com/deepseek-v3-on-m4-mac-lazing-fast-on-apple-silicon/
[2] https://abedt.com/blog/running-reepseek-on-an-m4-promacbook/
[3] https://www.reddit.com/r/localllama/comments/1hne97k/running_deepseekv3_on_m4_mac_mini_ai_cluster_671b/
[4] https://dev.to/mehmetakar/5-ways-to-tun-locally-on-mac-cck
[5] https://www.youtube.com/watch?v=u99gc7s4lua
[6] https://www.yahoo.com/tech/beginning-end-deepseek-goes-100-183100522.html
[7] https://www.youtube.com/watch?v=wbq2ydpodnw
[8] https://forums.macrumors.com/threads/m4-max-silicon-and-grunning-llms.2448348/