Mélység következtetése az M4 MacBook Air -en

A DeepSeek modellek áttekintése

-DeepSeek-V3: Ez a modell egy nagyméretű szakember (MOE) modell, 671 milliárd paraméterrel. Sikeresen futtatták az M4 MAC Minis klaszterén, bemutatva az Apple szilícium hatékonyságát a nagy nyelvi modelleknél [1].
- DeepSeek R1: 2025 januárjában jelent meg, ez a modell nyílt forráskódú és riválisok GPT modellek. Különböző kvantált verziókat kínál a méret és a hardverkövetelmények csökkentése érdekében, ezáltal megvalósíthatóbbá téve a helyi telepítést olyan eszközökön, mint az M4 MacBook Air [2].

Futtatás DeepSeek az M4 MacBook Air -en

kulcsfontosságú megfontolások

1. memória és modell mérete: Az M4 MacBook levegő általában kevesebb RAM-mal érkezik, mint a mély-V3-hoz használt M4 MAC mini klaszterhez képest. Kiválasztania kell a DeepSeek modell kisebb vagy kvantált verzióját, hogy illeszkedjen a rendelkezésre álló RAM -be [2].

2. Egységes memória -architektúra: Az Apple Silicon egységes memória -architektúrája előnyös a nagy modellek hatékony futtatásához, különösen akkor, ha egyenként válaszokat generálnak [1].

3. kvantálás és modellválasztás: Az M4 MacBook Air -en történő futtatáshoz fontolóra veheti a DeepSeek R1 kvantált verzióit, például a 14B modellt, amely valamilyen RAM -mal futhat a tartalékhoz [2].

Lépések a helyben a DeepSeek futtatásához

1. Telepítse az Ollama -t: Használja az Ollamát a helyi LLM -ek kezelésére a MacBook Air -en. Ez lehetővé teszi a különféle modellek telepítését és futtatását, beleértve a DeepSeeket is [2].

2. Válasszon egy modellt: Válassza ki a DeepSeek R1 kvantált verzióját, amely illeszkedik a MacBook Air RAM -ba. Az olyan modellek, mint a DeepSeek-R1-Distill-QWEN-14B, megfelelő lehetőségek [2].

3. Futtassa a modellt: Használjon olyan parancsokat, mint az `EXO Run DeepSeek-R1-Devices M4-PRO, M4-MAX-Quantization 4-bites" a modell futtatásához kvantálással, hogy az M-sorozatú chips jobb teljesítményt nyújtson [4].

Következtetés

A M4 MacBook Air -en a mélyöség következtetései megvalósítható a megfelelő modellválasztással és kvantálással. Az Apple Silicon egységes memória-architektúrája teljesítménynövelést biztosít, különösen az egy válasz-generációs forgatókönyveknél. A kiszolgáló beállításaihoz képest azonban a korlátozott RAM azt jelenti, hogy a zökkenőmentes működést biztosítja a kisebb vagy kvantált modellek számára.