Deepseek inferens på M4 MacBook Air

Oversigt over Deepseek -modeller

-DeepSeek-V3: Denne model er en stor blanding af eksperter (MOE) -model med 671 milliarder parametre. Det er med succes kørt på en klynge af M4 MAC -minis, der viser effektiviteten af ​​Apple Silicon for store sprogmodeller [1].
- Deepseek R1: Udgivet i januar 2025 er denne model open source og rivaler GPT-modeller. Det tilbyder forskellige kvantiserede versioner for at reducere størrelses- og hardwarekrav, hvilket gør det mere muligt for lokal installation på enheder som M4 MacBook Air [2].

kører Deepseek på M4 MacBook Air

Nøgleovervejelser

1. hukommelses- og modelstørrelse: M4 MacBook Air leveres typisk med mindre RAM sammenlignet med M4 Mac Mini-klyngen, der bruges til DeepSeek-V3. Du skal vælge en mindre eller kvantiseret version af DeepSeek -modellen, der passer inden for den tilgængelige RAM [2].

2. Unified Memory Architecture: Apple Silicons samlede hukommelsesarkitektur er gavnlig for at køre store modeller effektivt, især når man genererer svar en ad gangen [1].

3. Kvantisering og modeludvælgelse: Til kørsel på en M4 MacBook Air kan du overveje kvantiserede versioner af Deepseek R1, såsom 14B -modellen, som kan køre med noget RAM til overs [2].

Trin for at køre dybseek lokalt

1. Installer Ollama: Brug Ollama til at administrere lokale LLM'er på din MacBook Air. Det giver dig mulighed for at installere og køre forskellige modeller, herunder Deepseek [2].

2. Vælg en model: Vælg en kvantiseret version af Deepseek R1, der passer ind i din MacBook Air's RAM. Modeller som DeepSeek-R1-Distill-Qwen-14b er egnede indstillinger [2].

3. Kør modellen: Brug kommandoer som `Exo Run Deepseek-R1-Devices M4-Pro, M4-Max-Quantization 4-bit 'til at køre modellen med kvantisering for bedre ydelse på M-serie-chips [4].

Konklusion

Det er muligt at køre dybseek -inferens på en M4 MacBook Air er muligt med den rigtige modeludvælgelse og -kvantisering. Den samlede hukommelsesarkitektur af Apple Silicon giver en ydelsesfordel, især til en-responsgenerationsscenarier. Imidlertid betyder den begrænsede RAM sammenlignet med serveropsætninger, at du skal vælge mindre eller kvantiserede modeller for at sikre jævn drift.