Deepseek Sklepe na M4 MacBook Air

Pregled modelov Deepseek

-Deepseek-V3: Ta model je velik model mešanic izkušenj (MOE) s 671 milijardami parametrov. Uspešno se izvaja na grozdu M4 Mac Minis, ki prikazuje učinkovitost jabolčnega silicija za velike jezikovne modele [1].
- Deepseek R1: Izšla januarja 2025, ta model je odprtokodni in tekmeci GPT modeli. Ponuja različne kvantizirane različice za zmanjšanje potreb po velikosti in strojni opremi, zaradi česar je bolj izvedljivo za lokalno namestitev na napravah, kot je M4 MacBook Air [2].

Teče Deepseek na M4 MacBook Air

Ključni premisleki

1. Pomnilnik in velikost modela: M4 MacBook Air običajno prihaja z manj RAM-a v primerjavi z M4 MAC MINI grozd, ki se uporablja za Deepseek-V3. Izbrati boste morali manjšo ali kvantizirano različico modela Deepseek, da se bo prilegala razpoložljivemu RAM -u [2].

2. Poenotena arhitektura spomina: Enotna arhitektura spomina Apple Silicona je koristna za učinkovito izvajanje velikih modelov, zlasti pri ustvarjanju odzivov enega naenkrat [1].

3. Kvantizacija in izbira modela: Za delovanje na M4 MacBook Air boste morda upoštevali kvantizirane različice Deepseek R1, kot je model 14B, ki se lahko izvaja z nekaj rezervnim RAM -om [2].

Koraki za lokalno vodenje Deepseeka

1. Namestite Ollama: Uporabite Ollama za upravljanje lokalnih LLM na vašem MacBook Air. Omogoča vam namestitev in zagon različnih modelov, vključno z Deepseekom [2].

2. Izberite model: izberite kvantizirano različico Deepseek R1, ki se prilega v Ram MacBook Air. Modeli, kot so Deepseek-R1-Distill-Qwen-14b, so primerne možnosti [2].

3. Zaženite model: Uporabite ukaze, kot je `Exo Run Deepseek-R1-Devices M4-Pro, M4-Max-Quatizacija 4-bit" za zagon modela s kvantizacijo za boljšo zmogljivost na čipih serije M [4].

Zaključek

Tek deepseek sklepa na M4 MacBook Air je izvedljiv s pravim izborom in kvantizacijo modela. Enotna spominska arhitektura Apple Silicona zagotavlja prednost, zlasti za scenarije za ustvarjanje z enim odzivom. Vendar omejen RAM v primerjavi s nastavitvami strežnika pomeni, da se boste morali odločiti za manjše ali kvantizirane modele, da boste zagotovili nemoteno delovanje.