Interese par izpildi Mākslīgais intelekts modeļus veido lokāli, nepaļaujoties uz mākoņpakalpojumiem, ir piedzīvojis strauju popularitāti pēc DeepSeek parādīšanās. Ja jūs uztrauc privātums, ātrums vai pieejamība bezsaistē, jūsu vietējās mākslīgā intelekta (AI) iebūvēšana Mac Mini datorā ir lieliska ideja: jūsu dati paliek mājās, nav ikmēneša maksas un veiktspēja ar Apple silīcijs Tas ir pārsteidzoši kompaktai komandai.
Papildus privātumam ir vēl viena praktiska priekšrocība: jūs varat izmērīt veiktspēju žetoni sekundē un pats savām acīm pārbaudiet sava Mac datora skaitļošanas jaudu. Un pats labākais ir tas, ka DeepSeek darbināšanas process ir ļoti viegli pieejams, pateicoties tādiem rīkiem kā LM studija (dažreiz saukta par LLM studiju) un Ollama, kas ļauj lejupielādēt, konfigurēt un sazināties ar modeli, veicot tikai dažus klikšķus vai komandas.
Kas ir DeepSeek un kāpēc to ir vērts iestatīt lokāli?
DeepSeek ir satricinājis ainavu ar savu cenas un kvalitātes attiecība un tās atvērtā pieejaIr divas galvenās versijas: V3 sērija tīmekļa lietošanai un R1 atzars, kurā īpaša uzmanība tiek pievērsta spriešanas prasmēm, un kuru visinteresantāk ir palaist datorā dažādās versijās. destilētsŠo versiju izmērs ir samazināts, lai tās netraucēti darbotos patērētāju ierīcēs, vienlaikus saglabājot lielu daļu oriģinālās versijas iespēju.
Priekšlikums ir jēgpilns, ja jūs nosakāt prioritātes. privātumu un kontroliAtšķirībā no mākonī balstīta tērzēšanas robota, dati netiek augšupielādēti uz ārējiem serveriem. Situācijās ar neregulāru savienojamību (vilcienu satiksme, ierobežota korporatīvā vide, laboratorijas bez tīkla) lokāla mākslīgā intelekta izmantošana, kas ātri reaģē un kam nav lietošanas ierobežojumu, ir reāla priekšrocība.
LM Studio: jūsu mākslīgā intelekta informācijas panelis macOS operētājsistēmā
LM Studio darbojas kā centralizēta darbnīca meklēšanai, lejupielādei un palaišanai Lokālās valodas modeļi ar vienkāršu saskarni. Nebūdams programmētājs, varat pielāgot modeļa toni, tehnisko līmeni vai konteksta garumu vai atstāt visu kā noklusējuma iestatījumus un sākt to lietot dažu minūšu laikā.
Šī pieeja ir ļoti praktiska: atklāšanas cilnē varat atrast modeļus, lejupielādēt tos ar vienu klikšķi un ielādēt atmiņā tūlītējai tērzēšanai. Tā arī ļauj pielāgot galvenos parametrus, piemēram, slodze uz GPU (izmantojamā videoatmiņa), CPU pavedieni, konteksta garums (DeepSeek R1 distill versijā tas sasniedz tādus skaitļus kā 131 072 žetoni) un atmiņas opcijas, piemēram, Saglabāt modeli atmiņā o Izmēģiniet mmap()Ja nevēlaties sarežģīt lietas, vienkārši izmantojiet noklusējuma iestatījumus un nospiediet "Ielādēt modeli".
DeepSeek R1 instalēšana un lietošana LM Studio programmā soli pa solim
Vienkāršākais veids, kā sākt darbu Mac datorā, ir lejupielādēt LM Studio, atrast pareizo modeli un ielādēt to. Lietotne palīdzēs jums šajā procesā. Ja jūsu aprīkojums nav piemērots konkrētam modelim, pat parāda brīdinājumus, piemēram, “Iespējams, ka šai ierīcei ir par lielu”.
1. darbība. Atrodiet modeliAtveriet LM Studio un dodieties uz “Discover” vai “Model Search”. Meklēšanas joslā ierakstiet “deep” un atrodiet “DeepSeek R1 destilāts (Qwen 7B)". Labajā panelī redzēsiet aptuveno izmēru (piemēram, 4,68 GB) un tā funkcijas. Šī versija ir ļoti efektīvs spriešanai un labi iederas datoros ar ierobežotu atmiņu.
2. darbība: lejupielādējietNoklikšķiniet uz zaļās pogas “Lejupielādēt” (jūs redzēsiet izmēru, piemēram, 4,68 GB). Sānu logā būs redzams progress, ātrums un aptuvenais laiks. Kad tas būs pabeigts, modelis parādīsies pieejamo lejupielāžu sarakstā. Apstiprina, ka parādās “DeepSeek R1 Distill Qwen 7B” pirms tālāk.
3. darbība: Pielāgošana un ielādePirms noklikšķināšanas uz “Ielādēt modeli” varat konfigurēt: konteksta garumu, Izmantojamā videoRAM, centrālā procesora pavedienu skaitu un to, vai saglabāt modeli atmiņā. Sākumā darbosies noklusējuma iestatījums. Tomēr, ja jūsu Mac Mini ir pietiekami daudz vienotās atmiņas, ieteicams iespējot "Saglabāt modeli atmiņā"ātrākai uzpildīšanai".
4. darbība. TērzēšanaAtveriet skatu “Tērzēšana”, izvēlieties ielādēto modeli un ierakstiet kaut ko līdzīgu: “Sveiki, kāds modelis jūs esat un kas jūs apmācīja?”. Ja viņi atbild, norādot savu identitāti un spējas, jūs zināsiet, ka viss darbojas. Ja izmēģināsiet lielāku modeli (piemēram, ļoti ambiciozu “DeepSeek-V3-4bit”) un tas parādīsies sarkanā krāsā, “Droši vien par lielu šai mašīnai”, jums jāizvēlas vieglāks variants vai jāpievieno RAM/VRAM saderīgos datoros.
Kad tas ir izveidots un darbojas, varat to izmantot. Nav interneta savienojumaNoderīgs triks, lai to pārbaudītu, ir atspējot Wi-Fi sistēmas iestatījumos un atvērt aktivitāšu monitoru, lai novērotu GPU izmantošanu, kamēr tērzējat ar modeli; ja grafiks pārvietojas, viss darbs tiek veikts jūsu Mac datorā.
Alternatīva: instalējiet DeepSeek ar Ollama operētājsistēmā macOS
Ja dodat priekšroku termināļa vieglumam, Ollama ir ļoti populārs lokālais LLM modeļu serveris. Jūs lejupielādējat tā lietotni macOS operētājsistēmai, instalējat to tāpat kā jebkuru citu un varat izsaukt modeļus ar vienkāršu komandu.
Lai sāktu darbu, instalējiet Ollama no tās oficiālās tīmekļa vietnes un palaidiet to. Terminālī mazākās versijas tipiskā komanda ir: ollama palaist deepseek-r1:7bJa jums ir vairāk atmiņas (piemēram, 32 GB vai vairāk), varat izmēģināt jaudīgākas versijas (13B vai, ja uzdrošinies, 67B), lai gan Mac Mini datoros pieredze parasti ir stabilāka ar 7B vai 8B.
Tie, kas vēlas vizuālāku saskarni, var to pieslēgt Ollama. Dažas iespējas ir šādas: Tērzēšanas lodziņa mākslīgais intelekts (jūs norādāt pakalpojumu sniedzēju uz “Ollama API” un izvēlaties “DeepSeek R1 7B”) vai paplašinājumu Page Assist — tīmekļa lietotāja saskarne lokāliem mākslīgā intelekta modeļiem, kas pārlūkprogrammā piedāvā ChatGPT stila paneli, bet paļaujoties uz vietējo mākslīgo intelektu.
Lai pārliecinātos, ka viss notiek patiešām lokāli, izslēdziet Wi-Fi, palaidiet vaicājumu un vēlreiz skatiet aktivitāšu monitoru GPU cilnē. Jūs redzēsiet, ka sistēma izmanto integrēto grafiku vai Apple Silicon vienoto atmiņu. apstiprinot, ka mākonim nav datplūsmas.
R1 destilāts vai V3? Izmēri, aparatūra un modeļa izvēle
DeepSeek R1 destilētās versijās (piemēram, uz Qwen 7B vai Llama 8B bāzes) ir ideāla vieta mājas aprīkojumamTas saglabā spriešanas būtību, vienlaikus samazinot izmērus: mēs runājam par korpusiem no 4 līdz 8 GB, kas ir ļoti ērti pārvaldāmi Mac Mini ar 16 GB vienoto RAM.
Augstākās klases pilna versija, DeepSeek-R1:671B, ir datu centra materiāls. Saspiestā veidā tas var būt aptuveni 120 GB liels (ar oriģināliem simtiem GB), un tā reālistiskai izpildei ir nepieciešams vairākas profesionālas klases grafiskās kartes ar milzīgu videoatmiņas apjomu. Ilustrācijai minēšu mākoņdatošanas demonstrācijas mezglos ar astoņiem 192 GB AMD Instinct MI300X grafiskajiem procesoriem, desmitiem vai simtiem centrālā procesora kodolu un terabaitiem operatīvās atmiņas. Šis nav gluži patērētājam paredzēts galddators.
Ja izmantojat LM Studio, lūdzu, pārbaudiet tā saderības paziņojumus. Ja izmantojat Ollama, lūdzu, prioritizējiet 7B; ja tas darbojas nevainojami un jūsu lietojums to prasa, izmēģiniet 13B. Apple Silicon energoefektivitāte ir izcila, un pat bez dGPU, Žetoni sekundē ir ļoti pienācīgi. rakstīšanai, prāta vētrai, vieglai programmēšanai un tehniskām konsultācijām.
Reālās pasaules veiktspēja Mac Mini un citos Mac datoros ar Apple Silicon
Testi a Mac mini ar M4 mikroshēmu un 16 GB parāda, ka mazie/vidējie lokālie modeļi reaģē ātri. Lai gan nav īpaša grafika, vienota atmiņa un paātrinātāji SoC iespējas ļauj ātri ģenerēt tekstu ar zemu latentumu bieži uzvednēs.
Neformālos salīdzinājumos ar tīmekļa iespējām, piemēram, ChatGPT (GPT-4), Claude 3.5 Sonnet, Gemini 1.5 Flash vai pašu tiešsaistes DeepSeek V3, vietējie modeļi, piemēram, Lama 3.1–8B, Phi‑4‑14B o DeepSeek R1‑14B Tie pārsteidz ar savu reakcijas ātrumu pat vienlaicīgi darbojoties. Tomēr, saskaroties ar lielām slodzēm vai garām uzvednēm, Mākonis turpina iegūt neapstrādātu muskuļu masu.
Lokāli mērot "žetonus sekundē", ir noderīgi novērtēt aparatūras jauninājumus vai izlemt, vai jaunināt uz lielāku modeļa izmēru. Izmantojot LM Studio un Ollama, ir viegli atkārtot vienu un to pašu uzdevumu. ierakstīt sniegumu lai salīdzinātu konfigurācijas (vairāk CPU pavedienu, VRAM variācijas, konteksta garums utt.).
Kas viņiem izdodas (un kas neizdodas): spriešana, fakti un aizspriedumi
“Spriešanas” testi, piemēram, burtu skaitīšana, sniedz interesantus rezultātus. Ar vārdu "Zemeņu", daži vietējie modeļi neizdodas vai steidzas, savukārt DeepSeek R1 destilācija var veltīt vairāk laika domāšanai bet dari to pareizi, soli pa solim paskaidrojot, kā pievienot burtu “r”.
Spāņu frāzē "Svētā Rokē sunim nav astes, jo to nozaga Ramons Ramiress" situācija kļūst sarežģītāka: vairāki tīmekļa tērzēšanas roboti sākumā pieļauj kļūdas un pēc atkārtota jautājuma izlabo sevi. Lokāli R1 un citi modeļi Viņi var apjukt valodas dēļ vai ar meklēšanas mērķi (jaucot “r” ar “e”), kas skaidri norāda, ka ieteicams viņus vadīt un, ja nepieciešams, mēģināt vēlreiz ar precīzākiem norādījumiem.
Ar laterālās domāšanas mīklām, piemēram, par biljarda bumbiņām 7-9-11-13, kuru summa ir 30, ja apgriežat 9, lai tas kļūtu par 6, skaidra atbilde parasti ir "tu nevari". Pat ja tu uzstāj, ka "ir triks", Daudzi vietējie iedzīvotāji neatrod radošu veidu, savukārt daži tīmekļa pakalpojumi, kas ir izstrādes stadijā, to atrisina.
Uz faktiskiem jautājumiem (piemēram, Pasaules kausa ieguvēju un otrās vietas ieguvēju sarakstu) mākoņpakalpojumi nesenā laika posmā uzrādīja izcilu rezultātu, savukārt lokālie pakalpojumi bija... halucinācijas un nepareizi dati (izdomāti finālisti, nepareizi piešķirti tituli utt.). Šeit ieteikums ir pretstatīt un, ja nepieciešama vēsturiska precizitāte, paļauties uz pārbaudītiem avotiem vai izmantot lielāku/atjauninātu modeli.
Aplūkojot sensitīvas tēmas (Tjaņaņmeņa, Taivāna, līderu kritika), tiek novērtētas nianses: daži tīmekļa modeļi ierobežo saturu, un DeepSeek R1 lokāli var atbildēt, izmantojot filtrus vai īsinājumtaustiņus atkarībā no uzvednes, dažreiz ar ziņojumiem citās valodās viņu "domāšanas" laikā. Pozitīvais ir tas, ka kopumā vietējie iedzīvotāji ir atturīgi un cieņpilni, un viņi izvairās no bīstamām instrukcijām (piemēram, par bumbas izgatavošanu), atsakoties ar saprātīgiem brīdinājumiem.
Privātums un lokālā pieredze: Kas jums jāzina
Galvenais arguments DeepSeek instalēšanai Mac datorā ir šāds: Jūsu tērzēšanu nelasa trešās puses.Jūs nepaļaujaties uz kvotām vai lietošanas ierobežojumiem, un jūs varat turpināt strādāt bez pārklājuma. Tomēr, ja pārlūkosiet modelēšanas vietnes vai forumus, jūs redzēsiet sīkfailu paziņojumus (piemēram, Reddit), kuros tiek lūgta jūsu piekrišana; tas ietekmē tikai viņu platformu. nē jūsu vietējai izpildei.
Lokāli viss ir jūsu kontrolē: varat saglabāt sarunas, pielāgot parametrus un izlemt, kad atjaunināt vai mainīt modeļus. Turklāt tādi rīki kā Jebkas,LLM o LLM jebkur Tie piedāvā alternatīvas plūsmas ar lokāliem serveriem un, attiecīgā gadījumā, tīmekļa saskarnēm. līdzīgi tiešsaistes tērzēšanas robotiem bet neizņemot jūsu datus.
Iestatīšanas padomi: izmantojiet savu Mac datoru vairāk
Ja novērojat lēnu darbību, samaziniet modeļa izmēru vai izmantojiet variantus. 4 bitu kvantēts ja pieejams. Ja LM Studio programmā rodas ziņojums “Iespējams, ka tas ir pārāk liels šai ierīcei”, neuzspiediet to: stabila sesija ar labi noregulētiem 7B/8B raža pārsniedz 13 B pie robežas.
Aktivizēt "Saglabāt modeli atmiņā"lai ātri pārslēgtos starp tērzēšanām un zīmoliem"Izmēģiniet mmap()"ja platforma to atbalsta; Apple Silicon tas palīdz ar atmiņas pārvaldību. Iestatiet centrālā procesora pavedienu skaitu uz pusi vai trim ceturtdaļām no jūsu kodoliem, lai nepārslogotu citus uzdevumus, un piešķiriet VRAM konservatīvi, ja paralēli strādājat ar ietilpīgām lietotnēm (video rediģēšana, IDE utt.).
Konteksta garums ir vilinošs (piemēram, 131.072 marķieri), bet ne vienmēr tik daudz ir nepieciešams. Tā samazināšana uzlabo latentumu un enerģijas patēriņu. Rezervējiet milzīgus kontekstus priekš gari dokumenti vai koda analīzeun katru dienu izmantojiet kopsavilkuma uzvednes.
Ja eksperimentējat ar vairākiem modeļiem vienlaikus, izvairieties no to paralēlas darbināšanas 16 GB iekārtās; mainiet sesijas vai aizveriet to, kuru neizmantojat lai atgrieztu sistēmā vienoto atmiņu. Pārbaudiet aktivitāšu monitoru: ja redzat lielu atmiņas noslodzi, ir pienācis laiks izkraut modeli, atbrīvot resursus vai izpildīt norādījumus. Rokasgrāmata, ja Mac ir bloķēts.
Ieteicamās darbplūsmas
Ja vēlaties ChatGPT stila saskarni virs Ollama, izmantojiet Chatbox AI vai Page Assist. Konfigurējiet “Ollama API”, izvēlieties “DeepSeek R1 7B”, un viss: jums būs tīrs logs, kurā Testa uzvednes, sesiju saglabāšana un modeļu maiņa bez komandu ierakstīšanas.
Ātri jautājumi
- Vai es varu izmantot DeepSeek bez interneta? Jā. Lejupielādējiet modeli, un pēc ielādes varat izslēgt Wi-Fi. Aprēķins tiek veikts jūsu Mac datorā, un dati netiek izvadīti.
- Kurš Mac man ir nepieciešams? Ar Apple Silicon (M sērija) un 16 GB vienoto atmiņu 7 GB/8 GB darbojas ļoti labi. Varat izmēģināt 8 GB, taču tad būs mazāk vietas.
- Vai tas ir tikpat precīzs kā mākonis? Tas ir atkarīgs no gadījuma. Tas ļoti labi darbojas spriešanas un radošuma jomā; kritisku faktu datu apstrādē, pārbaudīt avotus vai izmantot lielākus modeļus.
- Vai es varu viegli mainīt modeļus? Jā. LM Studio un Ollama ļauj lejupielādēt un pārslēgties starp modeļiem (Llama, Phi, Qwen utt.), lai salīdzinātu veiktspēju un stilu.
DeepSeek instalēšana Mac Mini datorā ir ērts veids, kā ienest mākslīgo intelektu savā datorā. ātrums, privātums un pilnīga kontroleAr LM Studio jums ir vadīta pieredze, un ar Ollama jums ir viegla plūsma katrā terminālī; abi sniedz jums piekļuvi ļoti spējīgām destilētām versijām, pārliecinošai spriešanai daudzos uzdevumos un pietiekamai jaudai rakstīšanai, programmēšanai un eksperimentiem, zinot, ka visa apstrāde notiek jūsu datorā.
