Ar pakaks „Mac Mini“, kad „DeepSeek V4“ mokytųsi iš mano
veiksmų vaizdo įrašų, kaip aš valdau įvykius mano „iPhone“ ekrane?
Taip, modernus „Mac Mini“ (M4 arba M4 Pro su 64 GB ir
daugiau RAM) gali veikti ir mokytis iš vaizdo įrašų duomenų, naudodamas
„DeepSeek V4“ seriją (konkrečiai, 284B „Flash“ modelį) lokaliai, tačiau jam
reikalingos specifinės konfigūracijos, pvz., 4 bitų kvantavimas, kad veiktų
pagal RAM apribojimus.
„DeepSeek V4“ modeliai gali apdoroti daugiarūšę įvestį
(tekstą, vaizdą ir vaizdo įrašą), o „Flash“ variantas (284B parametrai) yra
sukurtas taip, kad būtų pakankamai efektyvus mažesniam, nei duomenų centrų
įrangos, naudojimui.
Pagrindiniai šio naudojimo atvejo aspektai
Modelio pasirinkimas: turėtumėte naudoti „DeepSeek-V4-Flash“
(284B parametrai, aktyvuoti 13B), o ne „V4 Pro“ (1,6T parametrai). „Pro“
modelis yra per didelis vienam kompiuteriui, o „Flash“ variantas gali veikti su
didelės RAM talpos „Apple Silicon“ procesoriumi, tinkamai kvantuojant.
Aparatinės įrangos reikalavimai („Mac Mini“):
Vieninga atmintis (RAM): 4 bitų kvantuotiems (Q4) modeliams
reikia mažiausiai 64 GB. Sklandžiam ilgų vaizdo įrašų kontekstų (iki 1 mln.
žetonų) apdorojimui labai pageidautina 128 GB.
Procesorius: „Apple Silicon M4“ arba „M4 Pro“ lustas.
Našumas: Vietinis vykdymas „Mac Mini“ kompiuteryje su 64 GB
RAM gali užtikrinti „naudojamą“ išvadų greitį (apytiksliai ~10–15 žetonų/sek.),
leidžiantį atlikti dirbtiniu intelektu pagrįstą „iPhone“ ekrano vizualinę
analizę, nors tai neprilygs duomenų centro greičiui.
Programinės įrangos paketas: Norint paleisti GGUF kvantuotas
modelio versijas, kurios yra optimizuotos „Apple Silicon“ (Metal Performance
Shaders), greičiausiai, reikės naudoti tokias priemones, kaip „Ollama“ arba „LM
Studio“.
Apribojimai
Mokymosi galimybės: Nors modelis gali „matyti“ ir analizuoti
jūsų veiksmų vaizdo kadrus, modelio „mokymasis“ arba perkvalifikavimas, kad jis
prisitaikytų prie jūsų veiksmų (tikslus derinimas), reikalauja daugiau
skaičiavimo išteklių, nei vien tik modelio paleidimas (išvados). Vietinis tokio
dydžio modelio tikslinimas viename „Mac Mini“ kompiuteryje yra nepraktiškas;
jums reikės atlikti „išvadą su kontekstu“ (pateikiant vaizdo įrašą, kaip
kontekstą raginime) arba naudoti LoRA (žemo rango adaptacijos) metodus, kad
tikslinimo procesas būtų įmanomas toje aparatinėje įrangoje.
Kaip naudoti
LoRA (žemo rango adaptacijos) metodus, kad tikslinimo procesas būtų įmanomas
„Mac Mini“ kompiuteryje?
LoRA (žemo rango adaptacijos) naudojimas „Mac Mini“ („Apple
Silicon“) kompiuteryje yra įmanomas, nes atminties reikalavimai sumažėja iki 65
%. Užšaldydami bazinį modelį ir apmokydami mažas, žemo rango skaidymo matricas
(A ir B), galite suderinti daugiau, nei 7B parametrų modelius ribotoje
vieningoje atmintyje. Tam geriausiai tinka „Apple“ mašininio mokymosi sistema
„MLX“, dažnai derinama su 4 bitų kvantavimu (QLoRA), siekiant maksimalaus
efektyvumo.
„LoRA“ tikslinimo žingsniai „Mac Mini“ kompiuteryje
Aplinkos nustatymas: įdiekite reikiamas bibliotekas,
užtikrindami, kad būtų įdiegta „MLX“ sistema, skirta „Apple Silicon“
optimizavimui.
Duomenų rinkinio paruošimas: paruoškite mokymo duomenis
JSONL formatu, paprastai įtraukdami raginimus ir atsakymus, panašiai, kaip
aprašyta šiame pradedančiųjų vadove.
https://zohaib.me/a-beginners-guide-to-fine-tuning-llm-using-lora/
„LoRA“ konfigūravimas: taikykite „LoRA“ visiems linijiniams
sluoksniams (ne tik užklausai / reikšmei), kad pasiektumėte geriausią našumą.
Nustatykite žemą rangą (pvz., r lygus 4, 8 arba 16), kad
sumažintumėte apmokomų parametrų skaičių.
Mokymo vykdymas, naudojant „MLX“: naudokite „MLX“ integruotą
„LoRA“ / „QLoRA“ palaikymą, kad mokytumėte savo „Mac“ vieningoje atmintyje.
Sujungimas ir eksportavimas: po mokymo sujunkite LoRA adapterius su baziniu
modeliu, kad galėtumėte jį naudoti išvadoms gauti.
Patarimai, kaip efektyviai naudoti „Mac Mini“
Naudokite QLoRA: baziniam modeliui pritaikykite 4 bitų
kvantizavimą per MLX, kad žymiai sumažintumėte atminties naudojimą.
Koreguokite rangą (r): mažesnės r vertės
(pvz., 4 arba 8) reiškia mažiau parametrų ir mažiau atminties.
Visų sluoksnių adaptacija: geriausiems rezultatams pasiekti
LoRA taikykite visiems linijinio transformatoriaus bloko sluoksniams.
Paketo dydis ir iškritimas: nustatykite mažus paketų dydžius
ir padidinkite lora_dropout (pvz., 0,1), kad pagerintumėte reguliavimą.
Peržiūrėkite išteklius: šiame „Medium“ straipsnyje
pateikiamas išsamus šių veiksmų įgyvendinimo vadovas.
https://kednaik.medium.com/llm-fine-tuning-with-lora-8e06f2227183
Pastaba: išsamesnių praktinių patarimų ir gilesnio LoRA
supratimo galite rasti šiame Sebastiano Raschkos straipsnyje.
https://magazine.sebastianraschka.com/p/practical-tips-for-finetuning-llms
Vaizdo įrašų apdorojimas: ilgiems vaizdo įrašams apdoroti
reikalingas didelis atminties pralaidumas, kad būtų išvengta kliūčių.
Verdiktas:
64 GB–128 GB talpos M4 „Mac Mini“ yra puikus pasirinkimas privačiai, vietinei
sistemai, skirtai analizuoti ir mokytis iš ekrano veiksmo vaizdo įrašų, jei
naudojate mažesnį V4 „Flash“ modelį su 4 bitų kvantavimu.
Kaip atlikti
4 bitų „DeepSeek“ mažesnio V4 „Flash“ modelio kvantavimą?
4 bitų „DeepSeek-V4-Flash“ modelio kvantavimas (284B
parametrai) leidžia jam veikti vietinėje aparatinėje įrangoje, sumažinant
atminties kiekį nuo FP16 iki valdomo dydžio, paprastai naudojant NF4
(Normalized Float 4) arba INT4 schemas. Atsižvelgiant į jo 284B struktūrą, tai
geriausiai pasiekiama, naudojant pažangius įkėlimo metodus arba specializuotus
kvantavimo įrankius, tokius, kaip „bitsandbytes“.
Štai kaip atlikti 4 bitų kvantavimą „DeepSeek-V4-Flash“
modelyje:
1. Kvantavimo reikalavimai
• VRAM/atmintis: net ir 4 bitų modelyje 284B modeliui reikia
daug atminties (tikėtina, ~140–150 GB svoriams). Rekomenduojama „Mac Studio“
(192–256 GB RAM) arba keli aukštos klasės vaizdo procesoriai (pvz., 2x H100 96
GB).
• Bibliotekos: „transformers“, „accelerate“, „bitsandbytes“,
„torch“.
• Kontrolinis taškas: „DeepSeek-V4-Flash“ (standartinis
„Hugging Face“ formatas).
2. A metodas: 4 bitų įkėlimas, naudojant „bitsandbytes“
(lengvasis režimas)
Modelį galite įkelti tiesiogiai 4 bitų formatu naudodami
„Hugging Face“ transformatorių biblioteką, kuri įkėlimo metu automatiškai taiko
4 bitų kvantizavimą „bitsandbytes“ formatu (NF4).
python
import torch
from transformers import AutoModelForCausalLM,
BitsAndBytesConfig
# Konfigūruoti ir įkelti 4 bitų formatu (NF4)
bnb_config = BitsAndBytesConfig(load_in_4bit=True,
bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.float16)
model = AutoModelForCausalLM.from_pretrained(
"deepseek-ai/DeepSeek-V4-Flash",
quantization_config=bnb_config,
device_map="auto",
trust_remote_code=True # Būtina pasirinktinei architektūrai
)
Naudokite kodą atsargiai.
3. B metodas: naudojant „llmcompressor“ (specializuotiems
formatams)
Po mokymo kvantizavimui (GPTQ), siekiant gauti svorius
tokiems varikliams, kaip vLLM, galima naudoti „llmcompressor“.
python
from llmcompressor.transformers import
SparseAutoModelForCausalLM, oneshot
from llmcompressor.modifiers.quantization import
GPTQModifier
# Taikyti 4 bitų kvantizavimą
model =
SparseAutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-V4-Flash",
device_map="auto")
recipe = GPTQModifier(targets="Linear",
scheme="W4A16", bits=4)
oneshot(model=model, recipe=recipe)
model.save_pretrained("DeepSeek-V4-Flash-4bit")
Naudokite kodą atsargiai.
4. Svarbūs V4-Flash aspektai
• Našumas: Nors „DeepSeek-V4-Flash“ naudoja natyvų mišrų
tikslumą, 4 bitų kvantavimas dar labiau sumažina atminties naudojimą, o tai
gali pakenkti tikslumui.
• Atminties valdymas: „device_map="auto"
naudojimas yra būtinas, norint padalinti 284B modelį tarp kelių GPU.
• Iš
anksto kvantuoti modeliai: patikrinkite „deepseek-ai Hugging Face“ saugyklą,
kurioje yra iš anksto kvantuotų GGUF versijų, kad išvengtumėte didelių vietinių
skaičiavimo sąnaudų.
Nenuostabu, kad laikraščiai džiaugiasi šiuo pasiekimu:
„Kai Kinijos startuolis „DeepSeek“ praėjusiais metais
paskelbė išsamią informaciją apie vieną iš savo dirbtinio intelekto modelių,
tai sukėlė šoko bangas technologijų pramonėje.
Bendrovė teigė, kad sukūrė savo sistemą kompiuterių lustams
išleisdama daug mažiau nei Amerikos konkurentai, tokie kaip „OpenAI“ ir
„Anthropic“. Tai buvo to, kas tapo žinoma kaip Kinijos „DeepSeek“ akimirka,
trumpinys, reiškiantis įsitikinimą, kad Kinijos dirbtinio intelekto įmonės yra
pasirengusios parodyti savo techninius pajėgumus pasauliui.
„DeepSeek“ akimirka atspindėjo pokytį pasaulinėje dirbtinio
intelekto aplinkoje. Pokytis buvo susijęs ne tik su mažesnėmis sąnaudomis, bet
ir su atvirumu, kaip dalijamasi technologijomis.
„DeepSeek“ išleido savo modelius kaip atvirojo kodo, o tai
reiškia, kad kiti gali juos laisvai naudoti ir modifikuoti. Tuo tarpu „OpenAI“
ir „Anthropic“ išlaikė savo pagrindinius modelius nuosavybės teise. Šis
epizodas parodė, kad atvirojo kodo sistema gali veikti beveik taip pat gerai,
kaip ir uždaros versijos. Per ateinančius mėnesius Kinijos įmonės išleido
dešimtis kitų atvirojo kodo modelių. Iki 2025 m. pabaigos šie modeliai sudarė
didelę pasaulinės rinkos dalį dirbtinio intelekto naudojime.
Penktadienį „DeepSeek“ išleido ilgai laukto savo tęsinio V4,
kurį ketina atvirojo kodo formatu, peržiūrą. Naujasis modelis puikiai tinka
rašyti kompiuterinį kodą, o tai tampa vis svarbesniu įgūdžiu pirmaujančioms
dirbtinio intelekto sistemoms. Remiantis „Vals AI“, bendrovės, stebinčios
dirbtinio intelekto technologijų našumą, testais, jis gerokai pranoko visas
kitas atvirojo kodo sistemas generuojant kodą.
„DeepSeek“ išleido savo naująjį modelį vos kelios dienos po
to, kai kita Kinijos įmonė „Moonshot AI“ pristatė naujausią atvirojo kodo
modelį „Kimi 2.6“. Nors šios sistemos atsilieka nuo pirmaujančių JAV modelių,
tokių kaip „Anthropic“ ir „OpenAI“, kodavimo galimybių, skirtumas mažėja.
Išvados yra reikšmingos. Dirbtinio intelekto naudojimas
kodui rašyti yra greitesnis ir leidžia žmonėms programuotojams sutelkti dėmesį
į didesnes problemas. Tai taip pat reiškia, kad žmonės gali naudoti naujausią
„DeepSeek“ versiją dirbtinio intelekto agentams – asmeniniams skaitmeniniams
asistentams, kurie gali naudoti kitas programinės įrangos programas biuro
darbuotojų vardu, įskaitant skaičiuokles, internetinius kalendorius ir el.
pašto paslaugas.
Kaip Dirbtinio intelekto sistemos tobulėja rašydamos
kompiuterinį kodą, jos taip pat geriau aptinka programinės įrangos saugumo
spragas – įgūdį, kuris iš esmės keičia kibernetinį saugumą. Tai reiškia, kad
tokios priemonės kaip „DeepSeek“ gali būti naudojamos tiek kompiuterių tinklams
atakuoti, tiek ginti.
Atliekant užduotis, „DeepSeek V4“ prilygsta naujausiam
„Moonshot“ modeliui. „Jie iš esmės yra kaklu į kaklu“, – sakė Rayanas
Krishnanas, „Vals AI“ generalinis direktorius.
Likus mėnesiams iki naujausio „DeepSeek“ leidimo, užsienio
konkurentai ėmėsi veiksmų, kad užkirstų kelią dar vienai kritikos bangai. Silicio
slėnio dirbtinio intelekto gigantai „Anthropic“ ir „OpenAI“ teigė, kad
„DeepSeek“ nesąžiningai pasinaudojo jų technologija distiliavimo būdu –
procesu, kurio metu inžinieriai imituoja konkuruojančio modelio duomenis,
milijonus kartų jį užklausdami ir kopijuodami jo elgseną.
Konkurencija dėl geriausiai veikiančių dirbtinio intelekto
sistemų kūrimo virto geopolitine kova dėl galios. Nors Silicio slėnio vadovai
„Anthropic“ ir „OpenAI“ perspėja, kad jų technologija būtų pavojinga
autokratinių šalių rankose, Kinija investavo milijardus, kad taptų dirbtinio
intelekto supervalstybe, laikydama šią technologiją svarbiu ekonomikos augimo
varikliu.
„DeepSeek“ atvirojo kodo modeliai yra šios strategijos
pagrindas. Nors daugelis Vakarų bendrovių saugo savo vertingiausius modelius,
Kinija priėmė atvirojo kodo technologijas ir beveik visos jos geriausiai
veikiančios sistemos yra plačiai prieinamos.
Nepaisant to, Kinijos dirbtinio intelekto įmonės susiduria
su didelėmis kliūtimis. Trys JAV administracijos įvedė eksporto kontrolę,
ribojančią prieigą prie pažangių lustų, reikalingų pažangiausioms dirbtinio
intelekto sistemoms. Silicio slėnio įmonės ir toliau lenkia Kinijos konkurentus
lenkdamos geriausius dirbtinio intelekto specialistus.
Remiantis nauju JAV Kongreso patariamosios įstaigos tyrimu,
Kinijos pastangos diegti atvirojo kodo dirbtinį intelektą tapo dideliu
ekonominiu pranašumu šalyje. Kadangi sistemos yra nedaug naudojamos, jos
paplito tokiose pramonės šakose kaip robotika, logistika ir gamyba. Tyrimas
parodė, kad šios pramoninės programos generuoja realaus pasaulio duomenis,
kurie naudojami dirbtinio intelekto sistemoms tobulinti.
Toks požiūris leido Kinijos technologijų įmonėms įgyti
pasaulinę įtaką, nes programuotojai ir inžinieriai visame pasaulyje pritaiko jų
sistemas kurdami naujus produktus.
Nuo Lagoso iki Kvala Lumpūro kūrėjai, turintys ribotą
biudžetą, renkasi Kinijos atvirojo kodo modelius, nes juos pigiau eksploatuoti
ir todėl lengviau eksperimentuoti. Praėjusių metų gegužę Malaizijos susisiekimo
viceministras pareiškė, kad šalies suvereni dirbtinio intelekto infrastruktūra
bus sukurta remiantis „DeepSeek“ technologija.
Remiantis dirbtinio intelekto tyrimų bendrovės „OpenRouter“
tyrimu, Kinijos atvirojo kodo modeliai praėjusiais metais sudarė maždaug
trečdalį pasaulinio dirbtinio intelekto naudojimo. modelių rinka. „DeepSeek“
buvo plačiausiai naudojamas modelis, po jo sekė Kinijos interneto bendrovės
„Alibaba“ modeliai.
Tai atspindi platesnę strategiją. Kinijos įmonėms plečiantis
užsienyje, atvirojo kodo sistemų naudojimas padeda joms įgyti patrauklumo tarp
programuotojų, siūlant pigesnius ir prieinamesnius įrankius.
„Atvirasis kodas yra ateities technologijų švelnioji galia“,
– teigė Kevinas Xu, JAV įsikūrusio rizikos draudimo fondo „Interconnected
Capital“, investuojančio į dirbtinio intelekto technologijas, įkūrėjas. Ponas
Xu ir jo fondas neinvestuoja į „DeepSeek“.
Vyriausiasis dirbtinio intelekto analitikas „Counterpoint
Research“ Pekine Wei Sunas teigė, kad „DeepSeek“ sėkmė atvėrė kelią Kinijos
technologijų gigantams viešai skelbti savo dirbtinio intelekto sistemas, o ne
jas atidžiai saugoti.
Nuo to laiko „Alibaba“ tapo lydere. Jos „Qwen“ modelių šeima
viršijo 1 milijardą atsisiuntimų. „ByteDance“, „TikTok“ patronuojanti bendrovė,
taip pat pasidalijo kai kuriomis savo technologijos detalėmis, išleidusi 11
milijardų dolerių dirbtiniam intelektui. infrastruktūra 2024 m.
„Dirbtinio intelekto atvirojo kodo kūrėjų karta iš Kinijos
buvo bene didžiausia DI istorija 2025 m.“, – sakė ponas Xu. „Modelių pažanga,
išleidimo tempas ir DI laboratorijų, kurios konkuruoja tarpusavyje, bet ir,
regis, viena kitą palaiko, skaičius vyko greitai ir įnirtingai, be jokių
lėtėjimo ženklų.“ [1]
1. DeepSeek’s Sequel Set to Extend China’s Reach in
Open-Source A.I. Tobin, Meaghan; Metz, Cade. New York Times (Online) New York
Times Company. Apr 24, 2026.