Ar pakaks „Mac Mini“, kad „DeepSeek V4“ mokytųsi iš mano veiksmų vaizdo įrašų, kaip aš valdau įvykius mano „iPhone“ ekrane?
Taip, modernus „Mac Mini“ (M4 arba M4 Pro su 64 GB ir daugiau RAM) gali veikti ir mokytis iš vaizdo įrašų duomenų, naudodamas „DeepSeek V4“ seriją (konkrečiai, 284B „Flash“ modelį) lokaliai, tačiau jam reikalingos specifinės konfigūracijos, pvz., 4 bitų kvantavimas, kad veiktų pagal RAM apribojimus.
„DeepSeek V4“ modeliai gali apdoroti daugiarūšę įvestį (tekstą, vaizdą ir vaizdo įrašą), o „Flash“ variantas (284B parametrai) yra sukurtas taip, kad būtų pakankamai efektyvus mažesniam, nei duomenų centrų įrangos, naudojimui.
Pagrindiniai šio naudojimo atvejo aspektai
Modelio pasirinkimas: turėtumėte naudoti „DeepSeek-V4-Flash“ (284B parametrai, aktyvuoti 13B), o ne „V4 Pro“ (1,6T parametrai). „Pro“ modelis yra per didelis vienam kompiuteriui, o „Flash“ variantas gali veikti su didelės RAM talpos „Apple Silicon“ procesoriumi, tinkamai kvantuojant.
Aparatinės įrangos reikalavimai („Mac Mini“):
Vieninga atmintis (RAM): 4 bitų kvantuotiems (Q4) modeliams reikia mažiausiai 64 GB. Sklandžiam ilgų vaizdo įrašų kontekstų (iki 1 mln. žetonų) apdorojimui labai pageidautina 128 GB.
Procesorius: „Apple Silicon M4“ arba „M4 Pro“ lustas.
Našumas: Vietinis vykdymas „Mac Mini“ kompiuteryje su 64 GB RAM gali užtikrinti „naudojamą“ išvadų greitį (apytiksliai ~10–15 žetonų/sek.), leidžiantį atlikti dirbtiniu intelektu pagrįstą „iPhone“ ekrano vizualinę analizę, nors tai neprilygs duomenų centro greičiui.
Programinės įrangos paketas: Norint paleisti GGUF kvantuotas modelio versijas, kurios yra optimizuotos „Apple Silicon“ (Metal Performance Shaders), greičiausiai, reikės naudoti tokias priemones, kaip „Ollama“ arba „LM Studio“.
Apribojimai
Mokymosi galimybės: Nors modelis gali „matyti“ ir analizuoti jūsų veiksmų vaizdo kadrus, modelio „mokymasis“ arba perkvalifikavimas, kad jis prisitaikytų prie jūsų veiksmų (tikslus derinimas), reikalauja daugiau skaičiavimo išteklių, nei vien tik modelio paleidimas (išvados). Vietinis tokio dydžio modelio tikslinimas viename „Mac Mini“ kompiuteryje yra nepraktiškas; jums reikės atlikti „išvadą su kontekstu“ (pateikiant vaizdo įrašą, kaip kontekstą raginime) arba naudoti LoRA (žemo rango adaptacijos) metodus, kad tikslinimo procesas būtų įmanomas toje aparatinėje įrangoje.
Kaip naudoti LoRA (žemo rango adaptacijos) metodus, kad tikslinimo procesas būtų įmanomas „Mac Mini“ kompiuteryje?
LoRA (žemo rango adaptacijos) naudojimas „Mac Mini“ („Apple Silicon“) kompiuteryje yra įmanomas, nes atminties reikalavimai sumažėja iki 65 %. Užšaldydami bazinį modelį ir apmokydami mažas, žemo rango skaidymo matricas (A ir B), galite suderinti daugiau, nei 7B parametrų modelius ribotoje vieningoje atmintyje. Tam geriausiai tinka „Apple“ mašininio mokymosi sistema „MLX“, dažnai derinama su 4 bitų kvantavimu (QLoRA), siekiant maksimalaus efektyvumo.
„LoRA“ tikslinimo žingsniai „Mac Mini“ kompiuteryje
Aplinkos nustatymas: įdiekite reikiamas bibliotekas, užtikrindami, kad būtų įdiegta „MLX“ sistema, skirta „Apple Silicon“ optimizavimui.
Duomenų rinkinio paruošimas: paruoškite mokymo duomenis JSONL formatu, paprastai įtraukdami raginimus ir atsakymus, panašiai, kaip aprašyta šiame pradedančiųjų vadove.
https://zohaib.me/a-beginners-guide-to-fine-tuning-llm-using-lora/
„LoRA“ konfigūravimas: taikykite „LoRA“ visiems linijiniams sluoksniams (ne tik užklausai / reikšmei), kad pasiektumėte geriausią našumą. Nustatykite žemą rangą (pvz., r lygus 4, 8 arba 16), kad sumažintumėte apmokomų parametrų skaičių.
Mokymo vykdymas, naudojant „MLX“: naudokite „MLX“ integruotą „LoRA“ / „QLoRA“ palaikymą, kad mokytumėte savo „Mac“ vieningoje atmintyje. Sujungimas ir eksportavimas: po mokymo sujunkite LoRA adapterius su baziniu modeliu, kad galėtumėte jį naudoti išvadoms gauti.
Patarimai, kaip efektyviai naudoti „Mac Mini“
Naudokite QLoRA: baziniam modeliui pritaikykite 4 bitų kvantizavimą per MLX, kad žymiai sumažintumėte atminties naudojimą.
Koreguokite rangą (r): mažesnės r vertės (pvz., 4 arba 8) reiškia mažiau parametrų ir mažiau atminties.
Visų sluoksnių adaptacija: geriausiems rezultatams pasiekti LoRA taikykite visiems linijinio transformatoriaus bloko sluoksniams.
Paketo dydis ir iškritimas: nustatykite mažus paketų dydžius ir padidinkite lora_dropout (pvz., 0,1), kad pagerintumėte reguliavimą.
Peržiūrėkite išteklius: šiame „Medium“ straipsnyje pateikiamas išsamus šių veiksmų įgyvendinimo vadovas.
https://kednaik.medium.com/llm-fine-tuning-with-lora-8e06f2227183
Pastaba: išsamesnių praktinių patarimų ir gilesnio LoRA supratimo galite rasti šiame Sebastiano Raschkos straipsnyje.
https://magazine.sebastianraschka.com/p/practical-tips-for-finetuning-llms
Vaizdo įrašų apdorojimas: ilgiems vaizdo įrašams apdoroti reikalingas didelis atminties pralaidumas, kad būtų išvengta kliūčių.
Verdiktas: 64 GB–128 GB talpos M4 „Mac Mini“ yra puikus pasirinkimas privačiai, vietinei sistemai, skirtai analizuoti ir mokytis iš ekrano veiksmo vaizdo įrašų, jei naudojate mažesnį V4 „Flash“ modelį su 4 bitų kvantavimu.
Kaip atlikti 4 bitų „DeepSeek“ mažesnio V4 „Flash“ modelio kvantavimą?
4 bitų „DeepSeek-V4-Flash“ modelio kvantavimas (284B parametrai) leidžia jam veikti vietinėje aparatinėje įrangoje, sumažinant atminties kiekį nuo FP16 iki valdomo dydžio, paprastai naudojant NF4 (Normalized Float 4) arba INT4 schemas. Atsižvelgiant į jo 284B struktūrą, tai geriausiai pasiekiama, naudojant pažangius įkėlimo metodus arba specializuotus kvantavimo įrankius, tokius, kaip „bitsandbytes“.
Štai kaip atlikti 4 bitų kvantavimą „DeepSeek-V4-Flash“ modelyje:
1. Kvantavimo reikalavimai
• VRAM/atmintis: net ir 4 bitų modelyje 284B modeliui reikia daug atminties (tikėtina, ~140–150 GB svoriams). Rekomenduojama „Mac Studio“ (192–256 GB RAM) arba keli aukštos klasės vaizdo procesoriai (pvz., 2x H100 96 GB).
• Bibliotekos: „transformers“, „accelerate“, „bitsandbytes“, „torch“.
• Kontrolinis taškas: „DeepSeek-V4-Flash“ (standartinis „Hugging Face“ formatas).
2. A metodas: 4 bitų įkėlimas, naudojant „bitsandbytes“ (lengvasis režimas)
Modelį galite įkelti tiesiogiai 4 bitų formatu naudodami „Hugging Face“ transformatorių biblioteką, kuri įkėlimo metu automatiškai taiko 4 bitų kvantizavimą „bitsandbytes“ formatu (NF4).
python
import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
# Konfigūruoti ir įkelti 4 bitų formatu (NF4)
bnb_config = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.float16)
model = AutoModelForCausalLM.from_pretrained(
"deepseek-ai/DeepSeek-V4-Flash",
quantization_config=bnb_config,
device_map="auto",
trust_remote_code=True # Būtina pasirinktinei architektūrai
)
Naudokite kodą atsargiai.
3. B metodas: naudojant „llmcompressor“ (specializuotiems formatams)
Po mokymo kvantizavimui (GPTQ), siekiant gauti svorius tokiems varikliams, kaip vLLM, galima naudoti „llmcompressor“.
python
from llmcompressor.transformers import SparseAutoModelForCausalLM, oneshot
from llmcompressor.modifiers.quantization import GPTQModifier
# Taikyti 4 bitų kvantizavimą
model = SparseAutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-V4-Flash", device_map="auto")
recipe = GPTQModifier(targets="Linear", scheme="W4A16", bits=4)
oneshot(model=model, recipe=recipe)
model.save_pretrained("DeepSeek-V4-Flash-4bit")
Naudokite kodą atsargiai.
4. Svarbūs V4-Flash aspektai
• Našumas: Nors „DeepSeek-V4-Flash“ naudoja natyvų mišrų tikslumą, 4 bitų kvantavimas dar labiau sumažina atminties naudojimą, o tai gali pakenkti tikslumui.
• Atminties valdymas: „device_map="auto" naudojimas yra būtinas, norint padalinti 284B modelį tarp kelių GPU.
• Iš anksto kvantuoti modeliai: patikrinkite „deepseek-ai Hugging Face“ saugyklą, kurioje yra iš anksto kvantuotų GGUF versijų, kad išvengtumėte didelių vietinių skaičiavimo sąnaudų.
Nenuostabu, kad laikraščiai džiaugiasi šiuo pasiekimu:
„Kai Kinijos startuolis „DeepSeek“ praėjusiais metais paskelbė išsamią informaciją apie vieną iš savo dirbtinio intelekto modelių, tai sukėlė šoko bangas technologijų pramonėje.
Bendrovė teigė, kad sukūrė savo sistemą kompiuterių lustams išleisdama daug mažiau nei Amerikos konkurentai, tokie kaip „OpenAI“ ir „Anthropic“. Tai buvo to, kas tapo žinoma kaip Kinijos „DeepSeek“ akimirka, trumpinys, reiškiantis įsitikinimą, kad Kinijos dirbtinio intelekto įmonės yra pasirengusios parodyti savo techninius pajėgumus pasauliui.
„DeepSeek“ akimirka atspindėjo pokytį pasaulinėje dirbtinio intelekto aplinkoje. Pokytis buvo susijęs ne tik su mažesnėmis sąnaudomis, bet ir su atvirumu, kaip dalijamasi technologijomis.
„DeepSeek“ išleido savo modelius kaip atvirojo kodo, o tai reiškia, kad kiti gali juos laisvai naudoti ir modifikuoti. Tuo tarpu „OpenAI“ ir „Anthropic“ išlaikė savo pagrindinius modelius nuosavybės teise. Šis epizodas parodė, kad atvirojo kodo sistema gali veikti beveik taip pat gerai, kaip ir uždaros versijos. Per ateinančius mėnesius Kinijos įmonės išleido dešimtis kitų atvirojo kodo modelių. Iki 2025 m. pabaigos šie modeliai sudarė didelę pasaulinės rinkos dalį dirbtinio intelekto naudojime.
Penktadienį „DeepSeek“ išleido ilgai laukto savo tęsinio V4, kurį ketina atvirojo kodo formatu, peržiūrą. Naujasis modelis puikiai tinka rašyti kompiuterinį kodą, o tai tampa vis svarbesniu įgūdžiu pirmaujančioms dirbtinio intelekto sistemoms. Remiantis „Vals AI“, bendrovės, stebinčios dirbtinio intelekto technologijų našumą, testais, jis gerokai pranoko visas kitas atvirojo kodo sistemas generuojant kodą.
„DeepSeek“ išleido savo naująjį modelį vos kelios dienos po to, kai kita Kinijos įmonė „Moonshot AI“ pristatė naujausią atvirojo kodo modelį „Kimi 2.6“. Nors šios sistemos atsilieka nuo pirmaujančių JAV modelių, tokių kaip „Anthropic“ ir „OpenAI“, kodavimo galimybių, skirtumas mažėja.
Išvados yra reikšmingos. Dirbtinio intelekto naudojimas kodui rašyti yra greitesnis ir leidžia žmonėms programuotojams sutelkti dėmesį į didesnes problemas. Tai taip pat reiškia, kad žmonės gali naudoti naujausią „DeepSeek“ versiją dirbtinio intelekto agentams – asmeniniams skaitmeniniams asistentams, kurie gali naudoti kitas programinės įrangos programas biuro darbuotojų vardu, įskaitant skaičiuokles, internetinius kalendorius ir el. pašto paslaugas.
Kaip Dirbtinio intelekto sistemos tobulėja rašydamos kompiuterinį kodą, jos taip pat geriau aptinka programinės įrangos saugumo spragas – įgūdį, kuris iš esmės keičia kibernetinį saugumą. Tai reiškia, kad tokios priemonės kaip „DeepSeek“ gali būti naudojamos tiek kompiuterių tinklams atakuoti, tiek ginti.
Atliekant užduotis, „DeepSeek V4“ prilygsta naujausiam „Moonshot“ modeliui. „Jie iš esmės yra kaklu į kaklu“, – sakė Rayanas Krishnanas, „Vals AI“ generalinis direktorius.
Likus mėnesiams iki naujausio „DeepSeek“ leidimo, užsienio konkurentai ėmėsi veiksmų, kad užkirstų kelią dar vienai kritikos bangai. Silicio slėnio dirbtinio intelekto gigantai „Anthropic“ ir „OpenAI“ teigė, kad „DeepSeek“ nesąžiningai pasinaudojo jų technologija distiliavimo būdu – procesu, kurio metu inžinieriai imituoja konkuruojančio modelio duomenis, milijonus kartų jį užklausdami ir kopijuodami jo elgseną.
Konkurencija dėl geriausiai veikiančių dirbtinio intelekto sistemų kūrimo virto geopolitine kova dėl galios. Nors Silicio slėnio vadovai „Anthropic“ ir „OpenAI“ perspėja, kad jų technologija būtų pavojinga autokratinių šalių rankose, Kinija investavo milijardus, kad taptų dirbtinio intelekto supervalstybe, laikydama šią technologiją svarbiu ekonomikos augimo varikliu.
„DeepSeek“ atvirojo kodo modeliai yra šios strategijos pagrindas. Nors daugelis Vakarų bendrovių saugo savo vertingiausius modelius, Kinija priėmė atvirojo kodo technologijas ir beveik visos jos geriausiai veikiančios sistemos yra plačiai prieinamos.
Nepaisant to, Kinijos dirbtinio intelekto įmonės susiduria su didelėmis kliūtimis. Trys JAV administracijos įvedė eksporto kontrolę, ribojančią prieigą prie pažangių lustų, reikalingų pažangiausioms dirbtinio intelekto sistemoms. Silicio slėnio įmonės ir toliau lenkia Kinijos konkurentus lenkdamos geriausius dirbtinio intelekto specialistus.
Remiantis nauju JAV Kongreso patariamosios įstaigos tyrimu, Kinijos pastangos diegti atvirojo kodo dirbtinį intelektą tapo dideliu ekonominiu pranašumu šalyje. Kadangi sistemos yra nedaug naudojamos, jos paplito tokiose pramonės šakose kaip robotika, logistika ir gamyba. Tyrimas parodė, kad šios pramoninės programos generuoja realaus pasaulio duomenis, kurie naudojami dirbtinio intelekto sistemoms tobulinti.
Toks požiūris leido Kinijos technologijų įmonėms įgyti pasaulinę įtaką, nes programuotojai ir inžinieriai visame pasaulyje pritaiko jų sistemas kurdami naujus produktus.
Nuo Lagoso iki Kvala Lumpūro kūrėjai, turintys ribotą biudžetą, renkasi Kinijos atvirojo kodo modelius, nes juos pigiau eksploatuoti ir todėl lengviau eksperimentuoti. Praėjusių metų gegužę Malaizijos susisiekimo viceministras pareiškė, kad šalies suvereni dirbtinio intelekto infrastruktūra bus sukurta remiantis „DeepSeek“ technologija.
Remiantis dirbtinio intelekto tyrimų bendrovės „OpenRouter“ tyrimu, Kinijos atvirojo kodo modeliai praėjusiais metais sudarė maždaug trečdalį pasaulinio dirbtinio intelekto naudojimo. modelių rinka. „DeepSeek“ buvo plačiausiai naudojamas modelis, po jo sekė Kinijos interneto bendrovės „Alibaba“ modeliai.
Tai atspindi platesnę strategiją. Kinijos įmonėms plečiantis užsienyje, atvirojo kodo sistemų naudojimas padeda joms įgyti patrauklumo tarp programuotojų, siūlant pigesnius ir prieinamesnius įrankius.
„Atvirasis kodas yra ateities technologijų švelnioji galia“, – teigė Kevinas Xu, JAV įsikūrusio rizikos draudimo fondo „Interconnected Capital“, investuojančio į dirbtinio intelekto technologijas, įkūrėjas. Ponas Xu ir jo fondas neinvestuoja į „DeepSeek“.
Vyriausiasis dirbtinio intelekto analitikas „Counterpoint Research“ Pekine Wei Sunas teigė, kad „DeepSeek“ sėkmė atvėrė kelią Kinijos technologijų gigantams viešai skelbti savo dirbtinio intelekto sistemas, o ne jas atidžiai saugoti.
Nuo to laiko „Alibaba“ tapo lydere. Jos „Qwen“ modelių šeima viršijo 1 milijardą atsisiuntimų. „ByteDance“, „TikTok“ patronuojanti bendrovė, taip pat pasidalijo kai kuriomis savo technologijos detalėmis, išleidusi 11 milijardų dolerių dirbtiniam intelektui. infrastruktūra 2024 m.
„Dirbtinio intelekto atvirojo kodo kūrėjų karta iš Kinijos buvo bene didžiausia DI istorija 2025 m.“, – sakė ponas Xu. „Modelių pažanga, išleidimo tempas ir DI laboratorijų, kurios konkuruoja tarpusavyje, bet ir, regis, viena kitą palaiko, skaičius vyko greitai ir įnirtingai, be jokių lėtėjimo ženklų.“ [1]
1. DeepSeek’s Sequel Set to Extend China’s Reach in Open-Source A.I. Tobin, Meaghan; Metz, Cade. New York Times (Online) New York Times Company. Apr 24, 2026.
Komentarų nėra:
Rašyti komentarą