Multimodalinių modelių lokaliam derinimui vaizdo įrašų duomenų rinkiniuose naudojant LoRA, geriausi atvirojo kodo pasirinkimai yra LLaVA-NeXT (vaizdo įrašas), Qwen-VL ir Video-LLaVA. Šie modeliai grupuoja vaizdo įrašų kadrus į nuoseklius žetonus, todėl juos lengva tiksliai derinti, naudojant vaizdo klausimų arba vaizdo įrašų subtitrų duomenų rinkinius, naudojant standartines parametrų požiūriu efektyvaus derinimo (PEFT) sistemas.
Populiariausi modeliai ir ekosistemos
• LLaVA-NeXT-Video: Pažangiausia vaizdo samprotavimo sistema. Ji iš esmės palaiko vaizdo įrašų laikinį supratimą, todėl ją galima lengvai pritaikyti, naudojant LoRA ir parametrų požiūriu efektyvius metodus. Ją galite lengvai apmokyti, naudodami LLaVA-NeXT GitHub saugyklą.
• Qwen-VL: Neįtikėtinai galinga regėjimo kalbos modelių šeima, žinoma dėl aukštos kokybės erdvinio ir laikinio samprotavimo. Galite apmokyti ir pritaikyti pasirinktinius „Qwen“ modelius vaizdo įvestims, naudodami „Llama Factory“ – puikią, mažai kodo reikalaujančią, „LoRA“ derinimo sistemą.
• „Video-LLaVA“: specialiai sukurta vaizdų ir vaizdo įrašų vizualiniam reprezentavimui suvienodinti. Ji leidžia sustabdyti didelių bazinių svorių, kuriuos turi pagrindiniai LLM ir vaizdo kodavimo įrenginiai, naudojimą, tuo pačiu metu tiksliai derinant adapterio matricą (LoRA). Šis metodas žymiai sumažina VRAM reikalavimus.
Rekomenduojamos bibliotekos ir vietinė sąranka
Norėdami paleisti ir tiksliai derinti šiuos modelius vietoje, galite naudoti šiuos atvirojo kodo paketus:
1. „Unsloth“: labai optimizuota multimodalinių modelių tiksliam derinimui, „Unsloth“ teikia greitą „Vision+Text“ mokymą, kuris žymiai sumažina GPU atminties sunaudojimą.
2. „Hugging Face“ PEFT / TRL: šios standartinės „Python“ bibliotekos maitina beveik visus vietinius „LoRA“ tikslinimo darbo eigų procesus, leisdamos pateikti JSONL vaizdo įrašų kelių / kadrų duomenų rinkinį kartu su teksto raginimais.
Konceptualiai suprasti, kaip LoRA tiesiogiai susiejama su „Vision-Language“ modeliais, kad būtų galima mokyti vartotojų GPU:
https://www.youtube.com/watch?v=Oj27kALfvr0&t=1388
Komentarų nėra:
Rašyti komentarą