Ne, pats agentas „Алиса AI для бизнеса“ („Alice AI for Business“) neturi atvirų svorių, ir visos agento platformos negalima paleisti vietoje.
Tai uždara, debesų kompiuterija pagrįsta, agento platforma, kurią valdo „Yandex“. Vis dėlto, pagrindinė technologija turi komponentą su atvirais svoriais, kurį galima diegti ir valdyti savarankiškai.
________________________________________
Diegimas ir prieinamumas vietoje
Norint suprasti, kaip su juo sąveikauti, produktą reikia padalyti į dvi dalis: agento programą ir bazinį modelį.
Komponentas Architektūra Vykdymas vietoje?
„Алиса AI для бизнеса“ (agentas) Uždara Ne. Tai debesų platforma, integruota su „Yandex 360“ (paštas, diskas, „Tracker“) ir trečiųjų šalių įrankiais, tokiais, kaip „1C“ bei CRM sistemos. „Yandex“ planuoja įmonių aplinkai pasiūlyti hibridinio diegimo parinktį per „Yandex Cloud“, tačiau tai vis tiek išliks valdoma paslauga, o ne autonominė programa, veikianti be interneto ryšio.
„AliceAI-Foundation-80B“ (modelis) Atviri svoriai Taip. „Yandex“ pagal „Apache 2.0“ licenciją išleido bazinio modelio, kuriuo remiasi visa ekosistema, svorius. Šį pirminį modelį galite atsisiųsti ir paleisti savo techninėje įrangoje.
Modelio vykdymas vietoje
Jei norite savo infrastruktūroje paleisti pagrindinį variklį („AliceAI-Foundation-80B-A3B-Base“):
• Kur rasti: svoriai talpinami ir prieinami atsisiųsti „Hugging Face“ platformoje.
• Techninės įrangos reikalavimai: kadangi tai yra 80 milijardų parametrų „Mixture-of-Experts“ (MoE) modelis (su 3 milijardais aktyvių parametrų vienam žetonui / *token*), sklandžiam veikimui reikės galingos sistemos (pvz., aukščiausios klasės „Apple Silicon“ arba pramoninio lygio dedikuotų GPU).
• Galimybės: šis savarankiškas modelis itin gerai apdoroja ilgus dokumentus rusų kalba (palaiko 262 144 žetonų konteksto langą). Vis dėlto, paleidus bazinį modelį vietoje, gausite tik pirminę teksto užbaigimo funkciją – jame nebus agento darbo eigų, papildinių ar verslo programinės įrangos vartotojo sąsajos.
Komentarų nėra:
Rašyti komentarą