"Europos Parlamentas susitarė dėl dirbtinio intelekto
(AI) sistemos. Ir balsuoja dabar. Štai keturi požiūriai, ką tai reiškia.
„ChatGPT“ sprendimas po sunkių imtynių
Kai Zenner
2023 m. birželio 14 d. bus svarbi dirbtinio intelekto
diena Europoje. Po 18 mėnesių trukusių derybų laukiama balsavimo dėl Europos
Parlamento atsakymo į siūlomą AI reglamentą. ES Komisijos projektas buvo
teisėkūros naujovė. Pirmą kartą produktų saugos ir žmogaus teisių apsaugos
taisyklės buvo sujungtos, siekiant geriau įsisavinti specialiuosius AI sistemų
kūrimo ir taikymo reikalavimus.
Pradinis taškas buvo suvokimas, kad dėl didėjančio
dabartinių mašininio mokymosi ir gilaus mokymosi sistemų nenuspėjamumo,
neskaidrumo ir sudėtingumo atsiranda vis daugiau teisinių spragų.
Be to, siekdama užtikrinti, kad naujieji reglamentai
nesustabdytų Europos dirbtinio intelekto inovacijų, Komisija taip pat pasirinko
rizika pagrįstą metodą. Siūlomame įstatyme laipsniškai atskiriamos mažos
rizikos ir uždraustos dirbtinio intelekto technologijos. Pirmiesiems,
pavyzdžiui, AI valdomam žaisliniam automobiliui, taikomos tik bendrosios teisės
normos, nesvarbu, ar tai būtų ES žaislų direktyva, ar duomenų apsaugos ir
jaunimo apsaugos įstatymas. Jei dirbtinis intelektas yra labai rizikingas, AI
reglamento projekte jos teikėjams ir naudotojams nustatomi specialūs įpareigojimai.
Kai taip yra, nusprendžiama pagal sritį, nuo švietimo iki teismų sistemos. Kai
kurios dirbtinio intelekto sistemos, pvz., socialinis balas, pagal kurį žmonės
klasifikuojami ir vertinami pagal jų socialinį elgesį, bus visiškai uždraustos.
Kodėl parlamentarams prireikė 43 techninių ir 12 politinių
susitikimų, kad aptartų 89 AI reglamento konstatuojamąsias dalis, 85
straipsnius ir devynis priedus? To priežastys – siūlomo įstatymo sudėtingumas
ir dviejų parlamentinių komitetų įtraukimas. Tačiau trys techninės priežastys
buvo dar svarbesnės.
Pirma, ideologija: Europos Parlamente susidūrė du pasauliai
– parlamento nariai, kurie galingas AI sistemas mato kaip grėsmę asmenims ir
visuomenei, ir tie, kurie daugiausia dėmesio skiria technologijų teikiamoms
galimybėms. Nors viena stovykla nemanė, kad dirbtinio intelekto reguliavimas
buvo pakankamai toli, kita stovykla bijojo per didelio reguliavimo.
Antra, konceptualios problemos. Teisės akto pasiūlyme
Komisija pasiūlė horizontalią sistemą, kuri vienodai traktuoja visas didelės
rizikos dirbtinio intelekto sistemas pačius įvairiausius sektorius ir taikymo
sritis. Tačiau, nepaisant partijų, deputatai greitai suprato, kad tai
praktiškai neveikia. AI sistema, dalyvaujanti priimant sprendimus dėl prieigos
prie viešųjų paslaugų, neturi naudoti jokių iškraipytų duomenų rinkinių apie bent ką. Su
dirbtinio intelekto sistema, kuri dalyvauja, tiriant vaistus, naudojamus nėštumo metu,
padėtis yra atvirkštinė: svarbūs tik vaisingo amžiaus moterų duomenys.
Trečia, sparti technologijų pažanga: net kai 2021 m.
balandžio 21 d. buvo pristatytas dirbtinio intelekto įstatymas, jame esančios
gaminių saugos taisyklės turėjo didelių sunkumų susidoroti su savarankiškai
besimokančiomis ir besikeičiančiomis AI sistemomis. Tačiau 2022 m. lapkritį
Open AI paskelbus ChatGPT AI sistemą, įstatymas buvo visiškai priblokštas.
Technologija, neturinti fiksuoto tikslo ir be aiškių pritaikymų, keičiama, kaip
skaitmeninis modeliavimo molis, konceptualiai net nepripažįstamas produktu
pagal griežtas gaminio saugos taisykles.
Parlamento pasiektuose derybų rezultatuose ne tik labiau
atsižvelgiama į kontekstą, kuriame naudojama didelės rizikos dirbtinio
intelekto sistema, ir sprendžiami nauji ChatGPT keliami iššūkiai. AI reglamento
taikymo sritis taip pat buvo patikslinta ir visiškai pritaikyta pripažintam
EBPO AI apibrėžimui. Taip išvengta pavojaus, kad ateityje kiekvienas
automatizuotas procesas, pavyzdžiui, Excel faile, bus suprantamas, kaip AI. EP
nariai taip pat nustatė daug sutapimų su kitais ES teisės aktais, ypač su
sektorių taisyklėmis dėl kibernetinio saugumo ir duomenų apsaugos, taip pat dėl
medicinos ir finansinių produktų. Aiškus techninių derybų akcentas buvo
Europos ir nacionalinių priežiūros institucijų struktūra ir galios. Šalys
norėjo pasimokyti iš BDAR įgyvendinimo klaidų, pvz., skirtingų pagrindinių
principų interpretacijų. Todėl buvo pasiūlytas aiškus suderinimas ES lygmeniu,
kurį koordinavo Komisija ir sustiprintas AI biuras. Tačiau iki AI įstatymo
įsigaliojimo dar reikia nuveikti ilgą kelią. Po balsavimo birželio 14 d.,
vadinamasis Europos Parlamento ir ES valstybių narių derybų žurnalas. Jei iki
šių metų Kalėdų bus pasiektas susitarimas, siūlymas formaliai galėtų įsigalioti
iki 2024 metų birželio 9 dienos – Europos Parlamento rinkimų dienos. Tačiau
pereinamieji laikotarpiai iki 2026 m. vidurio reiškia, kad kūrėjai ir
vartotojai dar turi pakankamai laiko pasiruošti naujoms taisyklėms.
„Briuselio efektas“ ir tai, kas vis dar trukdo
Autorius Axel Voss
Į planuojamą AI reglamentą galima žiūrėti kritiškai.
Nepaisant to, teisinga ir svarbu reguliuoti šią technologiją. AI sistemos jau
apverčia senus įpročius ir procesus aukštyn kojomis. Kur tiksliai slypi
techninio tobulėjimo ribos, net tarp ekspertų yra labai prieštaringa. Todėl ES
teisės aktų leidėjas turi įsikišti, jei nori užtikrinti, kad mūsų socialinė ir
teisinė sistema galėtų tinkamai susidoroti su vis pažangesniais ir
galingesniais kompiuteriais. Jei ES teisė taip pat bus subalansuota ir
praktiška, tai galų gale netgi galėtų sukelti „Briuselio efektą“: kitos
valstybės priimtų tvirtas ES teisės normas ir taip ne tik padidintų dirbtinio
intelekto sistemų saugumą visame pasaulyje, bet ir sukurtų konkurencinį pranašumą Europai. Mūsų įmonės galėtų eksportuoti savo dirbtinio intelekto
produktus ir paslaugas į užsienį be didelių koregavimų ir su de facto ES
kokybės ženklu.
Nepaisant didelės pažangos, padarytos parlamento pranešime,
įstatymo disbalansas ir toliau trukdo įgyvendinti šį teigiamą scenarijų. Iš 85
straipsnių 82 daugiausia dėmesio skiriama AI rizikai. Nors 2020 m. ES Komisijos
paskelbtoje AI baltojoje knygoje vis dar buvo „puikybės ekosistema“ ir
„pasitikėjimo ekosistema“, 2021 m. reglamentavimo pasiūlyme nurodoma tik
pastaroji. Suderintas planas, kuriuo siekiama aprėpti kompetenciją, yra
neįpareigojantis ir iki šiol jį įgyvendino tik pusėtinai valstybės narės. Kaip
ES turėtų pasiekti tikslą pasivyti AI pasaulio lyderius?
Suskaidyta švietimo sistema, idėjų neperdavimas iš mokslo į
pramonę, prasta infrastruktūra ir pernelyg ribojama duomenų apsauga reiškia,
kad ES vis labiau atsilieka pasauliniu mastu.
Jei Komisija ir standartizacijos institucijos nesugebės
laiku pateikti esminių gairių ir techninių standartų, skirtingos AI įstatymo
interpretacijos dar labiau pablogins mūsų padėtį. Atsiradęs teisinis netikrumas
žinotų tik vieną nugalėtoją: Amerikos technologijų milžinus. Tik jie, turėdami
daugybę konsultantų ir teisininkų, gali greitai pritaikyti savo verslą prie
naujų teisės aktų reikalavimų. Netgi didžiulės baudos vargu ar pastebimos
metiniame balanse. Visai kitaip Europos konkurentai, ypač mažos ir vidutinės
įmonės (MVĮ) ir pradedančios įmonės.
Vien dėl BDAR sankcijų daugelis atgrasė investuoti į didelių
duomenų programas.
AI reguliavimas gali turėti panašų poveikį: sustiprinti AI
technologijų milžinų rinkos galią ir visam laikui priversti Europos įmones
pasitraukti iš rinkos.
Norint, kad dirbtinio intelekto reglamentas būtų sėkmės
istorija, veiksmingai ginanti pilietines teises ir laisves, tuo pačiu skatinant
naujoves, trišalėse derybose su valstybėmis narėmis reikia atkreipti dėmesį į
keturis klausimus. Pirma, geresnis reglamentavimas: reikia nustatyti ir dar
nuosekliau ištaisyti sutapimus ir prieštaravimus su daugeliu kitų ES
skaitmeninių įstatymų ir sektorių taisyklių. Daugelis AI sistemų ir galimų
naudojimo atvejų jau yra plačiai reglamentuojami. Todėl kiekvienu atveju būtina
atidžiai patikrinti, ar AI įstatymas tikrai reikalingas ir kiek kitur jau patenkinami nauji jo reikalavimai. Antra, suderinimas visoje ES: turi būti
užtikrinta, kad Airijoje ir Bulgarijoje būtų taikomos tos pačios taisyklės ir
galimybės. Todėl, remiantis ES sutartimis, ES lygmeniu reikėtų apibrėžti
didžiausią įmanomą kiekį ir atidžiau stebėti nacionalines priežiūros
institucijas.
Jei, kaip ir BDAR atveju, valstybė narė imasi per daug
veiksmų arba nesiima jokių veiksmų tam tikroms problemoms spręsti, Komisija
turi įsikišti. Trečia, inovacijų skatinimas: turi būti gerokai patobulinta
inovacijų teisinė ir finansinė bazė, pavyzdžiui, rengiant duomenų rinkinius,
kad naujovės būtų naudingos ir įmonėms. Taip pat reikėtų pagalvoti apie
„Nacionalinio standartų ir technologijų instituto“ (NIST) Europos atitikmenį iš
JAV. Ketvirta, kalbama apie MVĮ ir besikuriančias įmones: jų gebėjimas diegti
naujoves yra didžiulė Europos stiprybė, tačiau jos labiausiai nukenčia dėl
sudėtingo ir brangaus ES skaitmeninių įstatymų laikymosi. Joms turėtų būti
padedama ne tik su daugiau išimčių taisyklių. Atsižvelgiant į dominavimą rinkoje, kai
kurios korporacijos taip pat turėtų įsikišti į AI vertės grandinę, kad
užtikrintų informacijos srautą tarp visų veikėjų. Tik turėdamas reikiamų žinių
apie įmontuotus išorinius komponentus, AI startuolis iš Europos galiausiai
galės atitikti AI įstatymo reikalavimus savo produktui ar paslaugai.
AI reglamentas turi pasiimti su savimi ekonomiką
Autorius Monish Darda
Istoriškai dėl reguliavimo technologija tapo atsakingesnė,
saugesnė ir etiškesnė. AI, o ypač generatyvinio AI, atveju tai nesiskiria. ES
dirbtinio intelekto įstatymo projektas turi puikių požiūrių ir tokia forma
pralaužia naują kelią. Rizika pagrįstas metodas, pagal kurį reguliuojamos didelės
rizikos programos konkrečiai ir, taikant specialius įpareigojimus, o „bendrosios
paskirties“ AI taikomas bendrosios taisyklės, iš esmės gali pasiūlyti daug. Tai
leidžia atsakingai diegti naujoves didelės rizikos srityse. Specialūs
įpareigojimai, taikomi vadinamųjų pagrindų modelių, pvz., ChatGPT, teikėjams,
gali būti veiksminga priemonė, kovojant su generatyvaus AI pavojais. Tokios
tarptautinės bendrovės, kaip Icertis, požiūriu, sąžiningam AI reguliavimui
Europoje svarbūs penki punktai.
Lengvas naudojimas ir teisinis aiškumas: taisyklės turi būti
lengvai suprantamos, jei jų reikia laikytis. Jos turi papildyti esamus
reglamentus, o ne prieštarauti jiems arba su jais sutapti. Aiškiai apibrėžtos
taikymo ribos, mokymo duomenų kokybės gairės ir įmanomi paslaugų teikėjams bei
naudotojams taikomi reglamentai yra naudingi dirbtiniam intelektui. Visų pirma,
turi būti aiškus pačios sudėtingos dirbtinio intelekto sąvokos apibrėžimas, kad
įstatymas turėtų fiksuotą taikymo sritį.
Pasauliniai standartai: visame pasaulyje turi būti pasiektas
sutarimas dėl reguliavimo, atsižvelgiant į konkrečius regioninius poreikius.
Reguliavimas, kuriuo neatsižvelgiama į šias pasaulines realijas, galiausiai,
kenkia konkurencingumui ir tolimesnėms naujovėms. Dirbtinio intelekto
reguliavimo pagrindas turi būti tarptautiniu susitarimu, kad stipriai reguliuojami
regionai neatsiliktų nuo kitų, kurie mažai reguliuoja, ir atvirkščiai. Turime
pradėti siekti sutarimo dabar, nes tam reikia laiko. Būtų svarbus pasiekimas,
jei įstatyme būtų nustatyti tam mechanizmai.
Riziką atitinkantis reguliavimas: genų inžinerijos teisės
reikalavimai žmogaus klonavimui yra daug griežtesni, nei pasėlių genetinės
modifikacijos. AI reglamentas turėtų sutelkti dėmesį į AI programas, kurios iš
tikrųjų pakeičia įžvalgas arba realizuoja naują turinį. Reguliavimo
reikalavimai turi būti pagrįsti žmogaus poveikiu. AI įstatymo projekte tai
atsižvelgiama į tai – tai taip pat turėtų apibūdinti trišalį dialogą.
Reguliavimo laikymasis turi būti ekonominė paskata: jei
reguliavimą finansuoja tie, kurie yra reguliuojami, tai turi didesnę galimybę
pasisekti, nes yra finansinių paskatų jį įgyvendinti. Tai verčia įmones visame
technologijų gyvavimo cikle susiburti ir dirbti, savo vardu siekiant bendrų
reguliavimo tikslų. AI pasaulyje tai įmanoma dabar, o ne vėliau. Terminas „AI“
turi turėti teigiamą atspalvį, jei jis turi būti įdomus įmonei. Jei tai turi neigiamą
reikšmę, tai kenkia įmonės, naudojančios šią technologiją, rinkos vertei. Šiuo
metu iššūkiai yra ne tik ypač dideli AI įstatymui. „Duomenų įstatymo“ projektu
taip pat norima sukurti Europos duomenimis pagrįstų verslo modelių ekosistemą
be jokių realių paskatų ekonomikai joje dalyvauti.
Mažų ir vidutinių įmonių apsauga nuo bankroto: istoriškai
didelės įmonės geriau atlaiko reguliavimo pokyčius, nes jos planuoja į priekį
ir turi daugiau išteklių. Tik reguliavimas su laipsniškomis sankcijų
struktūromis, kuriomis siekiama apsaugoti dideles ir mažas įmones, yra
priimtinas praktikoje ir turi sėkmės galimybę. Inovacijos kyla iš įmonių,
kurios, siekdamos augti, pasikliauja naujų technologijų taikymu. Pagalvokite apie
„Google“ ar „Meta“, jie dažnai iškildavo, kaip naujos įmonės, kurios virto
technologijų milžinais, naudojančiais griaunančias technologijas. AI taip pat
dažnai platina jauni, šviesūs protai. Ypatingas iššūkis trišalio dialogo metu
yra rasti tinkamus „atvirojo kodo pasiūlymų“ sprendimus. Europa turi skatinti
daugelio šviesių protų kūrybiškumą ir sukurti saugią teisinę bazę jų darbui ir
čia neturi per daug reguliuoti.
Jei Europa nori įsitvirtinti pasaulyje, tada AI reguliavimas
turi būti pragmatiškas. Jis turi remti dideles ir mažas įmones ir skatinti
eksperimentuoti. Tačiau tuo pat metu reguliavimas turi leisti valdyti dirbtinį
intelektą taip, kad būtų apsaugoti pagrindiniai etikos ir teisės principai,
įskaitant privatumą. AI įstatymo projektas turi potencialo, o pasaulis su
jauduliu, viltimi ir lūkesčiais stebi, ar įstatymas pasiseks.
AI kaip iš anksto nustatytas teisinės valstybės lūžio taškas
Autorius Rolfas Schwartmanas
Jungtinėse Valstijose vienai oro linijų bendrovei buvo
iškelta byla dėl žalos atlyginimo. Du advokatai dabar yra teisme, nes jie
naudojo ChatGPT, pateikdami ieškinį, o robotas tiesiog sukūrė precedentus, kurie
buvo pateikti. Botas pastebėjo, kad teismų praktikos sistemoje reikia tinkamų
bylų – ir pradėjo elgtis kūrybiškai. Remiantis ES Parlamento požiūriu į AI reglamentą,
„bendrosios paskirties AI“, kaip ir ChatGPT programa, savaime nėra rizikingas.
Tik „Pagrindo modelio“, t. y. modelio, kurio paraiškos pagrindas yra daug
duomenų, teikėjams taikomi specialūs įsipareigojimai naujai sukurtame
straipsnyje. Jei jų laikomasi, jais pagrįstas robotas laikomas saugiu.
Skamba įtikinamai, kad pavojinga ne technologija, o ja
besinaudojantys žmonės. O kas, jei žmogus, kuris pagal AI reglamentą turi
nuspręsti, ar paspausti sustabdymo mygtuką, naudoja technologiją, kurios jis
negali nei suprasti, nei įvaldyti? Tokios programinės įrangos kaip „ChatGPT“
naudojimas yra pagrįstas AI modeliu, kurio duomenų bazė nėra skaidri apie jo
kilmę ir kuriame nesvarbu, kas teisinga, neteisinga, leidžiama, draudžiama, reikšminga
kontekstui, beprasmiška ar net žalinga. Tai tarsi laukinis dirbtinis gyvūnas,
kurio beveik neįmanoma prisijaukinti. Visiems, kurie naudojasi ChatGPT, kaip
teisininku, leidžiama veikti pagal AI reglamento projektą. Naudojimui taikomos
bendrosios taisyklės. Jeigu teisminiame procese advokatas tyčia pateikia
melagingus faktus, tai gali būti sukčiavimas. Tačiau teisėjas pats turi
išnagrinėti įstatymą. Jei jis naudoja ChatGPT, pavyzdžiui, tirdamas, vedęs
teisinį dialogą dėl bylos ar net priimti sprendimo pasiūlymą sprendime, tai yra
sudėtinga. Bet kokiu atveju teisinės skaitmeninės kompetencijos nepakanka, jei
roboto funkcijos negalima nei suprasti, nei įsisavinti, bet duoda tikėtinus
rezultatus. Atsargiam ir apdairiam teisėjui ši sistema nereikalinga. Sistemai
nereikia kito teisėjo, gali būti provokuojanti tezė dėl ChatGPT naudojimo.
Bavarija ir Šiaurės Reinas-Vestfalija pradėjo projektą,
skirtą sukurti „generatyvinį teismų sistemos kalbos modelį“, kuris skirtas,
pavyzdžiui, palengvinti teismus masinėse bylose. Kalbama apie vartotojų apsaugą
su scheminiais teisinio įgyvendinimo civilinėje teisėje testais, pavyzdžiui,
„dyzelino bylose“. Kovojant su nusikalstamumu, tinkamas dirbtinio intelekto
naudojimas laikomas būtinu ne tik, veiksmingai veikiančiai, konstitucinei
valstybei, ne tik internetiniams nusikaltimams. Teismų sistemos robotai turėtų
būti susiję ne su tokiais dalykais, kaip „ChatGPT“, o su specialiais modeliais
ir jais pagrįstomis sistemomis su aiškia atskaitomybe. Jie turėtų būti apmokyti,
naudojant atrinktus duomenis, pavyzdžiui, iš teisinių ir sprendimų duomenų
bazių, taip pat pagal skaidrius kriterijus pateikiama literatūra ir atnaujinama
realiuoju laiku.
Kažkas panašaus kainuoja didelius pinigus. Valstybinis
duomenų centras, galbūt ir privati įmonė, turėtų prisiimti atsakomybę už
duomenų bazę, sistemos mokymą ir veikimą, jos optimizavimo tikslus ir
kontekstus bei sprendimų koridorių. Jei reikia, visos šalys turėtų turėti
galimybę ja naudotis pagal nustatytas taisykles, kad būtų galima suabejoti
rezultatais – pavyzdžiui, peržiūrint. Botas gali būti traktuojamas, kaip kažkoks
ekspertas, nors ir labai toli siekiantis. Ekspertų išvados dažnai priimamos,
bet ne nematomos. Iš esmės ekspertai skiriami pagal jų kompetenciją, galimos ir
priešingos nuomonės – tai turėtų galioti ir AI. Jei atskleidžiate AI
juodraščius, netikėti sprendimai, pažeidžiantys teisę būti išklausytam,
neįtraukiami. Tačiau požiūris yra rizikingas. Jei dirbtinio intelekto sistemos
konkuruoja tarpusavyje, kaip šachmatų kompiuteriai ir gali patikrinti tik save,
teisinė valstybė panaikinama.
Todėl kalbos modeliui turėtų būti suteikta tiksli
informacija apie tai, kur yra jo pagalbinės veiklos ribos, ir jis turėtų leisti
praktikuojančiam teisininkui savarankiškai priimti teisminį ar teisminį
sprendimą. Konkrečiu atveju kompiuteris turėtų patikimai ir skaidriai
atskleisti, kokius parametrus ir kokiais duomenimis kokiam kontekstui remiasi
jo pasiūlymas. Šiuo pagrindu žmogus gali sukurti teisingumą.
Bet kaip jis tai padarė? Jis neturėtų drąsiai sekti
skaitmeniniu kūrėju, bet išnagrinėti jo pasiūlymą su būtinu nepasitikėjimu, ir tai
išlieka jo problema. Gydytojas, norintis atmesti AI diagnozę, taip pat turi
tai. Tačiau atvejai iš esmės skiriasi. Gydytojui AI diagnozę ir jo abejones
pacientui išaiškinus skaidriai, pacientas turi priimti savarankišką ir atsakingą
sprendimą. Teismai sprendžia trečiąsias šalis ir vykdo valstybės valdžią žmonių
vardu, nesvarbu, ar jie to nori, ar ne. Jei dirbtinio intelekto projektai,
tokie, kaip ekspertų nuomonės, patenka į procesą, reikėtų imtis veiksmingų
atsargumo priemonių, kad nebūtų perduota atsakomybė. Ateityje paties teisėjo
indėlis gali būti pagrįsti, kodėl AI teisingai užfiksavo faktus, įvardijo visus
esminius dalykus, o neesminius paslėpė. Ir kodėl priimtas rezultatas. Jei
teisėjas tai daro savarankiškai, išmintingai ir kruopščiai, tada ši sistema yra
tinkama. Priešingu atveju jis pristato teisėją robotą. Jei čia padarysime
klaidų, AI naudojimas teismuose gali tapti teisinės valstybės lūžio tašku.
Kai Zenneris yra Axelio Vosso biuro Briuselyje vadovas ir
dalyvavo derybose dėl Europos Parlamento pasiūlymo.
Axel Voss (EP narys) yra PPE pranešėjas Europos Parlamente
dėl dirbtinio intelekto reglamento.
Monish Darda yra CTO ir Icertis, tarptautinio sutarčių
gyvavimo ciklo valdymo programinės įrangos tiekėjo, vienas iš įkūrėjų.
Profesorius dr Rolfas Schwartmannas vadovauja Kelno
taikomųjų mokslų universiteto žiniasklaidos teisės tyrimų centrui, yra Duomenų
apsaugos ir duomenų saugumo draugijos (GDD) e.V. pirmininkas ir specializuoto
žurnalo „Recht der Datenverarbeitung“ (RDV) vienas iš redaktorių."
Komentarų nėra:
Rašyti komentarą