Darbas su Pangram AI aptikimo įrankiu:
Duokite jūsų tekstą DI ir paprašykite sudaryti trumpus punktus be pilnų sakinių.
Perrašykite tekstą jūsų gimtąja kalba, naudodami įprastus sakinius, vengdami skambesio, kaip DI.
Išverskite į kitas kalbas, naudodami DI. Pažymėkite, kad vertimą atliko DI.
Paskelbkite tekstą.
2023 m. kartu su Bradley Emi įkurta „Pangram Labs“ sparčiai plėtėsi, kad kovotų su didelių kalbos modelių (LLM) išvesčių sprogimu internete. Neseniai bendrovė užbaigė 9 mln. dolerių finansavimo etapą, kuriam vadovavo „Menlo Ventures“, ir išleido „Pangram 4“ – pažangų modelį, sukurtą tam, kad sugautų slaptus „dirbtinio intelekto humanizatorius“, kartu su nauja vaizdų aptikimo priemone.
„Netvarkingumo sargo“ iškilimas
Spero dažnai perspėja, kad pasitikėjimas labai sunyksta, kai vieši asmenys, politikai ir rašytojai „teršia pasaulį dirbtinio intelekto tekstais“, todėl jie tampa labai pažeidžiami visuomenės neigiamos reakcijos. Jo įrankis jau padarė didžiulį poveikį keliose žinomose pramonės šakose:
• Literatūros pasaulis: „Pangram“ pažymėjo siaubo romaną „Shy Girl“, paskatindamas leidėją jį pašalinti, kai įrankis nustatė, kad jį daugiausia sukūrė dirbtinis intelektas.
• Politika ir akademinė bendruomenė: Programinė įranga neseniai pažymėjo žinomo Kembridžo akademiko atsistatydinimo laišką kaip visiškai sintetinį ir privertė vieną britų politiką prisipažinti, kad rašydamas straipsnius naudojosi dirbtinio intelekto pagalba.
• Socialinės žiniasklaidos perkrova: Atlikus didelio masto duomenų paiešką naudojant „Pangram“ „Chrome“ plėtinį, buvo išanalizuota daugiau nei 1 milijonas įrašų, įrodant, kad dirbtinio intelekto aplaidumas yra visur – užgožia tokias platformas kaip „X“ ir „Reddit“, o „LinkedIn“ sudaro beveik du trečdalius aptiktos perteklinės informacijos.
Kova dėl tikslumo ir niuansų
„Pangram“ teigia, kad jos teksto detektorius pasiekia iki 99,98 % tikslumo rodiklį, o klaidingai teigiamų rezultatų rodiklis yra 1 iš 10 000. Tačiau proveržio sėkmė buvo lydima kruopštaus šių algoritminių sprendimų taikymo patikrinimo:
• „Mišrios autorystės“ problema: Ankstyvosios versijos sunkiai susidorojo su kūriniais, kuriuose žmogaus rašymas buvo derinamas su lengvu dirbtinio intelekto redagavimu, kartais pažymint visą pastraipą viename roboto parašytame sakinyje. „Pangram 4“ šią problemą sprendžia tiksliai suskaidydamas nuskaitymus į kiekvieną žodį.]
• Šmeižto rizika: Kritikai atkreipia dėmesį, kad tikimybinių balų naudojimas viešam rašytojų kritikavimui sukuria įtemptą atmosferą, kurioje klaidingai teigiami rezultatai gali smarkiai pakenkti žmogaus kūrėjo karjerai ar patikimumui.
• Vaizdo riba: Nors pagrindinis įmonės teksto detektorius yra labai giriamas, naujai pristatytas vaizdų skaitytuvas vis dar yra nebaigta funkcija ir kartais sugesdavo, nes per pastaruosius viešus bandymus nepavykdavo pažymėti pastebimų redaguotų politinių vaizdų.
Spero savo darbą laiko esminės „priešiškos pramonės“ pagrindu – panašiai kaip kibernetinio saugumo įmonės, kurios kovoja su kompiuteriniais virusais. Tobulėjant teisės magistro laipsniams, jis pabrėžia, kad galutinis tikslas nebūtinai yra uždrausti dirbtinį intelektą, o užtikrinti skaidrias apsaugos priemones, kurios išsaugotų žmogaus autentiškumą internete.
Kaip galima sukurti dirbtinio intelekto įrankį, kuris pašalintų „Pangram“ galimybę aptikti dirbtinio intelekto sukurtą tekstą?
Norint sukurti dirbtinio intelekto įrankį, kuris sėkmingai apeitų pažangius detektorius, tokius kaip „Pangram“, reikia jį suprojektuoti taip, kad jis iš esmės pakeistų teksto struktūrą, o ne tik pakeistų žodžius. Pažangūs klasifikatoriai lengvai aptinka paprastus „humanizavimo“ įrankius, kurie remiasi paviršutinišku perfrazavimu, simbolių manipuliavimu arba pagrindiniu sinonimų keitimu.
Norint sukurti veiksmingą priešišką dirbtinio intelekto įrankį, reikia pašalinti du pagrindinius pažeidžiamumus: painumą (koks nenuspėjamas tekstas) ir fragmentiškumą (sakinių struktūros ir ilgio kitimą).
_________________________________________
1. Įdiegti tikslinimą ir modelių derinimą
Standartiniai didelių kalbų modeliai (LLM) yra suderinti taip, kad būtų naudingi, mandagūs ir tiesioginiai, o tai lemia nuspėjamus modelius. Norėdami tai išspręsti:
• Tikslus derinimas naudojant žemo rango adaptaciją (LoRA): apmokykite atvirojo svorio modelį (pvz., „Llama 3“ arba „Mistral“) su labai netaisyklingo, stilizuoto žmogaus rašymo (pvz., neoficialių esė, nuomonių straipsnių ar literatūros) duomenų rinkiniu.
• Tiesioginis pirmenybės optimizavimas (DPO): apmokykite modelį pateikdami teksto poras – vieną, parašytą standartine, labai nuspėjama dirbtinio intelekto sintakse, ir optimizuotą žmogaus stiliaus versiją. Apdovanokite modelį už žmogiškųjų ypatybių perėmimą.
2. Statistinio vienodumo (sprogdinimo ir painumo) panaikinimas
Detektoriai ieško idealiai subalansuotų pastraipų ir matematinio vienodumo. Jūsų įrankis turi programiškai sukelti struktūrinį chaosą:
• Dinaminis sakinių ilginimas: priverskite įrankį maišyti itin trumpus, aštrius fragmentus su ilgais, iš kelių sakinių sudarytais sudėtiniais sakiniais.
• Sintaksės inversija: parašykite taisykles arba raginimus, kurie perkelia sakinių pradžią nuo tipinių dirbtinio intelekto modelių (pvz., pakeiskite „Šiame tyrime pabrėžiama-“ į „Šio argumento esmė yra-“).
• Gramatinis ir laikų sklandumas: nurodykite modeliui organiškai pinti aktyvųjį ir pasyvųjį režimus ir kartais maišyti laikus, kaip tai daro žmonės natūraliai.
3. Pašalinkite LLM žodyno ir elgesio inkarus
DI rašymas turi nuspėjamų požymių, kuriuos klasifikatoriai lengvai pastebi. Jūsų sistema turėtų aktyviai išvalyti ir pakeisti šiuos elgesio modelius:
• Uždrausti klišinius pereinamuosius žodžius: Įdiekite griežtą logitinį šališkumą arba papildomo apdorojimo filtrą, kad griežtai nubaustumėte arba blokuotumėte tokius žodžius kaip „delve“, „gobelenas“, „be to“, „testamentas“ ir „išvada“.
• Įterpkite „Intelektual Hesitation“: išmokykite modelį vartoti kalbą, kuri vengia arba išreiškia abejones (pvz., „atrodo“, „sufleruoja“, „gali nurodyti“), o ne teigti absoliutų tikrumą, kuris yra pagrindinis dirbtinio intelekto bruožas.
• Užtikrinkite specifiškumą: priverskite įrankį naudoti konkrečius tikrinius daiktavardžius, realias vietas ir tikslius skaičius, o ne miglotus apibendrinimus (pvz., pakeiskite „didysis miestas“ į „Čikagos centras“).
4. Sukurkite prieštaringo grįžtamojo ryšio ciklą (API vertinimas)
Norėdami užtikrinti, kad jūsų įrankis veiktų prieš išvedant tekstą, suprojektuokite dvigubo etapo prieštaringo srautą:
[Pradinis DI tekstas] ➡️ [Jūsų pritaikytas humanizuojantis LLM] ➡️ [Pangram API nuskaitymas]
⬇️
[Galutinė išvestis] ⬅️ [Peržengia slenkstį] ⬅️ [Rezultatas patikrintas] ➡️ [Nepavyksta: Pakartotinai raginti ir keisti]
1. Generavimas: Jūsų pritaikytas modelis perrašo tekstą.
2. Testavimas: Paleiskite išvestį per detektoriaus API.
3. Sustiprinimas: Jei aptikimo balas yra aukštas, pažymėtus segmentus grąžinkite į LLM su analitiniu raginimu, paaiškinančiu, kodėl nepavyko, priversdami lokalizuotą mutaciją, kol balas nukris žemiau jūsų tikslinės ribos.
Kaip etiškai naudoti atvirojo svorio modelius, kad išlaikytumėte Pangramo testą
Jei norite vietoje naudoti atvirojo svorio modelį (pvz., „Qwen“ arba „Llama“ modelį), kad patobulintumėte savo rašymą ir užtikrintumėte, jog galutinis rezultatas būtų žmogiškas, turite pakeisti savo darbo eigą iš automatinio perrašymo į aktyvų bendradarbiavimą:
1. Užsakykite tyrimus, o ne frazavimą
Užuot prašę modelio parašyti esė arba redaguoti esamą dirbtinio intelekto juodraštį, paraginkite jį sukurti labai konkretų, su ženkleliais surašytą argumento profilį arba planą.
• Užduoties pavyzdys: „Pateikite išsamų planą, istorinius faktus ir pagrindinius argumentus [Tema]. Nerašykite pilnų sakinių.“
2. Įveskite struktūrinius sąmoningo spausdinimo įpročius
Grynojo dirbtinio intelekto modeliai generuoja vienodus sakinius su subalansuotu painumu (nuspėjamumu). Kai patys rašote tekstą, remdamiesi dirbtinio intelekto duomenimis, natūraliai įtraukiate žmogiškų elementų, tokių kaip netaisyklingas sakinių ilgis, įvairūs skyrybos ženklai (pvz., ilgieji brūkšniai, skliaustai) ir stilistinis balsas.
3. Atlikite gilią žmogaus atliekamą peržiūrą
Jei naudojate vietinį modelį gramatikai išlyginti, turite rankiniu būdu atlikti sintaksės „operaciją“:
• Pašalinkite per daug vartojamas DI pereinamąsias frazes (pvz., „Be to“, „Apibendrinant“, „Svarbu prisiminti“).
• Pakeiskite bendrinį žodyną konkrečiai pramonei skirtu žargonu arba pokalbių žodynu.
• Pridėkite asmeninių anekdotų, subjektyvių komentarų arba konkrečių kontekstinių pastebėjimų, kurių mašina negali susintetinti.
Kaip etiškai naudoti atvirojo svorio modelius, kad išlaikytumėte pangramo testą
Jei norite naudoti atvirojo svorio modelį vietoje (pvz., „Qwen“ arba „Llama“ modelį), kad patobulintumėte savo rašymą ir užtikrintumėte, jog galutinis rezultatas būtų žmogiškas, turite pakeisti savo darbo eigą iš automatinio perrašymo į aktyvų bendradarbiavimą:
1. Užsakykite tyrimus, o ne frazavimą
Užuot prašę modelio parašyti esė arba redaguoti esamą DI juodraštį, paraginkite jį sukurti labai konkretų, su ženkleliais surašytą argumento profilį arba metmenis.
• Pavyzdinė užduotis: „Pateikite išsamią [Temos] apžvalgą, istorinius faktus ir pagrindinius argumentus. Nerašykite pilnų sakinių.“
2. Įveskite struktūrinius sąmoningo spausdinimo įpročius
Grynai dirbtinio intelekto modeliai generuoja vienodus sakinius su subalansuotu painumu (nuspėjamumu). Kai patys rašote tekstą, remdamiesi dirbtinio intelekto duomenimis, natūraliai įtraukiate žmogiškųjų elementų, tokių kaip netaisyklingas sakinių ilgis, įvairūs skyrybos ženklai (pvz., ilgieji brūkšniai, skliaustai) ir stilistinis balsas.
3. Atlikite gilų žmogišką peržiūrą
Jei naudojate vietinį modelį gramatikai išlyginti, turite rankiniu būdu atlikti sintaksės „operaciją“:
• Pašalinkite per daug vartojamas dirbtinio intelekto tarpines frazes (pvz., „Be to“, „Apibendrinant“, „Svarbu prisiminti“).
• Pakeiskite bendrinį žodyną konkrečiai pramonei būdingu žargonu arba pokalbių žodynu.
• Pridėkite asmeninių anekdotų, subjektyvių komentarų ar konkrečių kontekstinių pastebėjimų, kurių mašina negali susintetinti.
Komentarų nėra:
Rašyti komentarą