Dr. Mantas Lukauskas, Kauno technologijos universiteto alumnas ir „Hostinger“ dirbtinio intelekto techninis grupės vadovas
Brazilijos darbo teismas skyrė baudą advokatėms už dokumentą su baltomis raidėmis baltame fone, kuriame buvo paslėpta instrukcija dirbtiniam intelektui (DI) vertinti bylą paviršutiniškai. Panašus reiškinys, vadinamas netiesiogine komandų injekcija, pastebėtas ir mokslo darbuose, kur slaptos instrukcijos buvo naudojamos siekiant paveikti recenzijas ar vertinimus.
Šis metodas, kai dokumentas atrodo kaip informacijos šaltinis, tačiau jo viduje slypi komanda sistemai, išnaudoja tai, kad PDF failai gali turėti kelis teksto sluoksnius, komentarus ar net labai mažo dydžio raides, kurių žmogus nepastebi, bet DI juos perskaito. Tai sukuria situaciją, kai modelis susiduria su dviem prieštaringais nurodymais: vienas ateina iš organizacijos, kitas – iš paties dokumento.
Tyrimai rodo, kad toks reiškinys yra plačiai paplitęs. „USENIX Security“ konferencijai parengtame tyrime išanalizuota beveik 200 000 CV, kuriuose paslėptų injekcijų rasta maždaug viename iš šimto. Dauguma šių injekcijų buvo skirtos paslėpti papildomus gebėjimus ar darbo patirtį, tačiau vis dažniau pasitaiko ir tiesioginių komandų pakeisti vertinimą.
Didžiausia rizika kyla, kai DI turi prieigą prie organizacijos sistemų. 2025 m. atskleista „EchoLeak“ spraga „Microsoft 365 Copilot“ sistemoje (CVE-2025-32711) parodė, kaip specialiai parengtas laiškas galėjo paskatinti sistemą nutekinti vidinius duomenis į išorinį serverį. Dėl šios priežasties OWASP 2025 m. komandų injekciją įrašė į pirmą vietą tarp kalbos modelių programų rizikų.
Norint apsisaugoti, rekomenduojama laikyti visus iš išorės gautus dokumentus nepatikimu turiniu, palyginti dokumento vaizdą su mašinos ištrauktu tekstu, riboti DI prieigą prie duomenų ir įrankių bei visada reikalauti žmogaus patvirtinimo prieš svarbius veiksmus. Taip pat svarbu registruoti DI veiksmus, kad būtų galima atsekti incidentus.
Lietuvos organizacijos turėtų įvertinti procesus, kuriuose DI skaito išorės failus, ir apibrėžti, ką sistema gali daryti be žmogaus patvirtinimo. ES DI aktas taip pat numato reikalavimus dėl žmogaus priežiūros ir atsparumo manipuliacijoms aukštos rizikos sistemoms. Galiausiai, vertinant dokumentus, svarbu tikrinti ne tik tai, ką jie sako žmogui, bet ir tai, ką jie bando pasakyti mašinai.
