Du kartus sutriko arba nustojo būti tikrinama mūsų mokesčių asistento naudojama žinių bazė. Abiem atvejais asistentas toliau veikė, o problemą aptiko žmogus.
Pirmoji problema kilo 2025 m. birželį, kai klientas pranešė apie neteisingus asistento atsakymus. Nors asistentas veikė be klaidų, jo kodo nebuvo keista devynias dienas, todėl problema buvo netiesioginė. Šį Lietuvos mokesčių klausimams skirtą asistentą kuria UAB „Taikomasis dirbtinis intelektas“ (prekės ženklas „AAI Labs“), atsakinėjantis į apskaitos ir mokesčių specialistų klausimus remdamasis žinių bazėje esančiais teisės aktais ir jų taikymo gairėmis.
Silpnoji vieta buvo žinių bazė, o ne dirbtinis intelektas
Abi problemos kilo ne DI modelyje, o žinių bazėje ir ją prižiūrinčiuose procesuose. Pirmoji problema kilo komandai bandant naują teisės aktų tekstų suskaidymo į paieškai tinkamas ištraukas metodą toje pačioje duomenų bazėje, kurią naudojo ir veikiantis asistentas. Kai žinių bazė buvo kuriama iš naujo, asistentas negalėjo jos pasiekti, tačiau, pagal anksčiau pakeistas instrukcijas, pradėjo atsakinėti remdamasis bendrosiomis žiniomis. Tikėtina, kad žinių bazė neveikė kelias valandas, o klientas tai pastebėjo bandymo metu. Problema buvo išspręsta tą pačią popietę.
Antroji, sunkiau pastebima problema, kilo 2026 m. rugsėjį. Antroji asistento versija naudoja „užšaldytą“ žinių bazę, kad būtų galima vertinti atsakymų kokybę. Mėnesiniai procesai turėjo tikrinti oficialius šaltinius, tokius kaip Valstybinė mokesčių inspekcija ir Lietuvos Respublikos Seimo teisės aktų duomenų bazė, kad būtų galima palyginti „užšaldytą“ bazę su galiojančiais teisės aktais. Remiantis komandos duomenimis, šie procesai neveikė nuo liepos mėnesio, tačiau apie tai nepranešė joks klientas. Problemą rugsėjo pradžioje pastebėjo komandos narys.
Keista tai, kad procesai sėkmingai veikdavo rankiniu būdu paleisti, tačiau centriniai sistemos žurnalai atskleidė sutrikimus, kurie įvykdavo maždaug 3 valandą nakties Lietuvos laiku, pirmąją arba antrąją mėnesio dieną. Tuo metu susidėdavo trys problemos: daugelis mėnesinių procesų buvo suplanuoti vienu metu, nors sistemos pajėgumų pakako vienam procesui; interneto svetainė, iš kurios nuskaitomi apskaitos standartai, tikrino, ar lankytojai nėra robotai, o procesai įstrigdavo šiame patikros lange; duomenų bazė per keturias dienas buvo paleista iš naujo 17 kartų, todėl duomenis į ją įrašantis procesas negalėjo prisijungti.
Ką pakeitėme
1. Eksperimentai nebevykdomi veikiančioje žinių bazėje; perkelti į atskirą aplinką.
2. Mėnesiniai procesai dabar vykdomi paeiliui, ne mažesniais kaip pusvalandžio intervalais.
3. Lėtai veikiančioms svetainėms skiriama daugiau laiko; bandymų metu laukiama iki dviejų minučių.
4. Išsaugomi duomenys apie nesėkmingus paleidimus, kad būtų galima atlikti tyrimą.
5. Sistema išbandyta ir tikras paleidimas rugsėjo 10 d. 3 valandą nakties ir spalio 1 d. sėkmingai įvyko.
Ką supratome
Žinių bazės pakeitimas yra naujos versijos išleidimas. Rankiniu būdu atliktas bandymas įrodo mažiau, nei gali pasirodyti, nes nesusiduria su kitais procesais. Numatytoji asistento reakcija, kai trūksta informacijos, kad jis remtųsi bendromis žiniomis, yra patogesnė, bet slepia problemas. Antrojoje versijoje, kai trūksta informacijos, asistentas rekomenduoja kreiptis į specialistą.
Ko vis dar nežinome
Nežinome, kodėl sutriko duomenų bazė, nors pakeitus konfigūraciją ir perkėlus į kitą serverį, problemos liovėsi. Taip pat neturime 2025 m. birželį pateiktų neteisingų atsakymų ir nežinome, kiek jie buvo nutolę nuo teisingos informacijos. Be to, pagal naująjį tvarkaraštį įvyko tik vienas sėkmingas paleidimas.
Nors rugsėjį sustojusios patikros nepakeitė naudotojams pateiktų atsakymų, maždaug dviem mėnesiams prarasta galimybė matyti, kiek žinių bazės turinys galėjo nutolti nuo galiojančių teisės aktų.
Prieš pradedant juo pasikliauti
Tikrinant DI asistento atsakymų kokybę, svarbu paklausti tiekėjo, kaip sužinotumėte, jei jų kokybė suprastėtų: kur matyti žinių bazės atnaujinimo datą, kas ir kaip greitai informuojamas apie atnaujinimų sustojimą, kaip asistentas elgiasi neturėdamas tinkamo atsakymo, ir ar pakeitimai bandomi toje pačioje sistemoje, kuria naudojasi darbuotojai.
