Lietuvos DI bendrovė „AAI Labs“ sukūrė sistemą vienai gydymo įstaigai, kuri vertina registratūros darbuotojų pokalbių kokybę. Sistema per dieną apdoroja iki 10 tūkst. pokalbių, tačiau dirbtinio intelekto supratimui ir tekstinei konversijai iškilo iššūkių dėl telefono linijų kokybės.
Problema: telefono linijos kokybė
Nors modelio apmokymui naudoti aukštos kokybės garso įrašai, paversti į telefoninį formatą, realiame darbe su skambučiais galutinė kokybė buvo prasta. Pasirodė, kad įprastų skambučių garsas yra duslus, su silpnais aukštais dažniais ir dažnu foniniu triukšmu. Kalbos ir triukšmo santykis skambučiuose siekė tik 8 dB, palyginti su 26 dB mokymo įrašuose, todėl atskirti kalbą nuo triukšmo tapo itin sudėtinga.
Sprendimas: tyčinis apmokymo įrašų „gadimasis“
Siekiant išspręsti šią problemą, apmokymo duomenys buvo pritaikyti prie realių skambučių sąlygų. Į mokymo įrašus buvo pridėta įvairaus stiprumo triukšmo, jie buvo pagreitinti ir sulėtinti, naudoti skirtingi telefonijos kodavimo metodai, siekiant didesnės kokybės įvairovės. Po šių pakeitimų klaidingai atpažintų žodžių dalis sumažėjo nuo 28,8% iki 12,6%. Šie pakeitimai žymiai pagerino modelio veikimą tiek triukšminguose, tiek švariuose įrašuose.
Ne visos klaidos yra klaidos
Analizuojant modelio rezultatus, pastebėta, kad dalį klaidų lėmė smulkūs intonacijos garsai kaip „mhm“, „hm“, kurie pokalbio prasmei didelės įtakos neturi. Šie garsai buvo pašalinti iš apmokymo duomenų ir nebevertinami kaip klaidos. Šiuo metu modelis supranta įvairaus triukšmingumo įrašus, o pasitaikančios klaidos yra neesminės (pvz., painiojami linksniai, praleidžiami trumpi žodžiai, „taip“ suprantamas kaip „tai“). Didžiausi iššūkiai išlieka medicininių terminų atpažinimui dėl jų stygiaus mokymo duomenyse.
Rekomendacijos prieš diegimą
Jei planuojama analizuoti prastos kokybės skambučius, rekomenduojama naudoti kuo artimesnius praktikai garso įrašus modelio apmokymui. Šiuo metu veikiantis modelis apmokytas iš trijų šaltinių: aukštos kokybės įrašų, triukšmu „sugadintų“ įrašų bei rankiniu būdu parengtų tikrų skambučių, kas leido pasiekti tik 9% klaidingai atpažintų žodžių dalį ir žada tolesnį tobulėjimą.
