Forrás: Wikimedia Commons, közkincs
Az automatikus beszédfelismerés (Automatic Speech Recognition, ASR) olyan technológia, amely a hangjelből szöveges reprezentációt állít elő. A folyamat nem egyszerűen hangmintázatok keresését jelenti: a rendszernek egyszerre kell kezelnie akusztikai változékonyságot, zajt, különböző kiejtési stílusokat és a nyelv grammatikai összefüggéseit.
Az ASR rendszerek felépítése
A hagyományos ASR-architektúra két fő összetevőre bontható: az akusztikai modellre és a nyelvi modellre. Az akusztikai modell a hangjelből kinyert spektrális jellemzőket (leggyakrabban MFCC, azaz Mel-frekvenciás cepsztrális együtthatók) fonémákká vagy más szubszó egységekké alakítja. A nyelvi modell ezután meghatározza, hogy a fonémasorozatok melyik szószekvencia valószínűségét maximalizálják az adott nyelvben.
MFCC – Mel-frekvenciás cepsztrális együtthatók
Az emberi hallás nem lineárisan érzékeli a frekvenciákat: az alacsonyabb hangokat finomabban különíti el, mint a magasakat. Az MFCC ezt a Mel-skálát utánozva tömöríti a hangspektrum releváns jellemzőit, amelyeket aztán a gépi tanulási modellek feldolgoznak.
Az újabb, végponttól végpontig (end-to-end) tanított neurális hálózatok – mint a Connectionist Temporal Classification (CTC) alapú vagy a Transformer-alapú modellek – egyetlen hálózatban kezelik az akusztikus és a nyelvi szintet, közvetlen hangszegmensből szöveg leképezést tanulva.
A magyar fonológia sajátosságai
A magyar hangrendszer több jellegzetességet mutat, amelyek az ASR-rendszerek számára különleges kezelést igényelnek.
Magánhangzó-harmónia
A magyarban a szuffixumok magánhangzói alkalmazkodnak a tő magánhangzóihoz. Ez azt jelenti, hogy az egyes toldalékok különböző hangzású variánsokban fordulnak elő (pl. házban vs. kertben). Egy ASR-rendszernek, amely nem ismeri a tő-toldalék határokat, nehezebb ez alapján következtetni a szóalakok valószínűségére.
Mássalhangzó-kapcsolatok
A szóhatárokon és morfématagoknál képzett összetett mássalhangzó-kapcsolatok (pl. szókezdő sztratégiai, sprinter, vagy toldalékolásnál keletkező kapcsolatok) az akusztikai modell számára kevésbé begyakorolt mintázatokat jelentenek, ha a betanítási adatokban alulreprezentáltak.
Hangsúly és intonáció
A magyarban a szóhangsúly általánosan az első szótagra esik, az intonációs minták azonban mondatfajtánként változnak. A gépi felismerési hibák egy részét az okozza, hogy a modell tévesen értelmezi a hangsúlymintát, különösen spontán társalgási stílusban felvett anyagoknál.
Szöveg-hang szintézis (TTS)
Az ASR fordítottja a szöveg-hang szintézis (Text-to-Speech, TTS), amely szöveges bemenetből természetesnek hangzó beszédet állít elő. A korai TTS-rendszerek összefűzött hangszegmensekkel dolgoztak; a modern neurális TTS-modellek (pl. Tacotron, FastSpeech típusú architektúrák) end-to-end betanítással képesek természetesebb prózódiát és hanglejtést generálni.
A magyar TTS fejlesztésének egyik nyilvánosan dokumentált területe a Magyar Tudományos Akadémia és az ELTE kutatócsoportjaihoz köthető, bár az ipari megvalósítások részletei kevésbé nyilvánosak. Ami megfigyelhető: a kereskedelmi hangsegédek magyar módban általában felismerhető, de nem mindig természetes hanglejtést produkálnak, különösen hosszabb összetett mondatoknál.
Akadálymentesítési alkalmazások
A hangfelismerő technológia egyik legközvetlenebb társadalmi haszna a mozgáskorlátozott vagy látássérült felhasználók számára készült alkalmazásokban mutatkozik meg. Az élő feliratozás, a diktálás és a hangvezérlés mind erre a technológiai alapra épít.
Magyarországon a nyilvános rendezvények élő feliratozásának igénye, a parlamenti ülések és a média hozzáférhető változatai mind olyan területek, ahol az ASR célzott fejlesztése valódi hatással lehet a tágabb nyilvánosságra.
Értékelési nehézségek
Az ASR-rendszerek teljesítményét szóhibaaránnyal (Word Error Rate, WER) mérik: ez azt mutatja meg, hogy az átiratozás során az összes szóhoz képest hány szó hiányzik, cserélődik fel vagy kerül tévesen be. A WER azonban önmagában nem tükrözi, mennyire érthetők és felhasználhatók az átiratok a gyakorlatban.
Összefoglalás
A gépi hangfelismerés nem csupán akusztikai mintázatkeresés: az akusztikai és a nyelvi szintek szoros összefüggésben állnak egymással. A magyar fonológia jellemzői – a magánhangzó-harmónia, az összetett mássalhangzó-kapcsolatok és az első szótagra eső hangsúly – mind befolyásolják, milyen minőségű ASR-rendszert lehet az adott mennyiségű betanítási anyagból létrehozni. A kutatási és fejlesztési munka e területen aktívan zajlik, de a nyilvánosan elérhető, magas minőségű magyar ASR még nem éri el a jól erőforrásolt (well-resourced) nyelvek szintjét.
Hivatkozások: Nyelvtudományi Kutatóközpont · e-magyar.hu
