Deep Learning alapú P300 jelfeldolgozás beágyazott környezetben
A különböző agy-számítógép interfész (BCI) eszközök fejlesztése és alkalmazása egyre nagyobb teret hódít magának. Ezen rendszerek nem csak kényelmi funkciókat képesek szolgálni, hanem ami még fontosabb, kommunikációjukban és/vagy mozgásukban korlátozott emberek életminőségének javítását teszik lehetővé. A BCI eszközök direkt kapcsolatot létesítenek a felhasználójuk és a jelfeldolgozó számítógép között, amelyhez agyi jeleket használnak fel. Az agyi jelek rögzítésére a ma ismert legkevésbé komplex és legolcsóbb eljárás az elektroenkefalográfia (EEG). Az EEG jelek feldolgozása sok kihívást rejt magában, főképp a jel rendkívül alacsony jel-zaj viszonya miatt. Az EEG jelek komponensei közé tartoznak a P300 jelek, amelyeket külső inger válthat ki. A P300 jelek napjainkban a legalkalmasabb jelek közé tartoznak a BCI rendszerek fejlesztésének tekintetében.
Dolgozatunk során egy olyan BCI rendszert mutatunk be, amelyet magunk hoztunk létre, és amely képes EEG jelek feldolgozására, dekódolására. Az eszköz használata során a felhasználó az eszköz segítségével képes lesz egy adott szó lebetűzésére, tisztán egy képernyőn látott 6x6-os betű- és számmátrix (ú.n. P300 betűző) használatával. Jelrögzítésre egy saját fejlesztésű EEG eszközt használunk, míg a nyert adat feldolgozására egy korszerű hardvert, az NVIDIA Jetson Nano Developer Kit-et. A Jetson Nano rendszerünk magját adja, amely felhasználói felületet kezel, jelfeldolgozást végez, mi több, egy modern mély neurális háló architektúrát futtat. Az agyi jelek dekódolására az EEGNet 2-dimenziós konvolúciós neurális háló modellt alkamazzuk, amely nagy pontosságú P300 detekcióra képes. A modell teljesítőképességét és adaptálhatóságát különböző eljárások segítségével növeljük.
Eredményeinket előre feldolgozott, nem nyers EEG jeleket tartalmazó adathalmazokon nyert eredményekhez mérve validáljuk. A dolgozat során bemutatjuk, hogy milyen lehetőségeket és kihívásokat rejt magában egy state-of-the-art BCI eszköz fejlesztése.
szerzők
-
Südi István
Mechatronikai mérnöki mesterképzési szak
mesterképzés (MA/MSc) -
konzulens
-
Dr. Szegletes Luca
egyetemi adjunktus, Automatizálási és Alkalmazott Informatikai Tanszék
