Nag-develop ang WiMi ng Multi-modal EEG-Based Hybrid BCI System na may Visual Servo Module

BEIJING, Oktubre 16, 2023 — Ang WiMi Hologram Cloud Inc. (NASDAQ: WIMI) (“WiMi” o ang “Kompanya”), isang nangungunang global na tagapagbigay ng teknolohiya ng Hologram Augmented Reality (“AR”), ay nagpahayag ngayon na itinatag nito ang multi-modal EEG-based hybrid BCI system na may visual servo module na nagkokombina ng mga senyales ng SSVEP at motor image at nagdadagdag ng isang visual servo module upang pahusayin ang pagganap ng robot sa pagganap ng mga gawain ng paghawak. Sa pamamagitan ng pagkokombina ng iba’t ibang mga uri ng mga senyales ng EEG, ang mga gumagamit ay maaaring kontrolin nang mas malaya at intuitibo ang robot upang maisagawa ang iba’t ibang mga aksyon, kaya nagkakaloob ng isang mas nasisiyahang karanasan sa serbisyo.

Ang paghahain ng multi-modal EEG-based hybrid BCI system na may visual servo module ay pangunahing nagsasangkot sa disenyo ng pagkuha ng senyales, pagproseso ng senyales, paglikha ng utos ng pagkontrol at module ng visual servo.

1. Pagkuha ng Senyales: Ang sistema ay una ay kailangang makakuha ng senyales ng EEG ng gumagamit at senyales ng visual na feedback. Upang maisakatuparan ang multi-modal na pagkontrol, ang sistema ay nakakakuha ng parehong mga senyales ng SSVEP at motor image.

Pagkuha ng Senyales ng SSVEP: Sa pamamagitan ng paglalagay ng mga electrode ng EEG sa bungo ng gumagamit, ang sistema ay maaaring makakuha ng mga senyales ng SSVEP ng gumagamit. Ang SSVEP ay isang uri ng flicker na visual na evoked potential, kung saan ang utak ay lumilikha ng mga senyales na elektrikal ng isang tiyak na frekuensiya kapag ang pansin sa paningin ng gumagamit ay nakatuon sa isang tiyak na frekuensiya ng flicker na stimuli. Upang maisakatuparan ang multi-modal na pagkontrol, ang sistema ay nagbibigay ng tatlong iba’t ibang mga frekuensiya ng flicker na stimuli sa visual na interface, at ang bawat stimuli ay tumutugon sa isang utos ng pagkontrol ng robot, tulad ng pagpapalabas, paglikod kaliwa, at paglikod kanan.

Pagkuha ng Senyales ng Motor Image: Bukod sa senyales ng SSVEP, ang sistema ay kailangang makakuha ng senyales ng motor image ng gumagamit. Ito ay naisasakatuparan sa pamamagitan ng pagkuha ng mga senyales ng motor image ng gumagamit sa pamamagitan ng mga electrode ng EEG sa isang tiyak na lugar. Kapag inaakala ng gumagamit ang isang pagkilos ng paghawak, ang kaugnay na mga senyales ng motor image ay nakukuha at ginagamit upang kontrolin ang robot na maisagawa ang aksyon ng paghawak.

Pagproseso ng Senyales: Pagkatapos ng pagkuha ng senyales, ang mga hilaw na senyales ng EEG na nakuha ay kailangang iproseso at analisahin upang makuha ang kapaki-pakinabang na impormasyon at upang maisagawa ang pag-ekstrak ng tampok at pagkakakilanlan upang makilala ang intensyon ng gumagamit.

Pagproseso ng senyales ng SSVEP: Para sa mga senyales ng SSVEP, ang sistema ay una ay kailangang mag-filter at pre-proseso ng orihinal na senyales upang alisin ang ingay at pagkakahalintulad. Pagkatapos ay, sa pamamagitan ng pag-ekstrak ng mga tampok na espectral, ito ay nakikilala kung saang frekuensiya ang kasalukuyang pansin sa paningin ng gumagamit ay nakatuon, upang matukoy kung ang intensyon ng gumagamit ay lumiko sa harap, kaliwa o kanan.

Pagproseso ng Senyales ng Motor Image: Para sa mga senyales ng motor image, ang sistema ay kailangang pre-proseso ang mga hilaw na senyales upang alisin ang ingay at pagkakahalintulad. Pagkatapos ay, ang mga iniakala ng gumagamit na mga aksyon, tulad ng pagkilos ng paghawak, ay nakikilala sa pamamagitan ng pag-ekstrak ng tampok at pagkakakilanlan.

Sa multi-modal EEG-based hybrid BCI system na may visual servo module ng WiMi, ang paglikha ng mga utos ng pagkontrol ay ang pangunahing bahagi ng buong sistema. Ang paglikha ng utos ng pagkontrol ay nagsasangkot sa pagbabasa ng mga nakikilalang senyales ng EEG at pag-map sa kaugnay na mga aksyon ng robot.

3. Paglikha ng Utos ng Pagkontrol: Pagkatapos makilala ang intensyon ng gumagamit, ang sistema ay lumilikha ng kaukulang mga utos ng pagkontrol ayon sa mga resulta na nakuha, upang kontrolin ang mga aksyon ng robot.

Paglikha ng Utos ng Pagkontrol ng SSVEP: Para sa mga senyales ng SSVEP, ang sistema ay gumagamit ng pagsusuri ng spectrum upang iproseso ang mga ito. Ang pagsusuri ng spectrum ay nakakakuha ng frekuensiya kung saan nakatuon ang kasalukuyang pansin sa paningin ng gumagamit. Ang iba’t ibang mga stimuli na nakikita sa visual na interface ay tumutugon sa iba’t ibang mga pagkilos ng robot, tulad ng pagpapalabas, paglikod kaliwa at paglikod kanan. Sa pamamagitan ng pagkilala ng frekuensiya kung saan nakatuon ang pansin sa paningin ng gumagamit, ang sistema ay makakapagpasya ng intensyon ng gumagamit at lumilikha ng kaukulang mga utos ng pagkontrol ayon dito.

Paglikha ng Utos ng Pagkontrol ng Motor Image: Para sa mga senyales ng motor image, ang sistema ay gumagamit ng pag-ekstrak ng tampok at pagkakakilanlan upang makilala ang mga iniakalang pagkilos ng gumagamit. Kapag inaakala ng gumagamit ang isang pagkilos ng paghawak, ang tiyak na mga senyales ng motor image ay nakukuha. Ang sistema ay nakikilala ang mga tampok na ito sa pamamagitan ng pagsasanay ng mga algoritmong pagkatuto at lumilikha ng kaukulang mga utos ng pagkontrol batay sa mga resulta ng pagkakakilala upang ipag-uutos sa robot na maisagawa ang pagkilos ng paghawak.

4. Disenyo ng module ng visual servo: Ang module ng visual servo ay idinisenyo upang pahusayin ang pagganap at tumpak ng robot sa pagganap ng gawain ng paghawak. Maaaring ayusin ng module na ito ang posisyon ng paghawak at lakas ng robot sa panahon ng pagganap upang maging mas tumpak at mapagkakatiwalaan ang pagkilos ng paghawak. Ang module ng visual servo ay nakakakuha ng visual na feedback sa panahon ng pagganap ng robot sa gawain ng paghawak sa pamamagitan ng kamera at pinagsasama ito sa senyales ng motor image ng gumagamit para sa dinamikong pag-ayos.

Pagkuha ng Visual na Feedback: Ang kamera ay nakakakuha ng real-time na visual na feedback mula sa robot habang ito ay nagpapatupad ng isang gawain ng paghawak. Maaaring isama dito ang posisyon ng end-effector ng robot (hal. isang mechanical na gripper), ang posisyon nito, ang posisyon at hugis ng target na bagay, at iba pa.

Pag-ekstrak ng Tampok: Pag-ekstrak ng kapaki-pakinabang na mga tampok mula sa visual na feedback. Maaaring isama dito ang impormasyon tulad ng mga gilid, kulay, at hugis ng target na bagay, gayundin ang impormasyon sa posisyon at posisyon ng end-effector ng robot.

Pag-ayos ng Utos ng Pagkontrol: Ang mga tampok na kinuha mula sa visual na feedback ay pinagsasama sa mga senyales ng motor image ng gumagamit upang gawin ang dinamikong mga pag-ayos. Halimbawa, kung ang gumagamit ay inaakalang humawak sa mas malayong bagay, ang sistema ay maaaring ayusin ang posisyon ng paghawak at lakas ng robot ayon dito upang mas mabuti nito maisagawa ang gawain ng paghawak.

Pagbabalik-tanaw ng Kontrol: Ang module ng visual servo ay nagmomonitor sa panahon ng pagganap ng robot sa gawain ng paghawak at nagbibigay ng pagbabalik-tanaw ng kontrol ayon sa aktuwal na pagpapatupad. Kung mayroon mang anumang pagkakamali o kawalan ng katatagan sa proseso ng paghawak, ang sistema ay maaaring agad na mag-ayos upang masakatuparan ng robot ang aksyon ng paghawak nang mas tumpak.

Sa pamamagitan ng module ng visual servo, ang multi-modal EEG-based hybrid BCI system na may visual servo module ng WiMi ay mas maluwag na maaaring umangkop sa iba’t ibang mga scenario ng paghawak at intensyon ng gumagamit, na nagkakaloob ng mas mataas na kalidad ng serbisyo. Ang pagpapakilala ng module na ito ay nagpapataas sa awtonomiya at kakayahang umangkop ng robot upang maisagawa ang mga gawain ng paghawak, na nagpapahintulot sa sistema na maisakatuparan ang mas kompleks at natural na multi-modal na kontrol.

Ang mga tradisyonal na mga sistema ng brain-computer interface ay karaniwang nagkakaloob lamang ng limitadong bilang ng mga utos ng pagkontrol, na naghihigpit sa paraan ng pakikipag-ugnayan ng gumagamit sa robot. Ang multi-modal EEG-based hybrid BCI system na may visual servo module ng WiMi ay nagkokombina ng iba’t ibang mga uri ng mga senyales ng EEG upang payagan ang mas maraming at iba’t ibang mga utos ng pagkontrol, na nagpapahintulot sa mga gumagamit na biswal na ipakita ang iba’t ibang mga aksyon o ilagay ang pansin sa iba’t ibang mga frekuensiya ng stimuli upang maisakatuparan ang mas kompleks na pagkontrol ng robot, kaya nagkakaloob ng mas maluwag at natural na karanasan sa pakikipag-ugnayan.

Ang multi-modal EEG-based hybrid BCI system na may visual servo module ng WiMi sa pamamagitan ng pagkokombina ng maraming mga senyales ng EEG, ang sistema ay mas maaaring makilala ng tumpak ang intensyon ng gumagamit. Halimbawa, ang pagkokombina ng mga senyales ng SSVEP at mga senyales ng motor image ay nagbibigay ng mas mataas na tumpak ng pagkontrol, habang ang pagpapakilala ng module ng visual servo ay nagbibigay ng mga pag-ayos sa panahon ng mga pagkilos ng pagpapatupad ng robot at pinaigting ang kapanatagan at tumpak ng mga utos ng pagkontrol, na nagreresulta sa isang robot na mas mainam na tumutugon sa mga utos ng gumagamit. Ang sistema ay hindi lamang limitado sa pagkontrol ng robot, kundi maaari ring gamitin sa iba pang mga larangan, tulad ng virtual na katotohanan, rehabilitasyon na terapiya, at kontrol ng mga gamit na tumutulong. Ang paglawak ng teknolohiyang ito ay nagkakaloob ng bagong posibilidad para sa sakop ng pag-apply ng teknolohiya ng brain-computer interface at nagpapasulong sa pag-unlad ng larangan ng pakikipag-ugnayan ng tao at kompyuter.

Ang multi-modal EEG-based hybrid BCI system na may visual servo module ng WiMi ay nagsasangkot sa pagkokombina at pag-apply ng maraming teknolohiya, tulad ng pagproseso ng senyales ng EEG, pag-ekstrak ng tampok, mga algoritmong pagkatuto, at teknolohiya ng visual servo. Ang pagtugon at pag-integrate ng mga teknolohiyang ito ay nagpapasulong sa mas malayong pag-unlad ng teknolohiya ng BCI at naglalagay ng batayan para sa mas mataas na antas ng mga aplikasyon ng brain-computer interface. Ang multi-modal EEG-based hybrid BCI system na may visual servo module ng WiMi ay nagkakaloob ng mas maraming at mas iba’t ibang mga utos ng pagkontrol, pinaigting ang pagganap ng robot sa pagpapatupad ng mga utos ng kontrol.