Интерфејс мозга-компјутер може превести мисли у говор

Неуроенгинеери су створили нови систем који може превести једноставне мисли у препознатљив говор, користећи умјетну интелигенцију и синтетизатор говора, према студији објављеној у уторак.

Тим истраживача са седиштем у Њујорку био је у стању да реконструише речи користећи само мождану активност, иновацију која би могла да утрти пут за технологије контролисане мозгом као што је, рецимо, паметни телефон који може превести ваше мисли у текстуалне поруке.

Др. Нима Месгарани, ванредни професор на Универзитету Колумбија, предводио је студију и рекао Инверсе да види велики потенцијал да помогне у обнови говора људима који се опорављају од можданог удара или живе са амиотрофичном латералном склерозом (АЛС). Даље, ова врста технологије би могла отворити врата паметним телефонима који су повезани са мозгом и који би корисницима омогућили да користе текст у глави, иако је то још увијек далеко. Његов рад је објављен у часопису Сциентифиц Репортс.

„Један од мотива овог рада… је за алтернативне методе интеракције људи и рачунара, као што је могући интерфејс између корисника и паметног телефона“, каже он. "Међутим, то је још увијек далеко од стварности, и тренутно, информације које се могу извадити помоћу неинвазивних метода нису довољно добре за апликацију интерфејса говора мозак-компјутер."

Слушајте говор који је генерисао интерфејс мозак-компјутер.

Да би развили нову технику, Месгарани и његов колега, др Асхесх Динесх Мехта из Института за неуронаукуке Нортхвелл Хеалтх Пхисициан Партнерс, почели су са испитивањем мождане активности пацијената са епилепсијом за њихово истраживање. Ови пацијенти су већ имали имплантате електрода у својим мозговима како би пратили нападе, које су Месгарани и Мехта могли користити за прикупљање података за своја истраживања.

Двојац је замолио учеснике да слушају говорнике рецитирајући бројеве између нула и девет, а затим су снимили сигнале мозга из те интеракције. Затим су обучавали неуронску мрежу - програм који имитира структуру неурона у људском мозгу - да препознаје обрасце у сигналима и преведе их у ријечи роботизирајућег говора помоћу синтетизатора говора, познатог као вокодер.

Резултат је био кратак гласовни снимак онога што звучи као Мицрософт Сам који броји од нула до девет. Импресивни део је колико је јасан говор упоређен са другим методама које су истраживачи тестирали. Ипак, још увијек треба обавити много посла.

„Може проћи и деценија прије него што ова технологија постане доступна“, каже Месгарани. “Потребно нам је више напретка како у дугорочним, био-компатибилним имплантабилним електродама и / или револуционарним технологијама у неинвазивним методама неуралног снимања. Такође нам је потребно боље разумевање о томе како мозак представља говор, тако да можемо усавршити наше методе декодирања. ”

Пацијенти који су били део ове студије, на пример, сви су имали операцију мозга да би имплантирали електрокортикографске мониторе. Ово је екстремно инвазиван процес који захтева отворену операцију мозга, нешто што већина људи можда није спремна да прође, чак и ако постоји могућност обнављања неких њихових говорних способности.

За сада, ова студија је увела метод за декодирање сигнала мозга у говор. Ако откријемо како тачно детектовати мождану активност без операције, бићемо један корак ближе не само револуционизацији говорне терапије, већ и потенцијалних паметних телефона повезаних са мозгом.

Истраживање интерфејса мозга и компјутера је добило нови интерес у протеклих неколико година. У априлу 2017. године, Фацебоок је објавио да ради на БЦИ-ју током своје годишње Ф8 конференције. И Елон Муск је објавио у новембру 2018. да је Неуралинк, његов властити БЦИ стартуп, запослио.

Апстрактан

Реконструкција слушног стимулуса је техника која проналази најбољу апроксимацију акустичног стимулуса из популације евоциране неуронске активности. Реконструкција говора из људске мождане коре ствара могућност неуропростетског говора да би се успоставила директна комуникација са мозгом и показало се да је то могуће иу очигледним иу тајним условима. Међутим, низак квалитет реконструисаног говора озбиљно је ограничио корисност ове методе за апликације интерфејса мозга и рачунара (БЦИ). Да би унапредили најсавременији неуропростхесис говора, комбиновали смо најновија достигнућа у дубоком учењу са најновијим иновацијама у технологијама синтезе говора за реконструкцију затвореног скупа разумљивог говора из људског слушног кортекса. Истраживали смо зависност тачности реконструкције од линеарних и нелинеарних (дубинских неуронских) регресионих метода и акустичке репрезентације која се користи као циљ реконструкције, укључујући и аудиторне спектрограме и параметре синтезе говора. Поред тога, успоређивали смо и точност реконструкције из ниских и високих неуралних фреквентних опсега. Наши резултати показују да модел дубоке неуронске мреже који директно процењује параметре синтетизатора говора са свих неуронских фреквенција постиже највише субјективне и објективне резултате на задатку препознавања цифара, побољшавајући разумљивост за 65% у односу на основни метод који је користио линеарну регресију реконструисати слушни спектрограм. Ови резултати демонстрирају ефикасност алгоритама за дубинско учење и синтезу говора за пројектовање нове генерације говорних БЦИ система, који не само да могу обновити комуникацију за парализиране пацијенте, већ такођер имају потенцијал за трансформацију технологија интеракције између човјека и рачунала.

Повезани видео: Роботи за детекцију можданог таласа могу служити као продужетак људског тела