Лице музике: Како "Еие Цондуцтор" помаже паралитичари Роцк Тхе Фуцк Оут

Андреас Рефсгаард, дизајнер интеракције и креативни кодер који живи у Амстердаму, дизајнирао је музички интерфејс који омогућава људима са физичким инвалидитетом да праве музику. Еие Цондуцтор користи софтвер за праћење ока и компјутерску веб камеру за превођење покрета лица у различите компоненте музичке композиције. Корисници се могу тренирати да играју ствар са својим лицем, што значи да парализовани људи - људи који више не могу да свирају инструменте - могу имати другу шансу да направе лепе (или само гласне) звукове. Прави поглед дословно удара у Рефсгаардов изум. Прави израз се изражава наглас.

Рефсгаард се обратио Инверсе о мотивацији иза његовог пројекта, о борбама на које је наишао током пута, и о ономе што је научио људима које су изгубили способност да музику чине још једном шансом.

Каква је ваша позадина са музиком?

Не бих себе назвао музичарем јер свирам само за забаву, али свирам гитару и бас. Аблетон је музички програм, дигитална радна станица која је слична снимању софтвера као што су Логиц или Протоолс или Гараге Банд. Узео сам курс о томе, и нисам био толико сјајан у прављењу музике, али сам био фасциниран могућностима које сам видео. Онда смо почели да сарађујемо и радимо неке уметничке ствари где би дизајнирао звукове, а ја бих спојио сензоре, на пример, камеру дубине тако да када су људи прошли, они би контролисали неки аспект пројекта.

Дакле, ви сте дизајнер интеракције и креативни кодер. Можете ли објаснити шта ти називи значе?

Све ствари које дизајнирам су интерактивне. Дакле, ако бих направио неки намјештај, онда би он имао неку функционалност која би на неки начин реагирала. Такође сам креативни кодер. У поређењу са многим другим људима - на пример, студирао сам у Копенхагену на Институту за интеракцију у Копенхагену где људи долазе из много различитих позадина - ја сам мало више према страни кодирања. Такође себе називам „креативним кодерима“ јер нисам прави кодер. Нисам тако добар у томе, али могу да урадим неке ствари веома брзо и могу да повежем ствари и добро се сналазим са новим идејама.

Шта вас је инспирисало да помогнете људима са физичким инвалидитетом да праве музику?

После средње школе за два или три месеца била сам старатељ за некога са мишићном дистрофијом. Бити са њим цијело вријеме ме натерало да схватим неке ствари с којима му не могу помоћи. Један од њих се изражавао на креативан начин. Није да сам ја помислио: "Добро је овде проблем који морам да решим", јер сам у то време био млад и нисам имао никаквих професионалних вештина. Али заглавила је са мном.

Шта је са техничком инспирацијом?

Пројекат под називом Еиевритер који сам видио прије отприлике годину дана је програм за сликање који је дизајниран за типа који је био графити умјетник, али је онда парализиран. Неки од његових пријатеља су били кодери и направили су алат за њега са праћењем ока који су га натјерали да црта. А од када сам се играо са сензорима и стварима у музичком софтверу, направио сам везу. Урадио сам то као свој завршни пројекат у школи.

Како је музика завршила као креативно поље које сте желели да истражите?

Мислим да можда зато што ја много уживам у музици иу смислу времена које сам имао за пројекат. Постало је јасно да је музика оно што желим да радим. Тада сам био веома инспирисан писцем у смислу израде графике.

Музика изгледа као одличан избор јер је универзална. Не могу да замислим никога ко не воли музику.

У почетку сам желео да тестирам колико је важна музика за групу за коју сам дизајнирао. Први кораци били су само посматрање како људи са различитим физичким инвалидитетом ступају у интеракцију са музиком. Један дом који сам посетио имао је музику четвртком. Неки могу мало да покажу или мало играју на тастатури, а неки не могу ништа да ураде, али чињеница је да се појављују за музику четвртком.

Између посматрања и израде уређаја, колико је трајало?

Често у процесу дизајнирања то би биле двије одвојене ствари, али ми се не свиђа тај приступ. Волим да градим од самог почетка, а онда када имам разговоре о томе шта сам изградио. И онда га модификујем или усавршавам.

Какав је био осећај да га први пут користе људи?

Било је лепо, да. Пошто неки људи не могу да говоре, веза може бити тешка. Али онда кад су користили мог Еие Цондуцтор-а, стварно смо се повезали. Гледали су у мене и смејали се или се понашали веома срећно или када сам га само демонстрирао, били су заиста фокусирани. То је био леп пример начина на који музика може да помогне људима да комуницирају и изразе емоције.

Без претеране техничке природе, који је био највећи проблем на који сте наишли док сте дизајнирали Еие Цондуцтор?

Да би систем функционисао морате да седите у истој пози док седимо испред наших лаптопова, јер слика коју видите сада је права и добра за праћење мог лица и очију. Али ако сте са неким у инвалидским колицима који, на пример, нема контролу над својим положајем или леђима или вратом, онда би понекад сједили више постранце и систем не би могао да прати њихове покрете лица. А онда би ми понекад било помало неугодно да покушам да кажем: “Добро да ово ради, мораш да седиш усправније.” А онда, када они нису вербални, како ћемо то саопштити?

Ако је нетко тако нагнуо главу, да ли би теоретски могао држати лаптоп на начин који покрива њихове гестове лица?

Да. Тако да нисам стварно ишао у решавање тог проблема, али многи људи имају компјутере монтиране на колицима и рачунар је на полу, а затим на том полу постоји уређај за монтажу и они га усмеравају у правом смеру да би показали на лице лица. Нема позиције која је исправна или погрешна, то је само да се сензори - што је веб камера и трагач за очи - нађу равно према глави. То је било мало изазовно. То је више била хардверска ствар, јер бих иначе морао да покушам да изградим структуру и то би било неуредно. Нисам баш тако добар у томе.

Да ли сте све то урадили сами или сте наишли на техничка питања која су само други људи знали да реше?

Урадио сам то сам, али на страни дизајна звука добио сам помоћ од професора о коме сам ти причао. У основи, само дизајнирање звука. Имао сам и саветника који ми је дао неке смернице у смислу програмског језика названог Мак, у којем је био заиста одличан. Само ми је помогао да будем удобнији са одређеним детаљима програмирања. Наравно, много тога је било ново, али основе које сам већ знао из претходног искуства. Направио сам Еие Цондуцтор за осам недеља и људи су рекли: "Ох, то је лудо како то можете направити за осам недеља?" Али направио сам неке друге ствари које су такође напредне у смислу рада са сензорима и музичким софтвером и то је трајало дуже јер Нисам знао како то да урадим. Сада када знам да није тако тешко, иако је овај пројекат био компликованији. Такође ми је важно да истакнем да је то потпуно радни прототип, али то није производ. Тако да људи не могу да изађу и купују га и да га инсталирају на мој рачунар.

Хтео сам да вас питам имате ли планове да га продате?

Заправо не желим да је продам, желим да је дам. Желим да буде отворена ствар, али сада не могу ништа обећати. Још увек немам средстава за то и имам посла и других ствари које треба да урадим. Добио сам поруку од типа у Мицхигану, који је некада био продуцент, а онда је добио АЛС. Морам га учинити некако доступним свим овим људима. Веома ми је важно да у неком тренутку, и не могу обећати када, али, надам се, ускоро, паковати га на начин да људи могу или да га преузму као једну ствар, и да ће се покренути на већини рачунара или ће се испробати. у претраживачу. Идеја да се направи прегледник би само захтевала од људи да имају рачунар са мрежним приступом и онда да имају било какву замену за миша који би могли имати на свом рачунару. Ако то учиним отвореним изворним кодом, могу да обезбедим основни демо и онда људи могу да додају своје сопствене обрте да би то учинили својим.

Лепо је чути да то радите зато што желите да помогнете људима, а не зато што желите да се обогатите или тако нешто.

Алати које сам направио са - барем радним прототипом - су опен соурце. Зашто бих онда добио кредит? На пример, систем за праћење лица који користим за свој прототип који омогућава људима да креирају звук тако што подижу обрве или отварају уста, то је нешто што се зове ФацеОСЦ од стране типа по имену Киле МцДоналд и то је систем отвореног кода. Мислим да не бих дошао толико далеко колико сам радио без тог комада софтвера.