Sejas mūzika: kā "acu diriģents" palīdz paralītiskajiem spēlētājiem izspiest ārā

Andreas Refsgaard, Amsterdamā dzīvojošs mijiedarbības dizainers un radošs kodētājs, ir izstrādājis mūzikas interfeisu, kas ļauj cilvēkiem ar fizisku invaliditāti veikt mūziku. Eye Conductor izmanto acu sekošanas programmatūru un datora tīmekļa kameru, lai iztulkotu sejas kustības dažādos mūzikas kompozīcijas komponentos. Lietotāji var apmācīt sevi, lai spēlētu to ar savu seju, kas nozīmē paralizētus cilvēkus - cilvēkus, kuri vairs nevar spēlēt instrumentus - var būt otrā iespēja, lai radītu skaistas (vai tikai skaļas) skaņas. Tiesības skatiens burtiski skar akordu ar Refsgaard izgudrojumu. Pareizā izteiksme izpaužas skaļi.

Refsgaard runāja Apgrieztā par viņa projekta motivāciju, cīņām, ar kurām viņš gāja, un to, ko viņš uzzināja, ko viņš deva cilvēkiem, kuri zaudēja iespēju padarīt mūziku vēl vienu iespēju.

Kāda ir jūsu fona ar mūziku?

Es nesaucu sevi par mūziķi, jo es tikai spēlēju jautri, bet es spēlēju ģitāru un basu. Ableton ir mūzikas programma, digitāla darba stacija, kas ir līdzīga ierakstīšanas programmām, piemēram, Logic vai Protools vai Garage Band. Es par to paņēmu kursu, un man nebija tik lielas iespējas, lai mūziku ar to darītu, bet mani fascinēja iespējas, ko es redzēju. Tad mēs sākām sadarboties un darīt vairāk māksliniecisku instalācijas veidu, kur viņš radītu skaņas, un es ieslēgtu sensorus, piemēram, dziļuma kameru, tāpēc, kad cilvēki gāja pagātnē, viņi kontrolētu kādu projekta aspektu.

Tātad jūs esat mijiedarbības dizainers un radošs kodētājs. Vai jūs varētu paskaidrot, ko šie nosaukumi nozīmē?

Visas lietas, ko es izstrādāju, ir interaktīvas. Tātad, ja man būtu kaut kāda veida mēbeles, tad tam būtu dažas funkcionalitātes, kas padarītu to reakciju uz kaut ko. Esmu arī radošs kodētājs. Salīdzinot ar daudziem citiem cilvēkiem, piemēram, es studēju Kopenhāgenā Kopenhāgenas Mijiedarbības dizaina institūtā, kur cilvēki nāk no daudzām dažādām fonām - es esmu nedaudz vairāk pret kodu. Es arī sevi saucu par “radošo kodētāju”, jo es neesmu pareizi kodētājs. Man tas nav tik labi, bet es varu darīt dažas lietas ļoti ātri, un es varu savienot lietas, un es esmu gatavs nākt klajā ar jaunām idejām.

Kas jūs iedvesmoja palīdzēt cilvēkiem ar fizisko invaliditāti mūziku?

Pēc vidusskolas divus vai trīs mēnešus es biju kādam ar muskuļu distrofiju. Būdams kopā ar viņu visu laiku, es sapratu dažas no lietām, ko es nevarēju viņam palīdzēt. Viens no viņiem izpaužas radoši. Tā nebija tā, ka es domāju: „Labi šeit ir problēma, kas man jārisina”, jo tajā laikā es biju jauns un man nebija nekādu profesionālo prasmju. Bet tas iestrēdzis ar mani.

Kas attiecas uz tehnisko iedvesmu?

Projekts ar nosaukumu Eyewriter, ko redzēju apmēram pirms gada, ir glezniecības programma, kas bija paredzēta puisis, kurš agrāk bija grafiti mākslinieks, bet pēc tam bija paralizēts. Daži viņa draugi bija kodētāji un radīja viņam rīku, ar ko varēja vērot. Un tad, kad es biju spēlējis apkārt ar sensoriem un mūzikas programmatūru, es izveidoju savienojumu. Es to darīju kā galīgo projektu skolā.

Kā mūzika beidzās kā radošā joma, kuru vēlaties izpētīt?

Es domāju, ka varbūt tāpēc, ka man patīk daudz mūzikas un laika, kas man bija projektā. Tas tikai kļuva skaidrs, ka mūzika bija tā, ko es gribēju strādāt. Tad es biju ļoti iedvesmojis Eyewriter grafikas veidošanas ziņā.

Mūzika šķiet lieliska izvēle, jo tā ir universāla. Es nevaru iedomāties nevienu, kam nepatīk mūzika.

Sākumā es tiešām gribēju pārbaudīt, cik svarīga ir mūzika grupai, kurai es izstrādāju. Pirmie soļi bija tikai novērojot, kā cilvēki ar atšķirīgu fizisko invaliditāti mijiedarbojas ar mūziku. Vienā mājā, kuru es apmeklēju, bija mūzikas ceturtdienas. Daži var nedaudz vērsties vai spēlēt nedaudz uz klaviatūras, un daži nevar kaut ko darīt, bet fakts ir tas, ka tie parādās mūzikas ceturtdienās.

Cik ilgi tas notika, novērojot un pēc tam veicot ierīci?

Dizaina procesā bieži vien tas būtu divas atsevišķas lietas, bet man nepatīk šī pieeja. Man patīk ēka no paša sākuma un tad, kad man ir sarunas par to, ko esmu uzbūvējis. Un tad es to pārveidoju vai uzlaboju.

Kāda bija tā, lai cilvēki to pirmo reizi lietotu?

Tas bija diezgan jauki, jā. Tā kā daži cilvēki nevarēja runāt, savienojums var būt grūti. Bet tad, kad viņi izmantoja manu acu diriģentu, mēs tiešām pievienojāmies. Viņi skatījās uz mani un smaidīja vai darbojās patiešām laimīgi, vai kad es tikko demonstrēju, viņi tiešām koncentrējās. Tas bija skaists piemērs tam, kā mūzika var palīdzēt cilvēkiem mijiedarboties un izpaust emocijas.

Neatradot pārāk tehnisku, kāda bija lielākā problēma, ar kuru jūs saskāries, kamēr jūs izstrādājāt acu diriģentu?

Lai sistēma strādātu, jums ir jāatrodas tajā pašā pozā, kā mēs sēžam tieši tagad mūsu klēpjdatoru priekšā, jo tēls, ko jūs redzat tieši tagad, ir taisni un labi seko manai sejai un acīm. Bet, ja jūs esat kopā ar kādu ratiņkrēslā, kuram nav, piemēram, savas pozas vai muguras vai kakla kontroles, tad dažreiz viņi sēž vairāk uz sāniem, un sistēma nevarēja izsekot viņu sejas kustībām. Un tad dažreiz man būtu mazliet neērti mēģināt pateikt: „Labi, lai tas strādātu, jums ir jābūt taisnākam.” Un tad ar tiem, kas nav verbāli, kā mēs to darām?

Ja kāds galvu nolīdzināja, vai jūs teorētiski varētu noturēt klēpjdatoru tādā veidā, kas savāc viņu sejas žestus?

Jā. Tāpēc es īsti neiesaistījos šo jautājumu risināšanā, bet daudziem cilvēkiem ir ierīkoti datori, kas uzstādīti uz viņu ratiņkrēsliem, un dators atrodas uz pola, un tad uz šīs pole ir uzstādīšanas ierīce, un tie ir vērsti pareizajā virzienā, lai norādītu uz personas seja. Nav pareizas vai nepareizas pozīcijas, tas ir tikai par to, lai sensori - kas ir webcam un acu sekotājs - būtu taisni uz galvas. Tas bija nedaudz sarežģīts uzdevums. Tas bija vairāk aparatūras lieta, jo pretējā gadījumā man būtu jāmēģina veidot struktūru un tas būtu netīrs. Es neesmu tik labs.

Vai jūs visu izdarījāt pats, vai arī jūs nonācāt tehniskos jautājumos, ko tikai citi cilvēki zināja, kā atrisināt?

Es to darīju pats, bet skaņas dizaina pusē es saņēmu palīdzību no šī profesora, ko es jums pastāstīju. Būtībā tikai skaņas dizaina stuff. Man bija arī padomdevējs, kurš man deva norādes par programmēšanas valodu Max, kuru viņš patiešām bija lieliski. Viņš tikai palīdzēja man būt apmierinātam ar noteiktām programmēšanas detaļām. Protams, daudz no tā bija jauna, bet tā pamati es jau zināju no iepriekšējās pieredzes. Astoņu nedēļu laikā es vadīju acu diriģentu, un cilvēki teica: „Ak, kas ir traks, kā jūs varat to izdarīt astoņu nedēļu laikā?” Bet es darīju dažas citas lietas, kas ir arī uzlabotas, strādājot ar sensoriem un mūzikas programmatūru, un tas notika ilgāk, jo Es nezināju, kā to izdarīt. Tagad, kad es zinu, tas nav tik grūti, pat ja šis projekts bija sarežģītāks. Man ir svarīgi arī norādīt, ka tas ir pilnībā strādājošs prototips, bet tas nav produkts. Tāpēc cilvēki nevar iet un iegādāties un instalēt to savā datorā.

Es gribēju jums jautāt, vai jums ir plāns to pārdot?

Es tiešām nevēlos to pārdot, es gribu to atdot. Es gribu padarīt to par atklātu avotu, bet tagad es nevaru to apsolīt. Man vēl nav nekāda finansējuma, un man ir darbs un citas lietas. Es saņēmu ziņu, piemēram, no Mičiganas, kurš agrāk bija ražotājs, un pēc tam viņš saņēma ALS. Man tas ir jādara pieejams visiem šiem cilvēkiem. Man ir ļoti svarīgi kaut kādā brīdī, un es nevaru apsolīt, kad, bet, cerams, diezgan drīz, pakotiet to tā, lai cilvēki varētu to visu lejupielādēt kā vienu lietu, un tas darbotos lielākajā daļā datoru vai arī to izmēģinātu pārlūkprogrammā. Ideja, kā padarīt to par pārlūku, prasītu, lai cilvēkiem būtu dators ar piekļuvi internetam un pēc tam būtu kāda datora aizstāšana ar peli. Ja es daru to atvērtā koda formātā, es varu nodrošināt pamata demonstrāciju, un tad cilvēki var pievienot savus pagriezienus, lai padarītu to pašu.

Ir patīkami dzirdēt, ka jūs to darāt, jo jūs vēlaties palīdzēt cilvēkiem, nevis tāpēc, ka vēlaties bagātināt vai kaut ko līdzīgu.

Rīki, kurus es to izveidoju ar - vismaz darba prototipu - ir atvērtā koda. Kāpēc es tad saņemtu kredītu? Piemēram, sejas izsekošanas sistēma, ko izmantoju prototipam, kas ļauj cilvēkiem radīt skaņu, pacelot uzacis vai atverot mutes, tas ir lieta, ko sauc par FaceOSC, ko izveidojis puisis ar nosaukumu Kyle McDonald un tas ir atvērtā koda sistēma. Es nedomāju, ka es būtu guvis tik tālu, cik es darīju bez šīs programmatūras.