Deepfakes nav atbilstība mašīnmācībai - Lūk, kāpēc

Jauna dezinformācijas forma tiek izplatīta, izmantojot tiešsaistes kopienas, jo 2018. gada vidus vēlēšanu kampaņas sasilst. Pēc pseidonīmā tiešsaistes konta, kas popularizēja šo tehniku, to sauca par “dziļa kārklu”, kas, iespējams, ir izvēlējies tā nosaukumu, jo process izmanto tehnisko metodi, ko sauc par “dziļu mācīšanos” - šie viltotie video izskatās ļoti reāli.

Līdz šim cilvēki pornogrāfijā un satīrijā ir izmantojuši dziļi viltus videoklipus, lai parādītu, ka slaveni cilvēki dara lietas, ko viņi parasti nebūtu. Taču kampaņas sezonā parādīsies gandrīz daži dziļi sāpes, kas paredzēja attēlot kandidātus, kas saka lietas vai dodas uz vietas, kur īstais kandidāts nebūtu.

Tā kā šīs metodes ir tik jaunas, cilvēkiem ir grūtības pateikt atšķirību starp reāliem video un deepfake video. Mans darbs kopā ar kolēģi Ming-Ching Chang un mūsu doktora grādu. Yuezun Li students ir atradis veidu, kā droši pastāstīt reālus video no deepfake video. Tas nav pastāvīgs risinājums, jo tehnoloģija uzlabosies. Bet tas ir sākums, un piedāvā cerību, ka datori varēs palīdzēt cilvēkiem pateikt patiesību no fantastikas.

Kas ir „Deepfake”?

Lai dziļi izveidotu video, tas ir ļoti līdzīgs tulkojumam starp valodām. Pakalpojumiem, piemēram, Google Translate, tiek izmantota mašīnmācība - desmitiem tūkstošu tekstu datorizēta analīze vairākās valodās - lai atklātu vārdu lietošanas modeļus, ko viņi izmanto, lai izveidotu tulkojumu.

Deepfake algoritmi darbojas tādā pašā veidā: viņi izmanto kāda veida mašīnu mācību sistēmu, ko sauc par dziļu neironu tīklu, lai pārbaudītu vienas personas sejas kustības. Tad viņi sintezē cita cilvēka sejas attēlus, veidojot analogas kustības. To darot, tiek izveidots video no mērķa personas, kas, šķiet, dara vai saka, ko darīja avota persona.

Lai dziļi neironu tīkli varētu darboties pareizi, tiem ir nepieciešama daudz avota informācijas, piemēram, fotogrāfijas, kurās ir personas, kas ir personības avots vai mērķis. Jo vairāk attēlu izmanto, lai apmācītu deepfake algoritmu, jo reālāka būs digitālā uzvedība.

Mirgošana

Šajā jaunā algoritma tipā joprojām ir trūkumi. Viens no tiem ir saistīts ar to, kā simulētās sejas mirgo - vai ne. Veselīgi pieaugušie cilvēki mirgo kaut kur starp divām un desmit sekundēm, un viens mirklis aizņem vienu desmito daļu un četras desmitdaļas sekundes. Tas ir normāli, ja video skatāmais cilvēks runā. Bet tas nav tas, kas notiek daudzos deepfake videoklipos.

Kad deepfake algoritms tiek apmācīts personas sejas attēliem, tas ir atkarīgs no fotogrāfijām, kas ir pieejamas internetā un kuras var izmantot kā mācību datus. Pat cilvēkiem, kas bieži fotografēti, tiešsaistē ir pieejami tikai daži attēli, kas parāda viņu aizvērtās acis. Fotogrāfijas nav tik reti sastopamas, jo cilvēku acis ir atvērtas lielākoties - bet fotogrāfiem parasti netiek publicēti attēli, kuros ir aizvērtas galveno priekšmetu acis.

Bez treniņiem par mirgojošiem cilvēkiem deepfake algoritmi, visticamāk, rada sejas, kas mirgo normāli.Kad mēs aprēķinām kopējo mirgošanas ātrumu un salīdzinām to ar dabisko diapazonu, mēs atklājām, ka deepfake videoklipu rakstzīmes mirgo daudz retāk salīdzinājumā ar reāliem cilvēkiem. Mūsu pētījumi izmanto mašīnu mācīšanos, lai pārbaudītu acu atvēršanu un slēgšanu video.

Skatiet arī: Holivudas nepiedāvā Āzijas amerikāņu zvaigznes, bet A.I. Mašīnmācība var

Tas dod mums iedvesmu, lai atklātu deepfake videoklipus. Pēc tam mēs izstrādājam metodi, lai noteiktu, kad videoklipa persona mirgo. Lai būtu precīzāks, tas skenē katra attiecīgā videoklipa kadru, konstatē tajā esošās sejas un pēc tam automātiski atrod acis. Pēc tam tas izmanto citu dziļu neironu tīklu, lai noteiktu, vai atklātā acs ir atvērta vai slēgta, izmantojot acu izskatu, ģeometriskās iezīmes un kustību.

Mēs zinām, ka mūsu darbs ir tāds, ka trūkst datu, kas pieejami, lai apmācītu deepfake algoritmus. Lai izvairītos no līdzīgas nepilnības upurēšanas, mēs esam apmācījuši mūsu sistēmu lielā bibliotēkā, kurā redzamas gan atvērtas, gan aizvērtas acis. Šķiet, ka šī metode darbojas labi, un līdz ar to mēs esam sasnieguši vairāk nekā 95% atklāšanas līmeni.

Tas, protams, nav pēdējais vārds par dziļu kraukļu atklāšanu. Tehnoloģija strauji uzlabojas, un konkurence starp viltotu videoklipu radīšanu un atklāšanu ir līdzīga šaha spēlei. Jo īpaši mirgošana var tikt pievienota deepfake videoklipiem, iekļaujot sejas attēlus ar aizvērtām acīm vai izmantojot video sekvences apmācībai. Cilvēki, kuri vēlas sajaukt sabiedrību, labāk gūs viltus video, un mums un citiem tehnoloģiju kopienai būs jāturpina atrast veidus, kā tos atklāt.

Šis raksts sākotnēji tika publicēts „The Conversation by Siwei Lyu”. Lasiet oriģinālo rakstu šeit.