Forskningen har kommet langt innen tankestyrte grensesnitt. Jeg har testet det ut. Les videre og se hva jeg fant ut!

EEG-måleren NeuroSky koblet til iPhone
Ideen bak tankestyring er fascinerende: få kontroll på tankene dine og bruk det til å styre et grensesnitt direkte, uten å gå veien om fingre, stemme eller andre bevegelser.
Jeg startet med å kjøpe en EEG-måler fra produsenten NeuroSky. EEG er inngangsbilletten til måling av hjerneaktivitet, og krever (gud forby) ingen inngrep eller implantater, som tilfellet er med ennå mer avanserte løsninger. Den måler summen av elektriske impulser fra hjernen din via en sensor på pannen, og kan enkelt plugges til iPhonen via minijack-inngangen.
Hva kan styres?

App-en XWave er et fint sted å starte
Det neste trinnet på læringsstigen er å greie å øke hjerneaktiviteten innen visse frekvensområder (det er som sagt elektriske impulser som måles). Får man til det, har man ikke bare det binære signalet, men også mulighet til å knytte ulike funksjoner og kommandoer til hvert enkelt frekvensområde.
Dette synes jeg var en god del vanskeligere å styre, siden jeg i utgangspunktet ikke visste hva jeg skulle tenke på for å aktivere en spesiell frekvens. Læringen er imidlertid basert på biofeedback, og jeg ser ingen prinsipielle grunner til at man ikke skulle få god kontroll på dette med litt trening.
Selv med lengre innlæring er det altså relativt grove signaler man greier å få kontroll over. EEG skiller seg sånn sett fra sensorer som måler aktiviteten på hjernecellenivå som kan brukes til mer presis interaksjon, som å styre bevegelser i håndproteser.
Men man slipper altså å operere inn en dings i hjernen, og utgangspunktet er etter min vurdering godt nok til å kunne lage en rekke spennende applikasjoner.
Utfordringer med tankestyring
Hva er så de største hindrene med tankestyrte grensesnitt (her tar jeg igjen utgangspunkt i EEG-teknologien):
Intensjonalitet
Det er gjort mange forsøk på å styre grensesnitt via øyebevegelser. En stor utfordring er at vi ikke har full viljestyring over hvordan øynene våre beveger seg, man må derfor legge inn et «bekreft»-funksjon i grensensittet som gjør de fleste operasjoner mye langsommere å utføre. Det samme gjelder langt på vei hjerneaktivitet – det er rett og slett mye som er random, uansett hvor stor selvkontroll du måtte ha. Det kan fort bli mye Confirm/Undo (og du synes Windows var irriterende?)
Kontekst
En ting jeg fant ut ganske fort: sitter du i et rom med masse mennesker er det mye vanskeligere å ha kontroll på tankene dine. Dette er definitivt noe som passer best i rolige omgivelser. Noe å tenke på når man skal vurdere brukskontekst for tankestyrte grensesnitt.
Læringstid
En annen potensiell showstopper er innlæringstiden. Det er selvsagt ikke lagd noen konvensjoner ennå, så man må lære seg en applikasjon av gangen. Dette er kanskje EEG-teknologiens største svakhet, og kommer sannsynligvis til å drive frem satsing på sensorteknologi der det i større grad er maskinvaren som må trenes opp, og ikke personen.
Den nye gutteromsbølgen
Tankestyring har naturligvis stor Geek-appell, og den lave prisen på maskinvaren er selvfølgelig gode nyheter for gutterommene. Jeg tror vi kommer til å få se mange spennende Apps fremover, og det er ikke sikkert at det blir IBM som vil lage de aller kuleste.
I mellomtiden er det bare å trene på å få ennå bedre selvkontroll.
Følg meg på Twitter: @JorgenDalen



5 kommentarer
Anders Matre Gåsland
01.02.2012 | 23:53
Tanker går utrolig raskt, så kanskje de fleste gresesnitt oppleves som trege (i forhold til hva du vil med tankene) og skaper frustrasjon hos brukeren. Var dette noe du erfarte da du testet det?
Jørgen Dalen
02.02.2012 | 10:45
Hei Anders! Hjerneaktivitet kan måles på ulike nivåer, både på aggregert nivå (summen av all aktivitiet), innenfor visse frekvensområder (summen av frekvensområdet «high alpha»), aktivitieten i et visst område av hjernen og ned til aktiviteten på hjernecellenivå.
Responstiden når det gjelder endringer i aktivitet er forskjellig for de ulike nivåene, fra relativt langsom (endring av totalaktiviteten) til «lynrask» (endring på hjernecellenivå).
Det er jo ikke utviklet noen protokoller ennå for hvordan endringer i hjerneaktivitet skal styre et grensesnitt, men det er helt klart et av kravene til en sånn protokoll at man må bruke signaler som både er raske nok (men ikke så rask at grensesnittet ikke henger med), standardiserte nok (så man ikke trenger å lære hver applikasjon hver for seg) og reliabel nok (god signal/noise-ratio og unngå ufrivillige handlinger).
I tillegg vil ulike typer utstyr kunne måle ulike ting, en EEG-måler går kun på aggregert aktivitiet, skal man ned på hjernecellenivå må man over på mer avansert utstyr. Det var jo EEG-måler jeg testet. Min opplevelse var at endringene på aggregert nivå gikk likk langsomt, mens endringene innenfor visse frekvensområder gikk veldig fort. Ta dette med en klype salt, det kan jo være programvaren som styrer hvordan dette oppleves, feks ved hvor hyppig målingen oppdateres.
Anders Matre Gåsland
02.02.2012 | 11:13
Aha! Jeg tenkte at det kanskje var grensesnittet som måtte bli raskere jeg, for at overgangen ikke skal oppleves så stor. Det virker som det er veldig begrenset hva en kan gjøre med det foreløpig…
Når det er sagt så hadde det vært stilig en gang i fremtiden at du f.eks. satt ved frokostbordet og lurte på hvor kaldt det var ute, også starter vær-appen med din lokasjon automatisk.
Det var et slikt scenario jeg tenkte på når jeg skrev at jeg trodde det kan oppleves som tregt.
Dvs. tiden det tar fra vi tenker noe skal skje til at det faktisk skjer. Og ikke minst alle de nye tankene som stadig kommer i hodet vårt og hvor fort grensesnittet reagerer på de.
Men det virker som vi er ganske langt unna å klare å faktisk måle HVA vi tenker, for å si det mildt.
Det er mer AT vi tenker og HVOR MYE som ser ut til å virke for å styre grensesnitt, inntil videre.
Men interessant å høre hvor langt dette feltet har kommet!
Jeg må si jeg i utgangspunktet er litt skeptisk til å styre grensesnitt med tankene.
Som du nevner er kontroll over egne tanker essensielt (er det noen som har det i det hele tatt?),
men kanskje er også stress en faktor. I en ellers travel hverdag tenker jeg at jeg i tillegg må ha enormt fokus og overskudd for å bruke noe sånt (enten det er så basic som det du prøvde, eller om grensesnittet faktisk gjør hva du tenker det skal gjøre). Noe som virker lite lokkende når en ellers har så mye å tenke på.
Det går nok litt på det du snakker om kontekst.
Det blir litt som at jeg ikke liker å se på 3D-filmer fordi det er for anstrengende, når jeg i utgangspunktet vil se på film for å slappe av.
Jørgen Dalen
02.02.2012 | 11:19
I utgangspunktet er det nok ikke hastigheten på hjerneimpulsene som setter begrensningen, mer som du sier å tolke hjerneaktiviteten på en reliabel måte, og at det ikke krever for store anstrengelser fra brukeren sin side.
Når det gjelder filmeksemplet ditt kan man jo se for seg at grensesnittet snur den andre veien, dvs at hjernen blir foret med elektriske signaler for å skape sanseopplevelser…
Anders Matre Gåsland
02.02.2012 | 11:28
Interessant tanke med å snu det. Det kan jo åpne for en haug av ulike stimuli.
Jeg tror nøkkelen ligger å i gjøre det så lite anstrengende for brukeren som mulig