Man kan gjøre kvalifiserte antagelser om hvilke sider som fungerer godt ved å gå i dybden med ordinær webanalyse. Men det er ikke sikkert at innholdet på en side er godt, selv om siden er populær. Det er heller ikke sikkert at en side er dårlig, selv om mange forlater nettstedet etter å ha vært på siden. De beste svarene får du ved å spørre brukerne direkte.

Telenors brukerveiledninger

Da jeg tidligere jobbet i Telenor, satte jeg opp en brukerundersøkelse på en rekke produktsider og brukerveiledninger. Målet var å se i hvor stor grad brukerne greide å bruke weben til å hjelpe seg selv, istedenfor å ringe til Kundeservice.

Følgende spørsmål lå fast nederst på sidene:

• Fikk du hjelp på denne siden? Ja / Nei

Brukerne måtte selv klikke for å delta. De fikk flere oppfølgingsspørsmål, og de som svarte Nei, ble bedt om å fortelle hva de ikke fikk svar på.

Undersøkelsen gikk i flere måneder og vi fikk over 500 svar pr måned. Med jevne mellomrom utførte vi analyser pr side og gikk gjennom hver enkelt tilbakemelding. Etter hver analyse ble sidene oppdatert med informasjon som brukerne ikke fant.

Nesten alle sider hadde positiv utvikling etter oppfølgingsrundene, andelen som svarte Ja, økte. Men spesielt en side hadde en særdeles god utvikling, MobilSvar brukerveiledning.

MobilSvar

Siden var blant de mest besøkte sidene på telenormobil.no. Den scoret desidert dårligst i den første delrapporten, 97% svarte at de ikke fikk hjelp. En kjapp gjennomgang av tilbakemeldingene viste tydelig hva som var problemet med siden.  Brukerne savnet informasjon om hvordan man kunne deaktivere eller utsette den automatiske viderekoblingen til MobilSvar.

Eksempler:

• Jeg ønsker at telefonen min skal ringe lenger før mobilsvar kobles inn, hvordan styrer jeg dette?
• Hvordan forandre ringetid før mobilsvar slår seg på?
• Har forsøkt å finne ut hvordan man avslutter Mobilsvartjenesten.
• Hvordan slår jeg av Mobilsvar – ønsker ikke å bli koblet over til mobilsvar.

MobilSvar-sidene ble oppdatert med informasjonen brukerne savnet etter hver delrapport Den hadde en positiv utvikling hver gang, og gikk fra å være undersøkelsens dårligste side til å bli den beste. Fra 97% Nei til 60% Ja.

Enkelt og gratis

Det finnes mange avanserte verktøy for brukerundersøkelser som man kan kjøpe, bl.a Questback og Omniture Survey. Men i disse tilfellene har vi laget systemet selv, ved bruk av kun HTML og javascript. Vi bruker da Omniture SiteCatalyst og Google Analytics til å analysere resultatene.

I undersøkelsens enkleste variant kan det eneste du spør om være:

1. Fikk du hjelp på siden?

2. Hvilken informasjon var du ute etter?

Det viktigste er å få vite Ja- og Nei-fordeling pr side, og ikke minst motta tilbakemeldingene i fritekst. Det er her du finner svarene.

Prosessen

1. Sett opp undersøkelsen
2. Identifiser problemsider ved å sammenligne andelene Ja og Nei
3. Oppdaterer sidene med det brukerne ikke får hjelp til!

Deretter måler, analyserer og oppdaterer man igjen – og igjen.

Vi driver ikke med vitenskap

Glem etterprøvbarhet, representativitet og alt det der. Behovskartlegginger baserer seg riktignok på samfunnsvitenskapelig metode, men det er ikke derfor vi gjør dem. Vi skal skaffe oss et godt nok riss av brukernes behov i forhold til et eksisterende eller nytt nettsted, og det er mindre viktig om de representerer hele brukermassen så lenge vi får tak i de viktigste behovene. Det er også mindre viktig om funnene våre er ”sanne” så lenge de er nyttige.

Det er ikke nødvendig å kombinere alle mulige metoder

”Jeg er så usikker på hvor mye som egentlig er nok”, sa en kollega av meg. Hun var nervøs for at hun kom til å gå glipp av viktige funn hvis hun ikke gjorde en ”full 360” som hun kalte det (dvs dybdeintervjuer kombinert med survey kombinert med statistikk kombinert med fokusgrupper osv osv). Glem det sier jeg – du får uansett aldri vite alt om brukerne dine, og det er heller ikke nødvendig. Når det er sagt: Noen metoder kan det være bra å kombinere, og noen er det rett og slett dumt å kutte ut.

Surveys er ikke nok

Dette er det forhåpentligvis flere som er uenige i. Grunnen til at jeg syns de er problematiske er at de baserer seg på ”shit in – shit out”-prinsippet – eller: som du roper i skogen får du svar. Dette gjør at de har begrenset bruksverdi og stort sett bare funker i gitte settinger.

Dette skal jeg utdype mer i seminaret.

Er dere enige?