Tutkimukset:
John Rieman, Marita Franzke & David Redmiles (1995). Usability Evaluation with the Cognitive Walktrough. CHI’95 Mosaic of Creativity, 387–388.
Andrew Sears (1997). Heuristic Walktroughs: Finding the Problems Without the Noise. International Journal of Human-Computer Interaction 9:3, 213–234.
Erilaisia tutkimusmetodeja käyttöliittymän käytettävyyden tutkimiseen löytyy useita. Tutkimusmetodit voidaan yleisesti jakaa kolmeen eri ryhmään käytettävyystestaus (usability testing), käytettävyysarviointi (usability inspection) ja käytettävyyskyselyt (usability inquiry). Keskityn tässä käytettävyyden arvioimisen ryhmään, joka sisältää heuristisen läpikäynnin.
Käytettävyysarviointiin perustuvat tutkimusmetodit ovat hyvin suosittuja, koska ne vaativat arvioijalta vähemmän osaamista, niitä voidaan käyttää kaikissa kehitysvaiheissa, ne eivät vaadi testikäyttäjiä, ovat tehokkaita käyttää ja niiden avulla voidaan löytää useita käytettävyysongelmia.
Heuristinen läpikäynti kehitettiin yhdistämällä kognitiivisen läpikäynnin ja heuristisen arvioinnin sekä käytettävyysläpikäyntien hyödyllisiä ominaisuuksia. Searsin (1997) artikkelissa käydään läpi yleisimpiä eri tutkimusmetodeita ja vertaillaan suoritetusta tutkimuksesta saatuja tuloksia eri käytettyjen metodien välillä. Vertailussa mitataan kolmea piirrettä: pätevyys (validity), kattavuus (thoroughness) ja luotettavuutta (reliability). Pätevyys mittaa kuinka paljon vaivaa nähdään asioiden takia, jotka eivät ole tärkeitä. Kattavuus mittaa löydettyjen virheiden prosentuaalista määrää. Luotettavuus mittaa yhteneväisyyttä eri arviointi menetelmien välillä.
Artikkelissa läpikäytävät tutkimusmetodit ovat heuristinen arviointi, kognitiivinen läpikäynti, käytettävyysläpikäynnit, ergonomiset kriteerit ja heuristinen läpikäynti. Jätän ergonomiset kriteerit käsittelemättä, koska ne eivät liity heuristiseen läpikäyntiin.
Heuristinen arviointi
Heuristinen arviointi perustuu Nielsenin ja Molichin ideaan, jossa arvioijalla on kuvaus käyttöliittymästä ja lista käytettävyys heuristiikoista. Arvioija käy läpi käyttöliittymää vapaasti selaillen etsien ongelmakohtia, jotka eivät täyty käyttöliittymässä listalla annettujen heuristiikkojen mukaan. Kaikki arvioinnissa ilmenneet virheet ja heuristiset rikkomukset kirjoitetaan ylös selkeästi, jolloin helpotetaan ongelmien ymmärtämistä tulevaisuudessa.
Muissa käytettävyysheuristiikkoja käsittelevissä tutkimuksissa on ilmennyt, että arvioinnin tuloksiin vaikuttaa suuresti muun muassa arvioijan kokemus arvioinnin kohteesta tai kokemus käytettävyys arviointien suorittamisesta. Tutkimuksissa on myös todettu, että heuristinen arviointi löytää paljon pieniä virheitä, joiden merkitys on monesti hyvin vähäinen tai joita ei oikeastaan voida ajatella ongelmiksi.
Kognitiivinen läpikäynti
Kognitiivisen läpikäynnin tarkoituksena on löytää ongelmakohdat, joihin käyttäjä törmää vuorovaikutteisen prosessin aikana. Perustuen kognitiivisen psykologiaan periaatteisiin kiinnitetään huomiota neljään kohtaan vuorovaikutteisen prosessin aikana jolloin käyttäjä suorittaa määrättyjä tehtäviä:
- Käyttäjä asettaa itselleen tavoitteen, jonka aikoo suorittaa järjestelmässä.
- Käyttäjä tutkii käyttöliittymästä käytettävissä olevia toimintoja, esimerkiksi valikkoja ja nappeja.
- Käyttäjä valitsee toiminnon, joka hänen mielestään auttavat häntä saavuttamaan tavoitteen.
- Käyttäjä suorittaa valitun toiminnon ja arvioi järjestelmän antamaa palautetta tavoitteen suorittamisen kannalta.
Kognitiivisen läpikäynnin huonona puolena voidaan pitää, ettei se juurikaan rohkaise käyttäjää tutkimaan käyttöliittymää muuten kuin kyseisten määrättyjen tehtävien osalta.
Käytettävyysläpikäynnit
Käytettävyysläpikäynnit ovat kaksivaiheisia arviointimenetelmiä. Ensimmäinen vaiheessa arvioijat tutkivat vapaasti käyttöliittymää samoin kuin heuristisessa arvioinnissa. Toisessa vaiheessa arvioijia opastetaan skenaariolistan avulla. Skenaariot ovat sattumanvaraisessa järjestyksessä, mutta käyttäjän tulee suorittaa ne annetussa järjestyksessä. Arvioijien ei tarvitse välttämättä suorittaa kaikkia skenaarioita vaan on tärkeämpää, että he keskittyvät ongelmien löytämiseen.
Menetelmän tehokkuutta on tutkittu vain yhdessä tutkimuksessa; Karat, Campbell ja Fiegel (1992) artikkelissaan Testing Walktrough Methodology for Theory-Based Design of Walk-Up-and-Use Interfaces. Artikkelissa todettiin, että empiirinen testauksen avulla löydetään enemmän virheitä, mutta kulutettu aika on suurempi kuin käytettävyysläpikäynneissä.
Heuristiset läpikäynnit
Heuristiset läpikäynnit kehitettiin yhdistämällä hyvät ominaisuudet heuristisesta arvioinnista, kognitiivisesta läpikäynnistä ja käytettävyysläpikäynneistä. Menetelmä on kaksivaiheinen, kuten käytettävyysläpikäynnit. Arvioijia opastetaan priorisoidulla tehtävälistalla, listalla käytettävyysheuristiikoista ja kognitiivisen läpikäynnin neljällä kysymyksellä.
Ensimmäisessä vaiheessa arvioijat suorittavat tehtäviä priorisoidusta listasta halumassaan järjestyksessä niin kauan kuin haluavat. Heitä ohjataan neljällä kysymyksellä kognitiivisesta läpikäynnistä:
- Tietääkö käyttäjä mitä hänen tulee tehdä seuraavaksi?
- Huomaako käyttäjä toiminnon esimerkiksi napin tai valikon, jonka avulla hän voi toteuttaa toiminnon?
- Löydettyään toiminnon osaako käyttäjä käyttää sitä esimerkiksi kaksois-klikata painiketta?
- Suoritettuaan oikean toiminnon näkeekö käyttäjä edistymisen? Antaako järjestelmä palautetta?
Ensimmäinen vaihe on tehtäväpainotteinen arviointi. Toisessa vaiheessa arvioijat voivat tutkia mitä tahansa kohtaan järjestelmästä. Heillä on kuitenkin tietämys ensimmäisen vaiheessa suoritetuista tehtävistä. Tässä vaiheessa suoritetaan myös heuristinen arviointi käyttäen jotain heuristista listaa.
Tutkimus
Artikkelissa vertailtiin näitä kolmea edellä esitettyä eri tutkimusmenetelmää. Tutkimukseen osallistui kaksikymmentä taustaltaan samankaltaista tietotekniikan opiskelijaa, joista monet olivat perehtyneet käyttöliittymien suunnitteluun. Järjestelmä jolle arviointi suoritettiin, sisälsi yhden pääruudun ja dialogikenttiä. Pääruutu ja dialogikentät muuttuivat riippuen järjestelmän tilasta. Järjestelmää testattiin käyttäjätestein ja todettiin, että järjestelmää oppivat käyttämään uudet käyttäjät ilman ohjeita 15 sekunnissa. Käyttäjätesteissä ilmenneet käytettävyysongelmat poistettiin ja järjestelmästä tehtiin paperimallit, jotka sisälsivät kuvat käyttöliittymän eri vaiheista ja selvityksen niiden toiminnoista.
Kaikille kahdellekymmenelle opiskelijalle opetettiin kolmen tunnin aikana jokaisesta kolmesta eri tutkimusmenetelmästä tarvittavat tiedot. Opiskelijat jaettiin sattumanvaraisesti 6–7 hengen ryhmiin suorittamaan arviointia yhdellä menetelmistä. Arvioijat saivat arviointiin aikaa 45 minuuttia. Löytyneet ongelmat jaettiin viiteen eri kategoriaan niiden vakavuuden mukaan: vakavat, keskitasoiset, pienet, ei-todelliset ja uudet virheet.
- Vakavat virheet hankaloittavat käyttämistä ja esiintyvät yhä uudelleen.
- Keskitason virheet hankaloittavat käyttämistä, mutta ne eivät esiinny toistuvasti ja niiden yli päästään.
- Pienet virheet eivät hankaloita juurikaan käyttämistä ja saman virheen on kokenut vain muutama testikäyttäjä.
- Ei-todelliset virheet ovat virheitä joita pidettiin potentiaalisina käytettävyysongelmina, mutta joihin ei yksikään testikäyttäjä reagoinut.
- Uudet virheet ovat virheitä joita ei osattu odottaa.
Tutkimuksessa esitettiin kolme hypoteesia:
- Heuristisissa läpikäynneissä löytyy enemmän keskitasoisia ja pieniä ongelmia kuin kognitiivisissa läpikäynneissä.
- Heuristisessa arvioinnissa löytyy enemmän pieniä ongelmia kuin kognitiivisissa läpikäynneissä.
- Heuristiset läpikäynneissä ja kognitiivisissa läpikäynneissä esiintyy vähemmän ei-todellisia virheitä kuin heuristisissa arvioinneissa.
Tutkimuksen tulokset
Tutkimuksessa esitetyt hypoteesit kävivät toteen tutkimuksesta saaduista tuloksista. Tuloksista todettiin, että kaikki tutkimusmenetelmät ovat tehokkaita, jos saatavilla on tarpeeksi arvioijia. Toisaalta heuristiset läpikäynnit näyttivät olevan tehokkain menetelmä silloin, kun arvioijia oli vain yksi tai kaksi. Vapaamuotoisella arvioinnilla kuten heuristisella arvioinnilla todettiin löytyvän enemmän keskitason virheitä kuin tehtäväpohjaisilla arviointimenetelmillä, kuten kognitiivinen läpikäynti.
Tutkimuksessa mitattavista ominaisuuksista pätevyys (validity), kattavuus (thoroughness) ja luotettavuus (reliability) saatiin seuraavia tuloksia tutkimusmenetelmistä:
- Heuristinen arviointi näyttää olevan vähemmän pätevä kuin kaksi muuta tutkimusmenetelmää, koska sen avulla löytyi paljon enemmän pieniä ei-todellisia ongelmia.
- Kognitiivinen läpikäynti näyttää olevan vähemmän kattava kuin kaksi muuta tutkimusmenetelmää, koska sen avulla löydettiin vähemmän pieniä ja keskitason virheitä. Lisäksi heuristisen arvioinnin ja heuristiset läpikäyntien todettiin olevan luotettavampia kuin kognitiivinen läpikäynti pienellä arvioija määrällä.