Käytettävyystestaus vs. Heuristinen arviointi

Tutkimus:

Robin Jeffries and Heather Desurvire (1992). Usability Testing vs. Heuristic Evaluation: Was there a contest?. SIGCHI Bulletin 24:4, 39-41.

Tutkimuksessa vertaillaan käytettävyystutkimuksen ja heuristisen arvioinnin vahvuuksia ja heikkouksia. Tutkimuksessa selvennetään, ettei asiantuntija-arviointi korvaa käytettävyystestauksesta saatuja tuloksia.

Käytettävyystestauksen käyttäminen on jäänyt vähemmälle huomiolle muiden tekniikoiden, kuten heuristisen arvioinnin yleistyessä. Käytettävyysongelmien etsimisessä heuristisen arvioinnin yleistymisen suurimpia syitä on kustannustehokkuus. Tutkimusmenetelmänä heuristinen arviointi ei kuitenkaan kata kaikkia käytettävyysongelmia ja se on hyvin riippuvainen arvioijien osaamisesta.

Aikaisemmissa tutkimuksissaan Jeffries & ym. (1991) ja Desurvire & ym. (1992a, 1992b) osoittivat, että heuristinen arviointi on tehokasta asiantuntijoiden suorittaessa arviointia. Artikkelissa kerrotussa ensimmäisessä tutkimuksessa neljä heuristisen arvioinnin asiantuntijaa löysi enemmän käytettävyysongelmia kuin mitkään muut tutkimuksessa käytetyistä menetelmistä mukaan lukien käytettävyystestaus. Toisessa tutkimuksessa kolme heuristisen arvioinnin asiantuntijaa löysi myös enemmän käytettävyysongelmia kuin muut menetelmät ja lisäksi he osasivat arvioida puolet käytettävyysongelmista, jotka tulevat löytymään käytettävyystestauksen avulla.

Tutkimuksista saaduista tuloksista pitää kuitenkin ottaa huomioon, että niissä arvioijana toimivat käytettävyyden asiantuntijat. Heikomman osaamisen omaavat arvioijat tuskin olisivat suoriutuneet tehtävästä yhtä hyvin. Toiseksi tutkimuksissa heuristinen arvioinnissa käytettiin useaa arvioijaa; yhden arvioijan arviointi todettiin tutkimuksissa heikoimmaksi menetelmäksi. Tutkimuksissa myös eri tutkimusmenetelmillä löydetyt käytettävyysongelmat erosivat hyvin paljon toisistaan. Heuristisella arvioinnilla jäi löytämättä puolet käytettävyysongelmista, jotka oli todettu laboratorio-olosuhteissa. Käytettävyystestauksella jäi huomaamatta käytettävyysongelmia suunnilleen saman verran kuin heuristisella arvioinnilla. Ensimmäisessä tutkimuksessa huomattiin kuitenkin, että käytettävyystestauksella löydetään vakavampia ja yleisluontoisempia ongelmia, kuin heuristisella arvioinnilla. Heuristisen arvioinnin avulla löytyneistä ongelmista monet oli pieniä ja enemmänkin makukysymyksiä.

Yhtenä heuristisen arvioinnin heikkoutena kuten edellä mainittiin, on sen vaatimat asiantuntijat arviointiin. Parhaimmat tulokset arvioinnilla saada suorittamalla se henkilöillä, jotka ovat sekä käytettävyyden ja ohjelmiston asiantuntijoita. Hyödyllisiä tuloksia saadaan myös käyttämällä ohjelmisto insinöörejä arvioinnissa, mutta yksittäisten arviointien määrä tulee olla suuri(10–20 arviointia), joka voi muodostua kalliiksi. Arvioinnin suorittamiseen tarvitaan vähintään 3-5 asiantuntija arvioijaa luotettavien tuloksien saamiseksi.

Artikkelissa kerrottiin myös käytettävyystestauksen vähemmälle huomiolle jääneistä hyödyistä. Käytettävyystestauksessa tietenkin kohdistuu suoraan järjestelmän käyttäjiin ja heidän kohtaamiin ongelmiin käytön yhteydessä. Suurimmaksi osaksi käyttäjien huomaavat ongelmat ovat yleensä vakavia käytettävyysongelmia. Ongelmat voivat monesti myös olla sellaisia joita ei olisi tullut esiin ilman käytettävyystestausta esimerkiksi johtuen käyttäjien erilaisesta tavasta käyttää käyttöliittymää.

Yhteenvetona artikkelin kirjoittajat kehottavat huomioimaan molempien menetelmien vahvuudet ja heikkoudet valittaessa menetelmään. Lisäksi tutkimuksessa todettiin, ettei yksittäisen menetelmän käyttö ole läheskään niin tehokasta kuin useamman eri menetelmän käyttäminen yhdessä.