Kommentarer til: Is traditional usability testing dead?

Af: Jacob Kildebogaard

Jacob Kildebogaard — Fri, 10 Oct 2008 13:00:14 +0000

Nu er vi så heldige at vi personligt kan få lov at anbefale et valg ud fra mere end ét tal. Jeg mener at tre resultater skal bruges for at finde “vinderen” ved MVT på landingpage:
- Bouncerate
- Klikrate på det konkrete element
- Conversion rate

Selvfølgelig hjælper det at holde brugerne på siden længere end den ene side, men hvis de ikke køber er det jo den forkerte målgruppe der bliver. Conversion rate SKAL derfor indover. Klikrate er relevant for at se om billedet fx appelerer til at trykke på. Det behøver ikke være positivt med mange tryk, hvis nu det leder hen til noget andet end brugeren forventede og de derfor forlader sitet (en nøgen dame på forsiden som linker til biblen vil nok falde i dårlig jord).

Jeg kan anbefale at i kigger nærmere på Prusak.com hvis i vil have tricks til at have mere bestemmelse ved MVT. Han omtaler forskellige måder at justere koden på så det ikke er x*y*z muligheder der testes.

Af: Søren Sprogø

Søren Sprogø — Sun, 28 Sep 2008 20:39:26 +0000

Det er yderst sjældent at jeg har fokuseret på conversion rate, når jeg har udført A/B-tests.

Årsagen er, at jeg som regel har udført tests på landing pages, hvor bounce rate er den vigtigste parameter. Jo længere man kigger ned i “tragten” ud fra det punkt man tester, desto flere andre faktorer kan spille ind.

Skulle jeg lave en test et stykke nede i conversion funnellen, f.eks. i checkout processen, vil jeg selvfølgelig tage conversion rate med som en af de vigtigste parametre. Det er bare ikke lige noget jeg har haft chancen for at gøre endnu.

Af: Thore

Thore — Sun, 28 Sep 2008 09:07:00 +0000

Absolut valid pointe Søren. Jeg har ikke selv endnu udført MVT, men det er korrekt, at når de store drenge fortælle om disse, så er det ofte tests med adskillige tusinde variabler, der testes på større mængder trafik. Trafikmængder som de fleste websites herhjemme slet ikke kan trække. MEn så må man vel blot skalere lidt ned som du selv har gjort.
Hvor store variationer i konvertering har du oplevet i din tests?

Af: Søren Sprogø

Søren Sprogø — Sun, 28 Sep 2008 08:33:55 +0000

Heh, jeg elsker HIPPO begrebet :-)

Multivariant tests er i teorien geniale. Men i praksis her i lille Danmark er jeg gang på gang løbet ind i det samme problem: Det er simpelthen umuligt at skaffe trafik nok til at skaffe stort nok statistisk grundlag for samtlige varianter!

Derfor ender jeg som oftest med at begrænse en test til en serie af A/B-tests. Som Craig siger, så tager det jo ikke højde for HELE brugerens process. Men i mange tilfælde er det det eneste der er praksis muligt, når ens potentielle brugerskare er stærkt begrænset.