Seminarium 2 Tobias Edwards

Evaluation är centralt vad det gäller en produkts design eftersom det fokuserar på användar-vänligheten och hur användaren upplever produkten. Om det finns brister där tror jag det är sannolikt att produkten inte blir särskilt populär. Idag är det viktigt att evaluera produkter eftersom, t.ex. appar, ska inte bara genomföra en uppgift, utan det ska också vara trevsamt vid utförandet. 

Evaluation genom controlled settings involving users har fördelen att man kan tydligt se användbarhetsproblem, men saknar någon användningskontext, här kan man applicera usability testing. Evaluation kan göras genom natural settings involving users, där man inte undersöker användaren i en bestämd miljö, utan i deras naturliga miljö. Sista metoden kallas för any settings not involving users. Personligen tycker jag en kombination av de två första metoderna kan ge bäst resultat, då den sista metoden involverar inte någon användare - i värsta fall har utvecklaren missat något väsentligt. T.ex. är en metod inom sistnämnda evaluation-tekninken heuristic evaluation, där man går genom scenarion och applicerar vanliga användarbeteenden utan att kontakta användarna.

Evaluation där utvecklaren inte kommer i kontakt med användaren kan bero på att det är för dyrt, eller svårt att inblanda användaren i designen. Vid hueristic evaluation är det bra om man är flera utvecklare som försöker identifiera problemen eftersom, medan en person kan la lätt att identifiera usability principles, kan en annan person kanske har väldigt svårt att se felen i en design. Då blir det istället en fråga om kostnad: fler utvecklare ger mindre fel, men kostar mer att anställa. 
 
Ibland kan tidig evaluation, opportunistic evaluation, användas för att hitta fel i en design innan det blir för dyrt/svårt att fixa. Viktiga saker att tänka på vid evaluation är reliability, validity, ecological validity, biases och scopen. I all forskning tror jag att dessa punkter är viktiga att ha i åtanke eftersom det påverkar trovärdigheten av en tes (i vårt fall motivering till en design). Om det inte går att återskapa resultaten (reliabilty), om fel metod används vid undersökning (validity) eller om data görs selektivt (bias) kan slutsatsen av en studie inte vara pålitilig.

Ett annat sätt att testa en design är med så kallad walkthroughs, som är uppgift-specifica, d.v.s. utvecklare planerar en uppgift att utföra och notera problemen med användbarheten. Jag tycker dock att denna metod kan vara dyr för företyg då jag tror att det skulle ta lång tid att genomföra för flera olika uppgifter. En variation är cognitive walkthroughs där vid varje steg i uppgiften ställer den som genomför uppgiften sig ett antal frågor angående användbarheten. Ytterligare en metod är pluralistic walkthrough som tilllåter utvecklare och användare samarbeta för att förbättra användbarheten. Jag tror en cognitive walkthrough kan vara bra tidigt i designprocessen, och sen senare använda pluralistic som hjälp att fixa det man missat.

Analytics är en metod för att evaluera användartrafiken i ett system, t.ex. en hemsida. Dessa i samband med visualiseringsverktyg kan tydligt visa ett systems designfel. Lifelogging är evaluation av GPS-data och personlig användarinfo, vilket måste behandlas försiktigt för att undvika integritetsfrågor.