Användbarhet och Utvärdering
Design och Utvärdering
Hösten 2013
Annakarin Nyberg
Idag skall vi prata om:
•
•
•
•
Vad är användbarhet?
Hur testar vi det?
Vilka är måtten?
Vad kan vi ha resultaten till?
Vanliga frågor…
•  Hur ser en professionell målgruppsanalys/
användartest ut?
•  Hur gör man en sådan test? (personliga intervjuer?
Kvalitetstest? Kvantitetstest?)
•  Vilka fel kan man göra?
•  Hur presenterar man sitt resultat?
•  När bör man göra en sådan här test?
•  När bör man inte göra en sådan här test?
Användbarhet 1
(Nielsen 1993)
•
•
•
•
•
Easy to learn (learnability)
Efficient to use (efficiency)
Easy to remember (memorability)
Errors / Safe to use (safety)
Satisfaction
Användbarhet 2
(Nielsen 1993)
Kan kortfattat beskrivas som följer:
•  Learnability: är det lätt att förstå hur man går
tillväga?
•  Efficiency: hur väl stöds användaren i sitt
utförande?
•  Memorability: är det lätt att återkomma efter en
tids frånvaro, alt måste man lära sig igen om
systemet…?
Användbarhet 3
(Nielsen 1993)
Fortsättning från föregående sida:
•  Safety/errors: allt från diskussioner om
säkerhet gällande ergonomi till att designa
för att undvika att användaren kan
genomföra stora fel…
•  Satisfaction (systemet skall vara trevligt att
använda)
Preece et.al. 2007 kompletterar listan:
•  User experience goals
•  På grund av att…
Preece et.al. (2007)
Ett gränssnitt/system bör vara:
•  Tillfredsställande
•  Underhållande/trevligt
•  Roligt
•  Stödjande/hjälpande/informativt
•  Motiverande
•  Estetiskt tilltalande/snyggt
•  Främja kreativitet
•  Belönande
•  Skapa känsla av lycka, glädje, belåtenhet…
Är det så viktigt verkligen?
Three Mile Island
•  Partial core meltdown in a Nuclear Generating Station in Dauphin
County, Pennsylvania near Harrisburg
•  The accident could had been avoided with better designed UI
•  A vault remained open due to a mechanical fault which aloud
coolant water to escape
•  A lamp had been designed to show when the engine that shut the
vault was active, as the engine stopped as the vault was stuck, the
lamp turned black.
•  A temperature indicator that indicated high temperature were
placed too far away and was not seen
http://en.wikipedia.org/wiki/Three_Mile_Island_accident
Egna erfarenheter av dåliga UI:s?
Användbarhet förväxlas med…
Accessibility (tillgänglighet / accesibilitet)
Innebär att man vid design bland annat fokuserar på
att:
•  Namnge, kategorisera och beskriva bilder
•  Interaktionsmöjligheter finns både via mus och
tangentbord
•  Definiera vad som är rubriker och länkar
Fortsättning…accessibility
•  Möjliggöra att hemsidans text kan läsas upp
•  Skapa “ankare” dvs markeringar till olika innehåll
(effektiv navigering till visst material)
•  Noga hanterar färgval
•  Möjliggör valmöjligheter för textstorlek
•  Använder sig av universellt bildspråk vid skapande
at illustrationer/ikoner
Intressant med accessibility?
•  http://www.w3.org/WAI/
Samma på svenska:
•  http://www.w3.org/2005/11/Translations/Lists/
OverviewLang.html#sv
En wikipedia om web accessibility:
•  http://en.wikipedia.org/wiki/Web_accessibility
En wikipedia om game accessibility:
•  http://en.wikipedia.org/wiki/Game_accessibility
Utvärderingsmetoder för användbarhet
”A Usability Evaluation Method is a process
for producing a mearsurement of
usability” (Karat, 1997)
Delas (grovt sett) upp i:
•  Empiriska utvärderingsmetoder
•  Expertutvärderingsmetoder
Empiriska metoder
•
Två sätt att utvärdera med användare
1.  Labbmiljö
2.  I ”fält”
Empiriska metoder:
Usability lab
• Fördelar…?
• Nackdelar…?
Empiriska metoder: fältstudier
I ”fält” eller i användarens naturliga miljö
Fördelar?
Nackdelar?
Usability lab kontra Fältstudier
Vad skall vi välja?
•  Vilken typ av data är vi intresserad av?
•  Vilken kontext skall systemet användas i?
•  Vill man ha helhetsintryck eller fokusera på vissa
specifika detaljer?
•  Hur många användare har man tillgång till?
•  Vilka resurser har man tillgång till vid insamling av
data?
Empiriska metoder
Method
Think-aloud (or verbal)
protocol
Use data collection
Clinical experiments
Surveys and
Questionnaires
Interviews
Measures
Captured events from
usage situations; problems,
expectations etc.
Number of errors, types of
errors, time to complete
task
Eye gaze, heart rate, skin
color, body heat
Accuracy regarding
memory, learning etc.
General information from
users. Structured or
unstructured.
Generated data
Record of cognitive
processes of users in
system usage
Record of statistics for
errors, listings of types of
occurring errors, time
statistics
Statistics for measured
clinical aspects
Record of answers –
quantitative or qualitative
Record of answers qualitative
Empiriska metoder:
för insamling av data
•
•
•
•
•
•
Papper & penna (+ & -?)
Ljudinspelning (+ & -?)
Videoinspelning (+ & -?)
Fotografering (+ & -?)
Loggar från datorn (+ & -?)
Användarnas dagböcker/anteckningar (+ &
-?)
Think-aloud (Verbal) protocol
•  Erikson & Simon 1985
•  Säg högt vad du tänker, försöker göra
•  Ger uttryck åt processen
Exempel: Think-aloud
Jag skriver in http://vk.se, precis som du sa att jag skulle. (Hon
skriver)
Nu trycker jag på entertangenten, eller hur? (Hon trycker på enter.)
Paus och tystnad.
Det tar ett tag att svara! Åhå, här är det. (Figur 12.2 visas på
skärmen.)
Himmel, det är en hel del på skärmen. Hmmm, undrar vad jag
skall göra nu. (Hon tar paus och tittar på skärmen.)
Förmodligen en sökning. Vad är en avancerad sökning…och
vilka är de andra varianterna?
Aha! Här är det. Hm…någonting verkar hända nu. (Hon tittar på
skärmen.) Det händer någonting. Åhå, vad är det här?
(Tystnad)
Inspektionsmetoder
Method
Heuristic evaluation
Cognitive
Walkthrough
Characteristics of
evaluators
Usability experts
Cognitive
Psychologists
Formal usability
inspections
Number of
evaluators
One
One
One or
group
Design
(or pluralistic)
Walkthroughs
Feature inspection
Users, developers
and Human Factor
HCI experts
One or
group
Consistency
inspection
(External)
designers
Group
Standard
inspections
Theory-based
reviews
Expert in (specific)
standard(s)
Experts in each
method
One
One
Goals of inspection
Judge whether each
element in interface
follows heuristics
Predictions of user
behavior regarding
learning
Combines Heuristic
Ev. with Cog.
Walkthrough
Walkthrough of each
dialogue element by
using scenarios
Inspection of
sequences of
(complicated) features
Comparison of
different designs to
check consistency
Inspection of interface
for compliance with
standard(s)
Discover problems on
a micro-level.
1.  Heuristic Evaluation
1.  Visability of system statusThe system should always keep users
informed about what is going on, through appropriate feedback
within reasonable time.
2.  Match between system and real world.
The system should speak the users' language, with words, phrases
and concepts familiar to the user, rather than system-oriented
terms. Follow real-world conventions, making information appear
in a natural and logical order.
3.  User control and freedom
Users often choose system functions by mistake and will need a
clearly marked "emergency exit" to leave the unwanted state
without having to go through an extended dialogue. Support undo
and redo.
Heuristic evaluation
4. Consistency and standards
Users should not have to wonder whether different words,
situations, or actions mean the same thing. Follow platform
conventions.
5. Error prevention
Even better than good error messages is a careful design, which
prevents a problem from occurring in the first place.
6. Recognition rather than recall
Make objects, actions, and options visible. The user should not
have to remember information from one part of the dialogue to
another. Instructions for use of the system should be visible or
easily retrievable whenever appropriate.
Heuristic evaluation fortsättning…
7. Flexibility and efficiency of use
Accelerators -- unseen by the novice user -- may often speed up the
interaction for the expert user such that the system can cater to both
inexperienced and experienced users. Allow users to tailor frequent
actions.
8. Aesthetic and minimalist design
Finns det någon irrelevant eller onödig information?
9. Help pepole recognise, diagnose and recover from errors
Är de meddelanden som ges vid ett fel eller problem tillräckligt
informativa för användaren? Kan de tolka meddelandet?
10. Help and documentation
Finns det hjälpdokument/hjälpfunktioner och är de tillgängliga och
lätta att föja?
Att genomföra en heuristisk
utvärdering…
1.  Inledande session: experten informeras om
syftet med utvärderingen!
2.  Utvärderingssession som sker i två steg…
3.  Avslutande session: återkoppla,
analysera…
Usability – ett säkert framgångskoncept?
Med rätt utbildning av testpersonal inom HCI
och Usability Engineering kan vi undvika
många av misstagen!
För att bli en bra usability-expert måste vi
träna praktiskt på olika tekniker och även
utvärdera utvärderingen…
Hur ser en designprocess ut?
Föranalys Analys Design
Progr. Utv/Dok
Var kan eller vill vi
utvärdera
användbarheten?
Designprocessen
Kostnad för
ändring av
hittat fel
Användartestets
lämplighet
Prototypens
körbarhet
Expertmetodens
lämplighet
Tid
Föranalys Analys Design
Progr. Utv/Dok
Övning 1 (Think-aloud)
•  Sitt tillsammans två och två. Försök att utföra en think-aloud
tillsammans.
•  Utse en person som ensam utforskar den valda webbplatsen.
•  Utse en person som för anteckningar.
•  Gå till www.sj.se och försök boka en ToR-biljett för en vuxen i
sällskap med en minderårig (Umeå – Stockholm). Ni vill åka i
kväll och återvända på julafton. Avbryt i god tid…
•  Tänk högt medan du arbetar. Försök vara uppmärksam på vad
du känner.
•  Reflektera avslutningsvis tillsammans över metoden – hur
tycker ni att det gick? Svårt? Enkelt? Konstigt? Pinsamt?
Övning 2: Heuristisk utvärdering
•
•
•
•
•
•
Inom respektive grupp väljer ni en webbsajter ni ogillar
Från och med nu är ni alla experter och alltså inte längre
noviser/användare.
Gå igenom sajten två gånger.
Första gången med fokus på känslan och flödet i interaktionen.
Helt enkelt, bara pröva den snabbt och bekanta er en aning med
sajten.
Andra gången med fokus på specifika gränssnittselement.
Använd er av de tio heuristiker som finns i detta material.
Utvärdera och diskutera vad ni har kommit fram till. Försök att
prioritera problemen och föreslå lösningar.
Grupper och salar…
•
Arbeta två och två
•
•
Ma 366
15.30 – återsamling i
videokonferenssal.
Genomgång av essä – hur skriva…
•