Viele Augen sehen mehr.

Viele Augen sehen mehr.

von Manja Baudis 21. Februar 2013

Usability- und funktionale Test sind bei der Entwicklung von Software eigentlich unabdingbar – meist aber zeitaufwendig und kostspielig. Knappe Kosten- und Projektpläne führen deshalb nicht selten zu knappem Testing – und das oft erst am Ende eines Projekts. So lässt es sich prima am Nutzer vorbeientwickeln.

Eine Lösung, um der Kosten- und Zeitfalle zu entgehen, ist Crowd Testing. Crowd Testing setzt auf die Intelligenz und Arbeitskraft der „Masse“, einen Pool an „Freizeit“- und professionellen Testern mit Zugang zu unterschiedlichsten Testumgebungen. Damit kommt Crowd Testing dem Idealfall auch sehr nahe, nämlich dem Testing aus Sicht des potitiellen Nutzers – möglichst neutral, unverfälscht und unabhängig.

Das Ganze bedarf allerdings der Organisation. Mittlerweile gibt es einige Anbieter im deutschsprachigen Raum, die das übernehmen. Über TestCloud haben wir im Rahmen des Smarter Service Awards 2012 schon berichtet. Jetzt haben wir UI-Check in Berlin besucht.

Test like the best

Seit der Gründung 2011 widmet sich das UI-Check-Team – rund um die Geschäftsführer Torsten Meyer und Jan Wolter – der crowdsource-basierten Qualitätssicherung in Software-Projekten und vor allem: Usability-Tests.
crowdtesting_uicheck_fig02

Im Produktkatalog von UI-Check finden sich Tests für das richtige Feedback in allen Entwicklungsphasen:

Wettbewerbsanalyse & Marktforschung

Wenn es darum geht, in einer frühen Entwicklungsphase den Wettbewerb aus Kundensicht zu screenen oder Vorstellungen und Wünsche abzufragen, sind Fragenkataloge ein gewinnbringendes Werkzeug, um ein Vorhaben am Markt richtig zu positionieren. Mit einem umfangreichen Testerpools lassen sich so valide Querschnittsanalysen durchführen und ausstehende oder kritische Entscheidungen mit echten Meinungen untermauern bzw. entkräften.

Card Sorting

Geht es darum, einen nutzerfreundlichen Navigationsansatz zu schaffen, ist es sinnvoll, eben jene Nutzer in die Entwicklung der Menüführung einzubeziehen. Dabei kommt meist das so genannte Card Sorting Verfahren zum Einsatz: Mindestens 15 repräsentativen Testpersonen werden Karten (Cards) mit allen Menüpunkten präsentiert. Aufgabe der Tester ist es, diese Menüpunkte sinnvoll zu sortieren und zu gruppieren. Durch den Einsatz der Crowd hat man auch bei diesem Verfahren einen kosteneffizienten Zugang zu sehr vielen Testern.

Crowd Usability Testing

Bestehende Software lässt sich durch Anwenderfeedback von der Crowd auf Benutzerfreundlichkeit und Verständlichkeit hin testen. UI-Check.com setzt dabei vor allem auf die Thinking-Aloud-Methode: Die Tester sind dazu angehalten, während der Tests all ihre Gedanken laut auszusprechen. Stimme und Bildschirm werden aufgezeichnet. Diese Daten dienen im Anschluss der Analyse und fließen in des Reporting ein. Die Ergebnisse können anschließend für die Optimierung der getesteten Software herangezogen werden.

Ein typischer Testablauf: Der Kunde erläutert seine Vorstellungen, erklärt, welche Bereiche getestet werden sollen und legt seine Zielgruppe fest. Daraufhin wird der Test konzipiert und die Tester ausgewählt und eingeladen. Nach Durchführung werden die Ergebnisse aufbereitet und in Form einer Usability Studie an den Kunden übergeben.

crowdtesting_uicheck_fig04

Crowd Quality Assurance

Beim Quality Assurance Testing geht es darum, funktionale Fehler während der Entwicklung zu identifizieren und letztendlich ein fehlerfreies Produkt zu releasen, dass bei jedem Nutzer problemlos funktioniert. Es ist jedoch nicht ganz einfach, Fehler auf der eigenen Seite oder in der eigenen Software zu finden – der Grund: Betriebsblindheit. Die Lösung heißt hier: Professionelles Bugtracking. Auch das lässt sich via Crowdansatz umsetzen. Man lässt höchst motivierte Tester auf Fehlersuche gehen. Per Bugtracking-Tool wird jeder Fehler professionell dokumentiert und anschließend zur Optimierung der Software und zur performancebasierten Bezahlung der Tester herangezogen.

Ein typischer Testablauf: Der Kunde spezifiziert, welche Bereiche und Funktionalitäten auf welchen Umgebungen getestet werden sollen. Im Anschluss werden die entsprechenden Tester mit passenden Endgeräten eingeladen, die dann auf Basis der Anforderungen nach Fehlern suchen und diese wie gewünscht dokumentieren.

crowdtesting_uicheck_fig03

Der Pool

Dreh- und Angelpunkt beim Crowd Testing ist natürlich die Crowd. Und die besteht bei UI-Check derzeit aus rund 5.000 Testern. Man findet darunter Männer und Frauen aus allen Bevölkerungsschichten und Altersgruppen und IT-Profis mit QA-Erfahrung (für funktionales Testing) neben „normalen“ Nutzern gängiger Zielgruppen (für Usability-Tests).

Wenn gewünscht, lässt sich daraus ein zielgruppenspezifischer Testerpool (z.B. Frauen, berufstätig, zwischen 30 und 45 Jahren) zusammenstellen. Letztendlich entscheidet der Kunde selbst darüber, welche Testergruppen er zu seinem Test einladen möchte.

Alle Tester, die an Tests zur Qualitätssicherung teilnehmen, müssen vorab einen Probetest bestehen. Der wird intern von UI-Check Mitarbeitern ausgewertet und er bestimmt, ob ein Tester angenommen und für QA-Tests zugelassen wird. Nach absolviertem Probedurchlauf erhält jeder Tester Feedback und weiteres Informationsmaterial wie Merkblätter zur Aufgabenbearbeitung oder zur Thinking-Aloud-Methode usw. Für eine intensive Schulung neuer Tester ist also gesorgt.

Alle absolvierten Tests werden von Protokollanten ausgewertet und auf ihre Qualität hin überprüft. Die Protokollanten geben bei Bedarf Feedback, damit sich die Tester weiter verbessern können. Alle Einzelprotokolle wiederum werden von geschulten Auswertern akkumuliert und nochmals auf ihre Qualität geprüft (Mehr-Augen-Prinzip).

Vorteile

  • Crowd Testing bietet schnelles, flexibles, präszises und kosteneffizientes Feedback.
  • Dabei sind höhere (zielgruppenspezifische) Stichproben zu geringeren Kosten möglich.
  • Ein umfangreicher Testerpool liefet eine Vielzahl an Endgeräten, Betriebssystemen, Browsern usw.
  • und eine höhere Anzahl entdeckter Fehler.
  • Es entsteht keine Labor-Atmosphäre, da die Tester in der von ihnen gewünschten Umgebung arbeiten. Das fördert ein natürliches Verhalten.

Herausforderungen

  • Die Gewährleistung von Sicherheit und Diskretion für den Auftraggeber kann u.U. zur Herausforderung werden, denn immerhin erhält ein recht großer Pool an Testern relativ freien Zugriff auf das zu testende Produkt.
  • Für den Anbieter gilt es, eine sehr umfangreiche und heterogene Gruppe an Testern mit verschiedensten Vorkenntnissen und Erfahrungen remote zu koordinieren.
  • Unter Umständen erfordern Qualitätsversprechen gegenüber dem Auftraggeber ein zeit- und kostenintensives Nachbessern der von den Testern erstellten Ergebnisse und Bugreports.

Wer mehr erfahren oder selbst Tester werden möchte, der kann sich direkt an das UI-Check-Team wenden:

crowdtesting_uicheck_fig05 UI-Check GmbH
Wichertstr. 14a
10439 Berlin

Tel: 030 / 609 809 480
Fax: 030 / 609 809 489
E-Mail
Facebook
Twitter
Google+

Ein Kommentar

Manja Baudis - Die LAUTMALER 12. März 2013 at 10:16

UI-Check.com heißt jetzt TestHub! Das Startup firmiert nun unter „TestHub“ und will so dem aufgestockten Portfolio gerecht werden. http://www.deutsche-startups.de/2013/03/04/ui-check-testhub/?utm_source=rss&utm_medium=rss&utm_campaign=ui-check-testhub

Antworten

Schreibe einen Kommentar

Ähnliche Beiträge