Crowd-Feedback: Skalierbare Evaluation im Entwicklungsprozess

Ein neuer Ansatz in der Design-Evaluation ist die Nutzung von Crowdsourcing zum Sammeln von Feedback. Crowdsourcing im Allgemeinen zeichnet sich dadurch aus, dass eine große Anzahl an Menschen (die „Crowd“) gemeinsam an einer Aufgabe arbeitet. Durch die Vielfalt an unterschiedlichem Wissen, Fähigkeiten und Ansichten kann die oftmals fehlende Expertise wett gemacht werden. Die Crowd kann dabei eine anonyme Crowd sein, die über spezielle Crowdsourcing Plattformen rekrutiert wurde oder aus echten oder potenziellen Nutzern bestehen. Bei dem etwas bekannteren Crowdtesting wird nach objektiven Fehlern in den Systemen gesucht wird. Nutzer erledigen hier oft spezielle Aufgaben und die Evaluationsergbnisse sind größtenteils quantitativer Natur. Dahingegen ist beim Crowd-Feedback das Ziel subjektive Meinungen, oft in Freitextform, von der Crowd zu sammeln. Über Crowdsourcing kann nachweislich Design-Feedback gesammelt werden, das in der Qualität dem Feedback von UI/UX Experten nahekommt.

Zum Sammeln des Feedbacks werden oft spezielle „Crowd-Feedback-Systeme“ genutzt, die unterschiedliche Features beinhalten bzw. für die Evaluation unterschiedlicher Systeme entwickelt wurden. So gib es beispielsweise das System ProtoChat, das sich auf die Evaluation von Chatbots spezialisiert hat oder AppEcho, das Feedback für mobile Apps sammelt. Die Features von Crowd-Feedback Systemen sind z.B. Pins, die Nutzer setzen können, um zu markieren zu welchem Element ihr Feedback gehört, Kategorien, die Nutzern zeigen, zu welchen Aspekten Feedback gefragt ist oder die Aufnahme von Sprache oder Videos. Jedes Feature hat dabei unterschiedliche Einflüsse auf das resultierende Feedback. So ist das Feedback empathischer, wenn ein bestimmter Nutzungskontext in Form einer Persona oder eines Szenarios vorgegeben ist. Das Feedback, das durch Kategorien gesammelt wurde, ist insgesamt hilfreicher und das Feedback, das in Verbindung mit einer quantitativen Bewertung gesammelt wurde, enthält mehr Erklärungen.

Insgesamt hat sich in der Forschung gezeigt, das Crowd-Feedback eine kostengünstige und gut skalierbare Methode ist, um schnelles und qualitativ hochwertiges Feedback zu Prototypen oder auch fertigen Systemen zu sammeln. In der Praxis ist Crowd-Feedback häufig Teil von Crowdtesting Angeboten (z.B. Testbirds, Userlutions oder uTest). Die Forschung des Karlsruher Instituts für Technologie beschäftigt sich jedoch auch damit, Designern und Entwicklern die richtigen Werkzeuge an die Hand zu geben, um selbst Crowd-Feedback Systeme zu adaptieren und sie an den jeweiligen Evaluationskontext anzupassen.

Literatur:

Haug, S., & Maedche, A. (2021, Dezember). Crowd-Feedback in Information Systems Development: A State-of-the-Art Review. In International Conference on Information Systems (ICIS) (Vol. 2021).
https://www.researchgate.net/publication/355165272_Crowd-Feedback_in_Information_Systems_Development_A_State-of-the-Art_Review

Haug, S., & Maedche, A. (2021, Oktober). Feeasy: An Interactive Crowd-Feedback System. In The Adjunct Publication of the 34th Annual ACM Symposium on User Interface Software and Technology (pp. 41-43). https://www.researchgate.net/publication/355158849_Feeasy_An_Interactive_Crowd-Feedback_System