Post on 13-Apr-2017
transcript
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die Zukunft des FragensTeilnehmerverhalten in Next Generation Multi-Screen-Design Studien
Holger Lütters HTW BerlinMalte Freksa GapFish GmbHSandra Vitt Mediengruppe RTL Deutschland
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Ausgangslage “Die Zukunft des Fragens”
0
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Ausgangsthese: Die Befragungslandschaft ändert sich. Kann die Marktforschung es sich leisten gleich zu bleiben?
“unintentional mobile participation”●Befragungen finden zunehmend auf mobilen Geräten statt●Desktopkonzepte werden unintendiert auf Smartphones ausgefüllt ● Befragungsdauer auf mobilen Geräten ca. 20% länger im Vergleich zu
Desktopbefragungen mit Auswirkungen auf die Kosten der Incentivierung und Teilnahmebereitschaft
●Technologieproblem verdrängt Fragen nach Methodik und Effekten verschiedener Erhebungstechnologien auf mobilen Geräten
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Studie: Wie funktioniert das Fragen in der Zukunft?
Zentrale Fragestellung:● Wie fragt man in Zukunft, wenn Menschen auf beliebigen Kanälen mit
unterschiedlichsten Technologie an Studien der Marktforschung teilnehmen wollen?
Forschungsansatz:● Effekte der Nutzung unterschiedlicher Kanäle auf Ergebnisse ● Test neuer Fragetypen, welche das mobile Nutzungsverhalten stärker
berücksichtigen sollen (und dennoch auf den klassischen Geräten funktionieren müssen)
● Hintergrundmessungen des Verhaltens während der Teilnahme
● Ergebnissoffene Analyse alter und neuer Konzepte in Bezug auf Validität der Datenerhebung
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Experimentelles Studiendesign
1
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Konzept der Studie
Field Work
Fragebogen mit neuen Fragetypen:
Kooperationsprojekt innovativer Berliner Marktforscher befragte n=807 Teilnehmer auf unterschiedlichen Geräten und Kanälen
●13 Minuten Fragebogen●Durchführung Oktober 2015●1400 Kontakte●Zufallsverteilung auf “klassische” oder
“neue” Fragetypen ●807 vollständige Interviews●davon 216 Befragte In-App●Quotierung auf genutzte Geräte
Teamarbeit Eckdaten der Umsetzung
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Aufgabenstellung: Wie fragt man in Zukunft?Wo fragt man in Zukunft?
Quotierte Devicekategorien Desktop/Laptop und Mobile (Tablet/Smartphone)
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Verbesserung der UX in der Marktforschung durch NXT GEN Fragetypen“Alte” vs. “Neue” Fragetypen im Vergleich
2
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
NXT GEN Fragetypen im Responsive DesignBeispiel: Grafische Unterstützung und technische Unterstützung
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp
● Wichtigstes Ergebnis bei über 20 Fragen: Die neue Technologie hat keine Auswirkung auf die Antworten bei Standardfragen
● Einfache grafische Unterstützung soll helfen, kann aber auch Komplexität erhöhen
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Idee: Grafische Unterstützung zur kognitiven Entlastung bei “komplexeren” Fragen gelingt nicht immer
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Hypothese: Die unterschiedliche Darstellung von Fragetypen kann dennoch Einfluss auf das Antwortverhalten nehmen
Beispiel klassischer FragetypDrop-down Auswahlliste
Beispiel Next Generation FragetypAntwort auf grafischer Skala
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die unterschiedliche Darstellung einer Frage kann extremen Einfluss auf das Antwortverhalten haben. Drop-down liefert keine validen Ergebnisse
Gemessene Zeit über alle Befragten: 13 Minuten 47 Sekunden
Frage: Wie lange war dieser Fragebogen?
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Klassiker der Marktforschung vs. neue Idee der Erhebung mit Touch:Ranking vs. graphisches Sortieren
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp mit 2 Bedienoptionen
Ergebnis: 4 von 5 Items werden “anders” einsortiert bei Wechsel der MethodeDie unterschiedlichen Fragetypen erzeugen einen klassischen Rank-Reversal.
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Methode vollständiger Paarvergleiche nach Analytic Hierarchy Process zu Ermittlung der Präferenzen
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die Bewertung im vollständigen Paarvergleich (10 Fragen) ergibt ein völlig anderes (vielleicht valideres) Bild als die Ranking-Frage
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Type-In vs. graphische Antwort bei MethodenHier: Price-Sensitivity Meter
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die grafische Antwort erzeugt abweichende Werte im Vergleich zur direkten Dateneingabe. Ergebnis 44% höhere Preisbereitschaft=Validitätsproblem
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Neuer Fragetyp in questfox: TinSort
http://www.buzzfeed.com/regajha/yo-yo-honey-single?utm_term=.kpvRQjgAAw&sub=3506957_4218802
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Multiple Choice vs. TinSort (nur Text)Duales Bedienkonzept wischen oder klicken
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
NXT GEN Fragetyp TinSort erzeugt viel mehr Antworten als die vermeintlich identische Frage als Multiple-Choice
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Multiple Choice vs. TinSort (graphisch)TinSort mit explizit negativer Aussage vs. positive Aussage
Beispiel Next Generation FragetypBeispiel klassischer Fragetyp
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
E-Mail ist der favorisierte EinladungskanalViel weniger Antworten im klassischen Multiple-Choice Verfahren als mit TinSort
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Multiple Choice vs. TinSort (graphisch)
Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Viele Online-Teilnehmer würde gerne echte Produkttest zu Hause machenAntwortunterschiede extrem je nach verwendetem Fragetyp
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die neuen Fragetypen bringen an vielen Stellen erhebliche zeitliche VorteileBei einigen Fragetypen ist kein zeitlicher Vorteil erkennbar
Antwortzeit in Sekunden
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Zusammenfassung Nutzung NXT GEN Fragetypen
●Mobil optimierte Fragetypen beschleunigen das CLICK-Interview (auch auf dem Desktop)
●Validität der Verwendung von Drop-Downlisten darf generell hinterfragt werden. Auf mobilen Geräten noch schwieriger als auf Desktop. Dort werden Antwortmuster erkennbar, die es ohne mobile Technologie nicht geben würde
●Drop-Down für Ranking macht alles noch schlimmer. Touch Sortierung als interessante Alternative
●Analytic Hierarchy Process als Ranking Alternative verursacht hohen Bearbeitungsaufwand, erzeugt jedoch auch Qualitätsdaten der Konsistenz
●Multiple-Choice Fragetyp wird eher als Single-Choice Muster beantwortet●TinSort ist ein spannender neuer Fragetyp, der ohne Kosten die Qualität der
Befragung verbessern kann●Grafischer Price-Sensitivity-Meter erzeugt viel höhere Werte und erfordert
weitere Messungen zur Überprüfung der Validität der Idee●Grafische Unterstützung macht Befragungen auch unterhaltsamer und erzeugt
weniger Item-Non-Response●Zeit ist sehr subjektiv. Die neuen Fragetypen sparen im Schnitt 15% Antwortzeit
und damit Geld
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Wir forschen weiter: Gyroscale als Kombination von Bewegungen und analytischen Fragen auf Mobilgeräten: Moving answers
Landscape Mode mit Messung Neigungswinkel
Portrait Mode mit Steering Wheel Messung
Gyroscale® ist eine Entwicklung der pangea labs und in questfox verfügbar
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Neue mobile Welt - Neue Fragetypen?!
3
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Chance für ein Umdenken in der digitalen Fragebogenforschung
●Einige der neuen Fragetypen erzeugen vergleichbare Antworten. Andere erzeugen völlig andere Ergebnisse. Die Ergebnisse stellen die Grundsatzfrage nach der Validität von Messungen per Befragung. Haben wir bisher alles korrekt erfragt? Wie geht das mobil?
●Grafische Fragetypen können das Verständnis der Teilnehmer unterstützen (aber auch manipulieren)
●Schlichtes technisches Umwandeln von Repräsentationsformen einer Frage erzeugt Datenprobleme. Responsive Design als technische Lösung ist nicht immer adäquat für die (mobile) Marktforschung
●Duale Bedienkonzepte könnten weitere Effekte haben. Apple 3D Touch wird weitere Optionen eröffnen, die es zu testen gilt
● Einige Fragetypen eignen sich vorerst nur für bestimmte Geräte. Das wird auch in naher Zukunft noch so bleiben
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Die Suche nach mobilen Methoden hat gerade erst begonnen
●Methodenverzicht auf mobilen Geräten wäre katastrophal●Device agnostisch ist die Denkweise zukünftiger Entwicklung●Mobil wird erst in Zukunft wirklich mobil...
© InnoRadar - InnoLab 09.10.2014 - Prof. Dr. Holger LüttersDie Zukunft des Fragens - Prof. Dr. Holger Lütters - HTW Berlin - GapFish - Mediengruppe RTL - pangea labs - 28./29.10.2015 - Research&Results Kongress - München
Wir danken den Unterstützern dieser Studie
Projektdurchführung:Prof. Dr. Holger Lütters – HTW Berlin
KontaktProf. Dr. Holger LüttersHochschule für Technik und Wirtschaft BerlinHolger.Luetters@htw-berlin.dewww.luetters.com Twitter @luettersxing.com/profile/Holger_Luettersde.linkedin.com/in/luetters/
Dank an Benjamin Schubert und Ian Thomsonfür die Unterstützung
Vollständiger Report unter http://goo.gl/BJiHIy
Dank an die Unterstützer der Studie
www.pangealabs.comquestfox® is a development of pangea labs GmbH
www.gapfish.com