Eine Studie, die HASE & IGEL gemeinsam mit der Abteilung Very Large Business Applications der Uni Oldenburg und dem L3S Research Center der Uni Hannover durchgeführt hat, sorgt derzeit für Aufsehen. Denn sie zeigt, dass die Daten aus Google Trends – mit denen Google zeigt, was wo wie viel gesucht wird – äußerst unzuverlässig sind. In unserem Videobeitrag diskutieren wir mit den Studienverantwortlichen über die Ergebnisse und Implikationen ihrer Studie.
Die Google Trends Studie
Zahlreiche Prozesse in Medien, Politik, Wirtschaft und Wissenschaft beziehen Daten zu Suchhäufigkeiten und Suchtrends bei Google in ihre Entscheidungen ein. Diese Daten stellt Google kostenlos über Google Trends bereit – auf Basis von Stichproben, deren Repräsentativität zugesichert wird. Dem Analyse- und Beratungsunternehmen HASE & IGEL fielen bei seiner Arbeit Widersprüche auf, die Zweifel an dieser Repräsentativität aufkommen ließen: So zeigen Daten, die aus Google Trends für denselben Suchbegriff (z.B. “Kurzarbeit”) und denselben Zeitraum (z.B. 1. Quartal 2020) zu verschiedenen Zeitpunkten (z.B. einmal um 20 Uhr, einmal um 21 Uhr) abgerufen werden, Werte, die so stark voneinander abweichen, dass die Trends mitunter in gänzlich verschiedene Richtungen weisen.
Ein Team aus Mitarbeitern von HASE & IGEL, der Abteilung Very Large Business Applications der Uni Oldenburg sowie des L3S Research Centers der Uni Hannover untersuchte Häufigkeit, Ausmaß und Muster dieser Abweichungen. Es wurde deutlich, dass solche Widersprüche systematisch in Google Trends Daten auftreten und insbesondere bei Analysezeiträumen von weniger als 8 Monaten oft so stark ausfallen, dass sie Analysen stark verfälschen können. Die von Google beteuerte Repräsentativität der Stichproben ist in einem z.T. erheblichen Anteil der Fälle erwiesenermaßen nicht gegeben. Das seitens Google vorgebrachte Argument, entsprechende Defizite in der Zuverlässigkeit von Google Trends Daten seien auf geringe Suchvolumina zurückzuführen, greift eindeutig zu kurz: zwar ist der Zusammenhang zwischen Suchvolumen und Datenqualität signifikant, doch erklärt er bestenfalls die Hälfte der Widersprüche in den Daten und trifft nicht auf alle Suchbegriffe gleichermaßen zu. Offenkundig gibt es weitere Einflussfaktoren, die zum Teil alle Suchbegriffe gleichzeitig betreffen und nur durch Google aufgeklärt werden könnten. Für Anwender ist die Arbeit mit Google Trends Daten daher mit deutlichen Risiken behaftet, zudem die Analyse zeigt, dass der in Google Trends genannte Indexwert nur begrenzt Rückschlüsse auf das tatsächliche Suchvolumen zulässt.
Google Trends: Ein Tool von hoher politischer und wirtschaftlicher Relevanz
Die Google Trends Studie wurde u.a. in Beiträgen beim ARD Mittagsmagazin, bei NDR Info/ZAPP Medienmagazin, t3n und den NDR Fernsehnachrichten besprochen. Google Trends genießt eine hohe Verbreitung als Datenanalysetool in Wirtschaft, Wissenschaft, Verwaltung, Politik und Medien. Tagesschau.de schreibt zum großen gesellschaftlichen Einfluss des Google-Tools:
„Vergleichswerte aus den Google-Trends veröffentlichte beispielsweise der Sachverständigenrat Wirtschaft für einen Corona-Report. Und an der Heinrich-Heine-Universität Düsseldorf haben Forscher eine Analyse zum zeitlichen Verlauf von Nasennebenhöhlenentzündungen durchgeführt.“
Wir haben uns in unserem Videobeitrag zum Thema mit den Studienverantwortlichen, Jan Schoenemakers (Geschäftsführer HASE & IGEL GmbH), Dr. Sergej Zerr (Forschungsgruppenleiter L3S Research Center, Uni Hannover) und Felix Kruse (Wissenschaftlicher Mitarbeiter Very Large Business Applications, Uni Oldenburg) über die Ergebnisse und Implikationen ihrer Studie unterhalten. Weitere Informationen zum Thema erhalten Sie auf dem Blog von HASE & IGEL.