chatgpt im praxistest- auswertung offener nennungen durch ki

Die neueste Generation künstlicher Intelligenz

Andreas Woppmann

|
6.2.2023
Chat GPT Illustration

Ende November 2022 wurde ChatGPT – der Prototyp eines KI-basierten Chatbots – vom US-Unternehmen, OpenAI, der Öffentlichkeit zugänglich gemacht. Durch die Verwendung von natürlicher Sprachverarbeitung und maschinellem Lernen kann ChatGPT große Mengen an Textdaten schnell auswerten, um wertvolle Einblicke in die Meinungen und Präferenzen von Verbraucher:innen zu gewinnen. Seitdem wird das neue Niveau der künstlichen Intelligenz heiß diskutiert.

Neben der Chatfunktion wurden bereits viele weitere Anwendungen aus unterschiedlichsten Bereichen getestet. Künftig könnte im Bereich Marketing die menschliche Erstellung von werblichen Posts in den sozialen Medien oder das Schreiben neuer Produktideen durch die KI ersetzt werden. Auch das Programmieren von Websites könnte langfristig ausgelagert werden. Unzweifelhaft erscheinen die Leistungen dieses Chatbots als großen Sprung im Vergleich zu den Leistungen anderer KI-Systeme. Im Arbeitsleben kann man durch die Erbringung solcher Leistungen eine Zäsur erwarten.

Deswegen haben wir uns Gedanken darüber gemacht, welche Aufgaben ChatGPT als KI-Software in der Marktforschung grundsätzlich übernehmen könnte. Daraufhin haben wir die Software erstmal direkt gefragt:

„ChatGPT kann für Marktforschung in Deutschland eine Vielzahl von Aufgaben lösen. Eine davon ist die Erstellung von Umfragen. ChatGPT kann Fragen formulieren und die Antworten der Umfrageteilnehmer aufzeichnen und auswerten. Dadurch kann es wertvolle Einblicke in die Meinungen und Präferenzen der Zielgruppe liefern.

Eine weitere Aufgabe, die ChatGPT für die Marktforschung übernehmen kann, ist die Analyse von sozialen Medien-Daten. Es kann Beiträge, Kommentare und Reaktionen auf Social-Media-Plattformen sammeln und auswerten, um zu verstehen, wie die Zielgruppe über bestimmte Produkte oder Marken spricht und welche Themen für sie von Interesse sind.
Auch die
Erstellung von Marktforschungsberichten kann von ChatGPT übernommen werden. Es kann die gesammelten Daten aufbereiten und in verständlicher Form präsentieren, um die Ergebnisse der Marktforschung leicht verständlich zu machen und Entscheidungen der Unternehmen zu unterstützen.

Schließlich kann ChatGPT auch in der Kundenservice-Branche eingesetzt werden. Es kann als virtueller Assistent fungieren und Fragen von Kunden beantworten, um schnell und effizient auf Anfragen zu reagieren.

Insgesamt kann ChatGPT durch seine Fähigkeit, große Mengen an Daten zu sammeln, zu analysieren und zu präsentieren, eine wertvolle Unterstützung bei Marktforschungsprojekten sein.“

Recht selbstbewusst wird ein ganzes Spektrum an Einsatzmöglichkeiten vom Chatbot offengelegt. Aber was ist da dran? Als Innovationsliebende haben wir von advise die Software gezielten Tests unterzogen, um zu prüfen, wie einsatzfähig die KI in der quantitativen und qualitativen Marktforschung wirklich ist. Und die Ergebnisse waren schon recht verblüffend.

Ein Bereich, der uns sehr interessiert und in dem schon länger mit mehr oder weniger gutem Erfolg KI eingesetzt wird, ist die Codierung offener Nennungen. Diese Codierungen, z.B. von Likes und Dislikes, in sozialen Netzen oder Kommentarspalten bei Kundenzufriedenheitsbefragungen, sind meist mit hohem manuellem (Zeit- und Kosten-) Aufwand verbunden. Gleichzeitig ist aber dieser (qualitative) Input sehr wichtig für ein gutes Verständnis und bei hohen Qualitätsansprüchen recht alternativlos (auch wenn sich bereits mehrere Firmen daran versucht haben).

Natürlich wäre es sehr schön, wenn man die manuelle Codierung umgehen könnte. Daher war unser Ansatz mit ChatGPT die Codierung offener Nennungen nachzubauen und zu prüfen, wie sehr sich die Ergebnisse unterscheiden.

In der untenstehenden Grafik ist ein Beispiel für ein Projekt zu sehen, welches wir händisch gecodet haben (links) und automatisch von ChatGPT coden haben lassen. Die Ergebnisse sind erstaunlich! Die wichtigsten Codes decken sich zu einem großen Teil und die Antworten der KI lesen sich recht verständlich und selbsterklärend! Hier ein Beispiel der Auswertung:

Beispiel 1: Coding-Auswertung Händisch (links) vs. Automatisch durch ChatGPT (rechts)

Ein anderes Beispiel eines Codings über ein Beauty Produkt zeigt auch, das sehr ähnliche Codes gefunden werden. Es gibt ein paar Abweichungen und in manchen Fällen werden zwei Codes zusammengefasst oder getrennt aufgelistet.

Beispiel 2: advise Coding-Auswertung Händisch (links) vs. Automatisch durch ChatGPT (rechts)

Wir haben noch viele weitere Beispiele ausgewertet, mit vergleichbaren Ergebnissen. Folglich lässt sich sagen, dass die Qualität bei offenen Nennungen doch recht nahe an die händische Codierung rankommt. Nicht außer Acht zu lassen ist, dass wir es hier mit qualitativen Daten zu tun haben, bei denen man auch bei einer zweifachen händischen Codierung nicht 100%ig zu gleichen Ergebnissen kommt.

Auch in der qualitativen Forschung haben wir uns mit ChatGPT beschäftigt. Als Inspirationsquelle und Input für Grundlagenwissen, bei der Erstellung von Screener und Leitfäden aber auch in der Auswertung von Transkripten und Protokollen, sehen wir erstaunliches Unterstützungspotential.

Bei einer kürzlich durchgeführten Eigenstudie zum Veganuary-Trend, bei dem die Teilnehmer:innen versuchen, sich im Januar ausschließlich vegan zu ernähren, haben wir Protokolle von Online-Chats implementiert und uns Zusammenfassungen davon ausgeben lassen.

Beispiel 3: advise Eigenstudie zum Thema Veganuary, Textabschnitt eines Online-Chat-Protokolls von ChatGPT analysiert, ©OpenAI

Gerade bei großen Textmengen kann der Chatbot durchaus Sinn machen, um einen schnellen ersten Überblick zu erhalten, was genau diskutiert wurde und welche möglichen Inhaltsschwerpunkte es gibt. Auch die Option, sich Zitate ausgeben zu lassen, funktioniert erstaunlich gut.

Wenn es jedoch um Emotionen oder psychologische Zusammenhänge geht, entdecken wir gewisse Limitationen. Auch bei der Auswertung von Kreativtechniken, dem Verständnis von Ironie und Emotionen haben wir noch Vorbehalte. Nichtdestotrotz werden wir die Entwicklung diesbezüglich weiter im Auge behalten und gehen davon aus, dass sie auch unsere Marktforschungs-Branche stark revolutionieren wird.

Für uns steht fest, dass sich mit dieser Software eine großartige Chance für die Marktforschung auftut. Deshalb haben wir bereits konkrete Einsatzmöglichkeiten bei uns identifiziert und werden in Zukunft die Coding-Analyse mittels KI als zusätzliche Option der Auswertung anbieten. Diese neue Generation der KI könnte sich unserer Meinung nach durchaus als eine konkrete, schnell umzusetzende Einsatzmöglichkeit in der Marktforschung etablieren.

Cookies und weitere Technologien helfen uns dabei, Ihren Besuch so angenehm wie möglich zu gestalten. Zum einen sind sie für einen zuverlässigen und sicheren Betrieb der Website unbedingt erforderlich. Diese Cookies und Technologien sind daher immer aktiv. Zum anderen würden wir gerne mit Ihrer Zustimmung auch Cookies und weitere Technologien für individuelle Auswertungen einsetzen. können Sie detaillierte Einstellungen vornehmen oder Ihre Zustimmung (teilweise, wenn notwendig) mit Wirkung für die Zukunft widerrufen. Für weitere Informationen verweisen wir auf unsereDatenschutzerklärung.