Wie ChatGPT Ihre Experience Management Surveys noch intelligenter macht
In weniger als einem Jahr hat es ChatGPT geschafft, gefühlt omnipräsent zu sein. Neue Geschäftsmodelle rund um Generative AI verbreiten sich aktuell schnell, dabei muss man gar nicht lange suchen, um zu sehen, wie Large Language Models auch in bereits bestehenden Geschäftslösungen und -prozesse unterstützen können. In diesem Blogbeitrag zeigt Larissa Haas, Senior Data Scientist bei sovanta, wie die Integration von ChatGPT in Qualtrics langwierige Follow-up Surveys automatisieren kann.
Use Case: Employee Technology Experience Surveys
Unternehmen interessieren sich zunehmend dafür, inwieweit ihre Mitarbeiter ihre Software-Tools nutzen und ob diese Tools auch die Erwartungen der Mitarbeiter erfüllen. Diese Insights zu erfassen ist Aufgabe von Employee Technology Experience (ETX). Dabei werden analytische Daten, wie die Häufigkeit der Anmeldung oder andere Nutzungsmuster, mit Umfragen korreliert, in denen die Erfahrung der Mitarbeiter bei der Nutzung der Technologie erhoben wird.
Meistens entsteht bei der Analyse der offenen Textfragen in einer solchen Umfrage eine Menge Arbeit. Qualtrics zum Beispiel, eine Umfrageplattform für solche Feedback-Umfragen, verfügt bereits über eine hervorragende Freitextanalyse. Um jedoch tiefere Einblicke in die Probleme der Mitarbeiter zu erhalten, sind Folgebefragungen auf der Grundlage des gegebenen Feedbacks erforderlich. Müssen diese dann manuell verschickt werden?
Systeme wie Qualtrics XM vereinfachen die Erhebung und Verarbeitung der erforderlichen Erfahrungs- und Betriebsdaten erheblich. Bis vor kurzem waren jedoch Aufgaben wie die vollständige Analyse von offenen Textantworten oder die Auswahl einer Richtung für zusätzliche Analysen schwer zu automatisieren. ChatGPT und andere Large Language Models können diese Aufgaben nun übernehmen und so Zeit, Geld und wertvolle menschliche Analysekapazitäten sparen. Und wie? Lassen Sie uns einen Blick auf den Use Case werfen und einen Fall skizzieren, bei dem ChatGPT Antworten aus einer abgeschlossenen Qualtrics-Umfrage übernimmt und Folgefragen für die nächste Umfrage generiert.
ChatGPT stellt automatisch Ihre Folgefragen
Stellen Sie sich ein typisches ETX-Projekt vor. Das Projektteam möchte im Laufe der Transformation herausfinden, ob die technologische Transformation gute Fortschritte macht. An einem kritischen Touchpoint mit dem neuen Tool öffnet und schließt sich ein Umfragefenster, um Feedback zu sammeln. Und wenn dies geschehen ist, findet das Projektteam mithilfe verschiedener digitaler Tools Muster in den Antworten. Dann formulieren sie zusätzliche Fragen für einen weiteren Benutzerfragebogen – alles mit dem Ziel, die richtigen Antworten zu erhalten, um das Projekt voranzutreiben.
Durch die Integration von ChatGPT in Qualtrics wird dieser gesamte Prozess sehr viel einfacher. Wie? Wir ersetzen die manuelle Analyse und Formulierung von Folgefragen durch einen Zwischenschritt, der auf der Cloud Foundry gehostet wird und sorgfältig entworfene Prompts an ChatGPT (oder ein anderes benutzerdefiniertes Large Language Model) sendet. ChatGPT generiert brandneue Fragen, die wir nutzen, um die Erstellung einer Umfrage über die Qualtrics Survey API zu automatisieren.
Vorteile von ChatGPT gegenüber anderen Textanalyse-Tools
Eine Frage kommt in dem Zuge auf: Enthalten Plattformen wie Qualtrics nicht bereits Ansätze für maschinelles Lernen, die Texte zusammenfassen, in Themen clustern oder Schlüsselwörter extrahieren? Das tun sie, aber der Vorteil von ChatGPT ist, dass der Bedarf an Struktur stark reduziert ist. Die vorherigen Generationen von Textanalysetools ermöglichen es uns nicht, Erkenntnisse über Themen zu gewinnen, die wir zuvor definiert haben. Denn dazu müssten wir erst Annahmen darüber treffen, was wir in den Daten finden werden.
Das bedeutet: Für einen Clustering-Algorithmus müssen wir die Anzahl der Cluster im Voraus kennen. Für einen Klassifizierungsalgorithmus müssen wir die Themen definieren, die wir klassifizieren wollen. Bei einer Textzusammenfassung kann es zu Datenverlusten kommen, wenn die Wörter sehr mehrdeutig sind. ChatGPT versteht jedoch dank seines sehr umfangreichen Sprachmodells die „Bedeutung“ hinter den Wörtern. Es versteht, dass wir die „wichtigsten“ Themen wollen, nicht die drei wichtigsten, und es weiß, dass es daraus Fragen formulieren sollte. Dieser Schritt der Textgenerierung macht es für uns sehr einfach, es in diesem Anwendungsfall einzusetzen, insbesondere im Vergleich zu bestehenden Alternativen.
Schauen wir uns den technischen Aufbau an
Wie haben wir den Use Case nun mit Hilfe von ChatGPT umgesetzt? Die folgenden Abschnitte zeigen, was wir technisch getan haben, um diesen Anwendungsfall zu realisieren – und man erkennt schnell, dass es gar nicht so kompliziert war, wie es vielleicht klingt.
1. Qualtrics Survey Setup und Intercept
Der erste Schritt, um diese Reise zu beginnen, besteht darin, eine Qualtrics-Umfrage zur Hand zu haben. In meinem Fall habe ich eine klassische ETX-Umfrage (Employee Technology Experience) mit vier kurzen Fragen durchgeführt:
Der erste Schritt zur Umsetzung des Use Cases besteht darin, eine Qualtrics-Umfrage zur Hand zu haben. In unserem Fall habe ich eine klassische ETX-Umfrage mit vier kurzen Fragen durchgeführt:
- Wie gerne nutzen Sie TOOL für Ihre tägliche Arbeit? 5-Punkte-Skala
- Wie bewerten Sie TOOL in Bezug auf…
- … wie effektiv Sie sich bei der Arbeit damit fühlen. (0-100)
- … wie viel Spaß Ihnen die Arbeit damit macht. (0-100)
- … wie viel Zeit Sie dadurch sparen. (0-100)
- Wie häufig benutzen Sie TOOL?
- Was können Sie sonst noch zu TOOL mitteilen?
Diese letzte Frage war die wichtigste in unserem Ansatz, obwohl die anderen auch nützlich sind, um die Ergebnisse später zu filtern und zu analysieren. In der Freitextfrage finden wir oft die wertvollsten Erkenntnisse. Die Hürde für einen Befragten, eine Freitextfrage zu beantworten, ist groß. Wenn wir also Antworten erhalten, sollten wir diese sehr ernst nehmen und aus diesen wichtigen Erkenntnissen Maßnahmen ableiten.
Die Umfrage wurde dann als Website-Abschnitt direkt auf der Homepage unseres Tools eingefügt. Der Vorteil dieses Ansatzes: Die Mitarbeiter können ihr Feedback direkt dort geben, wo sie gerade arbeiten. In Qualtrics können Sie verschiedene Versionen konfigurieren: Zum Beispiel, dass die Umfrage nur bei bestimmten Auslösern angezeigt wird, oder dass sie nur einem bestimmten Teil der Nutzer angezeigt wird.
Die Umfrage wurde schließlich als Website-Intercept direkt auf der Homepage unseres Tools eingefügt. Der Vorteil dieses Ansatzes ist, dass die Mitarbeiter ihr Feedback direkt aus dem Tool heraus geben können, mit dem sie arbeiten. Mit Qualtrics ist es möglich, verschiedene Konfogurationen vorzunehmen: Zum Beispiel, dass die Umfrage angezeigt wird, wenn bestimmte Trigger erfüllt sind, oder dass sie nur einem bestimmten Teil der Nutzer angezeigt wird.
Controller on SAP BTP Cloud Foundry
Jetzt, wo wir mit dem Sammeln von Ergebnissen begonnen haben, können wir über unsere Middleware nachdenken. In unserem Fall haben wir einen Python-FastAPI-Dienst verwendet, der auf der SAP BTP Cloud Foundry bereitgestellt wurde, um die nächsten Schritte zu gehen. Dieser Python-Dienst übernimmt folgende Aufgaben:
- Empfängt Antworten von Qualtrics API (siehe API-Dokumentation)
- Sendet Antworten an ChatGPT mit Aufforderungen zur Extraktion der häufigsten Themen aus den Textfragen
- Wandelt diese Themen in neue Fragen um
- Erstellt eine neue Umfrage in Qualtrics über API mit den neu generierten Fragen
Um diese Schritte durchzuführen und anzuzeigen, haben wir ein zusätzliches Dashboard erstellt -das ist aber nicht unbedingt notwendig. Es ist auch möglich, einen Cronjob zu konfigurieren, der diese Schritte jede Woche oder am Ende eines jeden Monats ausführt. Auf diese Weise erhalten Sie ständiges Feedback über Ihr Tool und die Entwicklung.
Kurzer Tipp: Achten Sie darauf, dass Sie Ihre Mitarbeiter nicht mit zu vielen Umfragen und Fragen überfordern.
Der letzte Schritt besteht nun darin, die neue Umfrage zu versenden, auf die Antworten zu warten und auf das erhaltene Feedback zu reagieren.
Dies ist erst der Anfang…
Hat Ihnen der Ansatz gefallen? Es gibt noch viele weitere Ideen für die Erweiterung und Umgestaltung eines solchen Anwendungsfalls, wie z. B:
- wöchentliche Zusammenfassungen der per E-Mail erhaltenen Freitext-Ergebnisse,
- allgemeine Zusammenfassung von Top- und Flop-Features
- automatisch generierte häufig gestellte Fragen, die Sie auf der FAQ-Seite Ihres Tools veröffentlichen können.
Ich bin mir sicher, dass es noch viele Use Cases gibt, wie Sie ChatGPT in Ihren täglichen Arbeitsablauf einbinden können, um Ihre Anwendungen ein wenig „intelligenter“ zu machen. Ich würde mich sehr freuen, mich dazu mit Ihnen auszutauschen. Kontaktieren Sie mich einfach.
