Lessons Learned: Die 3 größten versteckten Herausforderungen bei Machine-Learning-Projekten
Viele Firmen haben im letzten Jahr die ersten kleineren KI-Projekte umgesetzt und mussten dabei feststellen, dass es doch einige Stolpersteine geben kann. Unser Data-Science-Team räumt solche aus dem Weg und hat drei sehr lehrreiche Lektionen zusammengestellt.
Prozesse sind individuell
Am Anfang jedes ML-Projekts steht ein repetitiver und simpler Prozess, der automatisiert werden soll. Er steht in dieser Form auf dem Papier, doch die Realität sieht meist anders aus: Es gibt immer Ausnahmen und Sonderfälle. Nahezu kein Prozess entspricht einer idealen Umsetzung, zumeist sind die Workflows „historisch gewachsen“ und beinhalten zahllose Workarounds verschiedener Mitarbeiter, die sich Mühe geben, alle Fäden zusammen zu halten.
Viele Firmen klassifizieren beispielsweise ihre Kunden, je nachdem ob sie das Standard-, Premium- oder VIP-Paket erworben haben. Wenn diese Kunden Supportanfragen erstellen, werden sie von unterschiedlichen Sachbearbeitern betreut. Dies muss erkannt und die Anfragen entsprechend an den zuständigen Mitarbeiter weitergeleitet werden.
Dieses simple Beispiel deutet nur an, welche Herausforderungen in einem Prozess stecken können – die erste Lektion besteht also darin, den realen Prozess komplett aufzudecken. Dabei ist es ratsam, gemeinsam mit einem Data Scientist den aktuellen Prozess zu durchdenken und einige Beispiele, wie das genannte, gemeinsam zu bearbeiten. Hindernisse werden dadurch direkt erkannt und können bei der Umsetzung angepasst werden.
Daten haben eine Geschichte
Jedes Modell ist nur so viel wert wie die Daten, mit denen es trainiert wird. Doch nur wenige Unternehmen haben volle Transparenz, wie diese Daten erstellt werden und wann sie verfügbar sind. Dies führt oftmals zu falschen Annahmen, welche später wieder korrigiert werden müssen.
Als Beispiel: Ein Modell versucht, Tickets dem richtigen Ansprechpartner zuzuordnen. Es bekommt alte Tickets und merkt ziemlich schnell: Wenn jemand einen Kommentar geschrieben hat, war er oft auch der richtige Ansprechpartner. Das Modell lernt also, dass Kommentare der perfekte Hinweis auf den Ansprechpartner sind. Wird es dann im realen Betrieb eingesetzt, tauchen plötzlich Probleme auf, denn: Bei ganz neu erstellten Tickets fehlen natürlich die Kommentare. Das Modell hat nichts gelernt, außer, auf die Anmerkungen durch Mitarbeiter zu schauen, und weiß nun plötzlich nicht mehr, was es tun soll. Dadurch gibt es mehr Fehler und die Performance verschlechtert sich.
Die zweite Lektion besteht darin, das Wesen der vorhandenen und aufkommenden Daten komplett nachzuvollziehen. Dafür sind Interviews hilfreich, bei denen das nicht-technische Personal die einzelnen Datenquellen und -flüsse erklären und zusätzliches Feedback von den Systemverantwortlichen, welche oft die Flüsse am besten kennen.
Menschen brauchen Vertrauen
Nicht alles, was einem Menschen sofort klar ist, ist für ein Machine-Learning-Modell auch so einfach zu lösen. Das wiederum ist den Mitarbeitern nicht immer sofort klar und beeinträchtigt oft das Vertrauen in die Genauigkeit.
So werden manchmal Tickets nicht als Bestellung erkannt, obwohl doch mehrfach in der E-Mail das Wort „Bestellung“ erwähnt wird. Das Modell hat jedoch mit der Zeit festgestellt: Auch wenn der Begriff auftaucht, muss es sich noch lange nicht um eine Bestellung handeln. Genauso gut kann es eine Nachfrage oder Beschwerde sein. Während der Mensch intuitiv entscheidet, muss das Modell zunächst lernen, Kontext zu verstehen.
Dies ist eine dritte Lektion: Man muss Vertrauen in das Modell schaffen. Dazu ist eine Kommunikationsstrategie hilfreich, die klärt, wann und wie das Modell weiterlernt. Beispielsweise, dass das Modell nur jeden zweiten Sonntag auf den Daten der letzten sechs Monate neu trainiert wird – fehlerhafte Tickets konnten in der Zeit dazwischen also noch keinen Einfluss auf das Modell haben. Oder man erläutert, dass man bei den Vorhersagen den Einfluss einzelner Wörter errechnen kann, um so aufzuzeigen, wie das Modell zu seiner Entscheidung gelangt ist.
Lektionen schaffen Erfahrung
Die genannten sind nur drei von vielen Lektionen, die auf dem Weg zu einem erfolgreichen Machine-Learning-Projekt zu beachten sind. Es sind zudem drei essentielle, ohne deren Lösung ein Projekt nicht sein volles Potenzial entfalten kann und als gescheitert wahrgenommen wird.
Damit es nicht so weit kommt, ist ein intensiver Austausch während der Umsetzung ratsam, bestenfalls mit einem Partner, der bereits viel Erfahrung hat. Das schützt Investitionen, sichert den Erfolg eines Projekts und führt in aller Regel zu mehr Wirtschaftlichkeit.
