Lessons Learned 2 - Aus gescheiterten KI-Projekten lernen

Künstliche Intelligenz (KI) wird eine der zentralen Technologien der Zukunft. Richtig eingesetzt können mit KI-Projekten nicht nur Ressourcen gespart werden, sondern auch Mehrwerte für das Unternehmen generiert werden. Doch sollte die Umsetzung eines KI-Projekts nicht auf die leichte Schulter genommen werden. Die Einführung neuer Technologien bringt auch immer eine gewisse Ungewissheit und Risiken mit sich. Aus diesem Grund lohnt es sich gescheiterte Projekte genauer anzuschauen und mögliche Schwachstellen zu identifizieren.

Auf was bei KI-Projekten geachtet werden sollte

Im letzten Blogartikel haben wir uns deshalb schon ausgiebig mit Gründen beschäftigt die zum Scheitern eines KI-Projekts führen können. Es ging um die Größe und Art eines möglichen KI-Projekts und die Erwartungshaltung, die verschiedene Stakeholder an die Umsetzung eines solchen Projekts haben. Es ging aber auch um die Dauer eines Projekts und die richtige Benutzung der vorhandenen Daten. Doch das waren bei weitem noch nicht alle Knackpunkte, auf die bei der Umsetzung eines KI-Projekts geachtet werden sollte.

Wieso KI-Projekte noch scheitern

Im zweiten Teil der Serie geht es vermehrt um Punkte wie Datenqualität und Skalierbarkeit. Es werden aber auch Themen wie Präzision der KI und deren Implementierungsprozess genauer angeschaut. Auch mit der Evaluation der KI sollte sich schon vor Beginn des Projekts beschäftigt werden. Hier also 5 weitere Gründe, die zum Scheitern eines KI-Projekts führen können:

#5 Daten

Nur ein Bruchteil der Entscheidungsträger verstehen bereits heute die vollständige Bedeutung eines guten Datensatzes zum Trainieren einer KI-Lösung. Dieser Mangel an kurierten Daten ist einer der größten Pain Points beim Übergang von Prototypen in ein Produktivsystem.

In den meistens Fällen liegt das nicht daran, dass es nicht genügend Daten gibt, sondern daran, dass Daten weggeschlossen und schwer zugänglich sind. Dieser Punkt tritt vor allem bei größeren Unternehmen auf. Hier dauert es häufig lange die notwendigen Daten zu sammeln, da die Daten durch mehrere Instanzen freigegeben werden müssen. Deswegen wird für das Training der KI-Lösung meist nur ein Datenausschnitt genutzt. Maschinelles Lernen funktioniert jedoch nicht, wenn die möglichen Trainingsdaten starr in einem Silo gespeichert sind.

Ein weiteres häufig auftretendes Problem ist die Datenqualität. Datenqualitätsprobleme können viele verschiedene Formen annehmen. Typischerweise liegen Daten in einem unerwarteten oder beschädigten Format vor. Daher ist es wichtig, die Datenqualität zu prüfen, bevor über eine KI-Lösung nachgedacht wird. Sollten Datenqualitätsprobleme vorliegen, ist das Unternehmen noch nicht für eine fundierte KI- Lösung bereit. Sinnvoll ist es hier einen Schritt zurück zu gehen und eine Datenmanagementstrategie zu definieren. Erst wenn diese erfolgreich umgesetzt und eingehalten wird, sollte mit der Umsetzung des KI-Projekts gestartet werden.

#6 Skalierbarkeit

Zu Beginn eines Projekts sollte der technologische Reifegrad von KI berücksichtigt werden. So ist es unwahrscheinlich, dass eine Predictive Maintenance Lösung schnell eine hohe Genauigkeit (> 95%) erreicht.

Die andere Sache, die mit Skalierbarkeit zusammenhängt, ist die Frage der Datenmenge. So sollte der Fakt, dass die KI-Lösung im Produktivbetrieb mit wesentlich höheren Datenmengen und Benutzerzahlen konfrontiert wird als in der Prototypenphase, nicht vernachlässigt werden. Deshalb ist es wichtig, vor der Übernahme in die Produktion, zu überlegen, ob die Lösung weiterhin wie gewünscht funktioniert, auch wenn die zu verarbeitende Datenmenge mit der Zeit ansteigt. Hierzu können vor dem Übergang in das produktive System bereits Stresstests mit hohen Benutzerzahlen und Datenmengen durchgeführt werden.

#7 Implementationsprozess

In einem KI-Projekt kann der Implementationsprozess durch die verwendeten Modelle beeinflusst werden. Der Hauptunterschied bei Machine Learning (ML)-Modellen besteht darin, dass sie entweder der Erklärung oder der Vorhersage Vorrang geben. Ist das Ziel des KI-Projekts ein Einblick in die reale Welt zu geben? Dann ist es wichtiger, dass das Modell eine überzeugende Erklärung dessen liefert, was es tut. Hochpräzise Vorhersagen zu erstellen ist zweitrangig. Folglich bedeutet dies, dass Datentransformationen und die Modellauswahl einfach gehalten werden müssen. Wenn das Ziel darin besteht, genaue Vorhersagen zu liefern, könnten andere Ansätze besser geeignet sein. Hier ist es möglich, sich auf komplexe Modelle, wie neuronale Netze zu verlassen, die eher wie "Black Boxes" funktionieren.

In der Vergangenheit kam es in Projekten oft vor, dass aufgrund eines falsch verstandenen Projektziels, das Projekt von Grund auf neu strukturiert und konzipiert werden mussten. Deshalb sollte sich gleich zu Beginn die Frage gestellt werden, welche Ziele die KI verfolgen soll.

#8 Präzision der KI

Ein hohes Maß an Genauigkeit zu erreichen gilt als der heilige Gral eines KI-Projekts. Dabei ist es besonders wichtig zu wissen, dass eine 100%ige Genauigkeit aus technischen Gründen unmöglich ist. Welches Maß an Genauigkeit für das KI-Projekt ausreichend ist? Das hängt zum einen vom Ziel ab, welches mit der KI-Projekt verfolgt wird und zum anderen von den Kosten, die entstehen, wenn sich die KI irrt. Um dies zu ermitteln, müssen Unternehmen ihr Vertrauen in die KI-Lösung gegen das Risiko und die Kosten des Fehlers abwägen. Dazu müssen die Kosten einer falschen Vorhersage im Vorfeld bereits durchkalkuliert und einberechnet werden. Auch hier spielen die Qualität und Menge der verfügbaren Daten wieder eine Rolle, da auch sie die Genauigkeit des Modells mitgestalten. Ein damit einhergehendes Problem ist das sogenannte "Overfitting". Es mag beeindruckend klingen, ein Modell zu haben, das zu 99% genau ist, aber wenn es nicht robust gegenüber wechselnden Bedingungen ist, ist ein Modell, welches zu 70% genau ist, eventuell besser geeignet.

#9 Evaluation der KI

Der Lebenszyklus eines KI-Projekts ist eigentlich nie abgeschlossen. Tatsächlich ist es während der Prototypenphase immer möglich, die Vorhersagen eines Modells zu verbessern. Im Rahmen einer KI-Einführung muss es jedoch einen bestimmten Zeitpunkt geben, an dem die erste Version der Lösung steht. Ist nicht genügend Zeit für die Untersuchung verschiedener Modelle eingeplant, wird möglicherweise das Modell, welches für den speziellen Datensatz des Unternehmens am besten geeignet ist, nicht berücksichtigt. Gleichzeitig kann nicht endlos Zeit in die Verbesserung eines Modells investiert werden, nur um Bruchteile eines Prozents zuverlässiger zu werden. Die zusätzlichen Personal- und Computerressourcen sind nämlich nicht zu vernachlässigen. Daher sollten vor Beginn klare Richtlinien definiert werden. So lassen sich Erfolgskriterien (KI-Genauigkeit, Release Zyklen, etc.), die mit dem KI-Projekt verbunden sind, festhalten. Diese erleichtern die Einschätzung der Dauer für die Testphase der unterschiedlichen Modelle.

Fazit

Eine KI-Einführung kann aus unendlich vielen Gründen und zu unterschiedlichen Zeitpunkten scheitern. Deswegen sollten KI-Projekte klar definiert und strukturiert werden, bevor mit der Planung und Umsetzung begonnen wird. Wichtig ist, dass man sich des Ziels der KI-Lösung sicher ist und dahingehend die passenden Modelle und Vorgehensweise wählt. Ich hoffe, dass durch diese zwei Artikel ein besseres allgemeines Verständnis für die möglichen Komplikationen in einem KI-Projekt geschaffen wurden und in Zukunft viel über erfolgreiche KI-Einführungen gelesen werden kann.

Titelbild: © Koto Amatsukami, stock.adobe.com

Dies könnte Dich auch interessieren: