Auswahlprozesse für KI-Vorhaben folgen in Schweizer Betrieben einem eingespielten Ablauf. Es werden Anbieter verglichen, Modelle gegeneinander getestet, Preise pro Anfrage hochgerechnet und Antwortqualitäten in einer Tabelle festgehalten. Das ist sorgfältige Arbeit, und sie beantwortet die falsche Frage. Denn in der überwiegenden Zahl der Fälle entscheidet nicht das gewählte Modell über Erfolg oder Misserfolg, sondern der Zustand der Daten, auf die es zugreift.
Das Symptom, das die Ursache verrät
Es gibt ein verlässliches Zeichen dafür, dass die Daten und nicht das Modell das Problem sind: Das Ergebnis ist bei manchen Fällen ausgezeichnet und bei anderen unbrauchbar, ohne dass in der Aufgabe selbst ein Muster erkennbar wäre. Zwei ähnlich aussehende Anfragen werden völlig unterschiedlich behandelt. Wer daraufhin das Modell wechselt, beobachtet dasselbe Verhalten mit anderer Verteilung — und schliesst daraus meist, es brauche ein noch besseres Modell.
Ein tatsächliches Modellproblem zeigt sich anders, nämlich gleichmässiger: Die Ergebnisse sind über alle Fälle hinweg ähnlich schwach, weil die Aufgabe die Fähigkeiten des Modells übersteigt. Diese Unterscheidung ist in einem halben Tag zu treffen, wenn man die Fälle nach Ergebnisqualität sortiert und die dahinterliegenden Datensätze nebeneinanderlegt. Meist fällt dann sofort auf, was die schlechten Fälle gemeinsam haben.
Die vier wiederkehrenden Probleme
Über verschiedene Branchen hinweg tauchen dieselben vier Muster auf. Das erste sind Mehrfacheinträge: dieselbe Kundschaft, dieselbe Lieferantin, dasselbe Objekt mehrfach erfasst unter leicht abweichender Schreibweise — mit Punkt, ohne Punkt, mit Rechtsform, ohne Rechtsform. Für einen Menschen offensichtlich dieselbe Firma, für jede automatische Verarbeitung drei verschiedene.
Das zweite sind Formatbrüche. Datumsangaben aus zwei Vorsystemen, Beträge mit unterschiedlichem Dezimaltrenner, Telefonnummern in vier Schreibweisen. Das entsteht nicht aus Nachlässigkeit, sondern aus Systemgeschichte, und es bleibt unbemerkt, solange nur Menschen die Daten lesen.
Das dritte sind Pflichtfelder, die in der Praxis leer bleiben oder mit Platzhaltern gefüllt werden, weil die Erfassung sonst nicht abgeschlossen werden kann. Jeder Betrieb kennt das eine Feld, in dem regelmässig ein Punkt oder ein Bindestrich steht.
Das vierte und unangenehmste ist der Bruch zwischen Alt- und Neubestand. Nach einer Systemumstellung wird nach neuen Regeln erfasst, der Altbestand aber nach den alten migriert. Die Auswertung über beide Zeiträume hinweg ergibt dann Zahlen, die niemand erklären kann.
Was tatsächlich zu prüfen ist
Die verbreitete Reaktion auf diese Liste ist der Beschluss, den Datenbestand zu bereinigen. Das ist gut gemeint und in der Regel der Anfang einer Verschiebung um zwei Jahre, weil die Aufgabe kein Ende hat. Der praktikable Weg ist enger: Zu prüfen sind die Felder, auf die das konkrete Vorhaben zugreift, und nur diese.
Vier Fragen genügen dafür. Erstens: Gibt es einen eindeutigen Schlüssel, über den ein Datensatz zweifelsfrei identifizierbar ist? Zweitens: Sind die Formate in den relevanten Feldern einheitlich, und wenn nein, lassen sie sich regelbasiert vereinheitlichen? Drittens: Wie viele Datensätze haben in einem benötigten Feld keinen brauchbaren Wert, und wie werden diese Fälle behandelt — ausgeschlossen, nachgetragen oder als Sonderfall markiert? Viertens: Wer pflegt diese Felder heute, und weiss diese Person, dass sie das tut?
Die vierte Frage wird am häufigsten übersehen und ist die wichtigste für den Dauerbetrieb. Ein einmal bereinigter Bestand verfällt wieder, wenn niemand für die Pflege zuständig ist. Dann funktioniert das Vorhaben ein halbes Jahr und wird danach schleichend schlechter, was von aussen wie ein Modellproblem aussieht.
Der Nebengewinn
Diese Prüfung hat einen Ertrag, der über das KI-Vorhaben hinausreicht. Wer sie durchführt, weiss anschliessend, welche Datenbestände es gibt, wo sie liegen, in welchem Zustand sie sind und wer sie verantwortet. Das ist genau die Grundlage, die jede Auswertung, jede Systemumstellung und jede Prüfung nach dem revidierten Datenschutzgesetz ohnehin verlangt. Betriebe, die ein KI-Vorhaben zum Anlass für diese Bestandsaufnahme nehmen, berichten häufig, der grössere Nutzen sei nicht das Vorhaben selbst gewesen, sondern die Ordnung dahinter.
Was das für die Anbieterwahl bedeutet
Die Modellwahl bleibt eine Entscheidung, aber sie kommt später und fällt leichter. Steht die Aufgabe fest und ist der Datenzugriff geklärt, lassen sich zwei oder drei Kandidaten in wenigen Tagen an denselben echten Fällen vergleichen — mit einem Ergebnis, das etwas bedeutet, weil beide Seiten dieselben Eingangsdaten sehen. Vorher verglichen zu werden ist für Anbieter angenehm und für den Betrieb wertlos, weil das Testergebnis dann vom Zufall der ausgewählten Beispiele abhängt. Wer die Reihenfolge umdreht, spart in der Regel mehr Zeit, als die Datenprüfung gekostet hat.