Mit einem prüfbaren Ergebnis beginnen
Bevor KI-extrahierte Daten in ein Geschäftssystem gelangen, prüfen Sie, ob Pflichtfelder vorhanden sind, Werte der Quelle entsprechen und eine verantwortliche Person unsichere Ergebnisse klären kann. Eine plausibel aussehende Tabelle reicht nicht. Der Prüfprozess sollte erklären, woher jeder Wert stammt und was geschieht, wenn das Dokument keine Antwort enthält.
Bei meiner Arbeit an Customiser werden Quelldokument und extrahierte Tabelle gemeinsam dargestellt; Quellenhervorhebung unterstützt die Prüfung. Diese Verbindung ist wichtig, weil Prüfende einen Wert anhand des Dokuments kontrollieren müssen, bevor sie ihn in einem Angebot oder Geschäftsdatensatz verwenden.
Felder vor der Extraktionsmethode definieren
Notieren Sie die Felder, die der nächste Ablauf braucht, ihre erwarteten Formate und ob sie Pflichtfelder sind. Berücksichtigen Sie Einheiten, Kennungen und Beziehungen zwischen Zeilen. Bei einem Fertigungsdokument kann eine Teilenummer ohne Revision oder Menge unzureichend sein. Bei einer Rechnung lässt ein Gesamtbetrag ohne Währung eine wesentliche Unklarheit offen.
Vereinbaren Sie die Prüfung jedes Feldes. Eine Kennung kann eine exakte Übereinstimmung verlangen, während eine Beschreibung harmlose Formulierungsunterschiede zulässt. Dokumentieren Sie Normalisierungen separat, etwa die Umwandlung eines gedruckten Datums in ein Standardformat. Halten Sie den Originalwert verfügbar, damit Prüfende die Änderung sehen können.
Wählen Sie zunächst eine kleine, hilfreiche Ausgabe. Jeden Satz zu extrahieren erhöht den Prüfaufwand, ohne dem Unternehmen zwangsläufig zu helfen. Beginnen Sie mit den Informationen für eine definierte Aktion und erweitern Sie, wenn der Prüfprozess funktioniert.
Belege neben dem Wert halten
Geben Sie jedem extrahierten Feld einen Verweis auf die Quelldatei und, soweit praktikabel, auf Seite und relevanten Bereich. Prüfende sollten den Beleg öffnen können, ohne das gesamte Dokument zu durchsuchen. Halten Sie Dokumentversionen getrennt, damit eine Korrektur in einer späteren Datei nicht unbemerkt die Bedeutung eines früheren Ergebnisses verändert.
Beispiel mit fiktiven Bestelldaten: Auf Seite 2 steht „12 Kartons“, die passende Produktspezifikation nennt „10 Stück pro Karton“. Bewahren Sie „12 Kartons“ als Quellwert und zeigen Sie „120 Stück“ als vorgeschlagenen normalisierten Wert mit beiden Verweisen daneben. Lassen Sie die Zeile zur Prüfung offen, bis jemand kontrolliert, ob die Spezifikation für dieses Produkt gilt, und die Umrechnung freigibt. Lässt sich die Packungsgröße nicht feststellen, bleibt die Stückzahl ungeklärt, statt 120 zu exportieren.
Quellenverweise ermöglichen die Prüfung; sie beweisen nicht die Richtigkeit einer Antwort. Prüfen Sie, ob die zitierte Passage das konkrete Feld belegt, besonders wenn benachbarte Zeilen ähnliche Namen oder Zahlen enthalten.
Unsicherheit sichtbar und bearbeitbar machen
Nutzen Sie getrennte Zustände für fehlende, unlesbare, widersprüchliche und zu prüfende Informationen. Füllen Sie einen fehlenden Wert nicht mit einer wahrscheinlichen Antwort, nur um eine Zeile zu vervollständigen. Ein leeres Feld mit klarer Erklärung ist hilfreicher als ein erfundener Wert, der verbindlich aussieht.
Leiten Sie Ausnahmen an eine Person weiter, die sie klären kann. Ein fehlender Verweis kann eine Kundenfrage erfordern, eine Abweichung vom Produktkatalog einen internen Spezialisten. Die Prüfansicht sollte erklären, was nicht stimmt, welche Belege vorliegen und welche Aktion möglich ist.
Liefert das System einen Konfidenzwert, behandeln Sie ihn als ein zu bewertendes Signal. Gehen Sie nicht davon aus, dass ein hoher Wert automatische Annahme rechtfertigt. Legen Sie Prüfregeln anhand beobachteter Ergebnisse repräsentativer Dokumente und der Folgen eines falschen Werts fest.
Schwierige Dokumente ebenso testen wie saubere Beispiele
Stellen Sie mit entsprechender Nutzungserlaubnis einen Testsatz aus den erwarteten Dokumenttypen zusammen. Beziehen Sie verschiedene Layouts, Scans, gedrehten Text, seitenübergreifende Tabellen, Revisionen und Dokumente mit fehlenden Informationen ein. Halten Sie für jedes Beispiel ein unabhängig geprüftes Soll-Ergebnis fest.
Vergleichen Sie Ergebnisse Feld für Feld. Zählen Sie fehlende, falsche und unbelegte Werte getrennt. Testen Sie auch die Zeilenzuordnung: Für sich richtige Zahlen am falschen Artikel ergeben dennoch einen falschen Datensatz. Prüfen Sie ganze Dokumente ebenso wie einzelne Felder.
Halten Sie einige Beispiele von Entwicklungsentscheidungen getrennt, damit Änderungen mit unbekanntem Material geprüft werden können. Wiederholen Sie den relevanten Testsatz, wenn Modell, Prompt oder Verarbeitungsschritt geändert werden. Dokumentieren Sie Verbesserungen, Verschlechterungen und ob die Abnahmekriterien weiterhin erfüllt sind.
Übergabe und Korrekturprozess vereinbaren
Definieren Sie, wer Ergebnisse freigibt, wohin freigegebene Daten gehen und ob spätere Korrekturen frühere Exporte ersetzen oder ergänzen. Bewahren Sie Quelldatei, extrahierte Version, Prüfentscheidung und Exportreferenz auf, soweit der Ablauf Nachvollziehbarkeit erfordert. Vereinbaren Sie Zugriffs- und Aufbewahrungsregeln vor der Nutzung echter Geschäftsdokumente.
Testen Sie die Wiederherstellung ebenso sorgfältig wie den Erfolgsweg. Ein fehlgeschlagener Export sollte keine vollständige erneute Prüfung erfordern; Wiederholungen dürfen keine Duplikate erzeugen. Der Status muss Mitarbeitenden klar zeigen, ob Daten noch Entwurf, freigegeben oder bereits übergeben sind.
Bringen Sie für ein Extraktionsprojekt Beispieldokumente, Pflichtfelder, Zielformat und ein Beispiel für einen unzulässigen Fehler mit. Benennen Sie die Person, die Ergebnisse freigibt. Zusammen definiert dies, was die erste funktionierende Version nachweisen muss.
