_Zusammenfassung
Was versteht man unter einer Genauigkeitsrate in der KI?
Beginnen wir mit den Grundlagen, denn die Trefferquote ist einer jener Begriffe, die im Zusammenhang mit KI zwar von allen verwendet, aber von fast niemandem klar definiert werden. Einfach ausgedrückt ist die Trefferquote eines KI-Systems der prozentuale Anteil der von ihm erzeugten Ergebnisse, die sachlich korrekt sind. Wenn Sie eine KI beauftragen, 100 Zahlen aus einem Rechtsdokument zu extrahieren, und 87 davon richtig sind, beträgt ihre Trefferquote bei dieser Aufgabe 87 %.
Die KI-Forschungsgemeinschaft hat intensiv daran gearbeitet, dies genau zu messen, und die Ergebnisse sind ernüchternder, als es das Marketing der meisten KI-Unternehmen vermuten lässt. Im Dezember 2025 veröffentlichten Google DeepMind und Google Research das „FACTS Leaderboard“, einen der umfassendsten Benchmarks, die jemals zur Bewertung der sachlichen Genauigkeit von LLMs entwickelt wurden. Dabei wurden führende KI-Modelle anhand von vier unterschiedlichen Dimensionen der sachlichen Korrektheit getestet, wobei Tausende von Beispielen aus der Praxis berücksichtigt wurden. Das Ergebnis: Selbst die leistungsstärksten Modelle liefern bei komplexen, dokumentenbasierten Aufgaben in etwa einem von drei Fällen falsche Fakten. (Quelle: The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality, Google DeepMind und Google Research, Dezember 2025: deepmind.google)
Die Forscher äußerten sich unverblümt zu den Auswirkungen: „Große Sprachmodelle verändern die Art und Weise, wie wir auf Informationen zugreifen, doch ihre Fähigkeit, sachliche Genauigkeit zu gewährleisten, ist nach wie vor unvollkommen. Sie können falsche Informationen generieren, insbesondere wenn sie komplexe Eingaben erhalten.“
Dies ist der Ausgangspunkt für Allzweck-KI bei allgemeinen Aufgaben. In spezialisierten, regulierten Umgebungen mit hohen Risiken vergrößert sich die Leistungslücke erheblich. Das EU-KI-Gesetz trägt dem bereits Rechnung und schreibt in Artikel 6 vor, dass risikoreiche KI-Systeme – eine Kategorie, zu der ausdrücklich KI im Bereich der Bonitätsbewertung, der Risikobewertung und der aufsichtsrechtlichen Berichterstattung gehört – ein „angemessenes Maß an Genauigkeit“ erreichen müssen, bevor sie eingesetzt werden dürfen. Eine 2025 auf arXiv veröffentlichte rechtlich-technische Analyse stellte fest, dass diese Anforderung kritische Entscheidungen darüber beinhaltet, welche Fehler akzeptabel sind und welchen Risiken Vorrang eingeräumt wird – Entscheidungen, die ohne Verständnis des spezifischen Anwendungsbereichs, in dem die KI eingesetzt wird, nicht getroffen werden können. (Quelle: Ist Ihr KI-Modell genau genug? Die schwierigen Entscheidungen hinter einer konsequenten KI-Entwicklung und dem EU-KI-Gesetz , arXiv, 2025: arxiv.org)
Was KI-Experten sagen: das Halluzinationsproblem
In der KI-Forschung gibt es einen Begriff dafür, was passiert, wenn ein System eine selbstbewusste, plausibel klingende Ausgabe liefert, die sachlich falsch ist: Halluzination. Der Begriff wird zwar oft recht locker verwendet, doch der Mechanismus ist präzise und gut dokumentiert und spielt insbesondere im Finanz- und Regulierungsbereich eine wichtige Rolle.
Ein Sprachmodell sucht nicht nach Fakten, so wie eine Suchmaschine Dokumente abruft. Es generiert Antworten, indem es auf der Grundlage von Mustern, die es aus riesigen Mengen an Trainingsdaten gelernt hat, vorhersagt, welcher Text statistisch gesehen auf eine bestimmte Eingabe folgt. Wenn es auf eine Frage stößt, die es nicht mit Sicherheit beantworten kann – weil das Dokument komplex ist, die Terminologie mehrdeutig ist oder der rechtliche Rahmen sehr spezifisch ist –, sagt es nicht: „Ich weiß es nicht.“ Es generiert die Antwort, die am wahrscheinlichsten klingt, die aber möglicherweise überhaupt keine Grundlage im Quelldokument hat.
Die Aufsichtsbehörden beobachten die Entwicklung aufmerksam. Der „Regulatory Oversight Report 2026“ der FINRA enthielt einen eigenen Abschnitt zum Thema generative KI, in dem Finanzunternehmen ausdrücklich dazu aufgefordert wurden, Verfahren zu entwickeln, mit denen „Halluzinationen“ erkannt werden können. Darunter versteht man Fälle, in denen KI ungenaue oder irreführende Informationen generiert, einschließlich Fehlinterpretationen von Regeln, Richtlinien oder Kundendaten, die die Entscheidungsfindung beeinflussen. (Quelle: wealthmanagement.com)
Das EU-KI-Gesetz untermauert dies auf struktureller Ebene. Für KI-Systeme mit hohem Risiko, zu denen unter anderem KI-Anwendungen bei Kreditentscheidungen, Risikobewertungen und der aufsichtsrechtlichen Berichterstattung gehören, schreibt Artikel 14 eine nachweisbare menschliche Aufsicht vor: dokumentiert, technisch durchgesetzt und überprüfbar.
Was Halluzinationen im Compliance-Bereich besonders gefährlich macht, ist, dass sie ohne einen Mechanismus zur Rückverfolgbarkeit oft unsichtbar bleiben. Ein falscher Wert für die „Green Asset Ratio“, ein falsch zugeordneter Wert für Scope-3-Emissionen oder ein falsch zugeordneter Taxonomie-Indikator können völlig korrekt erscheinen, bis jemand die Quelle überprüft. Und in einem Umfeld nach CRR3, in dem die Offenlegungen gemäß Säule 3 im XBRL-Format im öffentlichen Data Hub der EBA veröffentlicht werden und von Aufsichtsbehörden und Marktteilnehmern in Echtzeit abgeglichen werden können, sind die Kosten eines unentdeckten Fehlers nicht intern. Sie sind öffentlich.
Die Genauigkeitslücke zwischen universeller und domänenoptimierter KI
Der Genauigkeitsunterschied zwischen einem Standard-KI-Tool und einem speziell für ein bestimmtes Thema oder eine bestimmte Anwendung entwickelten Tool ist kein unbedeutendes technisches Detail. In einer im Dezember 2025 von Amazon Science veröffentlichten Studie wurden verschiedene KI-Systeme anhand derselben Finanzdokumente – Jahresberichte, Jahresabschlüsse, behördliche Unterlagen – getestet und ihnen dieselben Fragen gestellt.
Ein Standard-KI-System – wie es in den meisten heute auf dem Markt erhältlichen Allzweck-Tools zum Einsatz kommt – gab in 52 % der Fälle die richtige Antwort. Ein KI-System, in dessen Kern Finanzfachwissen integriert war, gab in 94 % der Fälle die richtige Antwort.
Dieselben Dokumente. Dieselben Fragen. Fast doppelt so hohe Genauigkeit. (Source: Amazon Science, December 2025: amazon.science)
Worauf ist diese Diskrepanz zurückzuführen? Nicht auf die Rechengeschwindigkeit. Nicht auf die Größe des Modells. Der Unterschied lässt sich auf einen einzigen Faktor zurückführen: darauf, ob das System tatsächlich versteht, was es liest.
Eine herkömmliche KI liest ein Regulierungsdokument so, wie jemand ohne Finanzhintergrund ein Steuergesetz lesen würde. Die Wörter sind erkennbar, die Sätze lassen sich korrekt analysieren, und eine Zusammenfassung könnte sogar überzeugend klingen. Aber das Verständnis dafür, was diese Wörter im Kontext bedeuten – welche Zahlen für welchen Rechtsrahmen gelten, welche Einschränkungen die Bedeutung einer Zahl verändern, welche beiden unterschiedlich formulierten Sätze eigentlich dasselbe aussagen –, fehlt. Also füllt das System diese Lücke mit seiner besten Vermutung. Und in etwa der Hälfte der Fälle ist diese Vermutung falsch.
Die Forscher von Amazon Science formulieren es so: „Durch die direkte Einbindung von Fachwissen aus dem Finanzbereich in den Schlussfolgerungsprozess bietet [ein domänenoptimiertes System] einen praktischen Weg hin zu einer vertrauenswürdigen Finanz-KI, die den strengen Genauigkeitsanforderungen in den Bereichen Einhaltung gesetzlicher Vorschriften, Investitionsentscheidungen und Risikomanagement gerecht wird.“
Um dies zu verdeutlichen: Wenn ein Compliance-Team ein Standard-KI-Tool verwendet, um 200 Datenpunkte für eine Säule-3-Einreichung zu verarbeiten, enthalten etwa 96 dieser Ergebnisse Fehler. Mit einem fachspezifisch optimierten System sinkt diese Zahl auf etwa 12 – und diese 12 werden zur manuellen Überprüfung markiert, anstatt unbemerkt durchzugehen. Das ist kein marginaler Effizienzunterschied. Es ist der Unterschied zwischen einem Prozess, der Risiken erzeugt, und einem, der sie kontrolliert.
Validierung in der Praxis: Wir bei DYDON AI haben kürzlich für einen Kunden in einem spezialisierten Workflow zur aufsichtsrechtlichen Berichterstattung eine Genauigkeitsrate von 99,54 % erzielt. Dies ist das Ergebnis einer tiefgreifenden, fachspezifischen Feinabstimmung anhand spezifischer Daten und Dokumente in Kombination mit einer Multi-Modell-Architektur und vollständiger Rückverfolgbarkeit der Quellen.
Das menschliche Fachwissen: die eigentliche Quelle des Fachwissens
Hohe Genauigkeit lässt sich nicht allein durch Technologie erreichen. Das Fachwissen, das in einer gut konzipierten Compliance-KI verankert ist, wurde von Menschen aufgebaut – von Regulierungsspezialisten, die verstehen, wie eine richtige Antwort aussieht und warum eine falsche Antwort gefährlich ist. Dieses Fachwissen endet nicht mit der Inbetriebnahme. Es bleibt im Arbeitsablauf als Validierungsebene aktiv, die die Ergebnisse überprüfbar macht.
Die Aufteilung ist klar: Die KI übernimmt die Massenverarbeitung, der Mensch die Beurteilung. McKinsey beschreibt dies als eine „Risk Intelligence“-Funktion, die „alle Verteidigungslinien unterstützt, die Berichterstattung automatisiert und die Transparenz verbessert, während die Risikomanager die Entscheidungsbefugnis behalten.“ (Quelle: McKinsey)
KPMG hat eine Reduzierung der Zeit für die Erstellung von Berichten um bis zu 85 % dokumentiert, wenn die KI-gestützte Datenextraktion vollständig integriert ist. EY nennt Zeiteinsparungen von bis zu 90 % bei der Compliance-Prüfung durch eine durchgängige KI-gestützte Vorausfüllung. Diese Vorteile hängen jedoch vollständig von einer einzigen Voraussetzung ab: Der Schritt der menschlichen Validierung muss von Anfang an in die Architektur integriert sein und darf nicht nachträglich hinzugefügt werden.
Was sollte eine KI-Compliance-Plattform leisten?
Das sind keine Unterscheidungsmerkmale. Das sind Mindestanforderungen.
- Lückenlose Rückverfolgbarkeit der Quelle. Jeder extrahierte Wert muss mit seinem Quelldokument, seiner Seite und seiner Passage verknüpft sein. Ohne diese Verknüpfung können die Ergebnisse zwar als vertrauenswürdig angesehen, aber nicht überprüft werden.
- Integriertes Fachwissen zu regulatorischen Rahmenbedingungen. In CRR3, SFDR, der EU-Taxonomie und dem ESRS verankertes Wissen, das von Fachleuten aus diesem Bereich zusammengestellt und im Zuge der Weiterentwicklung der Rahmenwerke fortlaufend gepflegt wird.
- Menschliche Validierung in der KI eingebaut Artikel 14 des EU-KI-Gesetzes schreibt eine nachprüfbare menschliche Aufsicht für KI mit hohem Risiko vor.
- Datenaufbewahrung und -sicherheit in der EU. Kundenisolierte Infrastruktur, Garantie für keine Datenspeicherung, Zertifizierung nach ISO 27001 und SOC 2 Typ II. Für Institute, die Kontrahentendaten und interne Kapitalmodelle verarbeiten, stellt dies eine regulatorische Mindestanforderung dar.
Sind Sie im Bereich der aufsichtsrechtlichen Berichterstattung, der ESG-Offenlegung oder der Compliance tätig und möchten wissen, welche Genauigkeitsraten für Ihren konkreten Anwendungsfall realistisch sind?
Teilen Sie uns Ihren Arbeitsablauf mit – wir prüfen, was erreichbar ist und wo derzeit wahrscheinlich Lücken in Ihrem Prozess bestehen.
Kontaktieren Sie uns →
Quellen
- Amazon Science (December 2025). VERAFI: Verified Agentic Financial Intelligence. amazon.science
- Google DeepMind (December 2025). FACTS Leaderboard: A Comprehensive Benchmark for LLM Factuality. deepmind.google
- arXiv (2025). Is your AI Model Accurate Enough? The EU AI Act and AI Accuracy. arxiv.org
- Aveni (December 2025). AI Hallucinations in Financial Services. aveni.ai
- FINRA (2026). 2026 Annual Regulatory Oversight Report. wealthmanagement.com
- McKinsey & Company (2024). How Generative AI Can Help Banks Manage Risk and Compliance. mckinsey.com
- Galileo AI (2025). Domain-Specific LLM Evaluation. galileo.ai
- EBA (September 2025). Rising Application of AI in EU Banking and Payments Sector. eba.europa.eu
- KPMG (2023). Regulatory Technology Report — Automated Regulatory Reporting.
- EY (2023). Global Risk Consulting — Compliance Verification Automation.