KI-Benchmarks sagen nichts über Ihren KI-Prozess

Externe Benchmarks messen einzelne Fähigkeiten unter Studienbedingungen. Ob ein KI-Modell in Ihrem konkreten Unternehmensprozess zuverlässig arbeitet, entscheidet der Test im Einsatzkontext: mit Ihrer Modellversion, Ihrer Aufgabe, Ihrer Sprache, Ihren Daten und Ihrer menschlichen Kontrolle. Ein grünes Häkchen aus fremder Studie beschriftet die Blackbox. Es öffnet sie nicht.

Claude hat zwei Prüfungen abgelegt. Eine bestanden, eine eher nicht. Für Compliance-Verantwortliche im DACH-Mittelstand klingt das nach einer Einladung, das eine Ergebnis in die grüne und das andere in die rote Spalte des Risikoregisters zu übertragen. Wer das tut, dokumentiert weniger als er glaubt.

Wie hat Claude im Alignment-Test abgeschnitten?

In der Anthropic-Studie „Teaching Claude why“ vom 8. Mai 2026 dokumentiert der Modellhersteller selbst, dass alle Claude-Modelle ab Haiku 4.5 im internen Test auf agentische Fehlausrichtung eine perfekte Punktzahl erreichen. Konkret greifen die Modelle nicht auf Erpressungs-Strategien zurück, um sich vor Abschaltung zu schützen, wenn sie in ein fiktives ethisches Dilemma gestellt werden. Vergleichsmodell Opus 4 zeigte dieses Verhalten zuvor in bis zu 96 Prozent der geprüften Szenarien.

Zwei Vorbehalte gehören dazu. Erstens: Anthropic hat die Studie selbst durchgeführt und veröffentlicht. Selbstbewertung ist relevant, aber sie ersetzt keine unabhängige Prüfung. Zweitens: gemessen wurde ein sehr spezifischer Reflex, nämlich der Umgang mit konstruierten Dilemma-Szenarien unter Testbedingungen. Das ist ein Hinweis, dass Claude in dieser Achse robuster reagiert als Vorgänger-Modelle. Es ist kein Nachweis, dass Claude für Ihren Vertrieb, Ihr Recruiting oder Ihre Kundenkommunikation die richtige Wahl ist.

Warum sind hohe Halluzinationsraten trotzdem real?

Parallel zu diesem intern dokumentierten Alignment-Fortschritt zeigen unabhängige Studien deutliche Genauigkeits-Schwächen. Eine Untersuchung der Universidad Internacional de La Rioja (UNIR) vom Mai 2025 zur Erzeugung akademischer Referenzen ordnete Claude unter den Modellen mit den höchsten Halluzinationsraten ein. Der von Google DeepMind im Dezember 2025 vorgestellte FACTS-Benchmark misst die Grounding Accuracy — die Verankerung von Aussagen in belegbaren Fakten — für Claude 4.5 bei rund 62 Prozent. Die NewsGuard-Audits 2025 fanden für die 11 geprüften Chatbots (inklusive Claude) Fehlerraten zwischen 30 und 41 Prozent bei Nachrichten-Antworten.

Getestet wird jeweils, wie zuverlässig ein Modell existierende wissenschaftliche Referenzen, faktisch verankerte Aussagen oder überprüfbare Nachrichten-Inhalte ausgeben kann. Halluzination heißt hier: das Modell erfindet plausible, aber nicht existierende Quellen oder Behauptungen.

Diese Ergebnisse sind Hinweise. Sie sagen Ihnen, dass Claude für Aufgaben, in denen die exakte Herkunft einer Information zählt, ohne zusätzliche Absicherung ein hohes Risiko trägt. Dokumenten-Retrieval, kuratierte Wissensdatenbanken, menschliche Endprüfung: solche Absicherungen können die Studien nicht ersetzen. Sie können Ihnen nur sagen, dass das Modell allein sie braucht.

Warum ist das kein Widerspruch?

Der vermeintliche Widerspruch löst sich auf, sobald man die Prüfaufgaben nebeneinander liest. Bibliografische Quellen zu erzeugen und einem manipulativen Nutzer standzuhalten sind verschiedene Fähigkeiten. Ein Modell kann in der einen Aufgabe stark und in der anderen schwach sein. Das ist der Normalfall, nicht die Ausnahme.

Im Risikoregister werden aus zwei solchen Ergebnissen trotzdem schnell allgemeine Sätze wie „Claude ist zuverlässig“ oder „Claude halluziniert häufig“. Beide Formulierungen sparen Platz. Erkenntnis sparen sie gleich mit.

Zwei getrennte Tests zu einem einzigen Satz zusammenzuziehen ist der häufigste Fehler in KI-Risikobewertungen, die wir bei Kunden sehen. Der Satz wird kürzer, das Register wird länger, die Steuerungswirkung geht verloren.

Was sagen die Bitkom-Nutzungszahlen wirklich aus?

Der Bitkom-Studienbericht 2026 „Künstliche Intelligenz — Wie die Bevölkerung auf die neue Technologie blickt“ (DOI 10.64022/2026-ki-bevoelkerung) beruht auf einer repräsentativ gewichteten Telefonbefragung von 1.003 Personen ab 16 Jahren in Deutschland, erhoben in den Kalenderwochen 8 bis 11 des Jahres 2026 (16. Februar bis 15. März 2026). Von den 1.003 Befragten gaben 579 an, KI zu nutzen.

Unter diesen 579 KI-Nutzenden weisen die einzelnen Anwendungen folgende Anteile aus (Mehrfachnennung war möglich): ChatGPT 71 Prozent, Google Gemini 50 Prozent, Microsoft Copilot 43 Prozent, Meta AI 35 Prozent, DeepSeek 8 Prozent, Perplexity 7 Prozent, Grok 6 Prozent, Claude 5 Prozent, Le Chat 4 Prozent.

Über die Verbreitung der Werkzeuge wissen wir damit recht gut Bescheid. Ihre Zuverlässigkeit im konkreten Unternehmensprozess lässt sich aus keiner dieser Zahlen ableiten. Ein hoher Nutzungsanteil kann Verbreitung durch Vorinstallation in Microsoft- oder Google-Produkten erklären, durch kostenlose Testphasen, durch Werbedruck. Er kann auch bedeuten, dass ein Werkzeug für viele Aufgaben ausreicht. Er sagt nichts darüber, welche Fehlerrate das Werkzeug in Ihrer Kundenberatung, Ihrer Rechnungsprüfung oder Ihrer Ausschreibungsanalyse produziert. Marktanteil ist Verbreitung. Verbreitung ist nicht Eignung.

Warum hilft die EBU/BBC-Studie bei Claude nicht?

Die international koordinierte Untersuchung „News Integrity in AI Assistants: An international PSM study“ der European Broadcasting Union und der BBC, veröffentlicht am 21. Oktober 2025, bewertete 2.709 Kernantworten und 353 weitere lokale Antworten, insgesamt 3.062 begutachtete Ausgaben von ChatGPT, Google Gemini, Microsoft Copilot und Perplexity in ihren kostenlosen Standardversionen. 271 Journalistinnen und Journalisten aus 22 öffentlich-rechtlichen Medienorganisationen in 18 Ländern und 14 Sprachen bewerteten die Ausgaben nach fünf Kriterien: Genauigkeit, Quellenbelege, Trennung von Meinung und Tatsache, Editorialisierung und Kontext.

Für die vier untersuchten Modelle lassen sich aus dieser Studie belastbare Aussagen ableiten. Für Claude nicht — Claude war nicht Teil des Tests. Das klingt trivial, wird in der Praxis aber übersehen. Wer ein Modell in seinem Unternehmen einsetzt, das in einer prominenten Studie gar nicht geprüft wurde, hat für die Compliance-Dokumentation aus dieser Studie nichts gewonnen. Weder positiv noch negativ. Es ist einfach nicht Ihr Fall.

Selbst die 45 Prozent werden verkürzt zitiert

Die EBU/BBC-Studie fand, dass 45 Prozent der geprüften Antworten mindestens ein signifikantes Problem in mindestens einer der fünf Bewertungsdimensionen aufwiesen. Signifikante Genauigkeitsprobleme allein, also faktische Fehler, betrafen 20 Prozent der Antworten. Bei allen vier untersuchten Modellen lag der Anteil signifikanter Genauigkeitsprobleme dicht beieinander, zwischen 18 und 22 Prozent. Die deutlich unterschiedlichen Gesamtwerte pro Modell (Gemini 76 Prozent mit mindestens einem erheblichen Problem, ChatGPT 36 Prozent, Copilot 37 Prozent, Perplexity 30 Prozent) resultierten überwiegend aus Quellen- und Kontextproblemen, nicht aus reinen Faktenfehlern.

Die Tagesschau berichtete am 24. November 2025 über die Studie und überschrieb den entsprechenden Abschnitt mit „45 Prozent der Antworten von Chatbots fehlerhaft“. Als Modellwerte nannte sie ChatGPT 51,5 Prozent, Copilot 45,4 Prozent, Gemini 50 Prozent, Perplexity 45,7 Prozent, jeweils bezeichnet als „wesentliche Fehler oder Ungenauigkeiten“. Die Originalstudie berichtet für alle vier nur 18 bis 22 Prozent signifikante Genauigkeitsprobleme. Die höheren Zahlen sind Summen aus signifikanten und kleineren Genauigkeits-, Quellen- und Kontextproblemen. „Fehler“ wird zur Sammelkategorie, weil die Überschrift kürzer sein muss als die Methodik.

Selbst wenn Sie eine externe Studie sauber zitieren, kann die Zahl in der Rezeption bereits verkürzt sein. Wenn Sie Werte übernehmen, holen Sie sich die Kennzahl aus dem Original — nicht aus der Sekundär-Berichterstattung. Das gilt für jedes Risikoregister, das externe Studien als Beleg verwendet.

Welche Angaben gehören in Ihre KI-Risikobewertung?

Für Unternehmen bleibt deshalb der eigene Einsatzkontext entscheidend. Was in eine belastbare Bewertung gehört, ist überschaubar und lässt sich pro Anwendung dokumentieren:

• Modellname und exakte Version — inklusive Änderungsdatum. Ein Modell verhält sich nach einem Update messbar anders als davor.
• Die konkrete Aufgabe — nicht „KI im Marketing“, sondern „Erstentwurf für LinkedIn-Postings zu Fachthemen im DACH-Mittelstand“.
• Die Sprache der Eingaben und Ausgaben — Modelle verhalten sich in Deutsch anders als in Englisch, oft schwächer bei Fachbegriffen.
• Webzugriff und Kontextlänge — ob das Modell zur Laufzeit im Netz recherchiert und wie viele Zeichen es aufnimmt, verändert das Ergebnis erheblich.
• Verwendete Daten — was füttern Sie hinein, was sieht der Anbieter, wie lange werden die Daten gespeichert.
• Menschliche Kontrolle — wer prüft die Ausgabe, mit welcher Skala, mit welcher Frequenz, mit welcher Eskalationsregel.

Diese sechs Angaben gehören in die Bewertung. Ein Modellname allein dokumentiert eine Marke.

Was ist der Unterschied zwischen Benchmark und Prozess-Test?

Ein Benchmark testet ein Modell unter Laborbedingungen an einer standardisierten Aufgabe. Ein Prozess-Test misst dasselbe Modell an Ihrer echten Arbeit: mit Ihren Daten, in Ihrer Sprache, unter Ihren Zeit- und Kostenrahmen. Der Prozess-Test braucht 20 bis 50 typische Beispiele, ein festes Bewertungsraster und einen fachlichen Prüfer. Er kostet eine bis mehrere Stunden Aufwand pro Modell und liefert genau die Aussage, die Sie im Audit brauchen: „In unserer Anwendung, mit dieser Modellversion, unter diesen Bedingungen, produziert das Modell x Prozent nicht verwendbare Ausgaben.“

Externe Benchmarks zeigen mögliche Schwachstellen. Den Test des eigenen Prozesses können sie nicht übernehmen.

Wer eine fremde Prozentzahl kopiert und daneben ein grünes Häkchen setzt, hat die Blackbox erfolgreich beschriftet. Innen bleibt es dunkel, aber beim Audit findet wenigstens jeder den richtigen Ordner.