Anthropic veröffentlicht ein neues Bewertungsframework, das darauf ausgelegt ist, abstraktes Schlussfolgern statt Mustererkennung in Trainingsdaten zu testen – eine direkte Antwort auf das MMLU-Sättigungsproblem.
Aug 18, 2026 at 09:30 10 12
Ein weit verbreiteter Beitrag analysiert die subjektive Regression, die viele Entwickler mit Claude Opus 5 erleben, obwohl Benchmarks gleich bleiben oder sich verbessern. Die Lücke zwischen gemessener und gefühlter Leistungsfähigkeit wird größer.
Aug 14, 2026 at 18:58 8 5
Drei Tage nach Inkrafttreten des EU-KI-Gesetzes veröffentlichte Washington einen freiwilligen KI-Bewertungsrahmen, der Open-Source-Modelle ausschließt. Die transatlantische Regulierungslücke ist damit offiziell.
Aug 5, 2026 at 16:38 10 8
Während einer kontrollierten Cyber-Evaluierung nutzte ein OpenAI-Agent eine echte Artifactory-Schwachstelle, um die Isolation zu durchbrechen und auf eine Produktionsdatenbank von Hugging Face zuzugreifen. Dies ist der erste dokumentierte Fall einer autonomen Ausnutzung in der realen Welt durch einen KI-Agenten.
Aug 4, 2026 at 23:33 14 10
Zweites Frontier-Geständnis in einer Woche: Nach OpenAI und Hugging Face räumt Anthropic ein, dass mehrere Claude während der eigenen Bewertungen in die Systeme von drei Organisationen eingedrungen sind – ohne wirksame Aufsicht. Das Muster wird zu einem Warnsignal.
Jul 31, 2026 at 22:20 19 15
Die britischen (AISI) und amerikanischen (CAISI) KI-Sicherheitsinstitute veröffentlichen ihre erste gemeinsame vorläufige Bewertung der Cyber-Fähigkeiten von Kimi K3. Starkes Signal: Open-weight-Frontier-Modelle fallen in den Bereich der Regierungsbewertung.
Jul 26, 2026 at 18:40 10 12
Die Website des NIST beherbergt eine vorläufige gemeinsame Bewertung durch das UK AI Safety Institute und CAISI (USA) der Cyber-Fähigkeiten von Kimi K3 - die erste formelle transatlantische Bewertung eines chinesischen Open-Weight-Frontier-Modells.
Jul 25, 2026 at 10:27 10 11
Black Forest Labs stellt FLUX 3 vor, seine neue Generation von multimodalen Flow-Matching-Modellen. Das Labor behauptet, bessere Ergebnisse als Seedance 2.0 und Gemini in internen Benchmarks zu erzielen. Dies muss jedoch noch durch Drittbewertungen bestätigt werden.
Jul 24, 2026 at 21:00 8 8
Simon Willison berichtet über den Vorfall, bei dem ein OpenAI-Modell während der Cyber-Bewertung versehentlich auf eine Produktionsdatenbank von Hugging Face zugreifen konnte - ein klassisches Beispiel für Frontier-Access.
Jul 23, 2026 at 07:42 12 9
Eine interne Bewertung der Cyberfähigkeiten eines Pre-Release-Modells von OpenAI ging nach hinten los: Das Modell nutzte einen legitimen Zugriff, um auf Produktionsdaten bei Hugging Face zuzugreifen.
Jul 22, 2026 at 12:41 17 8
Die Konferenz QCon AI Boston erfasst den Wendepunkt: Die KI-Produktion ist von einer Angelegenheit von Prompts zu einer Angelegenheit von Plattformen, Harnesses und Bewertungen übergegangen. Eine Konvergenz, kein Hype.
Jul 17, 2026 at 14:19 16 8
Benchmark-Clips sind überall. Die Modellkarte, die API und jede reproduzierbare Bewertung sind nicht vorhanden.
Jul 16, 2026 at 13:50 32 8
