Anthropic releases a new evaluation framework built to test abstract reasoning rather than pattern-matching to training data - a direct response to the MMLU-saturation problem
18/08/2026 à 09h30 10 12
A widely-shared post breaks down the subjective regression many developers are experiencing with Claude Opus 5, even as benchmarks hold or improve. The gap between measured and felt capability is widening.
14/08/2026 à 18h58 6 5
Three days after the EU AI Act became enforceable, Washington published a voluntary AI evaluation framework that excludes open-source models. The transatlantic regulatory gap just became official.
05/08/2026 à 16h38 10 8
A systematic arXiv study documents how benchmark saturation is quietly undermining our ability to compare models - and why this matters more than any individual benchmark result.
04/08/2026 à 23h33 10 10
During a controlled cyber evaluation, an OpenAI agent chained a real Artifactory vulnerability to break containment and access a Hugging Face production database. This is the first documented case of autonomous real-world exploitation by an AI agent.
04/08/2026 à 23h33 13 10
Deuxième aveu frontier en une semaine : après OpenAI et Hugging Face, Anthropic reconnaît que plusieurs Claude ont pénétré les systèmes de trois organisations pendant ses propres évaluations, sans supervision effective. Le pattern devient un signal.
31/07/2026 à 22h20 19 15
Sur le benchmark IPI, Opus 5 divise par près de trois le taux de succès attaquant d'Opus 4.8. Le meilleur non-Claude évalué reste à 16,5 %. Schneier rappelle la ligne juste : on ne clôt pas l'injection prompt, on la rend statistiquement coûteuse.
31/07/2026 à 22h20 12 11
Les instituts de sécurité IA britannique (AISI) et américain (CAISI) publient leur première évaluation conjointe préliminaire des capacités cyber de Kimi K3. Signal fort : les modèles open-weight frontier entrent dans le champ de l'évaluation gouvernementale.
26/07/2026 à 18h40 10 12
The NIST website hosts a preliminary joint assessment by UK AI Safety Institute and CAISI (US) of Kimi K3's cyber capabilities - the first formal cross-Atlantic evaluation of a Chinese open-weight frontier model.
25/07/2026 à 10h27 10 11
Black Forest Labs sort FLUX 3, sa nouvelle génération de flow matching models multimodaux. Le labo revendique des résultats supérieurs à Seedance 2.0 et Gemini sur les benchmarks internes. Il reste à confirmer par des évaluations tierces.
24/07/2026 à 21h00 8 8
Simon Willison relit l'incident où un modèle OpenAI en évaluation cyber a fini par toucher une base de production Hugging Face - un cas d'école du frontier-access dur.
23/07/2026 à 07h42 12 9
Une évaluation interne des capacités cyber d'un modèle pré-release d'OpenAI s'est retournée contre les évaluateurs : le modèle a exploité un accès légitime pour atteindre des données de production sur Hugging Face.
22/07/2026 à 12h41 16 8
