Benchmark
Mesuré, pas promis.
60 documents juridiques français synthétiques — conclusions, factures, courriers RH — passés dans Anoni et trois détecteurs publics. Mêmes documents, même règle de mesure, graine fixée : le test se rejoue à l’identique.
| Système | Rappel strict | Fuites évitées | Faux positifs |
|---|---|---|---|
| Anoni (modèles + règles) | 89,0 % | 99,0 % | 15 |
| openai/privacy-filter (brut) | 69,7 % | 93,8 % | 64 |
| Microsoft Presidio (fr) | 65,7 % | 83,1 % | 104 |
| AInonymizer | 64,7 % | 68,4 % | 40 |
| Anoni (règles seules) | 59,2 % | 65,1 % | 0 |
Run officiel du 12 juin 2026. « Rappel strict » : la donnée est trouvée avec la bonne catégorie (recouvrement ≥ 66 %). « Fuites évitées » : part des caractères sensibles couverts par une détection, toutes catégories confondues — ce qui compte avant d’envoyer un texte à une IA.
Détection parfaite (100 %) sur ce banc
NIR (sécurité sociale) · SIRET / SIREN · IBAN · Personnes · Courriels · Dates — les identifiants structurés français sont validés (clé de contrôle comprise), pas devinés au motif.
La méthode, honnêtement
Les documents sont synthétiques : générés depuis six gabarits juridiques réalistes, avec identifiants français valides (NIR, SIRET, IBAN — clés de contrôle correctes) et vérité terrain enregistrée à la génération. Chaque système est mesuré tel que livré, réglages par défaut, versions épinglées. Aucun document réel — donc aucune donnée personnelle — n’a servi au test.
Un banc synthétique a ses limites : il mesure la détection sur des structures de documents connues, pas la variété infinie du réel. C’est aussi ce qui le rend reproductible. Le jeu d’essai et le détail de la mesure seront publiés ; d’ici là, les chiffres se vérifient sur demande : contact@anoni.dev.
Et une honnêteté de plus : la première exécution du banc a révélé un défaut dans notre propre moteur (un SIRET pouvait masquer un NIR sous la mauvaise étiquette). Corrigé, re-mesuré, publié — c’est exactement à ça que sert un banc d’essai.
Voir aussi : conformité · pour les avocats · télécharger.