Un taux de faux positifs que vous pouvez prouver

La fatigue d'alerte est le vrai coût de la détection. Chaque éditeur promet de réduire les faux positifs ; presque aucun ne sait les chiffrer avant que vous déployiez, et les chiffres annoncés sont des moyennes mesurées une fois, sur un benchmark qui n'est pas votre réseau.

Ward³ prend un autre chemin. Au lieu de courir après les faux positifs à coups de seuils, il les borne par construction — et la différence entre ces deux idées est tout le propos de cet article.

Empirique vs. garanti

Un claim empirique dit : sur ce jeu de données, avec ce réglage, nous avons vu ce taux de faux positifs. C'est réel, mais c'est la mesure d'un run passé. Changez le mix de trafic — un nouveau tenant, un décalage saisonnier, une autre répartition de protocoles — et le chiffre bouge, en silence.

Une garantie dit : alertez selon cette règle et le taux de faux positifs ne peut pas dépasser α, comme propriété de la méthode, sur n'importe quel trafic. C'est ce que donne la prédiction conforme, et c'est une chose bien plus forte à pouvoir affirmer.

La p-value conforme

Le score brut de chaque juge devient une p-value contre une baseline bénigne par tenant, via une estimation conforme split de queue supérieure :

• p = (1 + #{ bénins ≥ score }) / (n + 1)
• Alertez quand p ≤ α, et le taux de faux positifs est borné par α.
• La garantie est sans hypothèse de distribution et finite-sample — aucune supposition sur la forme du trafic bénin, et elle tient pour les n échantillons que vous avez réellement, pas seulement à la limite.

Par tenant, par juge, et un seul curseur

La calibration est stratifiée par (tenant, juge, version de modèle) : un tenant bruyant ne gonfle jamais un tenant calme, et chaque déploiement obtient une borne calée sur son propre normal. Durcir toute la plateforme change α, pas un run d'entraînement : le war mode se contente de le baisser.

Et c'est fail-closed. Un modèle tout neuf ou une fenêtre de calibration vide donne p = 1 — le juge s'abstient au lieu de deviner. La robustesse doit tenir dès le jour un, pas seulement en régime établi.

Ce que ça ne fait pas

La calibration conforme borne les faux positifs ; elle ne crée pas de séparabilité. Si un juge est réellement incapable de distinguer une attaque du trafic bénin, une p-value bornée le rapportera fidèlement. Cette honnêteté est une fonctionnalité : elle rend un juge bruyant utilisable à coût connu, et empêche le médiateur de consommer un score sans signification calibrée.