Mode de calcul

Chaque chiffre, et d'où il vient

Ce que mesure chaque indicateur publié, sur quoi il est calculé, ce qu'il écarte et pourquoi, et d'où vient son seuil quand il en a un.

retour aux mesures

Couverture des sources

Part des sources officielles déclarées au registre qui sont en collecte normale à l'instant du calcul.

Comment il est calculé: Le dénominateur est le registre des connecteurs du dépôt, pas la table des sources : une source retirée de la base sans être retirée du registre ferait autrement remonter la couverture. L'état de chaque source vient de ses trois horloges persistées, comparées à son propre rythme de publication.
Ce qui est écarté du calcul: Une source déclarée au registre mais absente de la base est comptée comme non couverte, jamais ignorée.
Son seuil, et pourquoi celui-là: Toutes les sources déclarées doivent être en collecte normale. Une source en silence anormal fait passer la mesure sous son seuil, et la page de statut en donne le détail.

Latence de détection

Temps écoulé entre la publication officielle d'un texte et l'alerte reçue, décomposé en trois étapes mesurées séparément.

Comment il est calculé: La date de publication vient de la source et n'a pas d'heure : elle est prise au début de sa journée, en temps universel, ce qui majore l'écart plutôt que de le flatter. La collecte est datée par le premier relevé réseau qui a rapporté le texte. La qualification est datée par la fin de l'analyse. L'alerte est datée par sa création. Chaque étape est résumée par sa médiane et son neuvième décile, jamais par sa moyenne : sur des données à queue longue, un texte republié après plusieurs années suffirait à faire mentir une moyenne.
Ce qui est écarté du calcul: Les textes dont la source ne publie aucune date sont écartés du calcul et leur part est affichée à côté. Les assimiler à une détection instantanée ferait de la source la moins bien datée la plus rapide du produit. Les textes datés du futur par leur source sont écartés de la même façon : c'est une anomalie de source, pas une prouesse.
Son seuil, et pourquoi celui-là: Le seuil de la première étape n'est pas choisi : il vaut la cadence de collecte la plus lente réellement planifiée, augmentée de moitié. Ralentir un connecteur déplace donc le seuil de façon visible, au lieu de laisser le produit annoncer un délai qu'il ne tient plus.

Alertes portant le lien du texte officiel

Part des alertes rattachées à un texte dont l'adresse officielle est présente.

Comment il est calculé: Le contrat de données impose déjà une adresse non nulle sur chaque texte. Cette mesure confronte la garantie de schéma aux lignes réelles, héritées comprises : une garantie qu'on ne confronte jamais aux données est une garantie de schéma, pas une garantie de produit.
Ce qui est écarté du calcul: Aucune alerte n'est écartée : le dénominateur est le total.
Son seuil, et pourquoi celui-là: La totalité. C'est l'affirmation faite publiquement, et elle tombe à la première exception.

Précision du ciblage

Part des rapprochements proposés entre un texte et une règle de veille qui étaient justes, mesurée sur un corpus de référence.

Comment il est calculé: Le corpus de référence est figé dans le dépôt, annoté à la main, et rejoué à chaque lecture. Le calcul est déterministe et n'interroge aucune base : deux lectures à une seconde d'intervalle rendent exactement la même chose. La précision répond à la question du client qui reçoit une alerte : est-ce que celle-ci me concernait vraiment.
Ce qui est écarté du calcul: Les couples que le préfiltre structurel ne qualifie pas sont comptés à part et publiés avec la mesure.
Son seuil, et pourquoi celui-là: Écrit dans le dépôt, à côté du corpus qu'il gouverne, et lu par le calcul plutôt que réglé à chaud. Un seuil qu'on desserre le jour où il se déclenche ne mesure plus rien.

Rappel du ciblage

Part des rapprochements attendus qui ont effectivement été trouvés, mesurée sur le même corpus de référence.

Comment il est calculé: Même corpus et même calcul que la précision, mais la question est l'inverse et elle est plus grave : est-ce qu'un texte qui me concernait a pu ne jamais m'être signalé. Les deux mesures sont publiées séparément parce qu'elles se déplacent en sens contraire, et qu'une seule des deux masquerait la dégradation de l'autre.
Ce qui est écarté du calcul: Les couples non qualifiés par le préfiltre sont comptés à part, comme pour la précision.
Son seuil, et pourquoi celui-là: Écrit dans le dépôt, distinct de celui de la précision. Les confondre reviendrait à accepter qu'on rate des textes pourvu qu'on en propose peu.

Complétude des axes de ciblage

Part des textes dont tous les axes de ciblage sont renseignés : secteur déterminé, référentiel et tranche d'effectif.

Comment il est calculé: Tous les axes, et pas au moins un. Un texte qui porte son secteur mais aucun référentiel ne se cible pas mieux qu'un texte nu, il se cible seulement d'une manière. La mesure la plus dure est la seule utile ici, parce qu'elle dit à partir de quand une règle fine trouve réellement ce qu'elle cherche.
Ce qui est écarté du calcul: Rien n'est écarté. Un texte dont un axe reste vide est compté comme incomplet, et l'écart avec le total est publié.
Son seuil, et pourquoi celui-là: Aucun seuil n'est posé. La complétude dépend de ce que les sources publient, et poser un seuil sur une donnée qu'on ne maîtrise pas transformerait une mesure honnête en promesse intenable. Le chiffre est publié tel quel.

Exactitude d'extraction des échéances

Part des dates proposées par le moteur d'analyse que la revue humaine a confirmées.

Comment il est calculé: Le dénominateur est le nombre de dates effectivement REVUES, jamais le nombre de dates proposées : une proposition que personne n'a regardée ne prouve ni justesse ni erreur, et la compter reviendrait à noter une copie non corrigée. C'est l'une des deux mesures qui portent la promesse centrale du produit : une veille qui se trompe d'échéance n'a pas de valeur, quel que soit son taux de couverture.
Ce qui est écarté du calcul: Les propositions en attente de revue sont comptées à part et affichées avec la mesure.
Son seuil, et pourquoi celui-là: Une date proposée sur quatre écartée laisse un outil qui fait gagner du temps au relecteur. Une sur deux ne le fait plus : le seuil marque cette frontière.

Intégrité des versions

Part des versions de texte dont l'empreinte se recalcule à l'identique depuis le texte conservé.

Comment il est calculé: C'est la mesure qui dit si le produit peut PROUVER ce qu'il détenait. Pour chaque version de l'échantillon, le texte conservé est relu, normalisé selon la règle versionnée du dépôt, puis son empreinte est recalculée et comparée à celle enregistrée au moment de la collecte. L'échantillon porte sur les versions les plus récentes : ce sont celles qu'une régression d'extraction abîmerait, et une régression reste visible tant qu'elle n'en est pas sortie.
Ce qui est écarté du calcul: Les versions dont le corps a été purgé par la politique de rétention, et les relevés qui n'ont rapporté aucun texte, sont comptés à part. Leur empreinte reste opposable ; seul le corps a disparu, et c'est une décision de conservation, pas une défaillance.
Son seuil, et pourquoi celui-là: La totalité. Une seule empreinte qui ne se recalcule pas signale que le texte conservé n'est plus celui qui a été relevé, et c'est le genre de défaut qui ne se répare pas après coup.

Aucun de ces chiffres n'est saisi à la main. Ils sont recalculés à chaque affichage de la page de fiabilité, à partir de la base et du code, et un test de la suite échoue si une valeur affichée ne provient pas d'un calcul. Ce sont des mesures et non des engagements contractuels : elles disent ce que la veille a fait sur la période indiquée.