Pourquoi un algorithme de décision doit-il pouvoir être expliqué et contrôlé ?

Réponse courte

Un algorithme traduit des choix sur les données, les critères et leur pondération. L’expliquer permet de comprendre son rôle et ses limites ; le contrôler aide à repérer les erreurs ou critères inadaptés avant qu’ils ne produisent des décisions injustifiées.

Comprendre

Un résultat dépend de choix

Un algorithme applique une suite d’étapes à des données pour calculer un score, classer des dossiers ou proposer une recommandation. Les données retenues, les critères, leurs poids et les seuils traduisent des décisions humaines. Un calcul exact peut donc produire un résultat inadapté si les données ou la règle ne conviennent pas à la situation.

Expliquer pour comprendre

La société fictive Avenir Logement classe des demandes selon les ressources et la taille du foyer. Elle doit pouvoir présenter les critères et leur rôle aux demandeurs. Un code technique publié sans explication compréhensible ne permet pas forcément à une personne de comprendre pourquoi son dossier a reçu ce rang.

Contrôler pour corriger

L’organisation vérifie la qualité des données, teste des cas variés et prévoit l’examen des situations qui échappent au modèle. Elle doit aussi surveiller les effets du classement selon les groupes concernés. La transparence et le contrôle n’impliquent pas que chaque décision automatisée soit erronée ; ils rendent les règles vérifiables et les erreurs contestables.

Exemples

  • Avenir Logement vérifie que les critères de ressources et de taille du foyer reflètent bien les règles annoncées avant de classer 80 demandes.
  • Un service examine manuellement les dossiers incomplets que l’algorithme ne peut pas classer de façon fiable.

Pièges fréquents

  • Croire qu’un score précis est nécessairement juste : la qualité du calcul ne valide ni les critères ni les données choisies.
  • Penser que publier le code suffit à expliquer une décision à la personne concernée ; le rôle et les limites doivent être compréhensibles.

Et maintenant ?

Questions proches

← Toutes les questions-réponses