Comment vérifier la qualité des données avant de rapprocher deux sources ?
Réponse courte
Vérifie d’abord que les deux sources répondent au même besoin et peuvent être rapprochées par une clé et une granularité compatibles. Contrôle exactitude, complétude, actualité, cohérence et doublons, puis documente le traitement des anomalies.
Comprendre
Définir les contrôles
Commence par préciser la décision à éclairer, l’unité observée et la période. Vérifie ensuite les métadonnées : producteur, dates couvertes, unités, définition des colonnes et conditions d’utilisation. Pour rapprocher les tables, repère une clé commune fiable, comme un code de commune, plutôt qu’un libellé susceptible d’être écrit de plusieurs façons.
Examiner la qualité
Contrôle l’exactitude, la complétude, l’actualité, la cohérence et l’unicité. Par exemple, cherche les dates impossibles, les mesures manquantes, les unités incompatibles et les lignes dupliquées. Assure-toi aussi que les deux sources ont le même niveau de détail ou qu’une agrégation justifiée les rend comparables. Chaque anomalie demande un traitement adapté, pas une suppression automatique.
Documenter le rapprochement
Une valeur absente ne vaut pas zéro. Si tu écartes des observations incomplètes ou incohérentes, conserve la règle appliquée et indique combien de lignes restent analysées. Dans un jeu fictif de 100 observations, 80 sont valides, 12 incomplètes et 8 incohérentes : les catégories couvrent bien les 100 lignes et la part valide est de 80 %. La moyenne calculée sur les 80 lignes ne décrit pas automatiquement les 20 autres.
Étapes
- Précise la question, la période et l’unité observée.
- Vérifie les métadonnées et la clé de rapprochement.
- Contrôle les valeurs manquantes, incohérentes et dupliquées.
- Harmonise la granularité selon une règle explicite.
- Note les exclusions et la population effectivement analysée.
Exemples
- Sur 100 observations : 80 valides, 12 incomplètes et 8 incohérentes. La part exploitable est 80 ÷ 100 × 100 = 80 %.
- Un code de commune peut servir de clé ; le nom de commune seul peut varier en orthographe et provoquer un rapprochement manqué.
Pièges fréquents
- Remplacer toutes les valeurs absentes par zéro : cela peut diminuer artificiellement une moyenne et change le sens des données.
- Déduire qu’une source est de bonne qualité parce qu’elle est officielle : elle peut être trop ancienne, incomplète ou agrégée pour l’usage choisi.
