Exploiter des sources de données variées

Une donnée est une valeur enregistrée ; elle devient une information quand son interprétation répond à une question. La coopérative fictive Verger veut préparer ses livraisons de boissons. Elle possède ses commandes, mais elle peut aussi utiliser des prévisions météorologiques ou un calendrier d’événements. Avant de collecter davantage, elle formule son besoin : prévoir des volumes par semaine et par zone. Le niveau de détail et la période recherchés dépendent de cette décision.

Une source interne provient des activités de l’organisation : ventes du progiciel, stocks, retours ou tickets d’assistance. Une source externe vient d’un partenaire, d’un service public ou d’un autre producteur. Des capteurs enregistrent des mesures ; des journaux techniques conservent des événements horodatés. Une trace numérique est une donnée laissée par une activité numérique, volontairement ou automatiquement. Un clic n’est pas nécessairement un achat, et plusieurs événements peuvent appartenir à une seule visite.

Des données structurées suivent des champs définis, comme une table de commandes. Un document JSON est semi-structuré : des clés nomment les valeurs, mais les enregistrements peuvent varier. Une photographie ou un commentaire libre n’a pas directement la structure d’une table de ventes. Cette diversité concerne le format ; elle ne dit rien, à elle seule, de la fiabilité de la source.

Des données ouvertes sont mises à disposition avec des conditions permettant leur réutilisation. Un fichier accessible sur Internet n’est pas automatiquement une donnée ouverte : sa licence et ses conditions d’usage doivent être vérifiées. La gratuité ne garantit ni l’actualité ni l’absence d’erreurs. Les métadonnées précisent le producteur, la date, les unités, la couverture et le sens des colonnes. Elles permettent de savoir ce que l’on compare réellement.

Rapprocher des sources exige une clé commune : code de commune, identifiant de produit ou période. Un libellé n’est pas toujours une clé fiable : deux lieux peuvent porter le même nom et une même commune peut être écrite différemment. Il faut également harmoniser la granularité, c’est-à-dire le niveau de détail. Une température quotidienne ne se compare pas directement à un total mensuel de ventes sans transformation explicite.

La qualité se juge par rapport à l’usage. L’exactitude concerne la conformité à la réalité ; la complétude, les valeurs attendues présentes ; l’actualité, la fraîcheur ; la cohérence, la compatibilité des valeurs et des règles ; l’unicité, l’absence de doublons indus. Une date impossible, une quantité négative inattendue et une ligne dupliquée sont trois anomalies différentes. Les contrôles doivent les distinguer au lieu de produire un seul avis vague de bonne qualité.

Nettoyer ne signifie pas effacer discrètement les lignes gênantes. On conserve la provenance, la règle appliquée et une copie maîtrisée des données d’origine quand cela est justifié. Une valeur absente n’est pas égale à zéro. Remplacer toutes les absences par zéro peut abaisser artificiellement une moyenne. On choisit un traitement motivé et on indique la population réellement analysée.

Les données massives associent des difficultés de volume, de vitesse d’arrivée et de variété. Les repères de véracité et de valeur rappellent ensuite l’importance de la qualité et de l’utilité. Il n’existe pas dans cette leçon de seuil universel en octets qui transformerait automatiquement un fichier en big data. La difficulté dépend du besoin, du rythme des traitements et des ressources disponibles.

Une base relationnelle organise des données selon un schéma et applique des contraintes : elle convient notamment à la cohérence des commandes et des stocks. Elle n’est pas, par définition, limitée aux petits volumes. Un lac de données peut accueillir des fichiers de sources et de formats variés, avec des transformations différées selon les usages. Il ne dispense pas d’un catalogue, de règles d’accès, d’un suivi de qualité et de responsables identifiés.

Le stockage distribué répartit des données entre plusieurs machines ; le traitement distribué répartit des calculs. Ces choix apportent des capacités, mais aussi des difficultés de coordination, de sécurité et d’exploitation. Le nuage désigne un mode de fourniture de ressources à distance ; il n’est ni synonyme de lac de données ni garantie automatique de performance. Un tableur ou une base existante peut suffire à un besoin limité.

L’analyse descriptive répond à ce qui s’est passé : combien de ventes par zone ? L’analyse diagnostique recherche des explications : quels facteurs sont associés aux retards ? L’analyse prédictive estime une évolution possible à partir d’un modèle et de données ; une prévision conserve une incertitude. L’analyse prescriptive recommande une action selon un objectif et des contraintes, par exemple répartir des livraisons avec une capacité limitée.

La fouille de données recherche des régularités dans un ensemble de données. Une classification affecte une catégorie selon un modèle ; un regroupement rassemble des observations proches ; une recherche d’associations met en évidence des cooccurrences. Acheter souvent deux produits ensemble ne prouve pas que l’un cause l’achat de l’autre. Une relation observée peut dépendre d’une promotion, de la saison ou de la façon dont les données ont été collectées.

Les traces reflètent les personnes et les situations observées, pas nécessairement toute la population. Des visiteurs sans connexion ou des clients qui n’achètent pas en ligne peuvent manquer. Avant une décision, on contrôle les biais de collecte et la stabilité du résultat sur d’autres périodes. La valeur de l’information se mesure au service rendu au besoin : une analyse plus complexe peut coûter davantage sans améliorer la décision.

S’entraîner : retrouve les activités disponibles dans l’espace Exercices du site pour travailler l’analyse de situations de gestion.