Administrateurs
Ingestion et import de fichiers
Suivre la qualité des données et le journal des ingestions, puis importer un fichier de valeurs en quatre étapes : fichier, correspondance des colonnes, vérification, confirmation.
L'écran Ingestion des données (/administration/ingestion) réunit trois choses : un tableau de la qualité des données, le journal de toutes les ingestions reçues par la plateforme, quel que soit leur canal, et l'assistant d'import de fichiers. Il se trouve dans l'onglet Données de la console. Il s'ouvre avec l'une des permissions Consulter la console d'ingestion, Importer des fichiers de données ou Administrer les canaux d'ingestion. Un point focal provincial qui ne dispose que du droit d'import y accède par le raccourci Import de fichier de la section Données du menu latéral.
Aucune valeur importée n'est publiée directement : chaque ligne retenue entre dans le circuit de validation au statut soumis et attend une décision humaine.
Le tableau de la qualité des données #
En haut de l'écran, la rubrique Qualité des données affiche quatre indicateurs.
| Carte | Ce qu'elle mesure |
|---|---|
| Complétude provinciale | Part des couples indicateur et province qui ont au moins une valeur validée, avec la mention « X séries sur Y attendues » |
| En attente de validation | Valeurs aux statuts soumis ou validé au niveau provincial |
| Valeurs rejetées | Nombre total de valeurs rejetées |
| Lignes en erreur | Total des lignes écartées par toutes les ingestions, avec la date de la dernière ingestion |
Le journal des ingestions #
Sous le tableau, le Journal des ingestions liste les dépôts, 25 par page, du plus récent au plus ancien. Le filtre Canal permet de n'afficher qu'une origine ; cliquez sur Filtrer pour l'appliquer.
| Canal | Origine |
|---|---|
| Saisie web et mobile | Formulaires de l'espace de travail et application mobile |
| Import de fichier | Assistant décrit ci-dessous |
| API entrante | Systèmes sectoriels munis d'une clé (voir Clés API) |
| Connecteur DHIS2 | Synchronisations DHIS2 |
| Extraction documentaire | Canal réservé aux extractions documentaires |
| Source ouverte vérifiée | Collectes des sources internationales |
Chaque ligne indique le canal, la Source (libellé du dépôt et auteur), les Lignes valides, les Lignes en erreur (en couleur d'alerte dès qu'il y en a une), le Statut et la Date. Le bouton Détails ouvre la fiche de l'ingestion.
Statuts possibles : En attente de traitement, Traitement en cours, Échec, Reçu, Normalisé, En validation, Validé, Rejeté.
Préparer le fichier #
Cliquez sur Télécharger le modèle de fichier pour obtenir modele-import-indicateurs.csv. C'est un fichier CSV séparé par des points-virgules, encodé en UTF-8, avec deux lignes d'exemple (une provinciale, une nationale). Ses colonnes sont :
indicateur;code_territoire;territoire;periode_debut;periode_fin;periode;valeur;effectif;desagregation;unite;source_donnee;note;source_url
Formats acceptés : CSV, classeurs Excel (xlsx, xls, xlsm) et LibreOffice (ods), JSON et XML (forme simple ou SDMX-ML), cinquante mégaoctets au maximum.
Importer un fichier, étape par étape #
L'assistant compte quatre étapes, rappelées par une barre de progression : choix du fichier, correspondance des colonnes, rapport de vérification, confirmation.
Étape 1 : choix du fichier #
- Sur l'écran Ingestion des données, cliquez sur Importer un fichier (adresse
/administration/ingestion/importer). - Dans Fichier de données, sélectionnez votre fichier.
- Cliquez sur Étape suivante.
Si le fichier ne contient ni en-tête ni ligne exploitable, le message « Le fichier n'a pas pu être lu, ou ne contient aucune ligne exploitable. » s'affiche.
Étape 2 : correspondance des colonnes #
- Si le classeur comporte plusieurs feuilles, la carte Feuille du classeur les propose. Choisissez la feuille, puis cliquez sur Analyser cette feuille : le fichier est relu sans nouveau téléversement.
- Dans Correspondance des colonnes, associez chaque information attendue à une colonne du fichier. Choisissez Colonne ignorée pour une information absente.
- Contrôlez l'Aperçu des premières lignes (cinq lignes).
- Cliquez sur Étape suivante, ou sur Annuler pour abandonner.
| Information attendue | Obligatoire |
|---|---|
| Code de l'indicateur | Oui |
| Territoire | Oui |
| Code du territoire | Non, mais il l'emporte sur le nom |
| Début de période | Oui |
| Fin de période | Non (fin du mois de début par défaut) |
| Libellé de période | Non |
| Valeur | Oui |
| Effectif | Oui |
| Désagrégation, Unité déclarée | Non |
| Source de publication, Note sur la source, Lien de la source | Non |
Si le même fichier a déjà été déposé, un avertissement « Ce fichier a déjà été déposé sur la plateforme. » précise la date et l'auteur du dépôt précédent.
Lorsque l'assistance à l'import est active, une carte Proposition de Rafiki précède la correspondance : les colonnes sont pré-remplies et restent modifiables, et des rapprochements sont proposés pour les libellés non reconnus, sans être appliqués. Voir Assistance à l'import.
L'exception des valeurs nationales sans effectif #
Les comptes qui détiennent Administrer les canaux d'ingestion voient en plus la carte Valeurs nationales publiées, sans effectif. Elle sert aux chiffres nationaux tirés d'une publication qui ne donne pas la taille de l'échantillon.
- Cochez Accepter les lignes nationales sans effectif.
- Renseignez Motif (obligatoire), dix caractères au moins.
Les lignes nationales sans effectif sont alors enregistrées sans effectif et ne pondèrent aucune moyenne. Les lignes provinciales et communales restent soumises à l'effectif. Le motif est consigné sur l'ingestion et au journal d'audit.
Étape 3 : rapport de vérification #
Chaque ligne est contrôlée avant tout enregistrement. Trois cartes résument le résultat : Lignes valides, Lignes en erreur, Lignes signalées.
- Rapport d'erreurs : numéro de ligne, motifs et contenu. Exemples de motifs réels : « Code d'indicateur inconnu », « Territoire non reconnu », « Effectif absent », « Un pourcentage se situe entre 0 et 100 », « Territoire hors de votre ressort ». Un compte rattaché à une province ne peut déposer que pour sa province, ni pour le national ni pour une commune.
- Aperçu des lignes retenues : les cinquante premières lignes valides.
- Avertissements : lignes retenues mais signalées, par exemple une variation forte depuis la période précédente ou un doublon de même valeur. Elles ne bloquent rien.
Si des lignes heurtent une valeur déjà validée, un encadré l'indique. Ces lignes sont ignorées par défaut. Pour en appliquer une, cochez sa case et renseignez Suite donnée aux lignes cochées : sans motif, aucune valeur validée n'est remplacée.
Étape 4 : confirmation #
- Cliquez sur Confirmer et déposer N ligne(s). Le bouton est inactif si aucune ligne n'est valide.
- Le message « Import terminé : X ligne(s) déposée(s) dans le circuit de validation, Y ligne(s) écartée(s). » s'affiche sur la fiche de l'ingestion.
Au-delà de 500 lignes, le traitement part en file d'attente : le message « Import de N lignes mis en file. Vous serez prévenu à la fin du traitement. » s'affiche et la fiche indique les Lignes traitées au fur et à mesure.
La fiche d'une ingestion #
La fiche Détail de l'ingestion (/administration/ingestion/{numéro}) présente le canal, le statut, les lignes reçues, le Score de qualité et la date. Elle détaille ensuite le rapport d'erreurs, les Conflits de source nés de cette ingestion (lien Tout consulter vers l'écran des conflits), les avertissements et les Valeurs produites avec leur statut de validation.
Si des lignes sont en erreur, le bouton Télécharger le rapport produit rapport-erreurs-{numéro}.csv (colonnes ligne, motifs, contenu), à corriger puis réimporter.