Données ouvertes : connecteurs et chargements

Les connecteurs de données ouvertes chargent dans la plateforme des séries publiées par des sources reconnues : enquêtes démographiques et de santé (API du programme DHS), extrait DHIS2 nutrition publié par OCHA, UNICEF, OMS, Banque mondiale, analyses IPC, OIT, Institut de statistique de l'UNESCO, indice de pauvreté multidimensionnelle de l'OPHI, et tableaux transcrits des annuaires du MSPLS, des publications de l'INSBU et des rapports d'enquête (SMART, CFSVA, FSMS). « Aucune valeur n'est validée d'office : tout ce qu'un connecteur dépose attend la décision d'un validateur. »

Cette page complète Sources ouvertes vérifiées, qui décrit l'écran de collecte des séries nationales du catalogue.

L'écran des connecteurs #

1. Dans l'onglet Données de la console, ouvrez Sources ouvertes vérifiées.
2. Cliquez sur le lien Connecteurs et correspondances sous le titre.
3. L'écran Connecteurs de données ouvertes (/administration/sources-ouvertes/connecteurs) s'ouvre.

L'écran exige la permission Administrer les sources ouvertes vérifiées. Il est en consultation seule : aucune correspondance ne s'y modifie et aucun chargement ne s'y lance. Les correspondances vivent dans des fichiers versionnés ; toute modification passe par l'équipe technique et par une relecture.

Rafraîchissement automatique #

La première carte dit si le rafraîchissement automatique est activé, à quelle fréquence (chaque lundi ou le 1er de chaque mois), la date et l'heure du prochain passage et le compte au nom duquel les valeurs sont déposées. Un message rouge signale un compte de dépôt introuvable, inactif ou sans la permission de gérer l'ingestion : le passage n'aurait alors pas lieu.

Connecteurs inscrits #

Derniers chargements #

Les vingt derniers passages, du plus récent au plus ancien :

La carte d'un connecteur #

Chaque connecteur a sa carte, en deux parties.

• Correspondances des indicateurs : pour chaque série de la source, le Code source, le Filtre (modalités retenues, par exemple SEX=SEX_T pour l'ensemble), l'Indicateur du référentiel, la Désagrégation (par exemple source=administrative ou sexe=filles), l'Unité source, le Facteur, le Statut (actif, inactif, non_publiee) et la Note qui dit l'écart de définition. Pour les sources du catalogue (UNICEF, Banque mondiale, OMS), un lien renvoie à l'écran Sources ouvertes vérifiées, où ces correspondances s'administrent. Les tableaux transcrits portent déjà les codes du référentiel.
• Lignes de la table des territoires : comment chaque nom ou code publié par la source est rattaché à une province ou une commune de la plateforme, avec son statut (exact, alias, agrege, non_resolu) et sa justification.

Une ligne de correspondance mal formée est signalée en rouge sous le tableau.

Le rafraîchissement automatique #

Les connecteurs approuvés qui interrogent leur source par internet (API DHS, UNICEF, OMS, Banque mondiale, IPC, OIT, UNESCO, OPHI, extrait DHIS2 publié par OCHA) sont relancés automatiquement, à 5 h, chaque lundi ou le 1er de chaque mois. Les tableaux transcrits à la main (annuaires du MSPLS, publications de l'INSBU, enquêtes SMART et CFSVA, autres rapports) ne sont jamais relancés : ils se chargent quand une nouvelle transcription est prête.

Chaque passage suit les mêmes règles qu'un dépôt manuel :

• les nouvelles valeurs entrent au statut Soumis dans la file de validation, jamais validées d'office ;
• une valeur déjà déposée lors d'un passage précédent est ignorée : un passage sur des données inchangées ne dépose rien et apparaît comme Rien de nouveau ;
• une valeur révisée par la source qui heurte une valeur validée devient un conflit à trancher ; la valeur validée reste en place ;
• les connecteurs passent l'un après l'autre ; l'échec de l'un est inscrit aux derniers chargements avec le statut Échec et n'empêche pas les suivants.

Quand un passage apporte des valeurs, des conflits ou un échec, les validateurs nationaux reçoivent une notification de synthèse ; chaque valeur entrée dans leur file leur est en outre signalée comme d'habitude.

Régler le rafraîchissement #

1. Dans la console, ouvrez Paramètres, groupe Sources ouvertes vérifiées.
2. Réglez :
   • Rafraîchissement automatique des données ouvertes : interrupteur général, activé par défaut ;
   • Fréquence du rafraîchissement des données ouvertes : hebdomadaire (chaque lundi) ou mensuelle (le 1er du mois) ;
   • Compte de dépôt des données ouvertes : adresse d'un compte actif qui détient la permission de gérer l'ingestion.
3. Enregistrez. Le prochain passage s'affiche sur l'écran des connecteurs.

Les chargements manuels #

Les chargements manuels se lancent sur le serveur par l'équipe technique, avec la commande donnees-ouvertes:importer. Ils servent aux tableaux transcrits et au premier chargement d'une source. Ils suivent toujours deux temps.

Simuler #

php artisan donnees-ouvertes:importer dhs
php artisan donnees-ouvertes:importer annuaires_mspls --fichier=database/donnees/sources-ouvertes/transcriptions/mspls_annuaire_2024.csv

La simulation interroge la source, applique les correspondances et les contrôles, et n'écrit rien en base. Elle affiche les compteurs (lues, en correspondance, à déposer, déjà connues, conflits, écartées, sans correspondance, territoires non résolus, régions agrégées) et écrit un rapport CSV par indicateur et par niveau. Les options --indicateur=SAN-07 et --depuis=2015 restreignent le passage.

Déposer #

php artisan donnees-ouvertes:importer dhs --deposer --utilisateur=<adresse du compte>

Le dépôt n'est possible que pour une source Approuvée. Il est fait au nom d'un compte actif qui détient la permission de gérer l'ingestion : l'ingestion et le journal d'audit sont à son nom. Un second passage sur les mêmes données n'ajoute rien et ne recrée aucun conflit.

Le rapport de synthèse #

php artisan donnees-ouvertes:rapport --source=dhs

Le rapport liste, par source, indicateur et niveau : valeurs déposées, période couverte, valeurs en attente de validation, validées, rejetées ou à corriger, conflits ouverts et circuit de validation attendu. Il sert à suivre l'avancement de la validation.

Ce que les contrôles écartent #

Une observation n'atteint pas la file de validation quand :

• son territoire n'est pas rattaché de façon sûre (nom inconnu, ambigu ou marqué non résolu) ;
• elle porte sur une région qui couvre plusieurs provinces (régions des enquêtes de 2010, zones de moyens d'existence de l'IPC) : la valeur n'est jamais répartie entre les provinces ;
• son unité diffère de celle attendue, ou sa valeur n'est pas numérique ;
• c'est un pourcentage hors de l'intervalle 0 à 100, par exemple une couverture administrative supérieure à 100 % due à une population cible sous-estimée ;
• c'est une valeur ventilée (filles, rural, quintile) qui n'est pas nommée par la correspondance.

« Bujumbura » écrit seul n'est rattaché que lorsque la source lui donne un sens établi : Bujumbura Mairie dans l'enquête de 2010, Bujumbura Rural dans les annuaires du MSPLS et les publications de l'INSBU. Ailleurs, il reste non résolu.

Traiter les valeurs en attente de validation #

Les valeurs déposées entrent au statut Soumis dans la file de validation, avec l'origine Source ouverte vérifiée. Une valeur provinciale suit la validation provinciale puis nationale ; une valeur nationale va directement à la validation nationale (SEP/PMSAN).

Pour chaque valeur, le validateur dispose :

• de la publication d'origine (enquête, annuaire, rapport) et de l'adresse exacte de la série ou du document ;
• de la note de la valeur : date d'extraction, valeur et unité publiées, réserve de définition ;
• de la marque définition proche quand la source mesure une chose voisine de l'indicateur (autre tranche d'âge, ménages au lieu de population, primaire sur 6 ans au lieu du fondamental sur 9 ans). La note dit l'écart ; la marque s'affiche ensuite sur la fiche publique.

Voir Examiner une valeur, approuver ou rejeter.

Traiter les conflits #

Une valeur déposée ne remplace jamais une valeur validée ni une valeur d'une source mieux classée : elle devient un conflit, consigné dans l'écran Conflits de source avec l'origine Source ouverte vérifiée. La valeur en place reste affichée tant que le conflit n'est pas tranché.

1. Comparez les deux valeurs, leurs sources et leurs notes. Ouvrez au besoin l'ingestion par le lien Détails.
2. Si la valeur en place est la bonne, renseignez la Suite donnée (par exemple « JMP conservé : estimation en population, l'enquête SMART mesure des ménages ») et cliquez sur Clore.
3. Si la valeur présentée est la bonne, cliquez sur Corriger la valeur, enregistrez la correction avec son motif, puis clôturez le conflit.

Cas fréquents :

• Enquête et estimation internationale d'une même année (eau et assainissement de l'enquête SMART 2024 face au JMP) : la série internationale en population reste la référence nationale ; clore le conflit.
• Estimation modélisée face à une valeur d'enquête (anémie des enfants de l'OMS) : garder la valeur d'enquête.
• Deux sources internationales d'un même indicateur (couverture de la protection sociale de l'OIT et d'ASPIRE) : garder la série retenue comme référence par le SEP/PMSAN.

Voir Conflits de source et arbitrage.

Indicateurs sans source ouverte #

Certains indicateurs n'ont aucune source ouverte (écoles dotées d'une cantine, réussite au fondamental, ménages bénéficiaires de transferts sociaux, part de la protection sociale dans le budget, nombre d'enfants ayant reçu des poudres de micronutriments, insécurité alimentaire aiguë par province). Leur motif d'absence se saisit dans la fiche de l'indicateur du référentiel et s'affiche sur la fiche publique tant qu'aucune valeur n'existe.

Pour aller plus loin #

• Sources ouvertes vérifiées
• Ingestion et import de fichiers
• Correction des valeurs, seuils d'alerte et conflits
• La file de validation
• Conflits de source et arbitrage