Téléchargement des métadonnées au moyen d’un moissonneur
Comment télécharger mes métadonnées par moissonnage?
Un moissonneur permet de saisir rapidement de grandes quantités de données. Concrètement, opendata.swiss peut automatiquement mettre à jour vos jeux de données, ce qui se traduit par un gain de temps en matière de maintenance des données. Pour ce faire, votre organisation et l’ensemble de ses utilisateurs doivent être enregistrés, en accord avec le secrétariat OGD. Nous vous expliquons ci-dessous le fonctionnement du moissonneur.
Vue d’ensemble des étapes
Bon à savoir
Pour votre première publication, nous vous guidons tout au long de la procédure en vous aidant à transmettre et à présenter vos données comme il se doit, quelle que soit la variante de publication choisie.
Les étapes en détail
Paramétrage du moissonneur
Si vos données supportent la norme DCAT-AP CH, nous nous chargeons de paramétrer le moissonneur. Votre seule tâche consiste à nous transmettre l’URL contenant le point de terminaison du catalogue. Exceptionnellement, p. ex. si le catalogue de données n’est pas disponible selon la norme DCAT-AP CH, il est possible de définir un mapping spécifique. Merci de prendre contact avec nous le cas échéant.
Bon à savoir
Un point de terminaison par organisation est requis pour le moissonnage. Si vous gérez les données de plusieurs organisations, il nous faudra par conséquent le nombre correspondant de points de terminaison. Lors de la préparation de votre catalogue de données, veuillez tenir compte de la structure particulière de votre identifiant de jeu de données décrit dans la norme DCAT-AP CH – spécifique à chaque organisation.
Transmission du point de terminaison du catalogue
À cet effet, veuillez nous envoyer l’URL par e-mail de sorte que nous puissions télécharger votre catalogue de données. Cette URL constitue également un point de terminaison RDF.
Important: le catalogue de données doit être au format DCAT-AP CH.
Transmission du point de terminaison du catalogue avec pagination
<hydra:PagedCollection rdf:about="http://opendata.swiss/catalog.xml?page=3">
<hydra:lastPage>http://opendata.swiss/catalog.xml?page=4</hydra:lastPage>
<hydra:itemsPerPage rdf:datatype="http://www.w3.org/2001/XMLSchema#integer">1000</hydra:itemsPerPage>
<hydra:totalItems rdf:datatype="http://www.w3.org/2001/XMLSchema#integer">3479</hydra:totalItems>
<hydra:firstPage>http://opendata.swiss/catalog.xml?page=1</hydra:firstPage>
<hydra:previousPage>http://opendata.swiss/catalog.xml?page=2</hydra:previousPage>
</hydra:PagedCollection>
Si le catalogue de données s’avère trop volumineux pour un transfert unique, il est possible de le transférer page par page. Pour ce faire, nous recommandons de recourir à la pagination Hydra Vocabulary. Une fois la pagination effectuée, envoyez-nous l’URL correspondante par e-mail
Test du moissonneur
Nous nous occupons de tester le moissonnage des jeux de données selon la norme DCAT-AP CH. Après la réception de l’URL et une fois le moissonneur configuré, nous lançons ce dernier en fonction de votre point de terminaison dans l’environnement de test. Au début, le moissonneur peut générer quelques erreurs qu’il vous faudra corriger dans votre catalogue de données.
Nous vous intégrons au processus de test et d’amélioration itérative de vos données dès le commencement. Vous avez bien sûr accès à votre moissonneur, à ses processus et à ses rapports d’erreurs. Si vous avez des questions par rapport à une erreur, n’hésitez pas à vous adresser à nous et nous nous ferons un plaisir de vous aider.
Gestion du moissonneur
Voici comment accéder à votre moissonneur.
Cliquez sur «Harvest Sources», ce qui vous affiche une liste de l’ensemble des moissonneurs. Saisissez le nom de votre moissonneur (fourni par nous) dans le champ de recherche.
Une fois que vous avez trouvé votre moissonneur, cliquez sur le lien pour afficher sa vue détaillée.
Cette vue détaillée répertorie tous les jeux de données que votre moissonneur a générés automatiquement en accédant au point de terminaison de votre catalogue.
Cliquez sur «Administrateur» pour gérer votre moissonneur, un tableau de bord s’affiche.
Ce tableau montre le dernier moissonnage effectué.
Vos options:
L’onglet «Jobs» ouvre la liste des moissonnages faits par le passé.
L’onglet «Éditer» permet de paramétrer votre moissonneur.
En cliquant sur «Reharvest», vous lancez un nouveau moissonnage, ce qui met à jour les jeux de données en fonction du point de terminaison de votre catalogue défini.
Cliquer sur «View harvest source» vous ramène à la vue détaillée de votre moissonneur.
Attention: le bouton «Clear» efface tous les jeux de données et tous les travaux effectués par le moissonneur. Attention, ne faites cela que si vous voulez vraiment les supprimer définitivement.
Bon à savoir
Un moissonneur fonctionne en arrière-plan. Chaque fois que vous lancez votre moissonneur, il crée un moissonnage qu’il place dans une file. La vitesse à laquelle votre moissonneur fournit des résultats dépend notamment du nombre de travaux se trouvant dans la file, l’attente peut donc varier.
Correction d’erreurs du moissonneur
Votre tableau de bord vous indique si votre dernier moissonnage a produit des erreurs. Cliquez ensuite sur l’onglet «Jobs» pour afficher la liste des tâches.
Vous y verrez les erreurs de moissonnage en détail.
Le «Error Summary» inventorie les types d’erreurs et leur fréquence.
Le «Error Report» inventorie toutes les erreurs.
Selon le type d’erreur, vous pouvez voir le «Remote Content» et le «Local Content».
Le «Remote Content» affiche le catalogue de données au point de terminaison de votre catalogue où le moissonneur le recueille.
Souvent, le «Local Content» ne concerne qu’un jeu de données: une représentation JSON vous indique comment le jeu de données est arrivé sur opendata.swiss.
Si le test de moissonnage produit des erreurs que vous ne comprenez pas ou ne pouvez pas corriger, n’hésitez pas à vous adresser à nous. Nous nous ferons un plaisir de vous aider pour paramétrer et tester votre moissonneur.
Paramétrage du moissonneur
En plus du point de terminaison du catalogue, il est possible de définir d’autres paramètres.
Important: nous avons d’ores et déjà configuré votre moissonneur. Sauf cas exceptionnel, il n’est pas nécessaire de modifier les paramètres.
L’«URL» est le point de terminaison du catalogue où sont récupérées vos données.
Sous le «titre», vous trouverez votre moissonneur dans la liste de moissonneurs. Vous pouvez saisir vos remarques dans le champ «description».
Le «Source type» de votre moissonneur dépend de la variante de publication: avec la variante décrite ici, le moissonneur est paramétré selon «DCAT-AP Switzerland RDF Harvester». La variante de publication «publier des métadonnées via geocat.ch» recourt également à un moissonneur, qui sera de type «Geocat Harvester».
Le champ «Update frequency» des moissonneurs est réglée sur «Manual», bien qu’ils fonctionnent chaque jour. En effet, le démarrage n’est pas contrôlé via l’interface web mais via des processus en arrière-plan. Si votre moissonneur nécessite d’autres configurations pour importer les données, elles sont saisies dans le champ «Configuration».
Important: chaque organisation ne peut avoir qu’un seul moissonneur avec la même configuration.
Important: si vous n’avez plus besoin du moissonneur, ne le supprimez surtout pas! Prenez contact avec nous, afin que nous puissions désinstaller le moissonneur et ses données dans les règles de l’art.
Contrôle du jeu de données
Une fois que votre moissonneur n’émet plus de messages d’erreur, veuillez contrôler vos jeux de données dans la vue détaillée du moissonneur.
Veuillez également contrôler vos jeux de données dans le frontal.
Pour afficher l’aperçu de votre organisation dans le frontal, il vous suffit de supprimer ckan dans l’URL de votre organisation dans l’arrière-plan.
Exemple d’une organisation publiée
«Exemple d’un jeu de donné publié»
Publication du jeu de données
Après une vérification finale de votre jeu de données, nous paramétrons le moissonneur dans l’environnement de production. Prenez contact avec nous pour organiser la mise en service.
Support
Avez-vous des questions sur le moissonneur? Écrivez-nous, nous nous ferons un plaisir de vous aider.
Informations complémentaires
DCAT-AP-CH (lien, en anglais) - Description de la norme de données DCAT-AP-CH utilisée par opendata.swiss
Configuration du moissonneur– Ce screencast vous montre comment configurer votre moissonneur.Lancement du moissonneur– Ce screencast vous montre comment lancer le moissonneur.
