Créer un jeu de données

Avant de commencer

NOTE GÉNÉRALE

Avant de procéder à la diffusion d’un jeu de données sur Données Québec, veuillez prendre connaissance des Lignes directrices sur la diffusion des données ouvertes.

NOTE CONCERNANT LES JEUX DE DONNÉES

Un jeu de données contient : 

  • Une fiche descriptive comportant des informations sur le jeu de données, communément appelées les « métadonnées ».
  • Une ou plusieurs « ressources » contenant les données. Ces ressources peuvent être des fichiers formatés de différentes façons (CSV, XML, etc.) ou des liens vers d’autres serveurs hébergeant les données. Pour connaître les formats de données recommandés, référez-vous aux Lignes directrices sur la diffusion des données ouvertes.

NOTES CONCERNANT LES RESSOURCES

  • Pour l’importation de fichiers (CSV, JSON, XLS, XML, etc.) de plus de 200 Mo, adressez-vous préalablement à pilote@donneesquebec.ca
  • Pour la visualisation interactive des données géomatiques (GeoJSON, SHP, KML, etc.) de taille importante (plus de 50 MO), le visualisateur IGO2 peut être utilisé. Celui-ci offre des fonctionnalités intéressantes (https://geoegl.msp.gouv.qc.ca/igo2/apercu-qc/). Pour utiliser l’outil IGO, adressez-vous à pilote@donneesquebec.ca.
  • L’outil utilisé par CKAN pour la visualisation ne supporte pas les données hébergées sur un serveur FTP. Il est recommandé d’utiliser le protocole HTTPS pour exposer les données hébergées sur un serveur.
  • Les fichiers CSV ou XLSX déposés sur le serveur Données Québec seront intégrés dans la base de données (ou Datastore) de CKAN. Cela permet une meilleure exploitation des données CSV par des requêtes d’API. Pour plus d’information sur le Datastore et les API, vous pouvez consulter l’aide-mémoire sur les API de CKAN.

1. Se créer un compte sur Données Québec

UTILISATION : La création d’un compte sur Données Québec permet d’accéder à différentes fonctionnalités. Selon les permissions accordées à l’utilisateur, ce compte lui permet de faire différentes actions qui sont associées à son organisation. 

1) À partir de l’adresse : https://www.donneesquebec.ca/recherche/user/register 

2) Remplir tous les champs :  

a.    Champ « Utilisateur »

b.    Champ « Nom complet »

c.    Champ « Courriel »

d.   Champs « Mot de passe » et « Confirmation »

 

NOTE : Le nom d’utilisateur ne doit contenir aucun espace ni caractère spécial. 

3) Cliquer sur « Créer un compte »

4) Communiquer votre nom d’utilisateur au pilote (pilote@donneesquebec.ca) pour vous faire attribuer les droits d’accès

CONNEXION : À partir de l’adresse https://www.donneesquebec.ca/recherche/user/login

NOTE pour le mot de passe : Pour modifier un mot de passe, vous pouvez le faire en accédant aux « Paramètres » de votre « Profil ». Si vous avez oublié votre mot de passe, utilisez la procédure « Mot de passe oublié » de la page de connexion.

→ À titre informatif, un guide d’utilisation de CKAN peut être une source de référence pour exercer vos tâches : http://docs.ckan.org/en/latest/user-guide.html  

→ Pour plus d’information sur le fonctionnement de CKAN, vous pouvez consulter http://docs.ckan.org/en/latest/index.html

2. Ajouter un jeu de données sur Données Québec

1) Se connecter sur Données Québec : https://www.donneesquebec.ca/recherche/user/login

2) Sélectionner l’onglet « Mes jeux de données » dans votre tableau de bord. 

Image "Mes jeux de données"

NOTE : Pour aller à l’onglet « Mes jeux de données », il suffit de cliquer sur l’icone bouton en haut à droite pour afficher le tableau de bord.

OU

Sélectionner votre organisation à partir de la page « ORGANISATIONS » du menu principal.

3) Cliquer sur le bouton Bouton ajouter un jeu de données

4) Saisir les métadonnées du jeu. 

Créer un jeu de données

NOTE pour cette étape : Au moment de remplir les champs, garder en tête qu’il s’agit de la création du jeu de données et pas des ressources qui seront ajoutés dans le deuxième étape.

5) Remplir les champs indiqués. Les champs obligatoires sont précédés du caractère « * ». (Voir le tableau – Métadonnées d’un jeu de données)

NOTE pour le champ « URL » : CKAN crée automatiquement l’URL de votre jeu de donnée à partir du titre que vous donnez à votre jeu. Chaque URL doit être unique. Si le titre inscrit dans le champ « Titre » génère une URL déjà existante, un message d’erreur apparaîtra ainsi qu’une boîte vous invitant à modifier l’URL.

NOTE pour le champ « Titre » : Après la création d’un jeu, il est fortement recommandé de ne pas modifier le titre ou l’URL et ce, afin de conserver le suivi par Google Analytics.

6) Cliquer sur le bouton Suivant - Ajouter des données

7) Ajouter une ou plusieurs ressources :

Étape 2 - ajouter des données

8) Déposer le fichier, en le téléversant (bouton Bouton envoi) ou en saisissant le lien URL vers son lieu de dépôt (bouton  Bouton lien)

9) Remplir les champs indiqués  (voir le tableau – Métadonnées d’une ressource)

NOTE pour le nom du fichier : Les noms de fichier structurés et uniformes permettent aux utilisateurs de comprendre ce qu’ils ont téléchargé et limitent les risques d’erreur. La structure de base recommandée pour nommer les fichiers serait « préfixe-identifiant-suffixe.extension » (par exemple, gtdo-rapport-2013.csv). Voici quelques éléments à prendre en considération :

– Tout en minuscules;

– Aucun caractère accentué (par exemple : à, è, î);

– Aucun caractère spécial (par exemple : %, oe, …, =, ¾);

– Aucun espace;

– Éviter les mots superflus (par exemple, les déterminants);

– Privilégier le trait d’union « – » plutôt que la barre de soulignement « _ ».

Pour le champ « Titre », un nom plus complet peut être saisie sans tenir compte de ces considérations.  

NOTE pour le champ « Taille du fichier » : Saisie manuelle d’un nombre entier qui est une approximation du volume du fichier en méga bits (MB). Ce champ est particulièrement important si la ressource est volumineuse.

NOTE pour le champ « Format » : Saisie manuelle  du format (XML, CSV, JSON, etc.)  tout en majuscules, à l’exception de GeoTIFF, de GeoJSON et de SQLite

10) Si vous avez plus d’une ressource à ajouter, cliquer sur le bouton «Bouton enregistrer et ajouter un autre » pour enregistrer la saisie et ajouter une nouvelle ressource. Suivez les étapes 8 à 10. Si vous avez ajouté toutes les ressources continuer à l’étape 11

11) Cliquer sur le bouton « Bouton Terminer » pour enregistrer la saisie

12) Sélectionner l’onglet « Catégorie » à côté de « Jeu de données » pour associer une ou plusieurs catégories à votre jeu

Onglet catégorie

13) Sélectionner la catégorie à laquelle le jeu de données appartient :

Sélectionner la catégorie

14) Cliquer sur le bouton  Bouton ajouter à la catégorie

15) Répéter l’étape 13 et 14 pour ajouter une autre catégorie au jeu au besoin

16) Pour faire passer le nouveau jeu de donnée en mode public, transmettre par courriel à pilote@donneesquebec.ca incluant le nom du jeu de données

NOTE : Après avoir créer le jeu de données, vous pouvez voir la note globale indiquant le niveau de respect des lignes directrices ainsi que les éléments de conformité pour chacune des ressources inscrites. 

Pour ce faire, allez dans l’onglet « jeu de données » et voir le champ « respect des lignes directrices » dans la « fiche descriptive du jeu de données » ainsi que dans celui de la ressource.

3. Trouver un jeu de données

Il y a diverses façons de trouver un jeu de donnée pour l’éditer ou le supprimer. Voici une des façons :

1) Saisir le titre du jeu de données dans le champ de recherche en haut de la page

2) Cliquer sur la loupe pour déclencher la recherche

3) Cliquer sur le jeu de données cherché pour l’accéder

NOTE : Vous pouvez accéder au jeu de données soit par (1) une recherche avec une étiquette ou le nom du jeu, ou encore aller sur la page de votre organisation (2), ou aller dans l’onglet «Mes jeux de données» de votre tableau de bord (3) si vous utilisez le compte avec lequel le jeu a été créé.

Jeux de données, barre de recherche, organisations

4. Éditer ou supprimer un jeu de données

1) Cliquer sur le jeu de données à éditer ou à supprimer

2) Cliquer sur le bouton   en haut à droite.

3) Modifier les champs souhaités si le jeu doit être édité, puis cliquer sur le bouton  Bouton Mettre à jour le jeu de données

OU

4) Cliquer sur le bouton Bouton supprimer  pour supprimer le jeu de données, puis cliquer sur le bouton  Bouton confirmation

5) Pour les jeux publics, la modification est tout de suite visible du public

5. Ajouter une ressource à un jeu de données

1) Cliquer sur le jeu de données à mettre à jour

2) Cliquer sur le bouton Bouton éditer en haut à droite

3) Sélectionner l’onglet « Ressources »

onglet ressources

4) Cliquer sur le bouton Bouton ajouter une nouvelle ressource
5) Déposer le fichier, en le téléversant (bouton Bouton envoi ) ou en saisissant le lien URL vers son lieu de dépôt (bouton Bouton lien )
6) Remplir les champs indiqués, puis cliquer sur Bouton ajouter (voir le tableau – Métadonnées d’une ressource)

6. Éditer ou supprimer les ressources d’un jeu de données

1) Cliquer sur le jeu de données à mettre à jour

2) Cliquer sur le bouton  «Éditer» en haut à droite

3) Cliquer sur l’onglet «Ressources» 

4) Cliquer sur la ressource à éditer 

5) Modifier les champs souhaités, puis cliquer sur le bouton  Bouton Mettre à jour la ressource

OU

 Cliquer sur le bouton Bouton Supprimer  pour supprimer la ressource, puis cliquer sur le bouton Bouton confirmation en haut à droite

6) La modification est tout de suite visible du public

 

7. Réorganiser les ressources d’un jeu de données

Lorsque l’on ajoute une ressource, elle se positionne en queue de liste des ressources du même type. Pour changer sa position lors de l’affichage, il est possible de réorganiser l’affichage.

1) Cliquer sur le jeu de données à mettre à jour 

2) Cliquer sur le bouton en haut à droite 

3) Sélectionner l’onglet « Ressources » Éditer les métadonnées - Ressources .

4) Cliquer sur  Réordonner les ressources

5) Cliquer sur la ressource et garder le bouton de la souris enfoncé pour déplacer à l’emplacement voulu, puis cliquer sur le bouton Enregistrer l'ordre pour sauvegarder le nouvel ordre des ressources

NOTE : Les 7 premières ressources de chaque type de ressource (carte interactive, données, service web, documentation) s’affichent.  

8. Ajouter une vue à une ressource d’un jeu de données

NOTE : une vue permet de présenter un aperçu de la ressource sous forme de données tabulaires, de graphique ou sur une carte.

1) Cliquer sur un jeu de données à mettre à jour

2) Cliquer sur le bouton en haut à droite

3) Sélectionner l’onglet «Ressources»

4) Cliquer sur la ressource pour laquelle vous voulez avoir une vue

5) Sélectionner l’onglet «Vues»

6) Cliquer sur le bouton «Nouvelle vue»  Bouton nouvelle vueet sélectionner  le type de vue.

7) Remplir les champs nécessaires.

8) Pour un jeu déjà diffusé, la modification est tout de suite visible du public.

NOTE : Les aperçus proposées sont en fonction du format de la ressource – ainsi on aura Data Explorer pour une donnée tabulaire, Graph pour faire un graphique de donnée tabulaire, GeoJSON ou Shapefile pour les données cartographique au format GeoJSON ou SHP, Texte pour les données texte au format TXT, JSON, GeoJSON, RDF, Image pour des images, et Site Web pour les pages web. 

9. Ajouter la visualisation d’une carte à la volée avec IGO

Il est possible de créer une vue dans la page de la ressource en utilisant Infrastructure géomatique ouverte (IGO). 

NOTE : La ressource ne peut pas dépasser 30 Mo (dézippé). Les fichiers hébergés à distance peuvent causer une instabilité. Les formats supportés sont vectoriels (GeoJSON, KML, GPX, GML, SHP) et WMS. 

Infrastructure géomatique ouverte (IGO) est une solution Web libre en géomatique. Elle a été conçue grâce à un réseau d’échange regroupant des spécialistes en géomatique provenant de plusieurs ministères et organismes de l’Administration publique québécoise. Elle permet de tirer profit d’une multitude de données géographiques (patrimoine culturel, territoires agricoles, écoles, casernes d’incendie, villages relais, etc.) grâce à une interface cartographique accessible par un navigateur Web. Toute la communauté géomatique ainsi que les entreprises, les municipalités, les développeurs et même les citoyens peuvent en profiter. 

1) Sélectionner la ressource du jeu

2) Cliquer sur le bouton

3) Sélectionner l’onglet « Vues »

4) Au menu « Nouvelle vue » sélectionner « Site Web »

5) Remplir minimalement le champ « Titre »

NOTE : Afin d’uniformiser sur le site, préférablement inscrire « Carte interactive ».

6) Saisir l’URL composée du visualisateur IGO suivi de l’URL de téléchargement de la ressource

10. Remplir le dictionnaire de données pour les fichiers tabulaires

Le dictionnaire de données permet de faire la description des données (champs) pour les fichiers tabulaires (CSV, Excel) qui seront accessible par API. Cette information est obligatoire pour les jeux de données de références.

Pour remplir le dictionnaire de données :

1) Sélectionner la ressource avec le fichier CSV ou Excel du jeu

2) Cliquer sur le bouton

3) Sélectionner l’onglet « Dictionnaire de données »

Onglet dictionnaire des données

4) Pour chacun des champs remplir les valeurs Type prioritaire (text, numeric, timestamp), Intitulé, et Description

Type prioritaire, Intitulé, Ressources

5) Cliquer sur « Enregistrer » une fois que vous avez rempli les valeurs de tous les champs.