Metadata

Owned by FIS (Unlicensed)
Last updated: Jun 13, 2022 by FIS
8 min read

Version Française disponible en bas de page

Overview

Metadata is data about data or data that defines or describes other data. Metadata is additional information or documentation about your dataset that will make it easier for others to understand and put your data into context.  Good metadata is critical in humanitarian response as datasets are often incomplete or the “best available” and have limitations or discrepancies. Noting the issues related to the datasets allows others to understand how and if they can use the datasets.

When metadata is included with a dataset: 

  • It improves understanding of the dataset (reduces questions and confusion of its use and history)

  • Increases credibility/reliability of data

  • Provides transparency about data that is not complete or not perfect (sets expectations and can provide the purpose of the dataset)

  • It can increase interest by others who may have data you are missing

  • It can improve the discoverability on HDX or other data sharing sites. For an explanation of HDX recommended metadata please read this guide.

 

Where Metadata can be found 

When developing metadata for Common Operational Datasets (or any dataset that is shared on HDX) consider where it will be located: 

on HDX

In / with the Dataset

in COD-AB web services

on HDX

In / with the Dataset

in COD-AB web services



  • This is the most public version of metadata and has a direct impact on the credibility and discoverability of the dataset

  •  It is downloaded with the dataset, ensure the client has the metadata for reference in the future

  • Located in the geodatabase, on a worksheet in excel, as a text file that accompanies a csv.

  •  This is information available with the web service

  • Consider impact metadata has on discoverability on HDX

  • For COD-AB use as much material as possible from ITOS (can use it in the web services metadata)

  • Use the metadata that will be used for HDX to create information for Excel and text files (can copy/paste)

  • For COD-AB use as much material as possible from ITOS (can copy/paste)

  • ITOS creates this with their process, it is reliant on metadata provided with the COD-AB

3 Tiered Process of Metadata

To balance the need for metadata against the burden of creating and maintaining it, OCHA recommends a 3-tiered system of metadata options:

Tier 1: Emergency Metadata
Tier 2: Basic Metadata
Tier 3: Full Metadata

Tier 1: Emergency Metadata

Emergency metadata recognizes the fact that during times of crisis, there is likely to be no metadata.  Production and sharing of datasets is happening too quickly to allow for detailed metadata.  In those cases, the best approach is to make sure that the dataset is, to the extent possible, self-explanatory. The Emergency Metadata approach requires:

  • Dataset filenames are according to the naming convention

  • Unnecessary attributes are removed

  • Attribute names are clear

  • If some attributes are too complex to be easily understood from the attribute name, add a simple text file to the dataset distribution explaining the attribute names.  This file should have the exact same name as the dataset with _METADATA.txt added at the end. The Basic Metadata Template can be used for this purpose, though in this case, only the Data Dictionary element is needed.

Tier 2: Basic Metadata

Basic metadata is for use when there is more time to properly document a dataset, but perhaps not enough resources to produce the full Tier 3 metadata.  Tier 2 is also useful when a dataset is too complex to be easily understood from the Tier 1 metadata.  Basic metadata requires attaching a simple text file, based on the Basic Metadata Template.  This template is based on the UNGIWG subset of the ISO 19115 metadata specification. This file should have the exact same name as the dataset with _METADATA.txt added at the end.

Tier 3: Full Metadata

During data preparedness activities, when there is time to fully document datasets, the UNGIWG subset of the ISO 19115 metadata standard metadata standard is the preferred standard.  These files should be produced as XML documents.  ArcCatalog has a metadata editor that will use the ISO 19115 standard, but you will need to use the document above to identify which components can be ignored. QGIS also offers a metadata reader/writer.

Creating and/or Updating Metadata in ArcCatalog using the ISO metadata editor

To set the metadata editor in ArcCatalog:

  1. Open ArcCatalog

  2. Go to Tools > Options

  3. Go to the Metadata tab

  4. Choose the Default Stylesheet as ISO

  5. Chose the Metadata Editor as ISO Wizard

Overview of the metadata toolbar in ArcCatalog:

Metadata templates may be exported as an xml for use in other data catalogs or reloaded in ArcCatalog to populate metadata for data with like information (e.g. 5 different layers from the same datasets/source).  To export the metadata as an xml, use the Export metadata tool in the metadata toolbar and to import metadata from an xml use the Import metadata tool.

Outputs/Resources

Métadonnées

Description

Les métadonnées sont des données [informations] fournissant des informations sur d’autres données. Des informations telles que : la source de données, la date de l’ensemble de données, la façon dont l’ensemble de données peut être partagé, mais également d’autres détails sur leurs utilisations. La création de métadonnées est fondamentale pour s’assurer que le droit d’auteur des données est préservé et que toutes les particularités de l’utilisation des données sont respectées. Tout le monde apprécie le fait d'avoir beaucoup de métadonnées associées à leurs ensembles de données, cependant, la création et la maintenance de ces métadonnées sont généralement très fastidieuses pendant les opérations sur le terrain.

Lorsque les métadonnées sont intégrées à un ensemble de données, cela permet :

  • Une amélioration de la compréhension de l’ensemble de données (en réduisant les interrogations et les confusions quant à son utilisation et son histoire)

  • D’augmenter la crédibilité et la fiabilité des données

  • D’assurer la transparence des données qui ne sont pas complètes ou parfaites (définir les attentes et peut préciser le but de l’ensemble de données).

  • D’accroître l’intérêt des d’autres personnes qui pourraient avoir des données manquantes

  • Faciliter la recherche/découverte sur HDX. Ces éléments spécifiques sont utilisés dans l’algorithme de recherche :

    • Tag

    • Titre

    • Description

    • Lieu

    • Contributeur (Organisation)

    • Source

Où trouver les métadonnées

Lors de l’élaboration des métadonnées pour les ensembles de données opérationnelles communes (ou tout autre ensemble de données partagé sur HDX), tenez compte de l’endroit où il sera situé :

Sur HDX

Dans/avec l'ensemble de données

Service Web COD-AB

Sur HDX

Dans/avec l'ensemble de données

Service Web COD-AB

  • C’est la version de métadonnées « la plus publique ». Elle a un impact direct sur la crédibilité, la découverte et la « trouvabilité » des ensembles de données.

  • Elles sont téléchargées avec l’ensemble de données, assurez-vous que le client dispose des métadonnées pour consultation ultérieure (téléchargez l’ensemble de données ainsi que les métadonnées relatives à cet ensemble de données)

  • Situées dans la base de données géospatiales (Geodatabases), sur une feuille de calcul Excel, sous la forme d’un fichier texte qui accompagne un csv.

  • Ces informations sont disponibles sur le service web

  • Tenez compte de l’impact qu’on les métadonnées sur la « trouvabilité » sur HDX.

  • Pour les COD-AB, utilisez au maximum le matériel provenant d'ITOS (vous pouvez l'utiliser dans les métadonnées des services Web)

  • Utilisez les métadonnées qui seront utilisées pour HDX dans le but de créer des informations pour Excel et des fichiers textes (vous pouvez copier-coller)

  • Pour les COD-AB, utilisez au maximum le matériel provenant d'ITOS (vous pouvez copier/coller)

  • ITOS crée ces métadonnées avec leur processus, il s'appuie sur les métadonnées fournies avec le COD-AB.

Processus

Pour équilibrer le besoin de métadonnées et «la complexité de leur création et mise à jour, OCHA recommande un système à trois niveaux d’option pour les métadonnées :

  • Niveau (Tier) 1 : Métadonnées d’urgence

  • Niveau (Tier) 2 : Métadonnées de base

  • Niveau (Tier) 3 : Métadonnées complètes

Niveau 1 : Métadonnées d’urgence

Les métadonnées d’urgence tiennent compte du fait qu’en temps de crise, il est probable qu’il n’y ait pas de métadonnées disponibles. La production et le partage des ensembles de données se font trop rapidement pour permettre la création de métadonnées officielles. Dans ce cas, la meilleure approche consiste à s’assurer que l’ensemble de données est, dans la mesure du possible, explicite. L’approche des métadonnées d’urgence exige que :

  • Les noms de fichiers de l’ensemble de données soient conformes à la convention d’appellation.

  • Les attributs inutiles soient supprimés (voir la section de Vérification des attributs et détails cartographiques du manuel de préparation des géodonnées - Verifying Attributes and Features section of the Geodata Preparation Manual)

  • Les noms des attributs soient clairs

  • Si certains attributs sont trop complexes pour être facilement compris à partir du nom de l’attribut : ajoutez un fichier texte à l'ensemble de données distribué expliquant les noms des attributs. Ce fichier doit avoir exactement le même nom que l’ensemble de données avec « _METADATA.txt » à la fin. Le modèle/la template des Métadonnées de base peut être utilisé à ce propos, mais dans ce cas, seul l'élément Dictionnaire de données est nécessaire.

Niveau 2 : Les Métadonnées de base

On utilise les métadonnées de base lorsque l’on dispose plus de temps (comparé aux métadonnées d’urgence) pour bien documenter un ensemble de données, mais qu’on ne dispose pas d’assez de temps pour produire les métadonnées complètes de niveau 3. Le niveau 2 est également utile lorsqu’un ensemble de données est trop complexe pour être facilement compris à partir des métadonnées de niveau 1. Les métadonnées de base requièrent l'ajout d'un fichier texte simple basé sur le Modèle/la template des Métadonnées de Base (Basic Metadata Template).
Ce modèle se base sur le sous-ensemble UNGIWG de la spécification des métadonnées ISO 19115. Ce fichier doit avoir exactement le même nom que l’ensemble de données avec « _METADATA.txt » à la fin.

Niveau 3 : Métadonnées complètes

Au cours des activités de préparation des données, lorsque le temps le permet, la norme privilégiée pour la documentation complète des ensembles de données est le sous-ensemble UNGIWG de la norme ISO 19115 sur les métadonnées. Ces fichiers doivent être produits sous la forme de documents XML. ArcCatalog dispose d’un éditeur de métadonnées qui utilise la norme ISO 19115. Cependant, vous devez utiliser le document ci-dessus pour identifier les composants qui peuvent être ignorés. QGIS propose également un lecteur/rédacteur de métadonnées.

Création et/ou mise à jour de métadonnées dans ArcCatalog à l’aide de l’éditeur de métadonnées ISO

Pour définir l’éditeur de métadonnées dans ArcCatalog :

  1. Ouvrir ArcCatalog

  2. Allez dans Outils > Options

  3. Allez dans l’onglet Métadonnées

  4. Choisissez la feuille de style par défaut comme ISO

  5. Choisissez l’éditeur de métadonnées comme assistant ISO

Description de la barre d’outils des métadonnées dans ArcCatalog:

Les modèles de métadonnées peuvent être exportés en xml, pour être utilisé dans d’autres catalogues de données ou bien rechargés sur ArcCatalog afin de compléter les métadonnées relatives aux données avec des informations similaires (par exemple, 5 couches différentes provenant des mêmes ensembles de données/sources). Pour exporter les métadonnées en format xml, utilisez l’outil « Exporter les métadonnées » situé dans la barre d’outils des métadonnées. Pour exporter les métadonnées d’un format xml, utilisez l’outil « Importer des métadonnées ».

Outputs/Ressources - documents en anglais