Folder Structure and Archiving

Version Française disponible en bas de page


Overview


The data structure presented here represents a hybrid approach based on best practices identified in OCHA offices around the world. It includes standards both for where data is stored, in what format, and how it is named. Additionally, it provides structures for archiving outdated datasets and products.

Folder Structure


The primary goals of the folder structure are to:

  • Follow the recommended information management process where applicable.

  • Provide a predictable location for datasets, production files, and output products at country, regional, and global levels.

  • Make data and products easy to find.

  • Avoid breaking data links (such as within MXD files) when data is updated or copied from one computer to another

  • Provide distinction between "finalized" datasets that are ready to be used in cartographic products and datasets that are still in production

  • Provide a space for archiving outdated datasets and cartographic products

  • Provide a space for working on datasets or products separate from the final location of the output files

  • Handle data in multiple formats (Geodata such as shapefiles, KML, GML, and other types like xlsx, scripts, databases, etc.) as well as production files (MXD, DOCX, AI, etc.) and output files (PDF, JPG, etc.)

A note about existing folder structures: Most OCHA offices have evolved their own folder structure over time. This manual does not intend to impose certain structure on any office. As offices review their folder structures or as new offices are opened, this structure is recommended as it satisfies the goals listed above. In particular, the highest level folders (the 1st and 2nd levels below the root level) are critical to enabling data synchronization between country, regional, and global offices.

Two tools have been developed to help explain the system taking into considerations the differences that exist between Country offices and sudden onset emergencies setup. The structures has useful utilities ready embeded to be used such as OCHA style, fonts, icons. IMOs could always add up other components as needed.

Archiving


Notice there is no date on dataset names.  This allows us to update data files without breaking links to the MXD files. To archive a file using this approach:

  1. Give the outdated file a date stamp at the end of the file name.  Use the date it was removed at the end of the file name in yyyymmdd format.

  2. Place the outdated file in the co-located ‘archive’ folder.  

  3. The new dataset should have the same name and location as the previous (now archived) file.

Any project files referring to this data layer will then automatically use the new layer.  

For example: 
AFG/Data/Boundaries/afg_polbnda_adm1_1m_salb.shp  
is archived on March 13, 2011 as 

AFG/Data/Boundaries/archive/afg_polbnda_adm1_1m_salb_20110313.shp  

The updated file will be named 
AFG/Data/Boundaries/afg_polbnda_adm1_1m_salb.shp  

Working Directories


Any folder can have a working directory.  It's just a place to make a mess when you are working on something.  When finished, move the file (whether it's data or a product) to its appropriate place and clean out the working folder.  If there are working files you want to keep, put them into a well-named folder and store them in the appropriate Archive folder.

Structure des dossiers et archivage 


Description


La structure de données présentée ici correspond à une approche hybride basée sur les meilleures pratiques identifiées dans les différents bureaux OCHA à travers le monde. Cette section comprend des normes concernant : l’endroit où sont stockées les données, dans quel format et comment elles sont nommées.  De plus, elle fournit les structures sur les ensembles de données et les produits obsolètes.

 

Structure des dossiers


Les principaux objectifs de cette structure sont les suivants :

  • Suivez le processus de gestion de l'information recommandé, s'il est applicable.

  • Fournir un emplacement prévisible pour les ensembles de données, les fichiers de productions et les produits de sortie (output products) aux différents niveaux : national, régional et mondial.

  • Rendre les données et les produits faciles à trouver.

  • Eviter la rupture des liens de données (comme dans les fichiers MXD) lors des mises à jour de données ou lorsqu’elles sont copiées d’un ordinateur à un autre.

  • Distinguer les ensembles de données « finalisés », prêts à être utilisés dans les produits cartographiques et les ensembles de données encore en cours de production.

  • Fournir un espace pour l’archivage des ensembles de données et des produits cartographiques obsolètes.

  • Prévoir un espace pour travailler sur des ensembles de données ou des produits distinct de l’emplacement final des fichiers de sortie (output files).

  • Gérer les données dans plusieurs formats (Geodata, Shapefile, KML, GML, etc..) ainsi que les fichiers de production (MXD, DOCX, AI, etc.) et de sortie (PDF, JPG, etc.)

Note concernant les structures de dossiers existantes : Au fil du temps, la plupart des bureaux OCHA ont développés leur propre structure de dossiers. Le but de ce manuel n’est pas d’imposer cette structure. Cependant, au fur et à mesure que les bureaux revoient la structure de leurs dossiers ou que de nouveaux bureaux sont ouverts, cette structure est recommandée car elle répond aux objectifs énumérés ci-dessus. Notamment, les dossiers de « plus haut niveaux » (les 1er et 2èmes niveaux sous le niveau racine) sont essentiels pour permettre la synchronisation des données entre les bureaux nationaux, régionaux et globaux.

Deux systèmes ont été développés pour aider à expliquer le système en tenant compte des différences qui existent entre les organisations des Bureaux Régionaux, Bureaux Pays et des situations d’urgence soudaines. Ce dernier contient des outils utiles et prêts à être utilisés en pour d’une situation d’urgence soudaine, comme par exemple le style d’OCHA, les polices, les icones que les IMs peuvent avoir en place. D’une certaine manière, la structure des Bureaux Pays est construite à la lumière du processus IM, c’est-à-dire : collecte de données, traitement, analyse, etc…

Archivage


Notez qu’il n’y a pas de date sur les ensembles de données. Cela permet de mettre à jour les fichiers de données sans rompre les liens vers les fichiers MXD. Pour archiver un dossier en utilisant cette approche :

  1. Donnez au fichier obsolète un date-repère à la fin du nom du fichier. Utilisez la date à laquelle le fichier a été supprimé à la fin du nom du fichier dans le format aaaammjj.

  2. Placez le fichier obsolète dans le dossier « archive » situé avec les autres dossiers.

  3. Le nouvel ensemble de données doit avoir le même nom et le même emplacement que le fichier précédent (maintenant archivé).


Tout fichier se référant à cette « couche de données » (data layer) utilisera automatiquement le nouvelle couche.

        Par exemple :

AFG/Data/Boundaries/afg_polbnda_adm1_1m_salb.shp  
est archivé le 13 mars 2011 sous la désignation

AFG/Data/Boundaries/archive/afg_polbnda_adm1_1m_salb_20110313.shp  

Le fichier mis à jour sera nommé
AFG/Data/Boundaries/afg_polbnda_adm1_1m_salb.shp

Répertoires de travail


N’importe quel dossier peut avoir un répertoire de travail. C’est simplement un endroit « où mettre le bazar » lorsqu’on travaille sur quelque chose. Une fois terminé, déplacez le fichier (qu’il s’agisse de données ou de produits) à l’endroit approprié, puis nettoyer le dossier de travail. S’il y a des fichiers de travail que vous souhaitez conserver, placez-les dans un dossier bien nommé et stockez-les dans le dossier « Archive » approprié.