Aller à : navigation, rechercher

MEP/Guide/lifecycle/fr/lifecycle

Ce chapitre vous aide à évaluer le fonctionnement du cycle de vie, en passant les différentes étapes de la politique d'archivage sur les documents d'exemple Maarch.

Version Maarch applicable : 1.2

Composition du jeu de test

En vous connectant en "superadmin", vous verrez que la politique d'archivage de test est entièrement complétée.

Zones de stockage

Nous avons dans un premier temps des zones de stockage :

Nom de la zone Description Type de zone Commentaire
FASTHD_AI Fast internal disc bay for autoimport FASTHD Zone de stockage initiale des documents immédiatement après l'AutoImport. Les documents sont stockés unitairement sur une baie de disque rapide.
FASTHD_MAN Fast internal disc bay FASTHD Zone de stockage en mode manuel - Non utilisé dans cet exemple.
OAIS_MAIN_1 Main OAIS store OAIS_MAIN Zone de stockage primaire sur une baie lente à grande capacité. Les documents sont regroupés en paquets OAIS compressés.
OAIS_SAFE_1 Distant backup OAIS store OAIS_SAFE Zone de stockage secondaire sur une baie distante. Les documents sont regroupés en paquets OAIS de format différent pour l'exemple.
OFFLINE_1 Off line tape OFFLINE Stockage sur étagère.

Les zones sont qualifiées par des types de zone. Le type de zone donne des indications sur la structure de l'archive :

  • empaquetage O/N
  • nombre de documents dans un paquet
  • méthode de compression
  • etc.

Politique d'archivage

La politique d'archivage utilisée reprend le schéma ci-dessous :

Cycle de vie

Elle comprend en séquence les cycles suivants :

Cycle Description
INIT Versement initial
OAIS_CACHED Copie en différé des documents dans des conteneurs sécurisés sur 2 sites différents, mais les documents restent dans la zone rapide
OAIS Au bout de 3 mois, suppression des documents présents dans la zone rapide
DISPOSAL Application du sort final : mise sur étagère

Opérations de test

Import du jeu de factures

Vous aurez tout d'abord besoin d'importer le jeu de factures de test fourni avec Maarch AutoImport. Le mode opératoire pour l'import des factures de test est détaillé dans http://www.maarch.org/projets/entreprise/guide-d-installation-rapide. Vous n'aurez besoin pour les tests que des documents contenus dans C:\autoimport\samples\entreprise_cold.

Attention à :
  • utiliser la version d'autoimport correspondant au trunk, à récupérer sur le SVN
  • bien paramétrer le fichier de configuration C:\autoimport\maarch_autoimport\config_entreprise_cold.xml si vous êtes sous Windows :
<ROOT>
	<CONFIG>
		<CONFIG_NAME>entreprise</CONFIG_NAME>
		<MAPPING_FILE>C:\autoimport\maarch_autoimport\mapping_entreprise_cold.xml</MAPPING_FILE>
		<SCAN_IMPORT_DIRECTORY>C:\autoimport\incoming\entreprise\</SCAN_IMPORT_DIRECTORY>
		<LOCATION>127.0.0.1</LOCATION>
		<DATABASE_PORT>5432</DATABASE_PORT>
		<DATABASE>maarch_entreprise_trunk</DATABASE>
		<DATABASETYPE>POSTGRESQL</DATABASETYPE>
		<DATABASEWORKSPACE></DATABASEWORKSPACE>
		<USER_NAME>postgres</USER_NAME>
		<PASSWORD>maarch</PASSWORD>	
		<TABLE_NAME>res_x</TABLE_NAME>
		<INSERT_MODE>false</INSERT_MODE>
		<DOCSERVER_NAME>FASTHD_AI</DOCSERVER_NAME>
		<DATE_TIME_FORMAT>YYYY-MM-DD</DATE_TIME_FORMAT>
		<AUTO_IMPORT_DIRECTORY>C:\autoimport\</AUTO_IMPORT_DIRECTORY>
		<WITHOUT_XML>false</WITHOUT_XML>
		<BACKUP_BATCH>true</BACKUP_BATCH>
		<EXCLUDE_EXISTING_DOCS>false</EXCLUDE_EXISTING_DOCS>
		<EXCLUDE_EXISTING_DOCS_FOLDER>duplicate</EXCLUDE_EXISTING_DOCS_FOLDER>
		<CONTROL_COMPLETE_FILES>false</CONTROL_COMPLETE_FILES>
	</CONFIG>
</ROOT>

Les 300 factures sont rangées dans la zone de stockage FASTHD_AI : C:\Maarch\docservers\entreprise\ai. L'espace de stockage utilisé est de 11 Mo.

Les factures importées sont visibles dans le menu "Rechercher une facture". Lors de la demande de visualisation, Maarch accède à la définition de la zone de stockage pour obtenir la méthode d'extraction de l'archive.

Application du cycle OAIS_CACHED

Le cycle OAIS_CACHED de la politique d'archivage FNTC prévoit le traitement des documents de la collection facture vieux de plus d'une semaine. Le cycle consiste à copier les factures concernées dans des paquets AIP placés dans les zones OAIS_MAIN_1 et OAIS_SAFE_1.

Pour simuler le vieillissement, nous devons appliquer une requête SQL directement sur la base :

update res_x set creation_date = creation_date::timestamp - '10 day'::interval where typist = 'AUTOIMPORT'; 

Toutes les factures sont maintenant considérées comme ayant été versées il y a 10 jours et sont donc candidates au cycle OAIS_CACHED.

En ligne de commande, placez-vous maintenant sous C:\xampp\htdocs\maarch_entreprise\modules\life_cycle\batch, puis exécutez les scripts batch de transition de cycle :

php fill_stack.php -c config/config.xml -coll res_coll -p FNTC -cy OAIS_CACHED 
php process_stack.php -c config/config.xml -coll res_coll -p FNTC -cy OAIS_CACHED

Que remarque-t-on ?

Les AIP ont été créés dans le répertoire de destination OAIS_main et sous un autre format dans la zone secondaire OAIS_safe :

dir C:\Maarch\docservers\entreprise\OAIS_main\2011\02\22\0001
 Le volume dans le lecteur C s'appelle SYSTEM
 Le numéro de série du volume est 764D-80B2

 Répertoire de C:\Maarch\docservers\entreprise\OAIS_main\2011\02\22\0001

24/02/2011  11:54    <REP>          .
24/02/2011  11:54    <REP>          ..
24/02/2011  11:53           268 643 0001.aip
24/02/2011  11:53           258 611 0002.aip
24/02/2011  11:54           248 842 0003.aip
               3 fichier(s)          776 096 octets
               2 Rép(s)   7 669 067 776 octets libres


dir C:\Maarch\docservers\entreprise\OAIS_safe\2011\02\22\0001
 Le volume dans le lecteur C s'appelle SYSTEM
 Le numéro de série du volume est 764D-80B2

 Répertoire de C:\Maarch\docservers\entreprise\OAIS_safe\2011\02\22\0001

24/02/2011  11:54    <REP>          .
24/02/2011  11:54    <REP>          ..
24/02/2011  11:54         9 640 547 0001.aip
               1 fichier(s)        9 640 547 octets
               2 Rép(s)   7 668 969 472 octets libres

Les AIP situés dans OAIS_MAIN_1 bénéficient d'une compression intelligente. Le format des PDF a été travaillé pour optimiser cette compression (ratio 1:14). Chaque AIP contient 100 factures.

Pour l'exemple, OAIS_SAFE_1 contient un AIP unique de 300 factures, en compression ZIP et aucun gain substantiel n'a été obtenu sur l'espace occupé.

Qu'est-ce qu'un AIP ?

Un AIP ("Archival Information Package") est un paquet d'archivage autoporté, décrit par la norme ISO 14721, aussi connue sous le nom OAIS. Cette norme établit les principes d'une conservation des ressources électroniques dans un SAE sur le très long terme. En plus d'être référencées dans une base de données, les ressources sont contenues dans des paquets où figurent aussi les métadonnées.

Sur le principe, une personne qui retrouve un AIP dans un futur lointain n'aura pas besoin de refaire une installation de Maarch et récupérer une sauvegarde pour lire son contenu : il lui suffira d'ouvrir le paquet et de suivre le guide. C'est pour cela que le paquet est dit "autoporté".

La description complète des AIP Maarch figure ici : (en) Maarch_AIP_structure_description.

Application du cycle OAIS

Le cycle OAIS est appliqué au bout de trois mois. Il consiste en la suppression des ressources du cache FASTHD_AI. En effet, au bout de trois mois on considère que les demandes de consultation sont plus rares et qu'il est inutile de monopoliser une baie rapide.

Pour simuler le vieillissement sur trois mois, nous devons à nouveau appliquer une requête SQL directement sur la base :

update res_x set creation_date = creation_date::timestamp - '100 day'::interval where typist = 'AUTOIMPORT'; 

Toutes les factures sont maintenant considérées comme ayant été versées il y a plus de trois mois et sont donc candidates au cycle OAIS.

En ligne de commande, placez-vous maintenant sous C:\xampp\htdocs\maarch_entreprise\modules\life_cycle\batch, puis exécutez les scripts batch de transition de cycle :

php fill_stack.php -c config/config.xml -coll res_coll -p FNTC -cy OAIS
php process_stack.php -c config/config.xml -coll res_coll -p FNTC -cy OAIS

Les ressources concernées situées dans FASTHD_AI ont été supprimées.