Aller à : navigation, rechercher

Maarch RM/Détection et validation des formats

Détection du format

Maarch RM intègre un mécanisme de détermination du le format du contenu de données reçu dans les paquets d'information versé.

Il reçoit le contenu ou un chemin vers le fichier et applique une stratégie de détection du format basée sur les signatures externes et internes du fichier.

Les signatures externes consistent principalement en l'extension du fichier, qui ne fournit que peu d'information et est un pis-aller. Les signatures internes utilisent des séquences d'octets du contenu binaire et tentent de les faire correspondre à une base de données.

Le composant utilise deux bases de données de signatures internes distinctes :

  • La base de données de MIME Magic (magic database) : ce composant fourni avec PHP permet de déterminer le type MIME du fichier. Là encore, le référentiel ne fournit que des informations imprécises sur l'encodage, même si le type MIME s'avère nécessaire pour les échanges en protocole http.
  • La base de signatures du logiciel DROID utilise le référentiel PRONOM : Les signatures permettent de déterminer selon quel format du référentiel le contenu est encodé, et les informations associées sont suffisamment précises pour permettre la gestion de la pérennisation.

Pour la détection du type MIME, le composant utilise la classe standard PHP fileinfo. Elle compare des séquences du contenu avec une base de données mimemagic configurable dans le fichier de configuration de PHP.

Format PRONOM

Pour la détection du format PRONOM, le composant implémente un algorithme de correspondance selon les signatures internes déclarées dans la base de données du logiciel DROID. Ce logiciel ne doit pas être installé, il est simplement nécessaire de livrer le fichier de signatures disponible sur le site de l'éditeur, le département Digital Preservation des Archives Nationales du Royaume-Uni, à l'url suivante: http://apps.nationalarchives.gov.uk/PRONOM

Le tableau ci-dessous décrit les informations contenues dans le référentiel pour chaque format:

Information Description
ID Identifiant unique du format dans le référentiel
PUID Identifiant unique PRONOM utilisé comme référence pour les documents numériques archivés par Maarch RM
Nom Nom du format
Version Version du format (facultatif)
Type MIME Multipurpose Internet Mail Extension, identifiant de format largement utilisé dans les technologies internet (facultatif)
Extension Extensions possibles pour les fichiers utilisant le format (facultatif)
Signature interne Identifiant des signatures internes au format de fichier qui permettent sa détermination par une analyse du contenu
Priorité sur format Identifiant des formats sur lesquels le format aura la priorité lors de la détermination du format de contenu (facultatif)

Le référentiel des formats PRONOM est livré sous la forme d'un fichier XML dans la dépendance de gestion du système de fichiers. Le référentiel est périodiquement augmenté et mis à jour par des contributions ou le département Digital Preservation des Archives Nationales du Royaume-Uni. Il est librement téléchargeable sur le site officiel et peut ainsi être mis à jour dans l'application.

Le composant reçoit un contenu ou un nom de fichier et renvoie en retour les informations sur le format détecté.

Détection du format

Au versement, une option du niveau de service permet d'activer la détection du format par le système lors de l'étape de contrôle de conformité du paquet versé.

Ceci est obligatoire si le service producteur ou versant est un tiers et que le contenu versé ne provient pas d'une source fiable quant au format spécifié dans les échanges. C'est optionnel dans le cas où le service versant appartient au même organisme que l'opérateur du système et que les moyens de production des contenus numériques versés sont maîtrisés par l'organisme producteur et/ou opérateur du système.

Maarch RM effectue une comparaison des signatures du registre PRONOM avec le contenu d'information reçu, et doit alors déterminer un PUID associé au contenu.

Le versement est considéré comme non conforme si la détection de format échoue ou si le format détecté par le système d'archivage est différent du format spécifié dans le bordereau d'échange.

Validation du format

Maarch RM intègre un second composant qui permet de valider la conformité du format de contenu par rapport aux spécifications de celui-ci. Il utilise un composant tiers nommé JHOVE, pour JSTOR/Harvard Object Validation Environment.

Ce composant permet la validation selon des typologies de format grâce à des modules dédiés :

Module Formats validés
AIFF Audio Interchange File Format : AIFF 1.3 [AIFF] AIFF-C [AIFF-C]
ASCII Texte encodé en ASCII
BYTESTREAM Flux binaires arbitraires (toujours valides)
GIF Graphics Exchange Format:

GIF 87a [GIF87a] GIF 89a [GIF89a]

HTML Hypertext Markup Language :

HTML 3.2 [HTML 3.2] HTML 4.0 [HTML 4.0] HTML 4.01 [HTML 4.01] XHTML 1.0 and 1.1 [XHTML]

JPEG Joint Photographic Experts Group (JPEG) raster images

JPEG (ISO/IEC 10918-1:1994) [JPEG] JPEG File Interchange Format (JFIF) 1.2 [JFIF] Exif 2.0, 2.1 (JEIDA-49-1998), and 2.2 (JEITA CP-3451) [Exif 2.1, Exif 2.2] Still Picture Interchange File Format (SPIFF, ISO/IEC 10918-3:1997) [SPIFF] JPEG Tiled Image Pyramid (JTIP, ISO/IEC 10918-3:1997) [JTIP] JPEG-LS (ISO/IEC 14495) [JPEG-LS]

JPEG2000 JP2 profile (ISO/IEC 15444-1:2000 / ITU-T Rec. T.800 (2000)) [JP2, ITU-T T.800]

JPX profile (ISO/IEC 15444-2:2004) [JPX]

PDF Page Description Format (PDF)

PDF 1.0 à 1.6 [PDF] Pre-press data exchange PDF/X-1 (ISO 15930-1:2001) [PDF/X-1] PDF/X-1a (ISO 15930-4:2003) [PDF/X-1a] PDF/X-2 (ISO 15390-5:2003) [PDF/X-2] PDF/X-3 (ISO 15930-6:2003) [PDF/X-3] Tagged PDF [PDF] Linearized PDF [PDF] PDF/A-1 (ISO/DIS 19005-1) [PDF/A]

TIFF Tagged Image File Format (TIFF) raster images

TIFF 4.0, 5.0, and 6.0 [TIFF 4.0, TIFF 5.0, TIFF 6.0] Baseline 6.0 Class B, G, P, and R [TIFF 6.0] Extension Class Y [TIFF 6.0] TIFF/IT (ISO 12639:2003) [TIFF/IT] File types CT, LW, HC, MP, BP, BL, and FP, and conformance levels P1 and P2 TIFF/EP (ISO 12234-2:2001) [TIFF/EP] Exif 2.0, 2.1 (JEIDA-49-1998), and 2.2 (JEITA CP-3451) [Exif 2.1, Exif 2.2] GeoTIFF 1.0 [GeoTIFF] TIFF-FX (RFC 2301) [TIFF-FX] Profiles C, F, J, L, M, and S Class F (RFC 2306) [Class F, RFC 2306] RFC 1314 [RFC 1314] DNG (Adobe Digital Negative) [DNG]

UTF8 Texte encode en UTF-8
WAVE Audio for Windows

PCMWAVEFORMAT [PCMWAVEFORMAT] WAVEFORMATEX [WAVEFORMATEX] WAVEFORMATEXTENSION [WAVEFORMATEXTENSION] Broadcast Wave Format (EBU N22-1997) version 0 and 1 [BWF]

XML Extensible Markup Language

XML 1.0

Le système fournit au logiciel un nom de fichier ou une liste de noms de fichiers ainsi que le module à utiliser pour la validation. En retour, le composant indique la validité du contenu par rapport aux spécifications et le cas échéant une ou plusieurs erreurs explicitant l'invalidité du contenu. Le logiciel utilise les technologies et le langage Java, et nécessite l'installation d'un environnement d'exécution Java sur le système.

Validation du format de contenu

Au versement, une option du niveau de service permet d'activer la validation du format par le système lors de l'étape de contrôle de conformité du paquet versé.

Ceci est obligatoire si le service producteur ou versant est un tiers et que le contenu versé ne provient pas d'une source fiable quant au format spécifié dans les échanges. C'est optionnel dans le cas où le service versant appartient au même organisme que l'opérateur du système et que les moyens de production des contenus numériques versés sont maîtrisés par l'organisme producteur et/ou opérateur du système.

Maarch RM effectue une demande au module JHOVE sur le contenu d'information reçu, et reçoit en retour l'information de conformité et de validité du contenu par rapport au format annoncé.

Le versement est considéré comme non conforme si la validation de format échoue ou si le format est vu comme mal formé ou non conforme par le système d'archivage.

Formats acceptés

La liste des formats acceptés pour le dépôt n'est pas fixées par le système d'archivage Maarch RM. elle est définie dans l'accord de versement entre le service d'archives, le service versant et les services producteurs.

On utilise le référentiel interne PRONOM pour identifier les formats acceptés. Certains des formats peuvent ne pas être pérenne, dans ce cas il sera nécessaire d'appliquer une stratégie de migration de format, soit au versement, soit planifiée.

Le versement est considéré comme non conforme si le format n'est pas dans la liste de ceux acceptés dans l'accord de versement liant le service d'archives et les acteurs déposants.