Les données d’image sont souvent traitées pour créer des formulaires, susceptibles d’être traités à la volée ou enregistrés en tant que versions mises à jour. Ces jeux de données relatifs aux images (ou ensembles de jeux de données) sont souvent volumineux ; le fait de bénéficier de fonctions de gestion efficaces est donc important. La solution ArcGIS AllSource a été conçue dans cette optique.
Modèles de stockage et structures de données raster et d’image
Vous pouvez stocker les données raster et d’image de trois manières différentes : sous la forme de fichiers dans un système de fichiers, dans une géodatabase, ou dans un système de fichiers, dans une géodatabase qui les gère. Cette décision implique également le choix du mode de stockage de l'ensemble des données : dans un jeu de données ou dans un catalogue susceptible d'inclure de nombreux jeux de données. Si vous stockez les données dans un système de fichiers, vous stockez des jeux de données raster. Une géodatabase peut stocker soit des jeux de données raster, soit des jeux de données mosaïque.
Jeu de données raster
La plupart des données raster et d’image (orthoimage ou MNT, par exemple) sont fournies sous la forme d’un jeu de données raster. Le terme de jeu de données raster désigne un modèle raster stocké sur disque ou accessible en tant qu’image unique stockée dans un stockage cloud. Un jeu de données raster constitue le modèle de stockage de données raster de base, sur lequel reposent les autres. Ainsi, les jeux de données mosaïque gèrent les jeux de données raster. Il s'agit également de la sortie produite par de nombreux outils de géotraitement lors du traitement de données raster.
Un jeu de données raster correspond à tout format de raster ou d’image valide organisé en une ou plusieurs bandes. Chaque bande est composée d’une matrice de pixels, chaque pixel comportant une valeur. Un jeu de données raster ou d’image comprend au moins une bande. ArcGIS AllSource prend en charge plus de 70 formats de fichier différents pour les jeux de données raster, dont TIFF, JPEG 2000, Cloud Raster Format (CRF) et NITF.
Mosaïque
Un jeu de données mosaïque correspond à un ensemble de jeux de données raster (images) stocké sous la forme d’une collection d’images et affiché (ou ouvert) en tant qu’image mosaïquée ou d’images individuelles (rasters). Ces ensembles peuvent être très importants, tant en termes de taille totale de fichier qu’en nombre de jeux de données. Les images dans un jeu de données mosaïque peuvent rester dans leur format natif sur le disque ou être placés dans la géodatabase. Les métadonnées peuvent être gérées dans l’enregistrement de l’image ainsi qu’en tant qu’attributs, dans la table attributaire. Le stockage de métadonnées en tant qu'attributs permet de gérer plus facilement les paramètres, tels que les données d'orientation du capteur, et d'autoriser rapidement des requêtes qui orienteront les sélections.
Les données de la mosaïque n'ont pas besoin d'être contiguës ou superposées ; elles peuvent exister en tant que jeux de données non connectés, discontinus. Par exemple, vous pouvez avoir des images qui recouvrent complètement une zone ou un certain nombre de bandes d'image non contiguës qui forment une image continue (par exemple, le long de pipelines).
Les données peuvent être totalement ou partiellement superposées, mais avoir été capturées à des dates différentes. La mosaïque constitue le jeu de données idéal pour le stockage de données temporelles. Vous pouvez l'interroger en fonction de la date ou de l'heure et utiliser une méthode de mosaïque pour afficher l'image mosaïquée selon un attribut de temps ou de date.
Les jeux de données mosaïque ne se limitent pas à un type particulier de données d’image. Vous pouvez ajouter des données d’image de différents systèmes de capteur dans différentes projections, résolutions, profondeur de pixel et nombre de bandes. Les vues d’ensemble peuvent être générées pour l’intégralité des données. Cela permet d'en accélérer l'affichage et de diffuser rapidement ces jeux de données. Il existe également des propriétés d’affichage supplémentaires ; vous pouvez, notamment, définir une méthode de mosaïquage, qui rend ces jeux de données uniques et fonctionnels dans la plupart des situations. Vous pouvez également interroger un jeu de données mosaïque en fonction de contraintes de requête spatiales et non spatiales. Le résultat de cette requête peut consister en un ensemble d’images que vous pouvez traiter individuellement ou en une image mosaïquée générée de manière dynamique.
En plus des données d’image, vous pouvez stocker et gérer les données lidar dans un jeu de données mosaïque, de la même manière que les jeux de données d’image, voire avec les jeux de données d’image. Les données lidar peuvent être stockées dans un système de fichiers, sous la forme de fichiers .las ou de jeux de données LAS, ou encore dans une géodatabase, en tant que jeux de données de MNT.
Remarque :
Les jeux de données mosaïque dépendent de la version ArcGIS dans laquelle ils ont été construits et sont compatibles sur toute la plateforme ArcGIS pour un cycle de version donné. En général, les jeux de données mosaïque créés avec des versions ArcGIS plus anciennes peuvent être lus et gérés par les dernières versions ArcGIS. Toutefois, un jeu de données mosaïque créé dans une version ArcGIS actuelle n’est pas rétro-compatible avec les versions antérieures. Consultez le tableau suivant pour en savoir plus sur la compatibilité des jeux de données mosaïque :
| Version d’ArcGIS Pro | Version d’ArcGIS Enterprise, ArcGIS Server et ArcMap | Version de ArcGIS AllSource |
|---|---|---|
Pro 3.3 | 11.3 | AllSource 1.2 |
Pro 3.2 | 11.2 | AllSource 1.1 |
Pro 3.1 | 11.1 | AllSource 1.0 |
Pro 3.0 | 11 | |
Pro 2.9 | 10.9.1 | |
Pro 2.8 | 10.9 | |
Pro 2.7 | 10.9 | |
Pro 2.6 | 10.8.1 | |
Pro 2.5 | 10.8 | |
Pro 2.4 | 10.7.1 | |
Pro 2.3 | 10.7 | |
Pro 2.2 | 10.6.1 | |
Pro 2.1 | 10.6 | |
Pro 2.0 | 10.5.1 | |
Pro 1.4 | 10.5 | |
Pro 1.3 | 10.4.1 | |
Pro 1.2 | 10.4 | |
Pro 1.1 | 10.3.1 | |
Pro 1.0 | 10.3 |
Comparaison du modèle de stockage des données raster
Stocker chaque jeu de données d’image séparément constitue bien souvent la meilleure méthode lorsque les images ne sont pas adjacentes ou sont rarement utilisées dans le même projet. Le fait de mosaïquer les données en entrée afin de former une seule grande étendue de fichier de données d’image convient à de nombreuses applications, mais un jeu de donnée mosaïque peut être préférable, pour les raisons suivantes :
- Les étendues des images sont entièrement ou partiellement superposées et vous souhaitez préserver les zones communes.
- Les jeux de données d’image représentent un ensemble d’observations de la même zone en différents points d’une série chronologique.
- Vous souhaitez uniquement afficher la zone d’étude et non l’intégralité de la collection d’images.
- Vous souhaitez gérer un ensemble d'images sous la forme d'un ensemble intégré, mais préserver leurs états individuels.
- Vous souhaitez enregistrer et gérer des colonnes attributaires supplémentaires décrivant chaque image.
Comparer les modèles de stockage de données raster
| Jeu de données raster | Mosaïque | |
|---|---|---|
Description | Représentation unique d'un objet ou d'une image continue couvrant une zone spatialement continue. Il peut s’agir d’une seule image d’origine ou du résultat de plusieurs images fusionnées (mosaïquées).
| Groupe de jeux de données d’image enregistrés en tant que collection, qui permet de stocker, gérer, afficher et interroger des collections d’images et de données lidar. Cet ensemble est affiché sous la forme d'une image mosaïquée, mais vous avez accès à chaque jeu de données en tant qu’élément de l'ensemble.
|
Stockage | En tant que fichier sur un disque ou dans une géodatabase. | Dans une géodatabase, mais les données sources stockées en tant que fichier sur le disque peuvent être référencées. |
Données homogènes et hétérogènes | Données homogènes : un seul format, un seul type de données et un seul fichier. | Données hétérogènes : plusieurs formats, types de données, tailles de fichier et systèmes de coordonnées. |
Métadonnées | Stockées une seule fois et applicables à l’ensemble du jeu de données. | Peuvent être stockées dans l’enregistrement de raster et comme attributs dans la table attributaire. |
Jeux de données échantillonnés | Pyramides de la totalité du jeu de données d’image. | Des pyramides pour chaque jeu de données d’image, ainsi que des vues d’ensemble pour la collection toute entière. |
Géotraitement et analyse d'image | En tant que source de données pour nombre d’outils d’analyse et de géotraitement dont les fonctions raster et RFT. | En tant que source de données pour nombre d’outils d’analyse et de géotraitement dont les fonctions raster et RFT. |
Avantages |
|
|
Inconvénients |
|
|
Mise à disposition | S’affiche directement en tant que service d’imagerie. | S’affiche directement en tant que service d’imagerie. |
Recommandations | Utilisez des jeux de données raster lorsqu’il ne faut pas conserver les superpositions entre des images mosaïquées et pour afficher plus rapidement de grandes quantités de données d’image. | Utilisez un jeu de données mosaïque pour la gestion et la visualisation des données d’image et des données lidar. Il convient bien aux données multidimensionnelles, à l’interrogation, le stockage des métadonnées et à la superposition des données, et fournit une bonne solution hybride. |
Stockage des données raster dans la géodatabase
Le stockage des données raster dans la géodatabase peut s’avérer utile pour gérer des images, ajouter un comportement et contrôler la structure, lorsque vous voulez gérer un ensemble bien défini de jeux de données raster dans le cadre d’un système de gestion de bases de données (SGBD) et lorsqu’il vous faut une architecture unique pour la gestion de l’ensemble du contenu. Il existe deux types de géodatabase principales : fichier et entreprise.
La géodatabase d’entreprise peut prendre en charge des opérations multiples dans son SGBD. Les géodatabases fichier sont conçues pour être mises à jour par un seul utilisateur et ne prennent pas en charge le versionnement. Elles résident dans votre répertoire de système de fichiers. Aucun mot de passe d’accès n’est donc requis. Les géodatabases fichiers et géodatabases d’entreprise partagent la même structure de stockage de base.
Remarque :
Le comportement fonctionnel de chaque géodatabase est fondamentalement le même ; toutefois, il existe des exceptions pour des outils ou procédures spécifiques. Pour en savoir plus sur les différences associées au comportement d’un outil ou dune procédure, reportez-vous à l’outil ou à la procédure spécifique dans l’aide de référence.
Comparer le stockage des données raster dans des géodatabases fichier et d’entreprise
| Caractéristique de stockage des données raster | Géodatabase fichier | Géodatabase d'entreprise |
|---|---|---|
Limite de taille | 1 téra-octet (To) pour chaque jeu de données raster |
Illimitée ; la limite dépend des limites du SGBD |
Format de fichier du jeu de données raster | Jeu de données raster de géodatabase fichier |
Jeu de données raster de géodatabase d'entreprise |
Stockage |
|
|
Stockée dans le système de fichiers |
Stockée dans un système SGBDR | |
Compression | LZ77, JPEG, JPEG 2000 ou aucun |
LZ77, JPEG, JPEG 2000 ou aucun |
Pyramides | Prend en charge des pyramides partielles |
Prend en charge des pyramides partielles |
Mosaïquage en cours | Permet d’ajouter des données à un jeu de données raster lors du mosaïquage |
Permet d’ajouter des données à un jeu de données raster lors du mosaïquage |
Mise à jour | Permet des mises à jour incrémentielles |
Permet des mises à jour incrémentielles |
Nombre d’utilisateurs | Mono-utilisateur et petits groupes de travail ; quelques utilisateurs avec accès en lecture seule et un utilisateur avec accès en écriture |
Multi-utilisateurs ; de nombreux utilisateurs avec accès en écriture et accès en lecture seule |
Table de blocs raster dans la géodatabase
Les données raster sont généralement beaucoup plus volumineuses que les entités et nécessitent une table de stockage secondaire. Par exemple, une ortho-image panchromatique classique peut contenir 20 000 lignes sur 20 000 colonnes (400 millions de valeurs de pixel), voire plus.
Pour optimiser les performances avec des jeux de données raster volumineux, un raster de géodatabase est divisé en tuiles plus petites (appelées blocs) d’une taille classique d’environ 128 lignes sur 128 colonnes ou 256 x 256. Ces îlots plus petits sont alors stockés dans une table secondaire pour chaque raster. Chaque tuile est stockée dans une ligne distincte d’une table de blocs, comme illustré ci-dessous.
Cette structure signifie qu’il suffit d’extraire les blocs d’une étendue si nécessaire, au lieu de l’image entière. De plus, les blocs rééchantillonnés utilisés pour construire des pyramides raster peuvent être stockés et gérés dans la même table de blocs que les lignes supplémentaires.
Cela permet de gérer des images très volumineuses dans un SGBD offrant des performances très rapides. Un SGBD assure également un accès multi-utilisateurs sécurisé.
Géodatabase fichier
Le modèle de stockage de la géodatabase fichier est similaire à celle d’une géodatabase d’entreprise qui stocke les données en blocs.
Cela permet un accès plus efficace aux données, notamment lors d'une opération portant sur une mosaïque. Lors du mosaïquage des données dans une géodatabase fichier, seuls les blocs superposés sont mis à jour. S'il n'existe aucun bloc superposé, un nouveau bloc est inséré. Les blocs partiels sont remplis avec des pixels NoData. De plus, le modèle de stockage de géodatabase fichier (et d’entreprise) utilise des mises à jour de pyramides partielles, ce qui permet de gagner du temps. Les structures de données des géodatabases d’entreprise et fichier sont identiques ; la technologie de copie rapide est utilisée pour copier et coller des données entre elles.
Les géodatabases fichier acceptent des mots-clés de configuration mais, contrairement aux géodatabases d’entreprise, ces mots-clés sont associés à une valeur prédéfinie standard. Pour en savoir plus sur les mots-clés de configuration, consultez la rubrique Mots-clés de configuration pour les géodatabases fichiers.
Géodatabase d'entreprise
Le stockage des données raster dans une géodatabase d’entreprise offre des fonctionnalités au niveau entreprise, notamment en matière de sécurité, d’accès multi-utilisateurs et de partage des données. Il existe trois principales raisons de stocker les données raster dans une géodatabase d’entreprise :
- elles ne seront pas mises à jour aussi régulièrement (tous les deux ou trois ans, par exemple) ;
- les utilisateurs y accéderont en mode de lecture seule (pour les utiliser comme données de fond de carte sous des données vectorielles, par exemple) ;
- Des centaines d'utilisateurs (ou plus) y accéderont comme fond de carte.
En raison de leur structure de stockage, les données raster sont considérées comme étant gérées ou entièrement contrôlées par la géodatabase. Les géodatabases d’entreprise stockent toutes les informations raster (pixels, référence spatiale, table associée éventuelle et autres métadonnées) des jeux de données raster, ainsi que des attributs raster, dans la base de données relationnelle qui leur est associée. Cela signifie que les informations raster en entrée sont chargées dans la base de données et peuvent être assimilées à un format de conversion.
La géodatabase d'entreprise dispose uniformément, en mosaïque, les canaux dans des blocs de pixels selon une dimension définie par l'utilisateur (la valeur par défaut est 128 par 128). Le tuilage des données de bande d’image permet un stockage et une récupération efficaces des données raster. Les informations relatives à la structure pyramidale sont stockées conformément à une résolution dégressive. La hauteur de la pyramide est déterminée par le nombre de niveaux spécifiés par l'application ou l'utilisateur.
La table de blocs raster (table la plus importante, qui stocke les informations sur les pixels et les pyramides) stocke une ligne par bloc (mosaïque) par canal, dans un jeu de données raster, pour chaque niveau de pyramide. Par exemple, dans le cas d’une image à trois bandes divisée en 12 blocs sans pyramides, la table BLK contient 36 lignes ; 12 blocs séparés pour chacune des trois bandes. La colonne qui contient les données de pixel du bloc est un grand objet binaire (BLOB).
Compression, pyramides et taille de tuile
D'autres structures de stockage peuvent être prises en compte lors du stockage et de la gestion des données raster, notamment la compression, les jeux de données échantillonnés (pyramides et aperçus) et la taille des tuiles.
Compression
Il existe deux types de compression : sans perte et avec perte. Une compression sans perte signifie que les valeurs des pixels du jeu de données raster ne sont pas modifiées, contrairement à ce qui se passe dans une compression avec perte. Le taux de compression dépend du type de données de pixel ; plus l'image est homogène, plus le taux de compression est élevé. Il est conseillé de stocker les données qui seront utilisées à des fins d'analyse, et pas seulement d'affichage, à l'aide d'une compression sans perte. Le principal avantage de la compression des données est le gain d’espace de stockage ; le degré d’économie dépend de la méthode de compression et de la redondance des données. Un autre avantage réside dans une amélioration significative des performances, dans la mesure où vous transférez moins de paquets de données. Ainsi, lorsque vous accédez à des données d’image sur un réseau avec une faible bande passante, l’utilisation de la compression peut améliorer les performances grâce à une réduction de la quantité d’informations transférées. Il est alors possible de stocker des jeux de données d’image volumineux et transparents et de les transmettre rapidement à un client, à des fins d’affichage.
Les mosaïques comportent également une fonction de compression. Cela ne concerne pas le stockage du jeu de données d’image en cours de gestion, mais la compression appliquée à l’image générée lors de l’affichage. L’accès des données via le réseau est également amélioré grâce à la réduction de la taille du fichier transféré. Pour en savoir plus sur la propriété Allowed Compression Method (Méthodes de compression autorisées), consultez Propriétés du jeu de données mosaïque.
Jeux de données sous-échantillonnés pour un affichage rapide
Les jeux de données échantillonnés sont des rasters créés d'après les données d'origine, pour les jeux de données raster ou les mosaïques. Ils sont générés pour améliorer les performances et la vitesse de l'affichage. Lorsqu’ils sont créés pour des jeux de données raster, on les appelle des pyramides ; lorsqu’ils sont créés pour des jeux de données mosaïque, on parle de vues d’ensemble.
Pyramides et aperçus
| Pyramides | Aperçus | |
|---|---|---|
Créé pour | Jeux de données raster | Jeux de données mosaïque |
Format | Écrit des fichiers au format .ovr, avec quelques exceptions. Lit des pyramides stockées en externe, en tant que fichier .ovr ou .rrd, ou en interne. | Écrit des fichiers au format .tif. |
Stockage | Dans un fichier unique résidant généralement en regard du jeu de données raster source, via le même nom. | Par défaut, dans un dossier situé en regard de la géodatabase avec l’extension *.overviews, ou en interne, pour les géodatabases d’entreprise. L'emplacement du stockage peut être personnalisé. |
Espace de stockage | De 2 à 10 pour cent (par rapport aux jeux de données raster d’origine). | |
Facteur d'échantillonnage | 2 | La valeur par défaut est 3. Elle peut être mise à jour. |
Etendue |
|
|
Options lors de la création |
|
|
Taille de tuile
Dans une géodatabase d’entreprise ou une géodatabase fichier, les données raster sont stockées dans une structure dans laquelle les données sont représentées en mosaïque, indexées, mises en pyramide et très souvent compressées. En raison du tuilage, de l’indexation et de la mise en pyramides, chaque fois qu’une requête est effectuée sur les données raster, seules les tuiles nécessaires pour satisfaire à l’étendue et à la résolution de la requête sont retournées, et non pas le jeu de données entier. La taille de tuile contrôle le nombre de pixels que vous souhaitez stocker dans chaque bloc de mémoire de la base de données. Cette taille est spécifiée sous la forme d’un nombre de pixels en X et Y. La taille de tuile par défaut est 128 par 128 pixels. La plupart des applications ne nécessitent aucune modification de ces valeurs par défaut. Dans une géodatabase d’entreprise, les tuiles de données raster sont compressées avant d’être stockées dans la géodatabase.
Vous avez un commentaire à formuler concernant cette rubrique ?