La fuente de Amazon S3 lee registros de los archivos almacenados en un bucket de Amazon S3 y realiza análisis en ArcGIS Velocity.
Ejemplos
A continuación, se muestran ejemplos de usos de la fuente de Amazon S3:
- Un investigador desea cargar cientos de archivos de texto delimitado de un bucket de Amazon S3 a Velocity para realizar análisis.
- Un departamento de SIG almacena shapefiles de límites comúnmente utilizados en un bucket de Amazon S3 y desea cargar el shapefile de límites del condado en Velocity como límite de agregación.
Notas de uso
Tenga en cuenta lo siguiente al trabajar con la fuente de Amazon S3:
- Todos los archivos identificados en el bucket de Amazon S3 por el patrón de nomenclatura especificado en el Dataset deben tener el mismo esquema y tipo de geometría. Si especifica un nombre de carpeta para el parámetro Dataset, todos los archivos de los directorios deben tener el mismo tipo de archivo y esquema.
- La clave de acceso secreta se cifra la primera vez que se guarde el análisis y se almacena en un estado cifrado.
- Al especificar la ruta de la carpeta, utilice barras diagonales (/).
- Después de configurar las propiedades de conexión de origen, consulte Configurar datos de entrada para obtener información sobre cómo definir el esquema y las propiedades clave.
- Al utilizar el modo de acceso Público para conectarse a buckets públicos de Amazon S3 utilizando Velocity, el bucket público de Amazon S3 debe tener la acción Lista otorgada a Todos (acceso público) concedida en la lista de control de acceso del bucket.
- Se requieren determinadas acciones de Amazon S3 para la política de usuarios asociada a la clave de Amazon proporcionada para que Velocity pueda conectarse correctamente a un bucket de Amazon S3 y a los datos del bucket y la ruta de carpeta proporcionados.
- La acción s3:ListBucket es obligatoria para el bucket especificado.
- La acción s3:GetObject es obligatoria en la ruta de carpeta y los recursos secundarios especificados (arn:aws:s3:::yourBucketName/*) para que una fuente de Amazon S3 pueda leer los datos.
Parámetros
| Parámetro | Descripción | Tipo de datos |
|---|---|---|
Clave de acceso | Id. de clave de acceso de Amazon para el bucket de S3, por ejemplo, AKIAIOSFODNN7EXAMPLE. Velocity utiliza la clave de acceso para cargar fuentes de datos especificadas en la aplicación. Para obtener más información sobre las claves de acceso de Amazon, consulte Acceder a AWS utilizando sus credenciales de AWS en la documentación de AWS. | Cadena de caracteres |
Clave secreta | Clave de acceso secreta de Amazon para el bucket de S3, por ejemplo, wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY. Velocity utiliza la clave de acceso para cargar fuentes de datos especificadas en la aplicación. La clave de acceso secreta se cifra la primera vez que se guarde el análisis y se almacena en un estado cifrado. Para obtener más información sobre las claves de acceso secretas de Amazon, consulte Acceder a AWS utilizando sus credenciales de AWS en la documentación de AWS. | Cadena de caracteres |
Nombre del bucket de S3 | Nombre del bucket de Amazon S3 que contiene los archivos que se van a leer. | Cadena de caracteres |
Ruta de carpeta | Ruta de la carpeta que contiene los archivos que se van a cargar en Velocity.
| Cadena de caracteres |
Dataset | El nombre del archivo que se va a leer si se va a cargar un único archivo o un patrón que indica un conjunto de archivos, debe ir seguido de la extensión del tipo de archivo. Para crear un patrón que indique un conjunto de archivos, utilice un asterisco (*) como comodín independiente o junto con un nombre de archivo parcial. Todos los archivos identificados por el patrón de nomenclatura deben tener el mismo esquema y tipo de geometría. Opcionalmente, si va a cargar varios archivos o carpetas anidadas, también puede especificar el nombre de la carpeta que la contiene como el nombre del dataset en lugar de un nombre de archivo con extensión. Si especifica un nombre de carpeta contenedora como dataset, no puede utilizar comodines ni restringir los tipos de archivo. Se incluirán todos los archivos de la carpeta especificada y todos deben tener el mismo tipo de archivo. A continuación, se muestran algunos ejemplos:
| Cadena de caracteres |
Cargar solo archivos recientes | Especifica si la fuente de Amazon S3 debe cargar todos los archivos o solo los archivos creados o modificados desde la última ejecución del análisis.
El parámetro solo se puede configurar como true para los análisis de big data programados. En la primera ejecución de un análisis de big data programado con el parámetro establecido en true, el análisis de big data no carga ningún archivo y se completará la ejecución del análisis. Las siguientes ejecuciones de análisis cargan archivos con una fecha de la última modificación desde la última ejecución programada del análisis. | Booleano |
Consideraciones y limitaciones
Existen varias consideraciones que se deben tener en cuenta a la hora de utilizar una fuente de Amazon S3:
- Todos los archivos identificados en el bucket de Amazon S3 por el patrón de nomenclatura de la propiedad del dataset deben tener el mismo esquema y tipo de geometría.
- Actualmente no se admite el procesamiento de JSON con una matriz de objetos a los que hace referencia un nodo raíz para almacenamiento de Amazon S3 o Azure Blob.