Amazon S3

Die Amazon S3-Quelle liest Datensätze aus Dateien in einem Amazon S3-Bucket und führt die Analyse in ArcGIS Velocity durch.

Beispiele

  • Ein Forscher möchte Hunderte von durch Trennzeichen getrennten Textdateien aus einem Amazon S3-Bucket in Velocity laden, um eine Analyse durchzuführen.
  • Eine GIS-Abteilung speichert häufig verwendete Grenzen-Shapefiles in einem Amazon S3-Bucket und möchte das Landkreisgrenzen-Shapefile als Aggregationsgrenze in Velocity laden.

Verwendungshinweise

  • Alle Dateien im Amazon S3-Bucket, die durch das Benennungsmuster in der Dataset-Eigenschaft identifiziert werden, müssen denselben Schema- und Geometrietyp aufweisen.
  • Ein geheimer Zugriffsschlüssel wird beim erstmaligen Speichern der Analyse verschlüsselt und in verschlüsseltem Zustand gespeichert.
  • Verwenden Sie bei der Angabe des Ordnerpfades Schrägstriche (/).
  • Nachdem Sie die Quellverbindungseigenschaften konfiguriert haben, lesen Sie Konfigurieren von Eingabedaten, um zu erfahren, wie Sie das Schema und die Schlüsseleigenschaften definieren.
  • Wenn Sie den Zugriffsmodus Öffentlich verwenden, um mithilfe von Velocity eine Verbindung zu öffentlichen Amazon S3-Buckets herzustellen, muss bei dem öffentlichen Amazon S3-Bucket in der Bucket-Zugriffssteuerungsliste die Aktion Liste auf Alle (öffentlicher Zugriff) gesetzt sein.
  • Es sind bestimmte Amazon S3-Aktionen für die Benutzerrichtlinie, die mit dem angegebenen Amazon-Schlüssel verknüpft ist, erforderlich, damit Velocity erfolgreich eine Verbindung zu einem Amazon S3-Bucket und den Daten in dem bereitgestellten angegebenen Bucket und dem Ordnerpfad herstellen kann.
    • Für den angegebenen Bucket wird die Aktion s3:ListBucket benötigt.
    • Für den angegebenen Ordnerpfad und die Unterressourcen (arn:aws:s3:::yourBucketName/*) für eine Amazon S3-Quelle zum Lesen von Daten ist die Aktion s3:GetObject erforderlich.

Parameter

ParameterBeschreibungDatentyp

Zugriffsschlüssel

Die Amazon-Zugriffsschlüssel-ID für den S3-Bucket, z. B. AKIAIOSFODNN7EXAMPLE.

Velocity verwendet den Zugriffsschlüssel, um angegebene Datenquellen in die App zu laden.

Informationen zu Amazon-Zugriffsschlüsseln finden Sie unter Understanding and getting your AWS credentials in der AWS-Dokumentation.

Zeichenfolge

Geheimer Schlüssel

Der geheime Amazon-Zugriffsschlüssel für den S3-Bucket, z. B.: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY.

Velocity verwendet den Zugriffsschlüssel, um angegebene Datenquellen in die App zu laden.

Ein geheimer Zugriffsschlüssel wird beim erstmaligen Speichern der Analyse verschlüsselt und in verschlüsseltem Zustand gespeichert.

Informationen zu geheimen Amazon-Zugriffsschlüsseln finden Sie unter Understanding and getting your AWS credentials in der AWS-Dokumentation.

Zeichenfolge

S3-Bucket-Name

Der Name des Amazon S3-Buckets, der die zu lesenden Dateien enthält.

Zeichenfolge

Ordnerpfad

Der Pfad des Ordners, der die Dateien enthält, die in Velocity geladen werden sollen.

  • Wenn Sie Dateien von der Stammverzeichnisebene eines Amazon S3-Buckets laden, geben Sie einen einzelnen Schrägstrich (/) ein.
  • Wenn Sie Dateien aus einem Ordner im Amazon S3-Bucket laden, geben Sie einen Schrägstrich, gefolgt vom Pfad zu dem Ordner ein, z. B. /gis_data_folder/folder_containing_desired_dataset.

Zeichenfolge

Dataset

Der Name der zu lesenden Datei, wenn Sie eine einzelne Datei laden, oder ein Muster, das eine Gruppe von Dateien angibt, gefolgt von der Dateinamenserweiterung.

Zum Erstellen eines Musters, das eine Gruppe von Dateien angibt, verwenden Sie ein Sternchen (*) als Platzhalter, entweder einzeln oder zusammen mit einem partiellen Dateinamen.

Alle durch das Benennungsmuster identifizierten Dateien müssen denselben Schema- und Geometrietyp aufweisen. Nachfolgend finden Sie einige Beispiele:

  • Eine einzelne Datei in einem Ordner: filename.csv
  • Alle Dateien in einem Ordner: *.shp
  • Ausgewählte Dateien in einem Ordner: sensor_data_201*.json

Zeichenfolge

Nur zuletzt verwendete Dateien laden

Gibt an, ob die Amazon S3-Quelle alle Dateien lädt oder nur die Dateien, die seit der letzten Ausführung der Analyse erstellt oder modifiziert wurden.

  • Die Standardeinstellung ist false. Dies bedeutet, dass bei jeder Ausführung der Analyse alle Dateien im angegebenen Bucket und Pfad mit dem angegebenen Dataset-Namen geladen werden.
  • Bei Festlegung auf true werden bei jeder Ausführung der Analyse nur die Dateien geladen, die erstellt oder modifiziert wurden.

Dieser Parameter kann nur für geplante Big-Data-Analysen auf true festgelegt werden.

Wenn bei der ersten Ausführung einer geplanten Big-Data-Analyse dieser Parameter auf true festgelegt ist, werden die Big-Data-Analysen ausgeführt, ohne dass Dateien geladen werden. Bei nachfolgenden Ausführungen der Analyse werden Dateien geladen, die seit der letzten geplanten Ausführung dieser Analyse zuletzt geändert wurden.

Boolesch

Überlegungen und Beschränkungen

  • Alle Dateien im Amazon S3-Bucket, die durch das Benennungsmuster in der Dataset-Eigenschaft identifiziert werden, müssen denselben Schema- und Geometrietyp aufweisen.
  • Das Erfassen von JSON-Daten mit einem Array von Objekten, auf das von einem Stammknoten verwiesen wird, wird für Amazon S3 und Azure Blob-Speicher derzeit nicht unterstützt.