Verwenden Sie Datensätze, die über eine URL oder API zugänglich sind, als Eingabe für ArcGIS Data Pipelines.
Verwendungshinweise
Beachten Sie beim Arbeiten mit URLs Folgendes:
- Verwenden Sie den Parameter URL, um das Dataset anzugeben, das Sie als Eingabe für die Data Pipeline verwenden möchten. Es werden nur HTTP- und HTTPS-URLs unterstützt.
- Die Verwendung von ArcGIS-Feature-Layern und -Tabellen als URL-Eingabe wird nicht empfohlen. ArcGIS-Feature-Layer sollten Ihrem Inhalt hinzugefügt und als Feature-Layer-Eingabe verwendet werden. Weitere Informationen zum Hinzufügen eines Feature-Layers zu Ihrem Inhalt finden Sie unter Hinzufügen eines Service oder Dokuments über eine URL.
- Der Parameter Diese URL erfordert eine Authentifizierung (Beta) bestimmt, ob die URL für den Zugriff auf Daten eine Authentifizierung erfordert (aktiviert) oder die Daten öffentlich zugänglich sind (deaktiviert). Dieser Parameter befindet sich derzeit im Beta-Stadium.
- Um Daten über eine URL zu laden, die eine Authentifizierung erfordert, müssen Sie zunächst ein Serviceverbindungselement erstellen. In Serviceverbindungselementen werden Anmeldeinformationen und geheime Zugriffsschlüssel, die in der Anforderung an die URL enthalten sind, sicher gespeichert. Führen Sie zum Erstellen einer Serviceverbindung die Schritte im nachstehenden Abschnitt "Herstellen der Verbindung mit URLs, die eine Authentifizierung erfordern" aus. Dieses Feature befindet sich derzeit im Beta-Stadium.
- Wenn Sie das von Ihnen konfigurierte Serviceverbindungselement ändern möchten, verwenden Sie den Parameter Serviceverbindung (Beta), um das aktuell ausgewählte Element zu entfernen, und wählen Sie eine der folgenden Optionen aus:
- Verbindung hinzufügen: Erstellen Sie ein Serviceverbindungselement.
- Element auswählen: Navigieren Sie in Ihren Inhalten, und wählen Sie ein vorhandenes Serviceverbindungselement aus.
- Verwenden Sie den Parameter Benutzerdefinierte Header (Beta), um die Namen und Werte der Header festzulegen, die in der URL-Anforderung gesendet werden sollen. Beispielsweise kann für eine API ein Header vom Typ Content-type erforderlich sein, für den ein bestimmter Wert festgelegt wurde. Es wird nicht empfohlen, Anmeldeinformationen und geheime Zugriffsschlüssel als Header anzugeben. Anmeldeinformationen und geheime Zugriffsschlüssel sollten in Serviceverbindungselementen gespeichert werden. Dieser Parameter befindet sich derzeit im Beta-Stadium.
- Verwenden Sie den Parameter Antwortformat, um das Format der Daten anzugeben, das von der URL zurückgegeben wird. Die folgenden Formatoptionen sind verfügbar:
- CSV oder durch Trennzeichen getrennt (z. B. .csv, .tsv und .txt)
- JSON (.json)
- GeoJSON(.geojson)
- Parquet (.parquet)
- GeoParquet (.parquet)
- Wenn die Formatoption CSV oder durch Trennzeichen getrennt angegeben ist, sind die folgenden Parameter für die Dataset-Definition verfügbar:
- Trennzeichen: Das Trennzeichen, mit dem Feld- und Datensatzwerte (bzw. Spalten- und Zeilenwerte) getrennt werden. Sie können die folgenden Optionen auswählen oder einen eigenen Wert eingeben:
- Komma (,): Feld- und Datensatzwerte werden durch Kommas (,) getrennt. Dies ist die Standardeinstellung.
- Tabstopp (\t): Feld- und Datensatzwerte werden durch Tabstopps (\t) getrennt.
- Senkrechter Strich (|): Feld- und Datensatzwerte werden durch senkrechte Striche (|) getrennt.
- Semikolon (;): Feld- und Datensatzwerte werden durch Semikolons (;) getrennt.
- Leerzeichen ( ): Feld- und Datensatzwerte werden durch Leerzeichen ( ) getrennt.
- Hat Kopfzeile: Gibt an, ob das Dataset eine Kopfzeile enthält. Der Standardwert ist "true". Bei der Festlegung auf "False" wird die erste Zeile als Datensatz verarbeitet.
- Hat mehrzeilige Daten: Gibt an, ob das Dataset Datensätze umfasst, die Zeilenumbruchzeichen enthalten. Der Standardwert ist "false". Wenn "true" festgelegt ist, werden Daten, die mehrzeilige Daten umfassen, richtig gelesen und formatiert.
- Zeichencodierung: Gibt den zum Lesen des angegebenen Datasets verwendeten Codierungstyp an. Die Standardeinstellung ist UTF-8. Sie können aus den verfügbaren Codierungsoptionen auswählen oder einen Codierungstyp angeben. Leerzeichen werden in Codierungswerten nicht unterstützt. So ist beispielsweise der Wert "ISO 8859-8" ungültig. Stattdessen muss "ISO-8859-8" angegeben werden.
- Trennzeichen: Das Trennzeichen, mit dem Feld- und Datensatzwerte (bzw. Spalten- und Zeilenwerte) getrennt werden. Sie können die folgenden Optionen auswählen oder einen eigenen Wert eingeben:
- Mit Felder können Sie Feldnamen und -typen konfigurieren, wenn der Wert des Datenformats CSV oder durch Trennzeichen getrennt entspricht. Mit der Schaltfläche Schema konfigurieren wird ein Dialogfeld geöffnet, das Dataset-Felder mit den folgenden Optionen enthält:
- Felder einbeziehen oder löschen: Sie können Felder entfernen, indem Sie das Kontrollkästchen neben dem entsprechenden Feld aktivieren. Standardmäßig werden alle Felder eingeschlossen.
- Feldname: Der in Data Pipelines verwendete Name des Feldes. Dieser Wert kann bearbeitet werden. Standardmäßig ist dieser Wert mit dem des Feldes im Quellen-Dataset identisch, es sei denn, der Quellenname enthält ungültige Zeichen oder stellt ein reserviertes Wort dar. Ungültige Zeichen werden durch einen Unterstrich (_) ersetzt, und reservierten Wörtern wird ein Unterstrich (_) vorangestellt.
- Feldtyp: Der Feldtyp, der in Data Pipelines verwendet wird.
Das Entfernen oder Ändern von Feldern in Data Pipelines hat keine Auswirkungen auf die Quelldaten.
In der folgenden Tabelle werden die verfügbaren Feldtypen beschrieben:
Feldtyp Beschreibung Zeichenfolge
Felder des Typs "Zeichenfolge" unterstützen eine Zeichenfolge aus Textzeichen.
Small Integer
Felder des Typs "Small Integer" unterstützen ganze Zahlen zwischen -32768 und 32767.
Integer
Felder des Typs "Integer" unterstützen ganze Zahlen zwischen -2147483648 und 2147483647.
Big Integer
Felder des Typs "Big Integer" unterstützen ganze Zahlen zwischen -9223372036854776000 und 9223372036854776000.
Float
Felder des Typs "Float" unterstützen Bruchzahlen zwischen ca. -3,4E38 und 3,4E38.
Double
Felder des Typs "Double" unterstützen Bruchzahlen zwischen ca. -2,2E308 und 1,8E308.
Datum
Felder des Typs "Datum" unterstützen Werte im Format yyyy-MM-dd HH:mm:ss, ein gültiger Wert ist z. B. 2025-12-31 13:30:30. Wenn die Datumswerte in einem anderen Format gespeichert sind, berechnen Sie mit dem Werkzeug Datums-/Uhrzeitfeld erstellen ein Datumsfeld.
Nur Datum
Felder des Typs "Datum" unterstützen Werte im Format yyyy-MM-dd, ein gültiger Wert ist z. B. 2025-12-31. Wenn die Werte des Typs "Nur Datum" in einem anderen Format gespeichert sind, verwenden Sie die Werte als Eingabe für das Werkzeug Feld berechnen, um ein Feld vom Typ "Nur Datum" zu berechnen.
Boolesch
Felder des Typs "Boolesch" unterstützen die Werte True und False. Wenn ein Feld Integer-Darstellungen boolescher Werte (0 und 1) enthält, wandeln Sie mit dem Werkzeug Felder aktualisieren die ganzen Zahlen in boolesche Werte um.
- Wenn die Formatoption JSON angegeben ist, ist der Parameter Stammeigenschaft verfügbar. Mit diesem Parameter können Sie eine Eigenschaft in der JSON-Struktur angeben, aus der Daten gelesen werden sollen. Sie können verschachtelte Eigenschaften referenzieren, indem Sie ein Dezimaltrennzeichen zwischen den einzelnen Eigenschaften verwenden, z. B. property.subProperty. Standardmäßig wird die vollständige JSON-Datei gelesen.
- Wenn die Formatoption GeoJSON angegeben ist, ist der Parameter Geometrietyp verfügbar. Dieser Parameter ist optional. Standardmäßig wird der Geometrietyp in der GeoJSON-Datei verwendet. Wenn die GeoJSON-Datei mehrere Geometrietypen enthält, müssen Sie einen Wert für diesen Parameter angeben. Gemischte Geometrietypen werden nicht unterstützt. Es wird nur der angegebene Typ verwendet. Die Optionen lauten Punkt, Multipoint, Polylinie und Polygon. Ein Geometriefeld mit den Positionen der GeoJSON-Daten wird automatisch berechnet und dem Eingabe-Dataset hinzugefügt. Das Geometriefeld kann als Eingabe für räumliche Operationen oder zum Aktivieren der Geometrie im Ausgabeergebnis verwendet werden.
- Mit den folgenden Optionen können Sie die Performance beim Lesen von Eingabe-Datasets verbessern:
- Verwenden Sie den Parameter Caching verwenden, um eine Kopie des Dataset zu speichern. Die gecachte Kopie wird nur beibehalten, solange mindestens eine im Editor geöffnete Browser-Registerkarte verbunden ist. Dadurch wird der Zugriff auf die Daten bei der Verarbeitung möglicherweise beschleunigt. Wenn die Quelldaten aktualisiert wurden, nachdem sie gecacht wurden, deaktivieren Sie diesen Parameter, und zeigen Sie eine Vorschau an, oder führen Sie das Werkzeug erneut aus.
- Konfigurieren Sie nach dem Konfigurieren eines Eingabe-Dataset die folgenden Werkzeuge, mit denen die Menge der verarbeiteten Daten begrenzt wird:
- Nach Attribut filtern: Es wird eine Teilmenge der Datensätze beibehalten, die bestimmte Attributwerte enthalten.
- Nach Ausdehnung filtern: Es wird eine Teilmenge der Datensätze innerhalb einer bestimmten räumlichen Ausdehnung beibehalten.
- Felder auswählen: Es werden nur die Felder von Interesse beibehalten.
- Ausschneiden: Es wird eine Teilmenge der Datensätze beibehalten, die sich mit bestimmten Geometrien überschneiden.
Herstellen der Verbindung mit URLs, die eine Authentifizierung erfordern (Beta)
Um sichere URLs zu authentifizieren, führen Sie die folgenden Schritte zum Erstellen eines Seviceverbindungselements im Data Pipelines-Editor aus:
- Klicken Sie auf der Werkzeugleiste des Data Pipelines-Editors auf Eingaben, und wählen Sie URL aus.
Das Dialogfeld Eine URL hinzufügen wird angezeigt.
- Geben Sie im Parameter URL die URL zu dem Dataset ein, einschließlich des vorangestellten https://.
- Verwenden Sie den Parameter Antwortformat, um das Format des Datasets anzugeben, das von der URL zurückgegeben wird.
- Aktivieren Sie die Option Diese URL erfordert eine Authentifizierung (Beta).
- Wählen Sie Neue Serviceverbindung hinzufügen aus.
- Klicken Sie auf Weiter.
Das Dialogfeld Eine Serviceverbindung hinzufügen wird angezeigt.
- Geben Sie im Parameter Basis-URL den Namen der Domäne an, an die die Serviceverbindung die Anmeldeinformationen und geheimen Zugriffsschlüssel sendet.
- Wählen Sie eine der folgenden Optionen aus dem Dropdown-Menü Authentifizierungstyp aus:
- API-Schlüssel: Erfordert einen API-Schlüssel, der als Header-Wert oder Abfrageparameter verwendet wird.
- Standard: Erfordert einen Benutzernamen und ein Kennwort.
- Geben Sie die Werte für die Authentifizierungsparameter an. Verwenden Sie die Vorschau unten im Dialogfeld, um sicherzustellen, dass das Format den Anforderungen der URL entspricht.
Wenn Sie im vorherigen Schritt API-Schlüssel ausgewählt haben, geben Sie die folgenden Authentifizierungsparameter an:
- Speicherort des Parameters: Gibt an, ob der API-Schlüssel in einem Header oder einem Abfrageparameter gesendet wird.
- Parametername: Gibt den Namen des Headers oder des Abfrageparameters an.
- API-Schlüssel: Gibt den API-Schlüssel an.
- API-Schlüssel-Präfix (optional): Gibt einen Wert an, der dem API-Schlüssel vorangestellt wird, z. B. "Bearer". Dieser Parameter ist optional.
- Klicken Sie auf Weiter.
Die Elementdetailseite wird angezeigt.
- Geben Sie einen Titel für das neue Serviceverbindungselement an.
Dieser Titel wird in Ihren Inhalten angezeigt. Sie haben zudem die Möglichkeit, das Element in einem bestimmten Ordner abzuspeichern und Tags oder eine Zusammenfassung für das Element anzugeben.
- Klicken Sie auf Speichern, um das Serviceverbindungselement zu erstellen.
Der Zeichenfläche wird ein URL-Element hinzugefügt.
Einschränkungen
Die folgenden Einschränkungen sind bekannt:
- Wenn Ihre Organisation Beta-Apps und -Funktionen gesperrt hat, können Sie nicht auf die folgenden Parameter zugreifen:
- Diese URL erfordert eine Authentifizierung (Beta)
- Serviceverbindung (Beta)
- Benutzerdefinierte Header (Beta)
- Wenn die HTTPS-Zertifikate der angegebenen URL ungültig sind oder die URL nicht reagiert, können Sie das Dataset nicht als Eingabe für Data Pipelines verwenden.
- Wenn die angegebene URL nicht in Data Pipelines gelesen werden kann, Sie aber die Daten unter der URL direkt herunterladen können, verwenden Sie stattdessen die heruntergeladenen Daten als Eingabe für das Werkzeug Datei.
- Es ist nicht möglich, eine benutzerdefinierte IP-Adresse als URL zu verwenden. Es werden nur Domänennamen unterstützt.
- URLs, die die Domäne arcgis.com enthalten, werden nicht unterstützt. Verwenden Sie anstelle von ArcGIS-URLs als Eingabe die Werkzeuge Datei oder Feature-Layer.
- Benutzerdefinierte Ports werden nicht unterstützt.
- Einige Header-Werte werden nicht als Eingabe für den Parameter Benutzerdefinierte Header (Beta) unterstützt, einschließlich des Headers Authorization. Weitere Informationen zum sicheren Speichern von Zugriffsschlüsseln finden Sie im Abschnitt "Herstellen der Verbindung mit URLs, die eine Authentifizierung erfordern".
- Umleitungs-URLs werden möglicherweise nicht unterstützt.
Weitere Informationen zur Diagnose von URL-Umleitungen finden Sie in der Data Pipelines-Community.
- Esri JSON-Daten (.esrijson) werden nicht unterstützt.
- Wenn das Dataset Feldnamen mit Leerzeichen oder ungültigen Zeichen enthält, werden die Namen automatisch mit Unterstrichen aktualisiert. So wird zum Beispiel ein Feld namens Population 2022 in Population_2022 und ein Feld namens %Employed in _Employed umbenannt.
- Um ein Serviceverbindungselement für Verbindungen mit URLs, die eine Authentifizierung erfordern, zu verwenden, müssen Sie der Besitzer des Elements sein. Serviceverbindungselemente sind privat und können nicht freigegeben werden.
Verwandte Themen
Weitere Informationen finden Sie unter Dataset-Konfiguration.