Hier finden Sie Antworten auf häufig gestellte Fragen zu ArcGIS Data Pipelines.
- Was ist ArcGIS Data Pipelines?
- Verbraucht Data Pipelines Credits?
- Ist Data Pipelines in ArcGIS Enterprise verfügbar?
- Wie greife ich auf Data Pipelines zu?
- Wie finde ich einen guten Einstieg in Data Pipelines?
- Welche Daten können in Data Pipelines verwendet werden?
- Kann ich Layer von ArcGIS Living Atlas als Eingabe für meine Data Pipeline verwenden?
- Kann ich eine Verbindung zu meinen Datasets auf der Google Cloud-Plattform herstellen?
- Meine Daten wurden in ihrer Quellenposition aktualisiert. Wie synchronisiere ich das Dataset in meiner Data Pipeline?
- Wo kann ich meine Data Pipelines-Ergebnisse speichern? Kann ich sie in Amazon S3 speichern?
- Wie viele Features kann ich mit Data Pipelines in einen Feature-Layer oder eine Tabelle schreiben?
- Kann ich mit Data Pipelines Adressen geokodieren?
- Welche Werkzeuge sind für zukünftige Versionen geplant?
- Kann ich eine Data Pipeline freigeben?
- Kann eine Aktion im Data Pipelines-Editor rückgängig gemacht oder wiederholt werden?
- Gibt es eine Möglichkeit, Elemente zu kopieren und in ein Schema einzufügen?
- Kann ich die Ausführung einer Data Pipeline planen?
- Wie unterscheidet sich Data Pipelines von ArcGIS Velocity?
- Wie unterscheidet sich Data Pipelines von ArcGIS Data Interoperability?
- Wie unterscheidet sich Data Pipelines von ModelBuilder in Map Viewer?
- Ich bin ein Benutzer in einer neuen Organisation und kann nicht auf Data Pipelines zugreifen. Wie kann ich dieses Problem lösen?
Data Pipelines ist eine ArcGIS Online-Anwendung, die es Ihnen ermöglicht, eine Verbindung zu Daten aus verschiedenen Quellen herzustellen und diese zu verarbeiten und zu integrieren. Sie können die Daten vorbereiten und die Ergebnisse in Ihrem Web-GIS speichern, um sie für die Workflows Ihrer Organisation zu nutzen. Für alle diese Arbeitsschritte steht Ihnen eine intuitive Oberfläche zur Verfügung, auf der Sie die Workflows zur Datenvorbereitung erstellen, ausführen, speichern, freigeben und reproduzieren können.
Ja. Der Credit-Verbrauch basiert auf der Verwendungszeit der Rechenressource. Weitere Informationen finden Sie unter Rechenressourcen.
Aktive Rechenressourcen verbrauchen Credits. In den folgenden Szenarien sind Rechenressourcen aktiv:
- Interaktive Bearbeitung: Beim Erstellen oder Bearbeiten von Data Pipelines im Editor werden Credits verbraucht, während der Verbindungsstatus Verbunden lautet. Die Credit-Rate ist 50 Credits/Stunde und wird minutengenau berechnet, wobei mindestens 10 Minuten abgerechnet werden.
- Aufträge: Aufträge werden für geplante Data-Pipeline-Tasks ausgeführt, wenn Sie eine Data Pipeline mit ArcGIS API for Python ausführen oder wenn Sie die Ausführungsoption auf der Data Pipelines-Galerieseite verwenden. Aufträge verbrauchen nur Credits, während die Data Pipeline ausgeführt wird. Credits werden pro Ausführung für die Zeit berechnet, die für die Fertigstellung benötigt wird, und zwar in Höhe von 70 Credits pro Stunde, berechnet pro Minute. Es gibt keinen Mindestsatz für Aufträge.
- Nach Verwendung der Schaltfläche "Alle Verbindungen trennen" im Dialogfeld "Verbindungsdetails". Dadurch wird die Verbindung zu allen verbundenen Editoren getrennt, und es werden erst dann wieder Credits verbraucht, wenn mindestens ein Editor wieder verbunden wird.
- Nachdem alle Browser-Registerkarten mit verbundenen Editoren seit mindestens 10 Minuten geschlossen sind. Für diese 10 Minuten werden keine Credits verbraucht.
- Nach 30-minütiger Inaktivität auf allen Browser-Registerkarten. Der Status wird als Getrennt angezeigt.
- Die Ausführung eines geplanten Data-Pipeline-Tasks ist abgeschlossen.
- Wenn eine Data-Pipeline-Ausführung mit ArcGIS API for Pythonabgeschlossen ist.
Sie können auf Data Pipelines zugreifen, indem Sie im App-Startprogramm die Option Data Pipelines auswählen.
Für den Zugriff auf Data Pipelines, muss Ihr Benutzerkonto über die erforderlichen Berechtigungen verfügen. Unter Anforderungen finden Sie ausführlichere Informationen zu den Berechtigungen und Anforderungen für den Zugriff auf Data Pipelines.
Wenn Sie nicht sicher sind, ob die oben beschriebenen Anforderungen von Ihnen oder Ihrer Organisation erfüllt werden, wenden Sie sich an den Organisationsadministrator.
Zum Einstieg in Data Pipelines empfiehlt sich das Lernprogramm: Eine Data Pipeline erstellen. In dem Lernprogramm werden die wichtigsten Komponenten für die Verwendung von Data Pipelines beschrieben, wie beispielsweise das Herstellen einer Verbindung zu Daten, die Verarbeitung von Daten und das Ausführen einer Data Pipeline.
Weitere Ressourcen für den Einstieg finden Sie in den Blogbeiträgen der Data Pipelines-Community.
Die folgenden Datentypen werden als Eingabe unterstützt:
- Amazon S3
- Feature-Layer
- Dateien aus öffentlichen URLs
- In den Inhalt hochgeladene Dateien
- Google BigQuery
- Microsoft Azure Storage
- Snowflake
In der Dokumentation zu den verlinkten Eingabedatentypen finden Sie weitere Informationen zu unterstützten Dateitypen und erfahren, wie Sie eine Verbindung zu einem Eingabe-Dataset herstellen.
Ja. Sie können Feature-Layer von ArcGIS Living Atlas als Eingabe verwenden. Informationen zum Hinzufügen eines Layers zu einem Schema finden Sie unter Feature-Layer. Standardmäßig wird das Dialogfeld "Durchsuchen" zur Auswahl eines Feature-Layers in Eigene Inhalte geöffnet. Um nach einem Layer von ArcGIS Living Atlas zu suchen, wechseln Sie im Dialogfeld zu Living Atlas.
Nein, noch nicht. In künftigen Versionen werden die folgenden zusätzlichen Typen externer Datenquellen unterstützt:
- Google Cloud-Plattform
- Microsoft Azure Cosmos DB for PostgreSQL
- Aus API-Anforderungen zurückgegebene Daten
Es kann jedoch nicht garantiert werden, dass die Datenquellen in dieser Liste in einer bestimmten Version unterstützt werden. Möglicherweise werden auch Datenquellen hinzugefügt, die nicht hier aufgeführt sind. Wenn Sie Vorschläge für Datenquellen haben, die Ihre Workflows verbessern, freuen wir uns über Ihren Kommentar in den Foren der Community "Data Pipelines".
Meine Daten wurden in ihrer Quellenposition aktualisiert. Wie synchronisiere ich das Dataset in meiner Data Pipeline?
Wenn Sie Daten, die regelmäßig in der Quellenposition aktualisiert werden, in einer Data Pipeline verwenden möchten, sollten Sie für die Eingabe nicht den Parameter Caching verwenden verwenden. Bei deaktiviertem Caching liest Data Pipelines jedes Mal die neuesten Daten aus, wenn Sie eine Vorschau oder Ausführung anfordern. Bei aktiviertem Caching werden nur die Daten verwendet, die zum Zeitpunkt des Caching verfügbar waren.
Wenn Sie einen Ausgabe-Feature-Layer erstellt haben und diesen mit den neuesten Daten aktualisieren müssen, verwenden Sie die Option Ersetzen oder Hinzufügen und aktualisieren im Werkzeug Feature-Layer, und führen Sie die Data Pipeline erneut aus. Sie können die erneute Ausführung einer Data Pipeline automatisieren, indem Sie einen Task für das Data-Pipeline-Element planen. Weitere Informationen zum Automatisieren von Data-Pipeline-Workflows finden Sie unter Planen eines Data-Pipeline-Tasks.
Nein. Das einzige Ausgabeformat, das derzeit von Data Pipelines unterstützt wird, ist ein Feature-Layer. Es ist nicht möglich, Ergebnisse in andere Formate oder Speicher-Container wie beispielsweise Amazon S3 zu schreiben. Data Pipelines kann nur Daten aus Ihrem S3-Bucket lesen.
Weitere Informationen zu Ausgabe-Feature-Layern in Data Pipelines
In künftigen Versionen können die folgenden Werkzeuge hinzugefügt werden:
- Suchen und Ersetzen: Um in Feldern nach bestimmten Werten zu suchen und diese durch einen neuen Wert zu ersetzen.
- Adressen geokodieren: Um Zeichenfolgenadressen aus einer Tabelle oder Datei zu verwenden und die geokodierten Ergebnisse zurückzugeben.
Es kann jedoch nicht garantiert werden, dass die Werkzeuge in dieser Liste in einer künftigen Version unterstützt werden. Möglicherweise werden auch Werkzeuge hinzugefügt, die nicht hier aufgeführt sind. Wenn Sie Vorschläge für Werkzeuge haben, die Ihre Workflows verbessern, freuen wir uns über Ihren Kommentar in den Foren der Community "Data Pipelines".
Ja. Sie können Data Pipeline-Elemente für Gruppen in Ihrer Organisation oder die Öffentlichkeit freigeben. Nur der Besitzer des Elements kann Data Pipeline-Elemente bearbeiten. Verwenden Sie Gruppen mit gemeinsamer Aktualisierung, damit jeder in der Gruppe die Data Pipeline bearbeiten und speichern kann. Wenn eine Data Pipeline für eine Gruppe freigegeben wird, die nicht über gemeinsame Aktualisierungsfunktionen verfügt, können Sie die Data Pipeline mit der Option Speichern unter auf der Werkzeugleiste "Editor" als editierbare Kopie in Ihren Inhalten speichern.
Ja. Sie können Tasks für Data-Pipeline-Elemente erstellen, um Ihre Workflows nach Plan auszuführen. Weitere Informationen zum Erstellen von Data-Pipeline-Tasks finden Sie unter Planen eines Data-Pipeline-Tasks.
Es gibt gewisse Ähnlichkeiten zwischen Data Pipelines und Velocity in ArcGIS Online. Sie können in beiden Anwendungen eine Verbindung mit externen Datenquellen herstellen und die Daten in ArcGIS Online importieren, um sie im ArcGIS-System zu verwenden. Sie dienen jedoch einem unterschiedlichen Zweck. Velocity wurde speziell für die Echtzeit- und Big-Data-Verarbeitung entwickelt, da High-Speed-Datenströme von Sensoren und ähnlichen Quellen effizient verarbeitet werden. Außerdem können damit Analysen durchgeführt werden, z. B. Geräte-Tracking, Ereigniserkennung und Musteranalyse. Bei Data Pipelines handelt es sich in erster Linie um eine Anwendung für die Datenintegration, bei der Data-Engineering-Tasks im Mittelpunkt stehen, vor allem für nicht auf Sensoren basierende Datenströme. Velocity wird für die Verarbeitung von Echtzeitdaten verwendet, Data Pipelines dagegen für die Verwaltung und Optimierung von Daten, die nicht so häufig aktualisiert werden müssen.
Bei beiden Anwendungen handelt es sich um codefreie ETL-Werkzeuge für ArcGIS, die die Integration, Transformation und Bereinigung von Daten unterstützen. Sie unterscheiden sich jedoch insofern, als Data Pipelines eine webbasierte Anwendung ist, die sofort in ArcGIS Online verfügbar ist, während Data Interoperability eine Erweiterung für ArcGIS Pro ist, die eine separate Lizenz und Installation erfordert. Data Pipelines ist auf die Datenintegration für ArcGIS Online ausgerichtet, wobei die Ergebnisse in einem gehosteten Feature-Layer ausgegeben werden, während Data Interoperability mehr Eingaben und Dateitypen unterstützt und in der Lage ist, die Ergebnisse zurück in die Quelle zu schreiben.
ModelBuilder in Map Viewer und Data Pipelines ähneln sich insofern, als dass sie eine codearme Drag & Drop-Umgebung für die Erstellung von wiederholbaren Workflows im Web bieten. Es gibt jedoch einige wichtige Unterschiede:
- ModelBuilder ist zum Automatisieren von Analyse-Workflows mithilfe der Analysewerkzeuge in Map Viewer konzipiert. Data Pipelines ist zum Automatisieren der Workflows zur Datenintegration und -vorbereitung gedacht und enthält eine Reihe von fokussierten Werkzeugen zum Bereinigen, Formatieren und Vorbereiten von Daten für die Visualisierung und die anschließende Analyse.
- ModelBuilder unterstützt Feature-Layer und Tabellen. Data Pipelines hingegen unterstützt Vektor- und Tabellendaten aus einer Vielzahl von Quellen, darunter Amazon S3, Microsoft Azure Storage, Google BigQuery, Snowflake, Feature-Layer, hochgeladene lokale Dateien und direkt von URLs gelesene Daten.
- ModelBuilder ist eine im Rahmen von ArcGIS OnlineMap Viewer bereitgestellte Funktionalität, die in Map Viewer-Analysen integriert ist. Data Pipelines ist eine Anwendung, die unabhängig von Map Viewer genutzt wird.
Ich bin ein Benutzer in einer neuen Organisation und kann nicht auf Data Pipelines zugreifen. Wie kann ich dieses Problem lösen?
Der Data Pipelines-Service wird erst dann in Ihrer Organisation eingerichtet, wenn mindestens ein Feature-Layer veröffentlicht wurde. Dies ist das gleiche Verhalten wie bei anderen Services, z. B. räumlicher Analyse, Notebooks und anderen. Um dies zu beheben, navigieren Sie zu Ihrem Inhalt und erstellen Sie einen Feature-Layer. Dieser Schritt muss einmal pro Organisation durchgeführt werden, nicht pro Benutzer. Wenn das Problem weiterhin besteht, nachdem ein Feature-Layer veröffentlicht wurde, wenden Sie sich an Esri Technischer Support.