Big-Data-Analyse

Durch die Big-Data-Analyse erfolgen Batch-Analysen und die Verarbeitung gespeicherter Daten, z. B. Daten in einem Feature-Layer oder in Big Data Stores in der Cloud wie Amazon S3 und Azure Blob Storage. Big-Data-Analysen werden in der Regel zum Zusammenfassen von Beobachtungen, zum Analysieren von Mustern und für die Datenanreicherung verwendet. Bei der Analyse, die durchgeführt werden kann, können Werkzeuge aus den folgenden Werkzeugkategorien in Velocity verwendet werden:

  • Muster analysieren
  • Daten anreichern
  • Positionen suchen
  • Daten verwalten
  • Daten zusammenfassen
  • Nachbarschaftsanalyse verwenden

Beispiele

  • Umweltwissenschaftler können aus einem Dataset, das mehrere Millionen Messwerte aus Datensätzen von statischen Sensoren enthält, die Zeiten und Orte mit hohen Ozonwerten im Land herausfiltern.
  • Als Einzelhandelsanalyst können Sie Millionen anonymer Mobiltelefonstandorte innerhalb eines bestimmten Zeitbereichs verarbeiten, um die Anzahl potenzieller Kunden innerhalb einer bestimmten Entfernung zum Filialstandort zu ermitteln.
  • Als GIS-Analyst können Sie wiederkehrende Big-Data-Analysen durchführen, bei denen eine Datenquelle alle fünf Minuten auf neue Features geprüft und eine Benachrichtigung gesendet wird, wenn bestimme Attributbedingungen oder räumliche Bedingungen erfüllt sind.

Komponenten einer Big-Data-Analyse

Eine Big-Data-Analyse besteht aus drei Komponenten:

  • Quellen
    • Eine Datenquelle wird verwendet, um statische oder echtzeitnahe Daten in eine Big-Data-Analyse zu laden. Es sind zahlreiche Datenquellentypen verfügbar. Weitere Informationen zu Quellen und verfügbaren Quellentypen finden Sie unter Was ist eine Datenquelle?
    • Eine Analyse kann mehrere Datenquellen enthalten.
  • Werkzeuge
    • Mit Werkzeugen werden Daten, die aus Quellen geladen werden, verarbeitet oder analysiert.
    • Bei einer Big-Data-Analyse können mehrere Werkzeuge verwendet werden.
    • Die Werkzeuge können miteinander verbunden werden, wobei die Ausgabe eines Werkzeugs die Eingabe des nächsten Werkzeugs darstellt.
  • Ausgaben
    • Eine Ausgabe bestimmt, was mit den Ergebnissen aus der Verarbeitung einer Big-Data-Analyse geschehen soll.
    • Dabei stehen mehrere Ausgabeoptionen zur Verfügung wie das Speichern von Features in einem neuen oder vorhandenen Feature-Layer, das Schreiben von Features in einen Cloud-Layer in Amazon S3 oder Azure Blob Storage und viele mehr. Weitere Informationen finden Sie unter Einführung in Ausgaben und Grundlagen der Ausgaben von Analysen.
    • Das Ergebnis eines Werkzeugs oder einer Quelle kann an mehrere Ausgaben gesendet werden.

Arbeiten mit Ausgaben

Beim Durchführen einer Echtzeit- oder Big-Data-Analyse wird mindestens eine Ausgabe generiert. Je nach konfigurierten Ausgabetypen gibt es mehrere Möglichkeiten, in ArcGIS Velocity auf diese Ausgaben zuzugreifen und mit diesen Ausgaben zu interagieren.

ArcGIS-Feature-Layer- und ArcGIS-Stream-Layer-Ausgaben

Wenn bei einer Echtzeit- oder Big-Data-Analyse eine Feature-Layer- oder Stream-Layer-Ausgabe generiert wird, können Sie mit diesen Ausgabe-Layern in Velocity interagieren. Diese Methoden sind erst verfügbar, nachdem die Analyse durchgeführt wurde.

Zugriff auf Feature-Layer- und Stream-Layer-Ausgaben in der Analyse

Wenn Sie eine Analyse bearbeiten, die ausgeführt wurde und erfolgreich Ausgabe-Layer erstellt hat, klicken Sie mit der rechten Maustaste auf einen Feature- oder Stream-Layer-Knoten im Analyse-Editor, um die verfügbaren Optionen anzuzeigen, darunter Zugriff auf die Knoteneigenschaften, Ändern der Knotenbeschriftung, Anzeigen der Elementdetails, Öffnen des Layers in Map Viewer oder Scene Viewer, Stichprobenentnahme für Knotendaten, Entfernen des Knotens usw.

Zugriff auf Feature-Layer- und Stream-Layer-Ausgaben über die Seite "Layer"

Alle durch Echtzeit- oder Big-Data-Analysen erstellte Feature-Layer, Kartenbild-Layer und Stream-Layer werden auf der Seite Layer von Velocity angezeigt. Von hier aus können Sie vorhandene Layer bearbeiten, diese Layer in Map Viewer anzeigen, auf die Elementdetails zugreifen und diese anzeigen, den Layer im REST-Services-Verzeichnis öffnen sowie die Layer löschen und freigeben.

Amazon S3- und Azure-Blob Store-Ausgaben

Im Rahmen von Big-Data-Analysen können Ausgabe-Features in Amazon S3- oder Azure Blob Store-Cloud-Speicher geschrieben werden. Nach Abschluss einer Big-Data-Analyse sind die Daten im jeweiligen Cloud-Verzeichnis verfügbar. Wenn die Ausgabe nicht wie erwartet angezeigt wird, prüfen Sie die Registerkarte Protokolle.

Alle anderen Ausgaben

Weitere Ausgabetypen für Big-Data-Analysen sind E-Mail und Kafka. Bei diesen Ausgaben stellt Velocity eine Verbindung mit der ausgewählten Ausgabe her und sendet die Ereignisdaten entsprechend an die Ausgabe.

Ausführen einer Big-Data-Analyse (Zeitplan)

Für Big-Data-Analysen lassen sich zwei Arten von Ausführungen konfigurieren. Sie können entweder einmal ausgeführt werden oder ihre Ausführung kann geplant werden. Denken Sie beim Ändern der Ausführungseinstellungen daran, auf Übernehmen zu klicken, um die Änderungen an der Big-Data-Analyse zu speichern.

Wird einmal ausgeführt

Für eine einmalige Ausführung konfigurierte Big-Data-Analysen werden nur ausgeführt, wenn Sie die Big-Data-Analyse starten. Bei der Analyse werden die Verarbeitung und die Analyse wie definiert ausgeführt. Nach Abschluss wird die Analyse beendet. Dies ist ein Unterschied zu Feeds, Echtzeitanalysen und geplanten Big-Data-Analysen, die nach dem Start alle weiter ausgeführt werden. Wird einmal ausgeführt ist die Standardoption für Big-Data-Analysen.

Schaltfläche "Zeitplan" in den Ausführungseinstellungen: Auswahl "Wird einmal ausgeführt"

Geplant

Für eine Big-Data-Analyse kann eine regelmäßige Ausführung (z. B. alle fünf Minuten) oder die Ausführung zu einem wiederkehrenden Zeitpunkt (z. B. täglich um 4 Uhr) geplant werden.

Schaltfläche "Zeitplan" in den Ausführungseinstellungen: Auswahl "Wird regelmäßig alle fünf Minuten ausgeführt"

Wenn eine Big-Data-Analyse so konfiguriert wird, dass sie nach dem Starten der Analyse nach einem Zeitplan ausgeführt wird, wird sie so lange ausgeführt, bis sie beendet wird. Im Gegensatz zu einer Echtzeitanalyse werden bei einer gestarteten geplanten Big-Data-Analyse nur Ressourcen genutzt, solange die Analyse durchgeführt wird. Wenn beispielsweise für eine Big-Data-Analyse eine regelmäßige Ausführung einmal pro Stunde geplant wird und die Analyse in vier Minuten abgeschlossen ist, werden bei der Big-Data-Analyse nur einmal pro Stunde die vier Minuten lang, die zum Durchführen der Analyse benötigt werden, Ressourcen genutzt.

Weitere Informationen zur Zeitplanung von Big-Data-Analysen finden Sie unter Planen wiederkehrender Big-Data-Analysen.

Durchführen von echtzeitnahen Analysen

Mit geplanten Big-Data-Analysen können echtzeitnahe Analysen durchgeführt werden, bei denen nur die seit der letzten Durchführung zuletzt zu einem Feature-Layer hinzugefügten Features verarbeitet werden. Weitere Informationen zu Anwendungsfällen und Optionen zum Konfigurieren von echtzeitnahen Analysen finden Sie unter Durchführen von echtzeitnahen Analysen.

Generieren von aktuellen Informationsprodukten

Alternativ können geplante Big-Data-Analysen auch zum Generieren von aktuellen Informationsprodukten in einem benutzerdefinierten Intervall verwendet werden. Weitere Informationen und Beispiele für Anwendungsfälle und Optionen für Workflows dieser Art finden Sie unter Generieren von aktuellen Informationsprodukten.

Ausführungseinstellungen

Bei Big-Data-Analysen können Sie die Ausführungseinstellungen anpassen. Diese Einstellungen steuern die Ressourcenzuweisung Ihrer Velocity-Bereitstellung an Ihre Analyse für die Verarbeitung. Denken Sie daran, Ihre Analyse zu speichern, wenn Sie eine Änderung an den Ausführungseinstellungen vorgenommen haben.

Generell gilt: Je mehr Ressourcen für eine Analyse bereitgestellt wurden, desto schneller erfolgt die Verarbeitung und desto schneller erhalten Sie Ergebnisse. Beim Arbeiten mit größeren Datasets oder komplexen Analysen hat es sich bewährt und ist manchmal unverzichtbar, die Ressourcenzuweisung für eine Analyse zu erhöhen.

Bei einer einfachen Analyse mit nur wenigen Features, die mit der Einstellung Mittel (Standard) ausgeführt wird, können Sie dagegen die Ressourcenzuweisung in den Ausführungseinstellungen verringern, indem Sie die Einstellung Klein wählen. Dadurch können Sie mehr Feeds, Echtzeitanalysen und Big-Data-Analysen in Ihrer Velocity-Bereitstellung ausführen.

Ausführungseinstellungen der Ressourcenzuweisung der Big-Data-Analyse

Überlegungen und Beschränkungen

Es gibt verschiedene Überlegungen, die bei der Verwendung von Big-Data-Analysen in Betracht gezogen werden sollten.

  • Big-Data-Analysen sind für die Verwendung mit hohen Datenvolumen und die Zusammenfassung von Mustern und Trends optimiert, die in der Regel einen im Vergleich zur Anzahl der Eingabe-Features reduzierten Satz Ausgabe-Features oder Datensätze ergibt.
  • Zum Laden und Schreiben von riesigen Volumen an Features in einem Durchgang sind Big-Data-Analysen nicht optimiert. Das Schreiben von Features im zweistelligen Millionenbereich mit einer Big-Data-Analyse kann länger dauern.
  • Daher wird empfohlen, die Big-Data-Analyse zur Zusammenfassung und Analyse und weniger zum Kopieren von Daten zu verwenden.
  • Die Ausführungseinstellung Groß, die mit Standard- und Advanced-Lizenzen von ArcGIS Velocity verfügbar ist, kann nur mit der Einstellung Wird einmal ausgeführt verwendet werden.