Durchführen von Big-Data-Analysen

Durch die Big-Data-Analyse erfolgen Batch-Analysen und die Verarbeitung gespeicherter Daten, z. B. Daten in einem Feature-Layer oder in Big Data Stores in der Cloud wie Amazon S3 oder Azure-BLOB. Big-Data-Analysen werden in der Regel zum Zusammenfassen von Beobachtungen, zum Analysieren von Mustern und für die Ereigniserkennung verwendet. Bei der Analyse, die durchgeführt werden kann, können Werkzeuge aus fünf verschiedenen Gruppen verwendet werden:

  • Muster analysieren
  • Daten anreichern
  • Positionen suchen
  • Daten verwalten
  • Daten zusammenfassen

Beispiele für die Big-Data-Analyse

  • Umweltwissenschaftler können aus einem Dataset, das mehrere Millionen Messwerte aus Datensätzen von statischen Sensoren enthält, die Zeiten und Orte mit hohen Ozonwerten im Land herausfiltern.
  • Als Einzelhandelsanalyst können Sie Millionen anonymer Mobiltelefonstandorte innerhalb eines bestimmten Zeitbereichs verarbeiten, um die Anzahl potenzieller Kunden innerhalb einer bestimmten Entfernung zum Filialstandort zu ermitteln.
  • Als GIS-Analyst können Sie wiederkehrende Big-Data-Analysen durchführen, bei denen eine Datenquelle alle fünf Minuten auf neue Features geprüft und eine Benachrichtigung gesendet wird, wenn bestimme Attributbedingungen oder räumliche Bedingungen erfüllt sind.

Komponenten einer Big-Data-Analyse

Eine Big-Data-Analyse besteht aus drei Komponenten:

  • Quellen:
    • Eine Datenquelle wird verwendet, um statische oder echtzeitnahe Daten in eine Big-Data-Analyse zu laden. Es sind zahlreiche Datenquellentypen verfügbar. Weitere Informationen zu Quellen und verfügbaren Quellentypen finden Sie unter Was ist eine Datenquelle?
    • Eine Analyse kann mehrere Datenquellen enthalten.
  • Werkzeuge:
    • Mit Werkzeugen werden Daten, die über Quellen geladen werden, verarbeitet oder analysiert.
    • Bei einer Big-Data-Analyse können mehrere Werkzeuge verwendet werden.
    • Die Werkzeuge können miteinander verbunden werden, wobei die Ausgabe eines Werkzeugs die Eingabe des nächsten Werkzeugs darstellt.
  • Ausgaben:
    • Eine Ausgabe bestimmt, was mit den Ergebnissen aus der Verarbeitung einer Big-Data-Analyse geschehen soll.
    • Dabei stehen mehrere Ausgabeoptionen zur Verfügung wie das Speichern von Features in einem neuen oder vorhandenen Feature-Layer, das Schreiben von Features in einen Cloud-Layer in Amazon S3 oder Azure Blob Storage und viele mehr. Weitere Informationen finden Sie unter Was ist eine Ausgabe? und Grundlagen der Ausgaben von Analysen.
    • Das Ergebnis eines Werkzeugs oder einer Quelle kann an mehrere Ausgaben gesendet werden.

Arbeiten mit Ausgaben

Beim Durchführen einer Echtzeit- oder Big-Data-Analyse wird mindestens eine Ausgabe generiert. Je nach konfiguriertem Ausgabetyp gibt es mehrere Möglichkeiten, in der Anwendung Velocity auf diese Ausgaben zuzugreifen und mit diesen Ausgaben zu interagieren.

ArcGIS-Feature-Layer- und ArcGIS-Stream-Layer-Ausgaben

Wenn bei einer Echtzeit- oder Big-Data-Analyse eine Feature-Layer- oder Stream-Layer-Ausgabe generiert wird, gibt es mehrere Möglichkeiten, mit diesen Ausgabe-Layern in Velocity zu interagieren. Diese Methoden sind erst verfügbar, nachdem die Analyse durchgeführt wurde.

Zugriff auf Feature-Layer- und Stream-Layer-Ausgaben in der Analyse

Verwenden Sie in der Bearbeitungsansicht einer Analyse, die durchgeführt wurde und bei der die Ausgaben erstellt wurden, die Aktionsschaltfläche (in der Workflow-Ansicht), oder klicken Sie mit der rechten Maustaste auf einen Knoten (in der Modellansicht), um weitere Optionen anzuzeigen. Anschließend können Sie auf Links klicken, um Elementdetails anzuzeigen, einen Layer in Map Viewer oder Scene Viewer zu öffnen oder den Layer (Feature-Layer) zu löschen.

Aktionen für Feature-Layer- oder Stream-Layer-Ausgaben durchführen

Darüber hinaus können Sie auf die Aktionsschaltfläche rechts oben auf der Analysebearbeitungsoberfläche klicken, um die Analyseelementdetails anzuzeigen oder alle Ausgabe-Feature-Layer gleichzeitig zu einer Karte hinzuzufügen.

Zugriff auf Feature-Layer- und Stream-Layer-Ausgaben über die Seite "Layer"

Alle durch Echtzeit- oder Big-Data-Analysen erstellte Feature-Layer, Kartenbild-Layer und Stream-Layer werden auf der Seite Layer der Anwendung Velocity angezeigt. Auf der Seite Layer können Sie den Layer per Mausklick in Map Viewer anzeigen, Elementdetails anzeigen, die Aggregations- und Symbolisierungseinstellungen eines Kartenbild-Layers bearbeiten oder den REST-Endpunkt des Services öffnen.

Amazon S3- und Azure Blob Store-Ausgaben

Im Rahmen von Big-Data-Analysen können Ausgabe-Features in Amazon S3- oder Azure Blob Store-Cloud-Speicher geschrieben werden. Nach Abschluss einer Big-Data-Analyse sind die Daten im jeweiligen Cloud-Verzeichnis verfügbar. Wenn die Ausgabe nicht wie erwartet angezeigt wird, prüfen Sie die Analyseprotokolle.

Alle anderen Ausgaben

Weitere Ausgabetypen für Big-Data-Analysen sind E-Mail und Kafka. Bei diesen Ausgaben stellt Velocity eine Verbindung mit der definierten Ausgabe her und sendet die entsprechenden Ausgabedatensätze.

Ausführen einer Big-Data-Analyse (Zeitplan)

Für Big-Data-Analysen können zwei Möglichkeiten der Ausführung konfiguriert werden:

Denken Sie daran, auf "Übernehmen" zu klicken, und speichern Sie dann die Änderungen an der Analyse, wenn Sie die Planung der Ausführung der Analyse anpassen.

Wird einmal ausgeführt.

Big-Data-Analysen, für die eine einmalige Ausführung konfiguriert wurde, werden ausgeführt, wenn der Benutzer die Analyse startet. Bei der Analyse werden die Verarbeitung und die Analyse wie definiert ausgeführt. Nach Abschluss wird die Analyse beendet. Dies ist ein Unterschied zu Feeds, Echtzeitanalysen und geplanten Big-Data-Analysen, die nach dem Start alle weiter ausgeführt werden. "Wird einmal ausgeführt" ist die Standardoption für Big-Data-Analysen.

Schaltfläche "Zeitplan" in den Ausführungseinstellungen: Auswahl "Wird einmal ausgeführt"

Geplant

Für eine Big-Data-Analyse kann die Ausführung an einem benutzerdefinierten Datum und/oder zu einer benutzerdefinierten Uhrzeit geplant werden. Für eine Big-Data-Analyse kann eine regelmäßige Ausführung (z. B. alle 5 Minuten) oder die Ausführung zu einem wiederkehrenden Zeitpunkt (z. B. täglich um 4 Uhr) geplant werden.

Schaltfläche "Zeitplan" in den Ausführungseinstellungen: Auswahl "Wird regelmäßig alle 5 Minuten ausgeführt"

Wenn eine Big-Data-Analyse so konfiguriert wird, dass sie nach dem Starten der Analyse nach einem Zeitplan ausgeführt wird, wird sie so lange ausgeführt, bis sie beendet wird. Im Gegensatz zu einer Echtzeitanalyse werden bei einer gestarteten geplanten Big-Data-Analyse nur Ressourcen genutzt, solange die Analyse durchgeführt wird. Wenn beispielsweise für eine Big-Data-Analyse eine regelmäßige Ausführung einmal pro Stunde geplant wird und die Analyse in vier Minuten abgeschlossen ist, werden bei der Big-Data-Analyse nur einmal pro Stunde die vier Minuten lang, die zum Durchführen der Analyse benötigt werden, Ressourcen genutzt.

Weitere Informationen zum Konfigurieren und Planen von Big-Data-Analysen finden Sie unter Planen wiederkehrender Big-Data-Analysen.

Durchführen von echtzeitnahen Analysen

Mit geplanten Big-Data-Analysen können echtzeitnahe Analysen durchgeführt werden, wobei nur die seit der letzten Durchführung zuletzt zu einem Feature-Layer hinzugefügten Features verarbeitet werden. Weitere Informationen zu Anwendungsfällen und Optionen zum Konfigurieren von echtzeitnahen Analysen finden Sie unter Durchführen von echtzeitnahen Analysen.

Generieren von aktuellen Informationsprodukten

Alternativ können geplante Big-Data-Analysen auch zum Generieren von aktuellen Informationsprodukten in einem benutzerdefinierten Intervall verwendet werden. Weitere Informationen und Beispiele für Anwendungsfälle und Optionen für Workflows dieser Art finden Sie unter Generieren von aktuellen Informationsprodukten.

Ausführungseinstellungen

In Big-Data-Analysen kann der Benutzer die Ausführungseinstellungen anpassen. Diese Einstellungen steuern die Ressourcenzuweisung Ihrer Velocity-Bereitstellung an Ihre Analyse für die Verarbeitung. Denken Sie daran, Ihre Analyse zu speichern, wenn Sie eine Änderung an den Ausführungseinstellungen vorgenommen haben.

Generell gilt: Je mehr Ressourcen für eine Analyse bereitgestellt wurden, desto schneller erfolgt die Verarbeitung und desto schneller erhalten Sie Ihre Ergebnisse. Beim Arbeiten mit größeren Datasets oder komplexen Analysen hat es sich bewährt und ist manchmal unverzichtbar, die Ressourcenzuweisung für eine Analyse zu erhöhen.

Bei einer einfachen Analyse mit nur wenigen Features, die mit einem Plan des Typs Mittel (Standard) ausgeführt wird, können Sie dagegen die Ressourcenzuweisung in den Ausführungseinstellungen verringern, indem Sie einen Plan des Typs Klein wählen. Dadurch können Sie mehr Feeds, Echtzeitanalysen und Big-Data-Analysen in Ihrer Velocity-Bereitstellung ausführen.

Auswahl der Ressourcenzuweisung in den Ausführungseinstellungen der Big-Data-Analyse

Überlegungen und Beschränkungen

Big-Data-Analysen sind für die Verwendung mit hohen Datenvolumen und die Zusammenfassung von Mustern und Trends optimiert, die in der Regel einen im Vergleich zur Anzahl der Eingabe-Features reduzierten Satz Ausgabe-Features oder Datensätze ergibt. Zum Laden und Schreiben von riesigen Volumen an Features in einem Durchgang sind Big-Data-Analysen nicht optimiert. Das Schreiben von Features im zweistelligen Millionenbereich mit einer Big-Data-Analyse kann länger dauern als erwartet. Daher wird empfohlen, die Big-Data-Analyse zur Zusammenfassung und Analyse und weniger zum Kopieren von Daten zu verwenden.