Entwerfen einer Big-Data-Analyse

In dieser Lektion erfahren Sie, wie Sie mit ArcGIS Velocity eine Big-Data-Analyse erstellen. Sie übernehmen die Rolle eines Verkehrsplaners, der Kfz-Unfälle mit Radfahrern über einen Zeitraum von mehreren Jahren untersuchen möchte. Mithilfe Ihrer Ergebnisse soll ermittelt werden, wo sich durch die Entwicklung einer neuen fahrradfreundlichen Infrastruktur, z. B. Radwege oder Radwegabgrenzungen, die größte Wirkung für die Sicherheit der Radfahrer erzielen lässt.

Die in dieser Lektion verwendeten Daten können von der OpenData-Website von New York City (NYC) heruntergeladen werden. Das vollständige Dataset mit mehr als 1,5 Millionen Datensätzen wurde von dieser Website im CSV-Format heruntergeladen. Die CSV-Datei wird für diese Lektion in einem öffentlichen Amazon S3-Bucket gehostet. Die Verbindungsinformationen werden in den folgenden Schritten angegeben.

Bei der Durchführung der Schritte erstellen Sie eine Big-Data-Analyse und eine Datenquelle, konfigurieren verschiedene Werkzeuge und generieren einen Ausgabe-Feature-Layer, der Analyseergebnisse enthält, die in einer Webkarte angezeigt werden können.

Diese Lektion ist für Einsteiger konzipiert. Sie benötigen ein ArcGIS Online-Konto mit Zugriff auf ArcGIS Velocity. Die Lektion dauert insgesamt ca. 30 Minuten.

Erstellen einer Big-Data-Analyse

Zunächst erstellen Sie in ArcGIS Velocity eine neue Big-Data-Analyse.

1. Öffnen Sie ArcGIS Velocity in einem Webbrowser, und melden Sie sich mit Ihren ArcGIS Online-Anmeldedaten an.

   Es empfiehlt sich, Google Chrome oder Mozilla Firefox zu verwenden.

   Hinweis:

   Wenn beim Anmelden Probleme auftreten, wenden Sie sich an den ArcGIS Online-Administrator. Möglicherweise muss Ihnen eine ArcGIS Online-Rolle mit Berechtigungen für die Verwendung von ArcGIS Velocity zugewiesen sein. Weitere Informationen zum Erstellen von Rollen und Zuweisen von Benutzern, finden Sie unter Erstellen von Rollen und Zuweisen von Benutzern.

2. Klicken Sie im Hauptmenü unter ANALYSE auf Big Data, um auf die Seite Big-Data-Analysen zuzugreifen.

   Auf der Seite Big-Data-Analysen können Sie vorhandene Big-Data-Analysen anzeigen und neue Big-Data-Analysen erstellen sowie Big-Data-Analysen starten, beenden und ihren Status überprüfen und vorhandene Big-Data-Analysen bearbeiten, klonen und löschen.

3. Klicken Sie auf Big-Data-Analyse erstellen, um den Konfigurationsassistenten zum Erstellen einer neuen Big-Data-Analyse zu öffnen.

Konfigurieren der Datenquelle

Zum Konfigurieren einer Big-Data-Analyse müssen Sie zunächst den Datenquellentyp auswählen.

1. Klicken Sie im Fenster Datenquellentyp auswählen unter der Kategorie Cloud auf Alle anzeigen.

   

   Hinweis:

   Für alle Big-Data-Analysen muss mindestens eine Datenquelle als Eingabe vorhanden sein.

2. Wählen Sie unter Cloud-Optionen Amazon S3 aus.

   

   Informationen zu den Cloud-Anbietern finden Sie auf den Websites für Azure Blob Speicher, Azure Cosmos DB, oder Amazon S3.

3. Legen Sie im Fenster Amazon S3 konfigurieren für den Schritt Amazon S3-Bucket konfigurieren die Parameter wie folgt fest:
   1. Wählen Sie für Zugriffsmodus die Option Öffentlich aus.
   2. Geben Sie unter Bucket-Name arcgis-velocity-public ein.
   3. Wählen Sie für Region die Region USA West (Oregon) aus.
   4. Unter Ordnerpfad (optional) geben Sie /nyc-motor-vehicle-collisions ein.
   5. Unter Dataset geben Sie NYPD_Motor_Vehicle_Collisions.csv ein.

   

4. Klicken Sie auf Weiter, um die Parameter des Amazon S3-Buckets anzuwenden.

   Die Datenquelle wird überprüft, und es werden Stichproben der Ereignisdaten zurückgegeben, die Sie im nächsten Abschnitt überprüfen und bestätigen.

Bestätigen des Datenschemas

Nachdem die Amazon S3-Bucket-Parameters eingestellt sind, bestätigen Sie nun das Datenschema. Beim Konfigurieren einer Datenquelle ist es wichtig, das Schema der geladenen Daten zu definieren. Velocity definiert das Schema, wenn die Quelldaten einschließlich des Datumsformats, der Feldtrennzeichen, der Feldtypen und der Feldnamen abgefragt werden.

1. Überprüfen und bestätigen Sie im Schritt Schema bestätigen, ob das Schema der Daten in etwa so aussieht wie in der Abbildung unten.

   

   Velocity hat die Verbindung mit der Datenquelle getestet, erste Stichproben der Datensätze entnommen und aus diesen Datensätzen das Schema der Daten abgeleitet. Sie könnten jetzt bei Bedarf das Datenformat, die Feldtrennzeichen, die Feldtypen und die Feldnamen ändern, um sicherzustellen, dass das Schema gültig ist. In dieser Lektion übernehmen Sie jedoch die Standardschemaparameter.

2. Klicken Sie auf Weiter, um das Schema als Stichprobe zu bestätigen.

Identifizieren der Schlüsselfelder

Als Nächstes konfigurieren Sie die Schlüsselfelder, damit Velocity ordnungsgemäß die Geometrie, die Datumsinformationen und eine eindeutige Kennung für die Daten erzeugen kann.

1. Konfigurieren Sie im Schritt Schlüsselfelder identifizieren die Parameter Position, Datum und Uhrzeit und Tracking wie folgt:
   1. Wählen Sie für Positionstyp den Typ X-/Y-Felder aus.
   2. Wählen Sie für X (Längengrad) die Option LONGITUDE aus.
   3. Wählen Sie für Y (Breitengrad) die Option LATITUDE aus.
   4. Wählen Sie für Z (Höhe) die Option Kein aus.
   5. Übernehmen Sie für Raumbezug den Standardwert GCS WGS 1984.
   6. Wählen Sie für Weisen Ihre Daten Datumsfelder auf? die Antwort Nein.

      Mithilfe dieses Parameters kann ein Feld für Start- und Enddatum oder ein Datums-/Uhrzeitfeld in der Datenquelle festgelegt werden. Wenn die eingehenden Daten Datumsinformationen in einem Zeichenfolgenformat enthalten, ist ein Datumsformat erforderlich. Weitere Informationen finden Sie unter Datums- und Uhrzeitparameter. In dieser Lektion geben Sie keine Datums- oder Uhrzeitinformationen an.

   7. Wählen Sie für Track-ID die Option Die Daten verfügen über keine Track-ID aus.

      Mit diesem Parameter kann ein Track-ID-Feld in der Datenquelle festgelegt werden. Weitere Informationen zu Track-IDs finden Sie unter Track-ID. In dieser Lektion definieren Sie keine Track-ID.

      

2. Klicken Sie auf Abschließen, um die neue Datenquelle zu erstellen.

   Die neue Datenquelle Amazon S3 wird dem Analyse-Editor hinzugefügt.

Erstellen der Big-Data-Analyse

Nachdem die Datenquelle dem Analyse-Editor hinzugefügt wurde, erstellen Sie nun die Big-Data-Analyse.

1. Klicken Sie auf der Seite Neue Big-Data-Analyse auf Analyse erstellen.
2. Geben Sie im Fenster Analyse erstellen unter Titel den Text NYC Cyclist Accidents ein.
3. Geben Sie unter Zusammenfassung den Text Process motor vehicle accidents to identify and analyze those involving cyclists ein.
4. Wählen Sie unter Ordner den Ordner aus, in dem die Big-Data-Analyse erstellt werden soll.

   

5. Klicken Sie auf Analyse erstellen, um die Analyse zu erstellen.

   Nachdem die Analyse erstellt wurde, werden auf einer Werkzeugleiste im oberen Bereich des Analyse-Editors zusätzliche Optionen und Steuerelemente zum Speichern, Starten, Planen der Analyse sowie Ausführungseinstellungen für die Analyse angezeigt.

Hinzufügen von Werkzeugen zu der Analyse

Nachdem die neue Analyse erstellt wurde, können Sie dieser jetzt Werkzeuge hinzufügen, mit denen die Big-Data-Analyse der Radfahrer-Unfalldaten von New York City ausgeführt wird. Mit Velocity können Sie eine Analyse-Pipeline konfigurieren, in der die Ausgabe eines Schrittes die Eingabe des nächsten Schrittes ist. Jetzt konfigurieren Sie sequenzielle Werkzeuge, um die Kfz-Unfälle zu untersuchen, bei denen Radfahrer verletzt wurden.

Zunächst fügen Sie das Werkzeug Feld berechnen hinzu. Anschließend fügen Sie ein Feld mit dem Namen TotalCyclistCasualties hinzu, in dem die Werte in den Feldern NUMBER_CYCLIST_INJURED und NUMBER_CYCLIST_KILLED für jeden einzelnen Datensatz aus der Datenquelle summiert werden.

1. Klicken Sie links im Menü Knoten hinzufügen auf den Ordner Daten verwalten, und wählen Sie das Werkzeug Feld berechnen aus.

   

   Das Werkzeug "Feld berechnen" wird dem Analyse-Editor hinzugefügt.

2. Verbinden Sie die Amazon S3-Datenquelle mit dem Werkzeug Feld berechnen.

   

   Sie müssen die beiden Knoten verbinden, damit das Werkzeug Feld berechnen die Quelldaten kennt, mit denen es im nächsten Schritt arbeitet.

3. Doppelklicken Sie auf das Werkzeug Feld berechnen, um auf die Eigenschaften zuzugreifen.
4. Konfigurieren Sie das Werkzeug Feld berechnen wie folgt:
   1. Stellen Sie sicher, dass die Option Neues Feld ausgewählt ist.
   2. Geben Sie in die Spalte Feld den Text TotalCyclistCasualties ein.
   3. Klicken Sie in der Spalte Typ auf den Dropdown-Pfeil und wählen Sie Int64 aus.

      Damit geben Sie an, dass der Feldtyp ein ganzzahliges 64-Bit-Feld ist.

   4. Klicken Sie auf die Schaltfläche Arcade-Ausdruck konfigurieren, um das Fenster Arcade-Ausdruck konfigurieren zu öffnen.
   5. Verwenden Sie im Feld links den Ausdruck-Generator Arcade oder geben Sie $feature.NUMBER_CYCLIST_INJURED+$feature.NUMBER_CYCLIST_KILLED ein.
   6. Klicken Sie auf Ausführen, um den Arcade-Ausdruck auszuführen.

      Das Ergebnis der Ausführung sollte in etwa wie in der Abbildung unten aussehen.

      

   7. Klicken Sie auf OK, um den Ausdruck zu speichern.
   8. Klicken Sie in der Spalte Feldberechnung hinzufügen auf Hinzufügen, um das neue Feld hinzuzufügen.

      

   9. Klicken Sie auf Übernehmen, um die Eigenschaften zu übernehmen.

      Nachdem Sie das Werkzeug Feld berechnen erstellt und mit der Amazon S3-Datenquelle verbunden haben, filtern Sie als Nächstes die Kfz-Unfalldaten von New York City, um die Unfälle mit gültigen Standortkoordinaten zu identifizieren, die zu einer Verletzung oder zum Tod eines Radfahrers geführt haben.

5. Klicken Sie im Analyse-Editor auf Speichern, um die aktuelle Konfiguration der Big-Data-Analyse zu speichern.
6. Klicken Sie im Menü Knoten hinzufügen auf den Ordner Daten verwalten, und wählen Sie das Werkzeug Nach Ausdruck filtern aus.

   Dem Analyse-Editor wird ein neues Werkzeug Nach Ausdruck filtern hinzugefügt.

7. Ziehen Sie das Werkzeug Nach Ausdruck filtern per Drag & Drop rechts neben das Werkzeug Feld berechnen, und verbinden Sie die beiden Knoten.

   

8. Doppelklicken Sie auf das Werkzeug Nach Ausdruck filtern, um die Eigenschaften zu öffnen und das Werkzeug wie folgt zu konfigurieren:
   1. Klicken Sie auf die Schaltfläche Arcade-Ausdruck konfigurieren, um das Fenster Arcade-Ausdruck konfigurieren zu öffnen.
   2. Verwenden Sie im Bereich links den Arcade-Ausdruck-Generator, oder geben Sie $feature.TotalCyclistCasualties>0&$feature.LATITUDE>0 ein.

      In diesem Dataset gibt es Datensätze mit ungültigen Koordinaten. Diese Datensätze können ignoriert werden, indem die Datensätze herausgefiltert werden, deren Breitengrad kleiner als oder gleich 0 ist.

   3. Klicken Sie auf Ausführen, um den Arcade-Ausdruck auszuführen.

      Das Ergebnis der Ausführung sollte in etwa wie in der Abbildung unten aussehen.

      

   4. Klicken Sie auf OK, um zu den Eigenschaften des Werkzeugs Nach Ausdruck filtern zurückzukehren.
   5. Klicken Sie auf Übernehmen, um den Ausdruck anzuwenden.

   Nachdem jetzt der Filter hinzugefügt wurde, fügen Sie ein weiteres Werkzeug, Punkte aggregieren hinzu. Mit diesem werden Punkte räumlich aggregiert, um die Anzahl der Unfälle, die zu Verletzungen oder zum Tod von Radfahrern geführt haben, als reguläre hexagonale Abschnitte darzustellen.

9. Klicken Sie im Menü Knoten hinzufügen auf den Ordner Daten zusammenfassen, und wählen Sie das Werkzeug Punkte aggregieren aus.

   Das Werkzeug "Punkte aggregieren" wird dem Analyse-Editor hinzugefügt.

10. Klicken Sie im Analyse-Editor auf Speichern, um die aktualisierte Konfiguration der Big-Data-Analyse zu speichern.
11. Ziehen Sie das Werkzeug Punkte aggregieren per Drag & Drop rechts neben das Werkzeug Nach Ausdruck filtern, und verbinden Sie die beiden Knoten.

    

12. Doppelklicken Sie auf das Werkzeug Punkte aggregieren, um die Eigenschaften zu öffnen und das Werkzeug wie folgt zu konfigurieren:
    1. Wählen Sie für Punkte zusammenfassen die Option Abschnitte aus.
    2. Wählen Sie für Abschnittstyp den Typ Hexagon aus.
    3. Geben Sie als Abschnittsgröße die Zahl 250 ein, und lassen Sie die Maßeinheit auf Meter festgelegt.
    4. Wählen Sie unter Zusammenfassungsfelder für Attribut die Option TotalCyclistCasualties aus.
    5. Wählen Sie für Statistik die Option Summe aus.
    6. Lassen Sie für Ausgabefeldname den Standardnamen TotalCyclistCasualties_Sum unverändert.
    7. Klicken Sie auf Hinzufügen, um das Zusammenfassungsfeld hinzuzufügen.

       

    8. Klicken Sie auf Übernehmen, um die Eigenschaften zu übernehmen.

       Sie haben erfolgreich drei Analysewerkzeuge hinzugefügt, mit denen die Unfalldaten verarbeitet werden. Als Nächstes fügen Sie eine Ausgabe hinzu.

Hinzufügen einer Ausgabe zur Analyse

Nachdem Sie die Datenquelle und die Analysewerkzeuge erstellt haben, besteht der letzte Schritt darin, dass Sie eine Ausgabe hinzufügen, mit der die verarbeiteten Ereignisdaten an einen Feature-Layer gesendet werden, der auf einer Webkarte visualisiert werden kann.

1. Klicken Sie im Menü Knoten hinzufügen auf den Ordner Ausgaben, und wählen Sie die Ausgabe Feature-Layer (neu) aus.

   Daraufhin wird das Fenster Feature-Layer konfigurieren (neu) geöffnet.

2. Im Schritt Feature-Layer konfigurieren konfigurieren Sie die Eigenschaften wie folgt:
   1. Aktivieren Sie die Umschaltfläche der Option Daten in einem Feature-Layer vom Typ "spatiotemporal" speichern.
   2. Wählen Sie als Datenspeichermethode die Option Alle neuen Features hinzufügen aus.

      Wenn Sie eine Datenquelle verwendet haben, zu der eine Track-ID definiert wurde, wenden Sie die Methode Nur das neueste Feature für jeden Track-ID-Wert beibehalten an. Mit dieser Speichermethode wird bei jedem Empfang eines neuen Features für eine bestimmte Track-ID das gespeicherte Feature, das mit dieser Track-ID verknüpft ist, durch das neue Feature ersetzt.

   3. Wählen Sie für Bei jeder Ausführung der Analyse die Option Vorhandene Features und Schema ersetzen aus.

      

      Wenn Vorhandene Features und Schema ersetzen ausgewählt ist, werden bei jedem Ausführen der Big-Data-Analyse die Features und das Schema im Ausgabe-Feature-Layer überschrieben. Dies ist hilfreich, wenn Sie eine Big-Data-Analyse erstellen und zwischen den einzelnen Ausführungen der Analyse Werkzeuge hinzufügen, entfernen oder ändern. Die Option Vorhandene Features und Schema beibehalten ist hingegen hilfreich, wenn Sie bei jedem Ausführen der Big-Data-Analyse Datensätze anhängen möchten.

3. Klicken Sie auf Weiter.
4. Geben Sie im Schritt Speichern unter Feature-Layer-Name den Text Cyclist_Accident_Aggregation ein.
5. Als Feature-Layer-Zusammenfassung geben Sie NYC cyclist accident aggregated feature layer ein.
6. Wählen Sie als Ordner den Ordner aus, in dem der Feature-Layer gespeichert werden soll.

   

7. Klicken Sie auf Abschließen, um die neue Ausgabe zu speichern.

   Die neue Ausgabe Cyclist_Accident_Aggregation wird dem Analyse-Editor hinzugefügt.

8. Ziehen Sie die Ausgabe Cyclist_Accident_Aggregation rechts neben das Werkzeug Punkte aggregieren, und verbinden Sie die beiden Knoten.

   Sie können die Knoten verschieben, um das optische Erscheinungsbild des Modells zu verbessern.

   
9. Klicken Sie auf Speichern, um die Big-Data-Analyse NYC Cyclist Accidents zu speichern.

Starten der Big-Data-Analyse

Nachdem Sie nun erfolgreich eine Big-Data-Analyse mit allen erforderlichen Knoten konfiguriert haben, starten Sie die Analyse und führen Sie sie einmal aus. Die Analyse lädt mehr als 1,5 Millionen Datensätze unter Verwendung eines definierten Schemas aus der CSV-Datei, verarbeitet die Ereignisdaten mit verschiedenen Werkzeugen und schreibt die Analyseausgabe in einen neuen Feature-Layer.

1. Klicken Sie im Analyse-Editor auf Start, um die Big-Data-Analyse NYC Cyclist Accidents zu starten.

   

   Der Text der Schaltfläche Start wird zu Initialisierung und dann zu Stoppen. Damit wird angezeigt, dass die Analyse gestartet wurde und ausgeführt wird.

   Hinweis:

   Feeds und Echtzeitanalyse werden nach dem Starten in Velocity ausgeführt, bis sie beendet werden. Big-Data-Analysen hingegen werden automatisch beendet, sobald sie abgeschlossen sind. Mit den Optionen im Dropdown-Menü Zeitplan im Analyse-Editor kann die wiederholte Ausführung von Big-Data-Analysen konfiguriert werden. Analysen können einmal, regelmäßig oder zu einem wiederkehrenden Zeitpunkt ausgeführt werden. Weitere Informationen zur Zeitplanung von Big-Data-Analysen finden Sie unter Planen wiederkehrender Big-Data-Analysen.

2. Überwachen Sie die Analyse, bis sich der Text der Schaltfläche Stoppen in Start ändert.

   Wenn sich die Schaltfläche Stoppen in Start ändert, bedeutet dies, dass die Analyse einmal ausgeführt wurde, abgeschlossen ist und jetzt nicht mehr ausgeführt wird. Sie können außerdem auf der Seite Big-Data-Analyse den Status von Big-Data-Analysen überwachen.

Untersuchen der Analyseergebnisse in einer Webkarte

Als Sie im vorherigen Abschnitt die Big-Data-Analyse gestartet haben, wurde ein Ausgabe-Feature-Layer erstellt. Sie öffnen jetzt diesen Ausgabe-Feature-Layer in einer Webkarte und zeigen die Ergebnisse der Big-Data-Analyse der Radfahrer-Unfalldaten von New York City an.

1. Klicken Sie im Hauptmenü unter AUSGABE auf Layer, um die Seite Layer zu öffnen.
2. Suchen Sie in der Liste den Feature-Layer NYC_Cyclist_Accident_Aggregation, und klicken Sie auf In Map Viewer öffnen, um den Layer in einer Webkarte anzuzeigen.

   

   Hinweis:

   Durch Echtzeit- oder Big-Data-Analysen erstellte Ausgabe-Layer werden erst auf der Seite Layer angezeigt, wenn die Analyse ausgeführt wurde und eine Ausgabe generiert hat.

3. Zoomen Sie in die Ausdehnung der Daten von New York City, USA.
4. Ändern Sie die Grundkarte in Dunkelgrauer Hintergrund.
5. Klicken Sie auf dem Layer Cyclist Accident Aggregation auf die Schaltfläche Style ändern. Wählen Sie für Ein Attribut auswählen, das angezeigt werden soll das Attribut ANZAHL aus dem Dropdown-Menü aus.
6. Wählen Sie für Einen Darstellungs-Style auswählen den Eintrag Anzahl und Mengen (Farbe) aus, und klicken Sie auf OPTIONEN.
7. Klicken Sie auf Symbole, ändern Sie den Farbverlauf in Rot/Orange/Weiß, und klicken Sie auf OK.
8. Aktivieren Sie das Kontrollkästchen Daten klassifizieren.
9. Wählen Sie im Dropdown-Menü Methode den Eintrag Standardabweichung aus, und legen Sie die Klassengröße auf die Standardabweichung 1 fest.
10. Übernehmen Sie die anderen Standardeigenschaften, klicken Sie auf OK und dann auf FERTIG.

    

11. Schwenken und zoomen Sie in der Webkarte, um die Ergebnisse der Big-Data-Analyse zu untersuchen. Vergleichen Sie Gebiete, in denen mehr Radfahrer bei Verkehrsunfällen verletzt oder getötet wurden, mit Gebieten, die eine geringere Anzahl solcher Unfälle aufweisen.

Nächste Schritte

Sie haben in dieser Lektion eine Big-Data-Analyse erstellt und ausgeführt, mit der rund 1,5 Millionen von Radfahrerunfällen analysiert wurden, um die Gebiete in New York City mit der höchsten Unfallzahl zu ermitteln. Auf Grundlage dieser Ergebnisse können Sie fundiertere Entscheidungen darüber treffen, wo eine neue fahrradfreundliche Infrastruktur die größte Wirkung entfalten würde.

Für Ihre weitere Arbeit mit ArcGIS Velocity stehen Ihnen weitere Ressourcen zur Verfügung, wie z. B. Neuerungen in der aktuellen Version, Grundlegende ArcGIS Velocity-Begriffe, Big-Data-Analyse, Echtzeitanalyse und Verwenden von Arcade-Ausdrücken.