データ保持の概要

出力フィーチャをフィーチャ レイヤーに格納するときに、ArcGIS Velocity は、一連のデータ保持ポリシーに従ってデータを管理します。 データ保持とは、通常、データがフィーチャ レイヤー内で有効に維持される時間の長さのことを指します。

Velocity でデータを新しいフィーチャ レイヤーに書き込むことの詳細については、「フィーチャ レイヤー (新規)」をご参照ください。 既存のフィーチャ レイヤーに書き込むことの詳細については、「フィーチャ レイヤー (既存)」をご参照ください。

データ保持の目的

データ保持を使用すると、リアルタイムのデータ ストリームが継続的にフィーチャを追加している場合でも、フィーチャ レイヤーを特定のサイズで維持できます。 これによって、特に古いデータが、傾向を理解したり、最新の活動を表示したりすることにあまり関係がなくなったときに、基礎になるデータセットが無限に増えないようにします。

データ保持は、特定の期間に使用できるフィーチャを制限するために使用されるよう意図されていません。 データ保持は、少なくとも指定された期間の間、データがフィーチャ レイヤー内に保持されることを保証します。 データ削除処理が定期的スケジュールで実行されるため、ある時点では、指定された期間より古いデータが存在する可能性があります。 指定した期間のデータを確実にマップに表示するには、それに応じて、クライアント アプリケーションでデータを検索することをお勧めします。

データ保持処理

リアルタイム解析またはビッグ データ解析で出力フィーチャ レイヤーを定義する場合は、そのフィーチャ レイヤーに適用するデータ保持期間を指定できます。 たとえば、過去 1 日のみの天気データを保持したいが、車列または車両の位置の履歴を最長 6 か月間維持したいことがあります。 古いデータをフィーチャ レイヤー アーカイブ (コールド ストア) にエクスポートすることもできます。履歴データに対して解析を実行する必要があるときに、それらの古いデータにアクセスできます。

データ保持期間をフィーチャ レイヤーに設定した場合、定期的に、指定した期間より古いフィーチャが基礎になるデータセットから削除されます。 データをエクスポートする場合、これらのフィーチャは削除前にフィーチャ レイヤー アーカイブ (コールド ストア) にエクスポートされます。 データ保持では、フィーチャの古さは、データが基礎になるデータセット内に作成されたときのタイムスタンプに基づきます。このタイムスタンプは、フィーチャの開始時間と同じであることもあれば、同じでないこともあります。 間隔データを表しているデータセットや、フィーチャ レコード内に日時情報を含んでいないデータセットを含め、すべてのデータセットで一貫性のある方法を適用するために、データ保持は、作成時間に基づいて実行されます。

注意:

[データのエクスポート (フィーチャ レイヤーのアーカイブ)] パラメーターで [データをエクスポートしない] オプションを選択した場合、削除されたデータを回復することはできません。

データ保持は、時間と共にサイズが累積するデータを格納している場合にのみ必要です。 この必要性は、[データ格納法] の設定と、解析の実行間でのデータの維持方法に基づいて評価されます。

たとえば、(最新のフィーチャのみを保持するのとは対照的に) [新しいフィーチャの追加] オプションを選択し、解析を再開する際に [既存のフィーチャおよびスキーマを保持] オプションを選択した場合、受信データが時間と共に増加するため、データ保持期間が必要になります。

ただし、[最新のフィーチャを保持] オプションを選択した場合、各トラックの最新の観測データのみを格納します。 このデータは、組織で新しいセンサーが配置されたときに増加することがありますが、通常は、最大サイズに安定します。 この場合、データ保持期間は不要であり、[消去なし] オプションを選択できます。 [消去なし] オプションを指定して作成したフィーチャ レイヤーは、データを無期限に保持します。

データのアーカイブ (フィーチャ レイヤー アーカイブの保持)

フィーチャ レイヤーでデータ保持期間が必要な場合、古いデータをフィーチャ レイヤー アーカイブ (コールド ストア) にエクスポートできます。 このオプションを有効化した場合、保持期間より古いデータはパーケット データ形式で、Velocity によって維持されるアーカイブにエクスポートされます。 アーカイブのデータは、エクスポートされた日から最大 1 年間、またはフィーチャ アーカイブの合計最大サイズに達するまで (どちらか先に発生したほう) まで保存されます。

たとえば、[1 年] のデータ保持期間を選択し、古いデータをアーカイブにエクスポートすると、Velocity は最大で 2 年間分のデータを保持します。 [1 か月] のデータ保持期間を選択し、古いデータをアーカイブにエクスポートすると、Velocity は最大で 1 年間と 1 か月分のデータを保持します。

アーカイブにエクスポートされたデータは、フィーチャ レイヤーに表示されません。 アーカイブにエクスポートされたフィーチャを操作するには、リアルタイムまたはビッグ データ解析で [フィーチャ レイヤー (アーカイブ)] データ ソース タイプを使用してインポートします。 続いて [レイヤーのマージ (Merge Layers)] ツールを使用して、追加の解析のために、フィーチャ レイヤーとフィーチャ レイヤー (アーカイブ) のデータを単一のパイプラインにマージします。

さらに、データを無制限に保持する必要がある場合は、古いデータを Amazon S3 や Azure Blob Storage などの独自のクラウド ストアにエクスポートすることもできます。