Примечание:
Data engineering доступно в Insights desktop. Все пользователи Insights in ArcGIS Online Insights in ArcGIS Enterprise получают доступ к Insights desktop. Более подробно см. Обзор ArcGIS Insights.
Data engineering в настоящий момент доступно в Предварительном просмотре.
Инструменты столбца используются для внесения изменений в данные в определенном столбце и доступны из отдельных столбцов в таблицах под моделью данных. Инструменты столбцов добавляются в модель данных после их применения.
Преобразование типа данных
Типы данных применяются к каждому столбцу в Insights. В зависимости от форматирования входных данных тип данных по умолчанию для всех столбцов может быть неправильным. Например, файлы .csv не поддерживают форматирование даты/времени, поэтому все столбцы date/time будут импортированы в виде строк.
Столбцы могут быть преобразованы в типы данных: string, integer, double или date/time.
Выполните следующие шаги, чтобы использовать Преобразование типа данных:
- Откройте рабочую книгу данных в Insights desktop и добавьте данные, если это необходимо.
- Щелкните стрелку рядом с именем столбца, чтобы развернуть меню инструментов столбца.
Примечание:
Если ваш вид - это модель или карта, щелкните кнопку Показать таблицу .
- Выберите Преобразование типа данных.
- Для Типа выходных данных выберите тип данных, в который вы хотите преобразовать столбец, и примените необходимые параметры форматирования:
- Если вы конвертируете столбец в date/time, введите формат даты/времени.
- Если вы конвертируете в целое или число двойной точности, выберите тип десятичного разделителя, используемого в ваших данных (Точка или Запятая).
- Щелкните Применить.
Столбец преобразуется в выбранный тип данных.
Целочисленные
Типы данных Integer — это числа без десятичных значений.
Любой столбец с числами можно преобразовать в integer. Если столбец содержит символы, не являющиеся числами, эти символы удаляются.
Если столбец содержит значения с десятичной частью, числа после запятой удаляются, а целое число не округляется. Если вы хотите, чтобы ваше число было округлено, вы можете преобразовать столбец в double и вычислить новый столбец с помощью функции ROUND().
Типы данных Integer читаются как числовые поля в рабочей книге Insights.
Double
Типы данных Double (или числа с плавающей точкой двойной точности) — это числа, допускающие десятичные значения.
Любой столбец с числами можно преобразовать в double. Если столбец содержит символы, не являющиеся числами, эти символы удаляются.
Типы данных Double читаются как числовые поля в рабочей книге Insights.
Date/time
Столбцы Date/time могут содержать только дату, только время или и дату и время.
Формат даты/времени необходим для преобразования столбца в тип данных date/time. По умолчанию формат даты/времени ISO 8601. Если ваши данные не используют формат ISO 8601, вы должны изменить формат в поле Пользовательский формат, чтобы он соответствовал вашим данным.
Примечание:
Все даты и время в одном столбце должны иметь одинаковый формат. Рекомендуется включать компонент периода для всех значений времени, используя 12-часовой формат времени, чтобы обеспечить правильное использование времени.
Для создания формата даты/времени поддерживаются следующие переменные:
Компонент даты/времени | Переменная | Поддерживаемые значения |
---|---|---|
Месяц | MM | От 01 до 12 |
М | От 1 до 12 | |
День | DD | От 01 до 31 |
D | От 1 до 31 | |
Год | ГГГГ | Четыре цифры года |
YY | Две цифры года (от 00 до 99) | |
Час | HH | От 00 до 24 |
H | От 00 до 24 | |
hh | От 01 до 12 | |
h | От 1 до 12 | |
Минута | mm | От 00 до 59 |
m | от 0 до 59 | |
Секунда | ss | От 00 до 59 |
s | от 0 до 59 | |
Период | A | AM, PM или поддерживаемый формат периода в зависимости от вашего региона. |
a | ||
Часовой пояс | ZZ | +HHmm или -HHmm |
TZD | +hh:mm или -hh:mm |
Фильтр значений
Фильтры атрибутов используют запросы для удаления ненужных данных из набора данных. Этот инструмент можно использовать для уменьшения размера набора данных и включения только тех данных, которые имеют отношение к вашему анализу. Например, вы можете захотеть удалить записи с нулевыми значениями или отфильтровать данные только по определенной области исследования или диапазону дат.
Выполните следующие шаги для использования Фильтра значений:
- Откройте рабочую книгу данных в Insights desktop и добавьте данные, если это необходимо.
- Щелкните стрелку рядом с именем столбца, чтобы развернуть меню инструментов столбца.
Примечание:
Если ваш вид - это модель или карта, щелкните кнопку Показать таблицу .
- Выберите Фильтр значений.
- Вы можете сделать следующее:
- Чтобы отфильтровать строковые столбцы, выберите или отмените выбор уникальных значений, которые вы хотите отобразить или исключить.
- Чтобы отфильтровать числа или столбцы доли/отношения, отрегулируйте бегунок на нижнем и верхнем концах диапазона или щелкните узлы и введите новое значение.
- Чтобы отфильтровать столбцы даты/времени, используйте кнопки календаря и часов, чтобы настроить дату и время начала и окончания соответственно. Вы также можете ввести дату или время непосредственно в фильтре.
Дополнительные сведения о применении параметров фильтра для каждого типа данных см. в Данные фильтра.
- Щелкните Применить.
Фильтр применяется, и строки, не соответствующие критериям фильтра, удаляются.
Найти и заменить
Примечание:
Найти и заменить в настоящее время доступно для строковых столбцов. Чтобы заменить значения в числовых столбцах или столбцах даты/времени, необходимо преобразовать столбец в строку, произвести замену и преобразовать столбец обратно в исходный тип данных.
Найти и заменить используется для поиска определенных значений в столбце и замены их новым значением. Этот инструмент можно использовать для замены заполнителей или значений по умолчанию нулевыми значениями, исправления строк с ошибками или создания согласованного регистра.
Выполните следующие шаги, чтобы использовать Найти и заменить:
- Откройте рабочую книгу данных в Insights desktop и добавьте данные, если это необходимо.
- Щелкните стрелку рядом с именем столбца, чтобы развернуть меню инструментов столбца.
Примечание:
Если ваш вид - это модель или карта, щелкните кнопку Показать таблицу .
- Выберите Найти и заменить.
- Вы можете сделать следующее:
- Чтобы найти и заменить пользовательские строки, оставайтесь на вкладке Строка (по умолчанию). В поле Поиск введите пользовательскую строку для поиска в столбце. При необходимости, выберите Учитывать регистры, чтобы сделать поиск чувствительным к регистру, и выберите Только слово целиком, чтобы возвращались только полные совпадения строк.
- Чтобы найти и заменить значения пустой строки, щелкните вкладку Пустая строка.
- Чтобы найти и заменить пустые значения, щелкните вкладку Null.
- В поле Заменить на введите строку, которой вы хотите заменить найденные строки. Оставьте поле Заменить на пустым, чтобы заменить пустыми строками. Если вы заменяете пустые строки значениями null (вкладка Пустая строка), выберите Заменить на null.
- При необходимости нажмите Поиск, чтобы найти и выделить подходящие строки.
- Нажмите Заменить, чтобы найти и заменить подходящие строки.
- Повторите шаги, чтобы найти и заменить дополнительные строки, или нажмите Готово, чтобы закрыть диалоговое окно.
Подходящие строки обновляются.
Удаление столбцов
Инструмент Удалить столбец используется для исключения ненужных столбцов из выходного набора данных. Удаленный столбец нельзя отобразить позже во время анализа с помощью параметра Показать скрытые поля. Удаление столбца влияет только на выходной набор данных и не удаляет столбец из исходного набора данных.
Примечание:
Наборы данных в рабочих книгах данных должны содержать как минимум один столбец. Команда Удалить столбец отключена в наборах данных с единственным столбцом.
Выполните следующие шаги, чтобы удалить столбец из набора данных.
- Откройте рабочую книгу данных в Insights desktop и добавьте данные, если это необходимо.
- Щелкните стрелку рядом с именем столбца, чтобы развернуть меню инструментов столбца.
Примечание:
Если ваш вид - это модель или карта, щелкните кнопку Показать таблицу .
- Выберите Удалить столбец.
Столбец удаляется из таблицы.
Показать краткую информацию о столбце
Показать краткую информацию о столбце создает график распределения и вычисляет статистику, используя данные из столбца. Краткую информацию можно использовать для поиска проблем в ваших данных, таких как строки с ошибками правописания или выбросы.
Примечание:
Показать краткую информацию о столбце создает визуализацию значений в столбце, а не изменяет значения. Таким образом Показать краткую информацию о столбце не добавляется в модель данных.
Завершите следующие шаги для создания краткой информации о столбце:
- Откройте рабочую книгу данных в Insights desktop и добавьте данные, если это необходимо.
- Щелкните стрелку рядом с именем столбца, чтобы развернуть меню инструментов столбца.
Примечание:
Если ваш вид - это модель или карта, щелкните кнопку Показать таблицу .
- Щелкните Показать краткую информацию о столбце.
Появится боковая панель с диаграммой и статистикой для столбца.
Строковые столбцы
Строковые столбцы создают краткую информацию столбчатой диаграммы. На столбчатой диаграмме отображаются уникальные значения в столбце с количеством объектов, а в краткой информации отображается статистика общего количества объектов, количества нулевых значений, количества пустых строк и общего количества уникальных значений. Используйте бегунок сбоку диаграммы, чтобы увеличить масштаб и просмотреть все уникальные значения, если это необходимо. Используйте кнопку Сортировать , чтобы отсортировать диаграмму по возрастанию, убыванию или в алфавитном порядке.
Вы можете создавать выборки в краткой информации о столбчатых диаграммах, нажимая на отдельные столбцы. Выборки в информации о столбцах отражаются в виде таблицы и виде карты, если это применимо.
Ищите следующие проблемы в краткой информации строкового столбца:
- Содержит ли столбец значения null и пустые строки? Значения null и пустые строки будут анализироваться отдельно. Используйте инструмент Найти и заменить, чтобы заменить значения null пустыми строками или наоборот.
- Все ли значения используют согласованный регистр? Несогласованный регистр может привести к неправильному разделению значений, которые должны быть объединены в одно уникальное значение. Используйте инструмент Найти и заменить, чтобы выполнить поиск строки без учета регистра и заменить все совпадающие значения одним значением.
- Столбец содержит значения с ошибками правописания? Орфографические несоответствия приведут к неточным агрегациям. Используйте инструмент Найти и заменить, чтобы найти значение с ошибкой правописания и заменить его правильным написанием.
Числовые столбцы
Числовые столбцы создают краткую информацию гистограммы. На гистограмме числа агрегируются в бины и отображается частота значений в каждом бине. Средние и медианные значения отображаются на гистограмме, а в краткой информации отображается статистика общего количества объектов, количества значений null, среднего значения, приблизительной медианы, верхнего и нижнего квартилей, стандартного отклонения, асимметрии и избыточного эксцесса. Используйте бегунок под осью X, чтобы изменить количество бинов на гистограмме.
Вы можете создавать выборки в краткой информации о гистограммах, нажимая на отдельные столбцы. Выборки в информации о гистограмме отражаются в виде таблицы и виде карты, если это применимо.
Ищите следующие проблемы в краткой информации числового столбца:
- Содержит ли набор данных выбросы или значения за пределами ожидаемого диапазона? Например, если столбец содержит процентные значения, ожидаемый диапазон — от 0 до 100. Используйте инструмент Фильтр значений, чтобы удалить строки с неправильными значениями.
- Данные нормально распределены? Для некоторых видов статистического анализа, таких как Создание модели регрессии, требуются нормально распределенные данные. Используйте инструмент Вычислить столбец, чтобы применить преобразование к столбцу.
- Содержит ли набор данных значения заполнителя или по умолчанию, которые следует удалить (например, 9999)? Используйте инструмент Найти и заменить, чтобы заменить значения нулями, если это необходимо, или используйте инструмент Фильтр значений, чтобы удалить строки, содержащие заполнители или значения по умолчанию.
Примечание:
Найти и заменить в настоящее время доступно только для строковых столбцов. Вы должны преобразовать числовой столбец в строковый, заменить строку, а затем преобразовать столбец обратно в числовой (integer или double).
Столбцы даты/времени
Столбцы даты/времени создают краткую информацию временных рядов. Временной ряд объединяет значения даты/времени в интервалы и отображает количество для каждого интервала. В краткой информации отображается общее количество объектов, минимальная дата, максимальная дата и количество значений null. Используйте бегунок над временным рядом, чтобы увеличить масштаб и просмотреть график в более детальном масштабе. Если уровень масштабирования превышает обязательный порог, интервал даты/времени обновляется до соответствующего интервала.
Вы можете создавать выборки в краткой информации о временных рядах, нажимая на отдельные точки времени. Выборки в информации о временных рядах отражаются в виде таблицы и виде карты, если это применимо.
Ищите следующие проблемы в краткой информации столбца даты/времени:
- Находятся ли даты в требуемом диапазоне дат? Используйте инструмент Фильтр значений, чтобы оставить только значения в нужном диапазоне даты/времени.
- Содержит ли ваш набор данных значения заполнителя или по умолчанию, которые следует удалить (например, 1000-01-01)? Используйте инструмент Найти и заменить, чтобы заменить значения нулями, если это необходимо, или используйте инструмент Фильтр значений, чтобы удалить строки, содержащие заполнители или значения по умолчанию.
Примечание:
Найти и заменить в настоящее время доступно только для строковых столбцов. Вы должны преобразовать столбец даты/времени в строковый, заменить строку и преобразовать столбец обратно в дату/время.