CatBoost — это контролируемый метод машинного обучения, который используется инструментом Обучение с использованием AutoML и использует деревья решений для классификации и регрессии. Как следует из названия, CatBoost содержит две основные возможности: он работает с категориальными данными (Cat) и использует повышение градиента (Boost). Повышение градиента — это процесс, в котором итеративно строится множество деревьев решений. Каждое последующее дерево улучшает результат предыдущего, что приводит к лучшим результатам. CatBoost улучшает исходный метод повышения градиента для более быстрой реализации.
CatBoost преодолевает ограничение других методов на основе дерева решений, в которых, как правило, данные должны быть предварительно обработаны для преобразования категориальных строковых переменных в числовые значения, однократное кодирование и т.д. Этот метод может напрямую использовать комбинацию категориальных и некатегориальных независимых переменных без предварительной обработки. Он выполняет предварительную обработку как часть алгоритма. CatBoost использует метод, называемый упорядоченным кодированием, для кодирования категориальных признаков. Упорядоченное кодирование учитывает целевую статистику всех строк, предшествующих точке данных, чтобы вычислить значение для замены категориального признака.
Еще одна уникальная особенность алгоритма CatBoost заключается в том, что он использует симметричные деревья. Это означает, что на каждом уровне глубины все узлы решений используют одно и то же условие разделения.
CatBoost также может работать быстрее, чем другие методы, в частности, XGBoost. Он сохраняет некоторые возможности из предыдущих алгоритмов, например, перекрестная проверка, регуляризация и поддержка пропущенных значений. Это метод хорошо подходит как для небольших, так и для объемных данных.