Предварительная обработка данных

Предварительная обработка данных является важным шагом в процессе интеллектуального анализа данных. Фраза «мусор на входе — мусор на выходе» применима, в частности, и для проектов интеллектуального анализа данных и машинного обучения. Здесь имеется в виду то, что даже самый изощренный анализ не принесет пользы, если за основу взяты сомнительные данные^[1].

Методы сбора данных часто плохо контролируются. Это приводит к появлению недопустимых значений (к примеру: доход, равный −100), комбинаций данных, которые невозможны (к примеру: «мужской пол при наличии беременности»), отсутствию значений и прочее. В результате анализа данных, которые не защищены от такого рода проблем, можно прийти к неверным выводам. Качество данных является первостепенной задачей при проведении анализа ^[2]. Часто, предварительная обработка данных становится важной фазой проекта обучения машины. Это особенно касается процессов вычислительной биологии^[3].

Во время тренировки машины, при большом количестве лишней информации, «зашумлённых» и недостоверных данных, извлечение знаний становится затруднительным. Этап подготовки и фильтрации данных может занять много времени. Предварительная подготовка данных включает в себя:

• очистку
• отбор экземпляров^[англ.]
• нормализацию
• преобразование данных^[англ.]
• выделение признаков
• отбор признаков

и прочие манипуляции с данными.

Результатом предварительной обработки данных является конечный тренировочный набор^[англ.].

Ниже приведено краткое описание методов, которые применяются на этапе предварительной обработки данных.

• Очистка данных используется для обнаружения, исправления или удаления ошибочных записей в наборе данных^[4];
• Нормализация данных используется для стандартизации диапазона значений независимых переменных или признаков данных (например, сведение к интервалам [0, 1] или [-1, +1]);
• Преобразование данных^[англ.] используется для приведения данных в формат, который ожидает аудитория;
• Выделение признаков используется для преобразования входных данных в набор признаков, которые они хорошо представляют;
• Уплотнение данных^[англ.] используется для преобразования числовых данных в исправленный, упорядоченный и упрощённый вид. Это помогает уменьшить количество и/или размерность данных.

• Очистка данных
• Редактирование данных^[англ.]
• Уплотнение данных^[англ.]
• Первичная обработка данных^[англ.]

• Online Data Processing Compendium Архивная копия от 27 марта 2022 на Wayback Machine

В статье есть список источников, но не хватает сносок. Без сносок сложно определить, из какого источника взято каждое отдельное утверждение. Вы можете улучшить статью, проставив сноски на источники, подтверждающие информацию. Сведения без сносок могут быть удалены. (31 января 2021)