Что такое прогнозирующее моделирование?

Объяснение для бизнеса

Адаптированный перевод статьи от SeattleDataGuy

5 минут чтения

В современном мире трудно представить себе сайт, который не будет автоматически персонализировать то, что вы видите, или прогнозировать продукт, который вы хотите купить. Кажется, что вся всемирная паутина уже знает, чего мы хотим. И это как раз делается с помощью прогнозирующего моделирования!

Что такое прогнозирующее моделирование?

Прогнозирующее моделирование это набор математических методов, которые используются для расчета вероятностей возможных результатов, исходя из известных начальных данных, задаваемых переменных и некоторых допущений. Обычно переменные являются весами, которые подбираются/моделируются на основе вероятности их влияния на получаемые результаты. Оптимально подобрав веса, возможно прогнозировать наиболее вероятные результаты и выяснить, например, какой твит лучше показать следующим.

Жизненный цикл прогнозирующего моделирования

Жизненный цикл прогнозирующего моделирования состоит из пяти этапов:

1. Во-первых, нужно собрать и сопоставить данные из разных источников. В случае бизнеса эти данные в основном касаются клиентов – их прошлых покупок, интересов, персональных характеристик (пол, возраст) и т.д.
2. Следующий шаг – очистить эти данные и структурировать их для облегчения анализа. Это процесс называют нормализацией данных. Обычно это самый длинный и затратный этап, так как он требует синтаксического анализа каждого элемента данных, а также их полноты и структурных характеристик. На этом этапе требуется достаточно кропотливая ручная работа по очистке данных и/или их исправлений/дополнений.
3. После нормализации данных можно приступать к их анализу, используя различные математические методы для проверки справедливости различных гипотез. Обычно начинают с простых исследовательских методов, пытаясь обнаружить взаимосвязь или корреляцию между различными параметрами. Часто аналитики строят разнообразные диаграммы и графики. Это помогает понять данные и определиться с тем, на какие вопросы можно ответить путем последующего моделирования.
4. Следующий этап – собственно, прогнозирующее моделирование. Здесь важно использовать понимание своего бизнеса для правильной постановки задач/вопросов, на которые хочется получить ответ или прогноз. Эти наработки в дальнейшем могут быть использованы в маркетинге для выработки правильной стратегии, а также для оптимизации внутренних и внешних бизнес-процессов.
5. То, что модель разработана, не означает, что процесс окончен. Часто прогнозирующие модели необходимо обновлять (автоматически или вручную). Это означает, что аналитики, работающие с данными, должны контролировать эффективность модели, и в случае необходимости вносить в нее изменения.

Применение прогнозирующего моделирования.

Прогнозирующее моделирование происходит от прогнозирования погоды и метеорологии, где значительная область знаний и методик основана на прогнозах. В современную эпоху такое моделирование предоставляет уже точную информацию, которая помогает компаниям сохранять конкурентное преимущество, так как они заранее могут предсказывать будущие результаты. Такие точные прогнозы оказывают огромное влияние как на академические круги, так и на бизнес индустрию.

Некоторые важные примеры:

1. Фильтры спама: они дают оценку вероятности того, что сообщение является спамом или мошенничеством, что позволяет компаниям фильтровать их.
2. Маркетинг: моделирование имеет большое значение в области маркетинга и рекламы. Анализ web статистики помогает определить тип продуктов, которые интересуют покупателей интернет-магазинов, а также выбрать правильное ценообразование и рекламную стратегию.
3. Управление взаимоотношениями с клиентами: здесь интеллектуальное моделирование часто используется для определения тех покупателей, которые с наибольшей вероятностью совершат покупку.

Процесс прогнозирующего моделирования

С целью привлечения и удержания прибыльных клиентов, компании применяют прогнозирующее моделирование, чтобы сохранить и упрочить своё лидерство в отрасли. Чтобы понять процесс, рассмотрим три основные составляющие прогнозирующего моделирования:

1. Образцы данных. Для построения прогнозирующей модели, необходимы образцы накопленных данных. Нормализованная и структурированная выборка данных, которые постоянно собираются и являются актуальными, это основа всего процесса прогнозирования, определяющая правильное соотношение между входными данными и результатом.
2. Обучение модели. Это алгоритм и архитектура модели, построенная и обученная на образцах данных, которую можно многократно использовать в последующем для до-обучения на новых данных.
3. Прогнозирование. Этот использование обученной модели на новых данных, когда результат еще не известен.

Плюсы и минусы прогнозирующего моделирования

Поскольку эта область полностью основана на предсказаниях и прогнозах, у нее есть свои плюсы и минусы. С одной стороны, возможно предсказать будущие значения определенных показателей. С другой стороны, можно столкнуться с организационными барьерами в доступе к необходимым данным. Давайте обсудим это подробнее.

Pros

Прогнозирующее моделирование снижает затраты, необходимые предприятиям для прогнозирования результатов своих решений и использования конкурентной разведки. Это также помогает в следующем:

1. Анализ оттока. Исследование уровня оттока клиентов является ключевым для подавляющего большинства компаний. С помощью интеллектуального анализа можно сделать его прогноз, и реализовать эффективные стратегии удержания и сохранения клиентов, лояльных бренду.
2. Прогнозирование внешних факторов. Компании могут прогнозировать внешние факторы и их влияние на предоставляемые услуги, разрабатывая опережающие стратегии развития.
3. Кредитование бизнеса. Прогнозирующее моделирование помогает организациям оценивать риск и стоимость их портфельных кредитов.
4. Планирование рабочей силы. Оценивая дефицит рабочей силы и определяя новые таланты для правильного распределения рабочего ресурса в нужное время, возможно анализировать, прогнозировать и планировать рабочую силу.

Cons

Прогнозирующее моделирование прекрасно, но оно сопряжено с рядом проблем:

• Огромной проблемой является получение правильных данных для использования при разработке алгоритма. На этот этап аналитики тратят примерно 80% своего времени.
• Это не просто математическая проблема. Компании должны быть готовы к преодолению организационных и технических барьеров, которые могут мешать реализации прогнозирующих моделей.
• Для достижения значимых результатов компаниям необходимо иметь достаточный объем данных для обучения моделей прогнозирования. Часто бизнес не имеет достаточного количества нормализованных данных для построения прогнозирующих моделей, что не позволяет достигнуть нужного результата.
• Зачастую проблема заключается в том, чтобы сфокусировать проекты прогнозирующего моделирования на реальные задачи бизнеса. Иногда разработанные модели могут не соответствовать потребностям бизнеса или идти вразрез с выбранной стратегией.
• Наконец, системы хранения данных часто не подключены к централизованным хранилищам, что затрудняет аналитикам, работающим с этими данными, получать к ним быстрый и одновременный доступ.

Карьера в прогнозирующем моделировании

В связи с технологическим прогрессом и ростом накапливаемых объемов данных, область прогнозирующего моделирования будет быстро расти в ближайшие десятилетия. В то время как многие компании осознают необходимость применения методов прогнозирующего моделирования в своем бизнесе, существует нехватка кандидатов с подходящим набором навыков. Так какие же профессии и навыки будут наиболее востребованы?

• Data Scientist
• Аналитик данных
• Разработчик бизнес-аналитики

Для успешной работы в этой области необходимо естественно-научное образование с хорошим знанием высшей математики, и особенно математического анализа, дифференциального исчисления, статистики и теории вероятности. Некоторые технические навыки, которые необходимо освоить, включают: машинное обучение, программирование на SQL, программирование на Python, программирование Stata, R-программирование и Matlab.

Будущее прогнозирующего моделирования

Как и все остальное, будущее прогнозирующего моделирования тесно связано с бизнесом и изменениями в технологиях. В условиях постоянной борьбы за лучшие технологии, вычислительные мощности продолжают расти, как и объемы данных. В этом сценарии прогнозирующее моделирование, как ожидается, станет гораздо более сложным во многих областях. Благодаря более быстрым компьютерам специалисты по прогнозирующему моделированию должны будут адаптироваться к новым технологиям.

Это откроет новые возможности. Не только для разработчиков прогнозирующих моделей, но и для смежных профессий, чтобы заполнить технические пробелы.