Моделирование оттока, удержания и реактивации Дмитрий Забавин (t.me/dmitry_zabavin) Вадим Глухов (t.me/educauchy) Сергей Вакунов (t.me/bakunobu) Содержание ● ● ● ● ● ● ● ● ● Жизненный цикл клиента Определение понятия “отток”: бинарный и метрический Ансамбль моделей по предотвращению оттока клиентов Прогноз самостоятельного возвращения клиента Индивидуальные пороги оттока Оценка значимости текущего интервала без покупок Удержание клиентов и их реактивация Оценка экономического эффекта моделей оттока и удержания Больше, чем просто отток 1 2 Прогноз Индивидуальные самостоятельного пороги оттока возвращения 3 Удержание и реактивация Жизненный цикл клиента Прибыль Жизненный Цикл Клиента Привлечение 1 Удержание 2 3 Развитие 4 Реактивация Предотвращение оттока че ри ет к М тто о Адаптация и Вовлечение новых клиентов Реактивация оттока ий ск Фактический отток Время Жизненный Цикл Клиента Задачи Первичная покупка Повторная покупка Регулярная покупка Дополнительная покупка (Расширение товарной корзины) Покупка более дорогого аналога Определение оттока Отток - это экономически-негативное изменение покупательского поведения клиента. Бинарный отток Метрический отток Клиент стал реже пользоваться продуктом Клиент отказался от услуг Клиент перестал продлевать подписку Переход на более дешевый продукт Клиент стал реже совершать покупки Клиент стал реже покупать товары определенной категории Клиент стал совершать покупки на меньшую сумму Клиент стал чаще возвращать приобретенные товары Задачи по предотвращению оттока Кто уже находится в оттоке? Кого и как можно вернуть из ушедших? Чье покупательское поведение уже изменилось негативно? (идентификация оттока - в том числе, для клиентов без истории) Направить клиентам, ушедшим в отток, наиболее релевантное предложение для их реактивации (их возвращения в число активных клиентов или их возвращения к покупательскому поведению - не менее экономически выгодному, чем прежде). Кто может уйти в отток? Кто вернется из оттока (не уйдет в отток) самостоятельно? Идентифицировать клиентов, склонных к оттоку (предиктивный отток). Кого и как можно удержать? Направить клиентам, склонным к оттоку, наиболее релевантное удерживающее предложение. Не направлять удерживающие (реактивационные) коммуникации клиентам, которые не уйдут в отток (вернутся из оттока) самостоятельно Какой будет упущенная прибыль, если не пытаться удержать клиента? Необходимо учесть при оценке экономического эффекта от внедрения модели (модель предотвращает отток, а подходы-конкуренты могут бороться только с фактических оттоком) Предотвращение оттока Ансамбль моделей 1 Прогноз самостоятельного возвращения 2 Индивидуальные пороги оттока 3 Удержание и реактивация Архитектура ансамбля моделей 1. 2. 3. 4. Модель прогноза количества покупок в период кампании a. Если клиент самостоятельно совершит покупку в период кампании (скор модели выше определенного порога) - то такой клиент не нуждается в коммуникации b. Если клиент в период кампании самостоятельно покупку не совершит - то необходимо ответить на вопрос: i. Покупка не будет совершена, потому что клиент совершил предыдущую покупку недавно? ii. Или потому что клиент склонен к оттоку? Модель оценки значимости текущего периода без покупок a. Если скор модели ниже определенного порога, то клиент склонен к оттоку (текущий интервал времени без покупок является для клиента на редкость длительным) Модель отклика на удерживающее воздействие a. Если скор модели для того ил иного клиента ниже определенного порога, то такому клиенту не следует направлять коммуникацию Модель персонализации воздействия a. Для клиентов, отобранных предыдущей моделью - перебираем различные варианты удерживающего воздействия (канал коммуникации, тип и размер вознаграждения) - и выбираем вариант с наивысшим скором Архитектура ансамбля моделей 1. 2. 3. 4. Модель прогноза количества покупок в период кампании Модель оценки значимости текущего периода без покупок Модель отклика на удерживающее воздействие Модель персонализации воздействия 1 Прогноз самостоятельного возвращения 2 Оценка значимости текущего периода без покупок Прогноз самостоятельного возвращения 3 Удержание и реактивация Модель прогноза количества транзакций в период кампании Beta-Geometric Negative-Binomial Distribution model (BG/NBD) Модель предсказывает количество транзакций клиента на определенный период Отвечает на вопросы: ● Сколько транзакций будет у клиента на следующей неделе? ● Сколько транзакций будет у клиента в следующие 3 месяца? ● Какой покупатель сделает наибольшее количество транзакций в следующие 2 недели? Schmittlein, David C., et al. “Counting Your Customers: Who Are They and What Will They Do Next?” Peter S. Fader, Bruce G. S. Hardie, and Ka Lok Lee. "Counting Your Customers" the Easy Way: An Alternative to the Pareto/NBD Model Python-библиотека lifetimes Процесс транзакций / Negative-Binomial Распределение Пуассона Предположение 1: частота покупок активного клиента моделируется распределением Пуассона (которое характеризуется одним параметром λ — среднее число покупок за фиксированный период) ● Для каждого клиента с историей — вычисляем λ ● Для бизнеса с регулярными покупками - лучше подходит распределение Бернулли Предположение 2: вариативность значений параметра λ среди всех клиентов описывается гамма-распределением ● Вычисляем, при каких параметрах k и θ гаммараспределение наиболее правдоподобно описывает полученное распределение значений λ ● Полученные значения параметров k и θ используются в дальнейших расчетах Гамма-распределение Пример: BetaGeoFitter Создаем датасет В библиотеке lifetimes есть специальный метод для разметки данных, преобразующий информацию о транзакциях в необходимые для работы модели признаки. ● ● ● ● frequency - это число периодов, в которые пользователь совершал транзакции. T - время с первой покупки до установленной исследованием контрольной точки. recency - разница между первой и последней транзакциями. Если клиент совершил всего одну транзакцию, то его "возраст" равен 0. monetary_value - характеризует средний размер транзакции указанного клиента. Обучаем модель Пример: BetaGeoFitter Строим тепловую карту Светлая часть данной карты позволяет выявить клиентов, которые не ушли в отток. Выделяются три группы клиентов: ● ● ● давно присоединились и имеют высокую частоту покупок (правый нижний угол); давно присоединились и покупают редко, но регулярно (левый нижний угол); недавно присоединились и имеют относительно высокую частоту покупок (левый верхний угол). Процесс оттока / Beta-Geometric Геометрическое распределение Предположение 1: вероятность прекращения покупок после транзакции моделируется геометрическим распределением (которое характеризуется параметром p — вероятность стать неактивным после очередной транзакции). ● Для каждого клиента делаем предположение о значении параметра p ● ● Предположение 2: вариативность параметра p среди всех клиентов описывается бета-распределением Вычисляем, при каких параметрах α и β бетараспределение наиболее правдоподобно описывает полученное распределение значений p Полученные значения параметров α и β используются в дальнейших расчетах Бета-распределение Пример: текущий простой - критичный? Связь между простоем и вероятностью оттока Результат модели Ожидаемое количество транзакций клиента за период времени t: ● ● ● ● ● ● ● ● F — Гауссова гипергеометрическая функция T — количество недель с начала жизни клиента tx — количество недель с начала жизни клиента и до последней транзакции t — количество недель, на которое предсказываем количество транзакций x — количество транзакций клиента на истории (0, T] a, b — параметры бета-распределения r, α — параметры гамма-распределения 𝛿x>0— индикатор наличия транзакций 2 1 Пример: ожидаемое количество транзакций Ожидаемое количество транзакций Прогноз числа заказов на интервале Самые “преданные” покупатели находятся: ● клиенты, совершившие более 120 последовательных транзакций, и "возраст" которых превышает 350 дней (правый нижний угол). ● те, кто совершает покупки редко, но имеют длительную историю отношений с компанией (левый нижний угол). 1 Прогноз самостоятельного возвращения 2 Оценка значимости текущего периода без покупок Индивидуальные пороги оттока 3 Удержание и реактивация Метрики - в жизненном цикле клиента ● ● Основные ○ Частота покупок ○ Объем покупок ○ Сумма трат Производные ○ Интервал между покупками (в том числе, текущий интервал времени с момента последней покупки) ○ Скорость трат (сумма трат в определенном временном окне, отнесенная к ширине этого окна) ○ Прирост / убыль ■ Объема покупок ■ Суммы трат ■ Скорости трат ■ Интервала между покупками Методы определения границ оттока 1/3 Бизнес-определение 1. Бинарный отток 2. Фиксированные константами границы для значений метрики Статистическое / модельное определение ● Сравнение наблюдаемого значения метрики - с критическим значением метрики (определенным статистически) Обобщенность при определении критического значения метрики ● Порог, вычисленный по всем клиентам ● Порог, вычисленный в рамках отдельной группы клиентов ● Порог, вычисленный для клиента индивидуально Методы определения границ оттока 2/3 Для клиентов с историей ● ● ● ● Сравнение с похожими клиентами ○ Когорта ○ N-tile паттерн ○ Кластер (например, по средней частоте и дисперсии метрики) ○ KNN ○ Среднее, взвешенное на основе расстояния Сравнение с прогнозным значением Отрицательный тренд недавних наблюдений Статистическая значимость наблюдаемого значения ○ Доля случаев с таким же или “худшим” значением метрики ○ Аппроксимация распределения значений метрики (например, функцией выживания - экспонентой) ○ Восстановление функции статистического распределения значений метрики ○ Бинаризация по пороговому значению Методы определения границ оттока Для клиентов без истории ● Границы оттока определяются как скор модели, обученной на данных по оттоку - среди клиентов с историей. 3/3 1 Прогноз самостоятельного возвращения 2 Оценка значимости текущего периода без покупок Оценка значимости текущего периода без покупок 3 Удержание и реактивация Модель оценки значимости периода без покупок Статистическое определение Какова доля интервалов между покупками больших или равных текущему? Распределение интервалов между транзакциями Модель оценки значимости периода без покупок Предположение: длины интервалов между покупками клиента моделируются экспоненциальным распределением (которое характеризуется параметром λ — средняя длина интервалов между покупками) Калькулятор Модель классификации Если вероятность получить длину текущего интервала с последней транзакции клиента меньше определенного порога, то клиент склонен к оттоку Пример: ● λ = 20; x = 45 — количество дней с последней транзакции ● P(X > 45) = 0.11 > 0.05 → не отток Модель оценки значимости периода без покупок Варианты целевой переменной 1. 2. 3. Оценка значимости различных интервалов без покупки для разных клиентов на истории При вычислении целевой переменной можно использовать взвешенное среднее от длины интервалов между покупками (чтобы учитывать возможное изменение регулярного поведения клиента) Бинаризация целевой переменной: если значение целевой переменной меньше определенного порога, то размечаем такое сочетание клиент-интервал как 1, иначе - 0 Обучение модели ● ● ● Обучаем модель прогнозировать значение целевой переменной по данным клиента То есть модель способна для определенного клиента оценить статистическую значимость его текущего периода без покупок Возможно обучить отдельную версию этой модели, используя только социодемографические атрибуты, чтобы применять ее на клиентах без истории Пример: оценка значимости периода без покупок Базовый случай: вес всех интервалов одинаков Решающее правило Пример: оценка значимости периода без покупок Используем взвешенное: чем ближе наблюдение к настоящему времени, тем выше его вес Особенности моделей предиктивного оттока Актуальность данных витрины Данные должны быть актуальны на начало периода, в котором был зафиксирован факт оттока / удержания / возвращения из оттока. Train / Test split Предпочтительно для тестовой выборки использовать более свежие данные. А более давние использовать для обучения Ошибочная интерпретация результатов Топ-атрибуты нельзя воспринимать как причины оттока. Например, часто к оттоку менее склонны клиенты, пользующиеся несколькими продуктами. Но это не значит, что чем больше продуктов мы подарим клиенту - тем меньше вероятность, что он нас покинет. Использование клиентом нескольких продуктов является следствием, а не причиной того, что клиент не склонен к оттоку. Фрод в предиктивных моделях оттока Если по топ-атрибутам модели ее легко “обмануть” и получить высокий скор склонности к оттоку и, соответственно, выгодное предложение для удержания, то такая модель должна быть перестроена. 1 Прогноз самостоятельного возвращения 2 Оценка значимости текущего периода без покупок Удержание и Реактивация 3 Удержание и реактивация Модель удержания Модель удержания - модель отклика клиентов, склонных к оттоку - на удерживающее воздействие (например, коммуникация, вознаграждение). Задача: кого и как можно удержать? ● Какова вероятность, что клиент, склонный к оттоку, не уйдет в отток в результате того или иного удерживающего действия (с той или иной величиной вознаграждения)? ● Какое из удерживающих действий (с какой величиной вознаграждения) с большей вероятностью удержит от ухода в отток клиента, склонного к оттоку? Кого не забыть исключить из обучающей выборки? ● Клиентов, не склонных к оттоку. Модель реактивации Модель реактивации - модель отклика клиентов из фактического оттока - на реактивирующее воздействие (например, коммуникация, вознаграждение). Задача: кого и как можно вернуть из ушедших в отток? ● ● Какова вероятность, что клиент, ушедший в отток, вернется из оттока в результате того или иного возвращающего действия (с той или иной величиной вознаграждения)? Какое из возвращающих действий (с какой величиной вознаграждения) с большей вероятностью возвратит из оттока клиента, ушедшего в отток? Кого не забыть исключить из обучающей выборки? ● Клиентов, не ушедших в отток. Варианты моделей удержания и реактивации Модель отклика клиента на удерживающее действие вообще независимо от типа удерживающего действия. Модель отклика клиента на определенную величину (её бин) вознаграждения независимо от типа удерживающего действия. Модель отклика клиента на конкретный тип удерживающего действия - независимо от величины вознаграждения. Модель отклика клиента на различные величины вознаграждения независимо от типа удерживающего действия. Модель отклика клиента на различные типы удерживающего действия - независимо от величины вознаграждения. Единая модель отклика клиента на разные типы удерживающего действия с разной величиной вознаграждения. Формирование сегмента на рассылку удерживающих предложений 1. 2. 3. 4. По точке перегиба в горизонталь ROC-кривой (или cumulative recall) По количеству удержанных клиентов. По доле удержанных клиентов. По экономической целесообразности. a. По-клиентная оценка дохода от удержания (LTV, прогноз дохода в окне фиксированной величины или другие методы). b. По-клиентная оценка расхода на удержание. c. По-клиентная оценка склонности к оттоку. d. По-клиентная оценка склонности к отклику на удерживающее предложение. e. По-клиентная оценка экономической целесообразности удержания. f. Или выбор порога отсечения по скору - с учетом экономической целесообразности. Модель отклика на удерживающее воздействие Цель: найти склонных к оттоку клиентов, которые с большей вероятностью откликнутся на удерживающую коммуникацию Обучающая выборка ● Только клиенты, склонные к оттоку ● Дополнительные атрибуты ○ Флаг коммуникации ○ Оценка значимости текущего периода без покупок (скор модели) Целевое событие ● Покупка в период кампании после получения клиентом (склонным к оттоку) удерживающей коммуникации Модель персонализации воздействия Факторы, которые влияют на успех удерживающей коммуникации Фактор Возможные значения Канал коммуникации SMS, Email, Push Механика удержания экспресс-баллы, кэшбек, постначисление баллов, предначисление баллов, скидка Размер вознаграждения 2х, 100 бонусов, 10% от суммы чека Доходность с клиента за период высокодоходный, низкодоходный клиент Оценка экономического эффекта моделей оттока и удержания 1 Оценка упущенной выгоды 2 Оценка LTV Особенности моделей предиктивного оттока Оценка финансовой эффективности модели Для оценки финансовой эффективности модели необходимо проведение А/Б теста: ● Оттекут ли клиенты, склонные к оттоку? ● Удержатся ли клиенты, склонные к оттоку - без удерживающего действия. ● Вернутся ли клиенты, ушедшие в отток - без возвращающего действия. Дизайн эксперимента Группы клиентов, участвующие в эксперименте Группа Логика отбора группы Коммуникация Блокировка от посторонних коммуникаций Контроль бизнесправила Текущий простой 90 и более дней Нет Да Контроль модель Текущий простой является критичным по модели оттока и клиент склонен к отклику Нет Да Тест бизнес-правила Текущий простой 90 и более дней Да Да Тест модель Текущий простой является критичным по модели оттока и клиент склонен к отклику Да Да Результаты Распределения среднего чека групп: ● Бизнес-правила тест: 753.24 руб. ● Модель тест: 760.74 руб. ● Бизнес-правила контроль: 771.16 руб. ● Модель контроль: 741.93 руб. Лифт по бизнес-правилам = -18.50 Лифт по моделям = 17.44 t-stat = -214.55, p-value = 0 — разница в лифтах статистически значима Проблемы Невозможно сравнить результаты модели с результатами существующей бизнеслогики (по причине отличия механики) Данный подход не учитывает отложенный эффект от удержания Данный подход не учитывает упущенную прибыль (прежде, чем действующая бизнеслогика “заметит” склонность клиента к оттоку, клиент уже длительное время не будет совершать покупок) Влияние внешних событий (экономические и политические события могут побуждать клиентов, склонных к оттоку, к возобновлению покупок) Метрики оценки Эффективность модели оценивается как лифт между тестовой и контрольной группой по одной из следующих метрик: ● Конверсия ○ Опережающее удержание снижает размер упущенной прибыли. То есть даже меньшая конверсия при опережающем удержании может принести больший экономический эффект ○ Не учитывает отложенный эффект от удержания ○ Не учитывает упущенную прибыль ● РТО ○ Не учитывает отложенный эффект от удержания ○ Не учитывает упущенную прибыль ● EBITDA ○ В кампаниях по удержанию оттока EBITDA часто отрицательна ○ Не учитывает отложенный эффект от удержания ○ Не учитывает упущенную прибыль ○ Сложность расчетов ● LTV ○ Учитывает отложенный эффект от удержания ○ Не учитывает упущенную прибыль ○ Необходимо построение отдельной модели для оценки LTV ○ Необходима дополнительная валидация вычисленных значений LTV ● Упущенная прибыль ● Лифт по LTV (до и после кампании) + траты в период кампании - расходы на коммуникацию - упущенная прибыль (в случае бизнес-логики) [и делим значение этого выражения на численность группы] ● Упущенная прибыль + LTV + РТО 1 Оценка упущенной выгоды 2 Оценка LTV Оценка упущенной выгоды Подход к оценке Кейс: Клиент был без транзакций больше 90 дней. Является ли этот простой критическим? Если да, то отправляем коммуникацию по индивидуальному порогу оттока. ● ● Выигрыш = кол-во дней выигрыша • стоимость дня 3 дня — медианное количество дней, через которое клиенты приходят после коммуникации 1 Оценка упущенной выгоды 2 Оценка LTV Оценка LTV Пример: Оценка LTV Для оценки LTV клиента можно использовать Гамма-Гамма модель, которая основывается на допущении, что есть взаимосвязь между суммой транзакций и частотой покупок. Можно сразу задать размер ставки дисконтирования, что оценить пожизненную ценность клиента методом дисконтированного денежного потока Больше, чем просто отток Больше, чем просто отток ● ● ● ● ● Определение порогов оттока по совместному распределению: прироста интервала между покупками и прироста суммы трат Увеличение интервала без покупок может означать: ○ Клиент склонен к оттоку (возможно, только в определенной категории) ○ Клиент купил товары впрок ○ Клиент испытывает дефицит и вскоре совершит крупную покупку Использование метрик оттока в качестве дополнительных атрибутов состояния клиента в любых других моделях Кластеризация векторов состояния - и прогноз перетекания клиентов между кластерами (например, графовая аналитика) Классификация причин оттока Образовательные курсы Записаться на курс "Анализ данных в целевом маркетинге"
