Дисклеймер. Эта серия постов "Переводы от Sesevor" создается специально для нашего клуба в ознакомительно-развлекательных целях. Для тех из вас, кому интересно, что происходит в мире в различных областях бизнеса и финансах.
Наша цель — собрать для вас передовые идеи, которые можно взять себе на вооружение и применить их прямо сейчас, Или подумать о развитии своего бизнеса и, возможно, откорректировать курс на ближайшие годы.
Пост № 6. О том, как анализ данных может помочь увеличить поток постоянных клиентов. Материал подготовлен аналитиками языковой школы Duolingo.
MAU, WAU и DAU — метрики мобильных приложений, которые позволяют анализировать активность пользователей приложения и своевременно реагировать на их поведение.
Многие компании развиваются за счет платного маркетинга, но стратегия в Duolingo немного отличается!
По состоянию на начало 2023 года около 80% пользователей было привлечено органическим путем. Возможно, они следили за нами в социальных сетях или узнали о нас от друзей. Мы поддерживаем этот органический рост, создавая самый лучший продукт, на который способны, и распространяя его бесплатно.
Мы надеемся, что в конечном итоге учащимся настолько понравится пользоваться Duolingo, что они заплатят за набор премиум функций. И это надежда оправдывается! Мы обнаружили, что 7% активных пользователей ежемесячно подписываются на Super Duolingo, и их число растет.
Наш бизнес растет именно за счет того, что учащиеся любят продукт и рассказывают о нем своей семье и друзьям. Некоторые из них, в конечном итоге, загружают приложение и оплачивают подписку. Вместо того, чтобы вкладывать деньги в маркетинг для получения немедленного дохода, мы играем в долгую игру.
Звучит здорово, не так ли? Но поддержание здоровой экосистемы уникальный пользователей за сутки (Daily Active Users, DAU) на различных этапах их жизненного цикла - это тонкий баланс. Чем больше у нас обучающихся, тем разнообразнее становятся их потребности.
Чтобы сохранить желаемый вектор развития при обслуживании растущей и развивающейся аудитории, мы сначала ориентируем команду на продвижение метрик, которые имеют для значение, а затем проводим сотни A/B-тестов для оптимизации этих показателей.
Но как определить, какие метрики важны? И что сделать для того, чтобы организация их внедрила? Что произойдет, если существующие показатели перестанут меняться? Наша команда аналитиков разработала систему роста, которая помогла увеличить количество DAU (Daily Active Users) в 4 раза с 2019 года.
Давайте разберем, что именно привело нас к этой системе (Модель роста), какое ощутимое влияние она оказала на наш бизнес, а также как мы собираемся развивать систему дальше, чтобы перейти к новый этап роста.
Вывод наших DAU из застоя
В 2018 году, после нескольких лет уверенного ежегодного роста YOY (YoY Year-Over-Year), показатель DAU перешел в состояние стагнации. Команда, сосредоточенная на росте уникальный пользователей за сутки, с трудом разрабатывала A/B-тесты, пытаясь найти эффективные пути прироста.
Поэтому мы решили переосмыслить наш подход, и задались вопросом: Можем ли мы улучшить наш фокус, оптимизировав те показатели, которые косвенно влияют на прирост DAU?
Другими словами, можем ли мы разбить весь объем клиентской базы регулярных пользователей на более мелкие, но значимые (и, надеемся, легче оптимизируемые) сегменты.
Модель роста — это серия показателей, которые мы разработали, чтобы с помощью данных запустить нашу стратегию роста пользователей. В основу легла Марковская модель, которая разбивает основные показатели (например, DAU) на более мелкие сегменты пользователей, привлекательные для нашего бизнеса.
Для этого мы ежедневно классифицируем пользовательский статус всех учащихся Duolingo (прошлых или настоящих) по состоянию активности и отслеживаем вероятность перехода из одного состояния в другое.
Вероятности перехода отслеживаются как показатели удержания (например, NURR или коэффициент удержания новых пользователей), показатели "деактивации" (например, коэффициент потери ежемесячно активных пользователей, или MAU) и показатели "активации" (например, коэффициент повторной активации).
Иллюстрация модели роста Duolingo: технические детали
Приведенная выше модель классифицирует пользователей на 7 взаимоисключающих состояний в зависимости от их уровня активности на сайте:
Новые пользователи: учащиеся, которые впервые сталкиваются с Duolingo.
Текущие пользователи: учащиеся, активные сегодня, которые также были активны на прошлой неделе.
Реактивированные пользователи: учащиеся, активные сегодня, которые также были активны в прошлом месяце (но не на прошлой неделе).
Возобновленные пользователи: учащиеся, активные сегодня, которые в последний раз были активны более 30 дней назад.
Еженедельные активные пользователи, подверженные риску оттока: учащиеся, которые были активны в течение последней недели, но не сегодня.
Ежемесячные активные пользователи, подверженные риску оттока: учащиеся, которые были активны в течение последнего месяца, но не в течение последней неделе.
Неактивные пользователи: учащиеся, которые были неактивны более 30 дней.
Как показывают стрелки на диаграмме, мы также отслеживаем процент пользователей, перемещающихся между уровнями (за некоторыми стрелками мы следим более внимательно, чем за другими).
В качестве примера, скажем, группа новых пользователей впервые приходит в Duolingo в первый день.
Некоторая часть этих учащихся возвращается к учебе и на следующий день: доля учащихся 1-го дня, которые возвращаются на 2-й день, составляет коэффициент удержания новых пользователей (NURR). Этот возврат к учебе на второй день переводит учащихся в следующее "активное" состояние (Текущий пользователь).
У вас может возникнуть вопрос: "Могут ли существующие пользователи быть ошибочно приняты за "новых пользователей", если они изменят номер телефона или войдут в систему с другого устройства?"
К счастью для нас, наши партнеры из инженерной команды разработали сложный подход к разрешению активности пользователей в нескольких учетных записях, называемый "aliasing". Так вот, наша модель обрабатывает полученные данные уже после того, как они прошли процесс резкого изменения информации.
- Новые пользователи в день 1, которые не возвращаются на день 2, перейдут в "неактивное" состояние (At Risk WAU). Поскольку они в настоящее время неактивны, они не являются регулярными активными пользователями (DAU). Но они все еще были активны один раз на последней неделе (т. е. еженедельные WAU), отсюда и название статуса.
- Неактивные учащиеся остаются в состоянии At Risk WAU с риском оттока в течение первых 7 дней бездействия.
- После 7 дней бездействия учащиеся переходят в состояние ежемесячных активных пользователей (MAU) с риском оттока, в котором они могут оставаться до 22 дней.
- После того, как учащиеся неактивны в течение 30 дней, они переходят в состояние бездействующего пользователя (At Risk WAU, At Risk MAU, Dormant), в котором они остаются до тех пор, пока снова не станут активными.
- Каждое "неактивное" состояние(At Risk WAU, At Risk MAU, Dormant) имеет по две точки входа и выхода из него. Учащиеся в состоянии покоя могут либо оставаться неактивными и оставаться в том же состоянии изо дня в день, либо перейти в режим "Реактивирован", если они снова станут активными.
- Аналогичным образом, учащиеся в состоянии MAU с риском оттока, могут оставаться неактивными или переходить к реактивации, если они решат открыть приложение.
Поиск наших новых "подвижных" метрик
Разработав модель роста и научившись анализировать данные истории активности пользователей, мы начали проводить симуляцию роста. Цель состояла в том, чтобы определить новые метрики, которые с большой вероятностью приведут к увеличению DAU.
Мы сделали это, систематически воздействуя на каждый показатель и коэффициент в модели, чтобы увидеть, каким будет его последующее влияние на расширение DAU. Вот как это выглядело бы, если бы для каждой группы активности пользователей рост составлял 2% за определенный период времени:
Результаты были довольно четкими: увеличение текущего коэффициента удержания текущих пользователей (CURR) на 2% в месячном исчислении оказало наибольшее влияние на прирост DAU.
Мы собрали команду, которая начала проводить A/B-тесты, чтобы узнать:
- можем ли мы изменять CURR и влиять на коэффициент удержания пользователей;
- действительно ли влияет изменение CURR на прирост DAU.
Помните: корреляция не равна причинно-следственной связи
Тесты были успешными! Теперь, когда команда сосредоточилась на управлении коэффициентом удержания новых пользователей, рост DAU возобновился, и мы продолжаем наблюдать его стабильно каждый год.
Первое применение модели роста было только началом. Эта структура стала основой для реализации того, как мы хотим развивать свой продукт. Мы использовали модель роста, чтобы:
Создать статистический прогноз притока первичных пользователей, которые затем превращаются в ежедневных активных пользователей.
Установить квартальные и годовые цели для команд, превышающие ожидаемые изменения в показателях.
Добавить новые измерения для анализа (например, метки нахождения на уровне пользователя, такие как "Текущий пользователь") на нашу собственную платформу аналитики и экспериментов.
Выход за рамки усредненных показателей
В 2018 году рост нашей базы DAU был стагнирующим, и модель роста помогла нам определить новые возможности для ее быстрого увеличения.
Переходим к 2023 году ... и рост базы DAU становиться стабильным и последовательным. Текущий показатель удержания пользователей был ключом к открытию этой новой фазы роста.
По мере того, как коэффициент удержания первичных пользователей (CURR) стал подниматься все выше и выше, мы начали задавать себе два вопроса.
Каков потолок DAU?
Мы знаем, что это не 100%. Иногда люди забывают завершить урок, или испытывают технические трудности, или просто хотят сделать перерыв. (Вот почему у нас есть The Streak Freeze - и целый набор мемов о Duo, напоминающих учащимся о необходимости брать уроки).
Мы знаем, что еще не достигли нашего потолка, коэффициент удержания продолжает расти. Но мы хотим предотвратить волну застоя в активности пользователей по мере приближения к максимальному показателю при их удержании.
Внимательный читатель заметит, что модель роста рассчитывается на основе усредненных показателей.
Какие возможности мы теряем, усредняя состав базы?
Средние значения удобны и масштабируемы, но мы обнаружили, что из-за стремительного роста CURR за эти годы наши базы текущих пользователей опять слились воедино.
Почему это имеет значение? Мы обнаружили, что наши усредненные показатели не позволяют нам видеть разницу и особенные потребности отдельных учащихся в каждой группе активности.
Это означает, что коэффициент становится все более неточным индикатором текущего поведения пользователей.
Мы рискуем тем, что вскоре этот показатель перестанет меняться, точно так же, как в 2018 году. Также стало сложнее ставить разумные цели и точно прогнозировать, что будет важным сейчас, когда мы являемся публичной компанией.
Сегментация пользователей "снизу вверх"
Мы начали изучать методы сегментации пользователей "снизу вверх" в качестве дополнения к нашему текущему методу "сверху вниз".
Обращаясь к методам самостоятельного обучения, позволяющим выявлять неожиданные закономерности в данных, мы также удерживаем организацию от применения аналитических структур, которые могут способствовать предвзятости наших выводов.
"Нисходящий" характер модели роста подкрепляет многие наши предвзятые представления о том, что важно для нашего бизнеса. "Восходящий" характер нашего нового подхода откроет новые возможности помимо уже выбранного пути.
Мы рады воплотить эту новую идею в жизнь и начать наш следующий этап роста!
Расчет показателей
Мы можем вычислить количество уникальных учащихся, которые попадают в определённую группу активности в данный день, используя вероятности перехода на новый уровень после предыдущего дня.
Давайте взглянем на серию вычислений, необходимых для определения значения каждого состояния в данный день.
Наш главный KPI компании, количество уникальных пользователей за сутки (DAU), рассчитывается путем подсчета уникальных учащихся в каждом "активном" состоянии в каждый конкретный день (t):
DAU(t) = ReactivatedUser(t) + NewUser(t) + ResurrectedUser(t) + CurrentUser(t)
Усредненные показатели более высоких уровней, такие как еженедельные (WAU) и ежемесячные (MAU) активные пользователи, рассчитываются аналогичным образом, но с учетом некоторых "неактивных" состояний:
WAU(t) = ReactivatedUser(t) + NewUser(t) + ResurrectedUser(t) + CurrentUser(t) + AtRiskWAU(t)
MAU(t) = ReactivatedUser(t) + NewUser(t) + ResurrectedUser(t) + CurrentUser(t) + AtRiskWAU(t) + AtRiskMAU(t)
Активные состояния рассчитываются следующими способами:
ReactivatedUser(t) = ReactivationRate(t) * AtRiskMAU(t-1)
ResurrectedUser(t) = ResurrectionRate(t) * DormantUsers(t-1)
CurrentUser(t) = NewUser(t-1)* NURR(t) + ReactivatedUser(t-1) * RURR(t) + ResurrectedUser(t-1) * SURR(t) + CurrentUser(t-1) * CURR(t) + AtRiskWAU(t-1) * WAURR(t)
Неактивные состояния рассчитываются следующим образом:
DormantUser(t) = DormantUser(t-1) * DormantRR(t) + AtRiskMAU(t-1) * MAULossRatet
AtRiskMAU(t) = AtRiskMAU(t-1) * ARMAURR(t) + AtRiskWAU(t-1) * WAULossRate(t)
AtRiskWAU(t) = AtRiskWAU(t-1) * ARWAURR(t) + CurrentUser(t-1) * (1-CURR(t)) + ReactivatedUser(t-1) * (1-RURR(t)) + NewUser(t-1) * (1-NURR(t)) + ResurrectedUser(t-1) * (1-SURR(t))
Расшифровка формул:
NewUser - новый пользователь;
ResurrectedUser - возобновленный пользователь;
CurrentUser - текущий пользователь;
DormantUsers - неактивные пользователи;
ReactivatedUser - реактивированный пользователь;
DAU - количество уникальных пользователей за сутки;
MAU - количество уникальных пользователей за месяц;
WAU - количество активных пользователей в течение недели;
AtRiskWAU - количество пользователей за неделю, находящихся в зоне риска;
AtRiskMAU - количество пользователей за месяц, находящихся в зоне риска;
ReactivationRate - коэффициент реактивации;
ResurrectionRate - коэффициент возобновления;
NURR - коэффициент удержания новых пользователей;
RURR - коэффициент удержания реактивированных пользователей;
SURR - возобновление показателя удержания пользователей;
CURR - коэффициента удержания текущих пользователей;
WAURR - коэффициент реактивации неактивных пользователей в течение недели.
Оригинал статьи можно прочитать по ссылке https://blog.duolingo.com/growth-model-duolingo/