NPS волна 2026-08 — финальный анализ

Опрос активной базы · срез 03.09.2026 · волна закрыта (последний ответ 01.09.2026 14:28 MSK)

1. Ядро: балл и его история

Данные: nps_responses · wave 2026-08 · сегмент active. Рамка рассылки — 1384 получателя, тестовые аккаунты исключены (1). Все проверки (разделы 1–6) пересчитаны на финальном срезе (260 ответов). Матрица раздела 6 («распространённость × тяжесть») не пересчитана целиком — добавлен только прирост churn-событий за 01–03.09.

Распределение оценок

критики 1–6 нейтралы 7–8 промоутеры 9–10

Замеры NPS по волнам

Почему −11.7 пункта к февралю нельзя читать как ухудшение продукта. Февраль: Google Forms, курируемый список, бонус 7 дней, отклик ~100%, 140 ответов. Август: TMA-страница, 1384 получателя, без бонуса, отклик 18.8%. Механизм самоотбора разный — в феврале отвечали практически все приглашённые, сейчас только те, кто захотел. Дельта лежит внутри разницы инструментов, пока не доказано обратное; раздел 2 показывает, что доказательства скорее в обратную сторону.

Из 1384 получателей ответили 18.8% (260 чел.) при плане ≥30%. Ответивших «со стороны» нет — рамка чистая. Часть ответов частичные: балл поставили, до текста не дошли; в NPS они входят, в кодировку тем — нет.

2. Отвечают ли недовольные

Опасение перед волной было одно: «недовольные молчат, поэтому балл завышен». Ни одна из четырёх проверок не нашла смещения, завышающего NPS. Три из четырёх указывают в обратную сторону. Честная вилка на финале — +25.4…+27.5.

2.1. Отклик по бакетам like rate — знак противоположен ожидаемому

БакетРамкаОтветилиОткликСредний балл
Самый недовольный бакет (LR <10%) отвечает чаще среднего (30.8% против 18.8% по всей рамке). Линия разлома та же: 895 из 1384 (65% рамки) — люди без реакций, они отвечают вдвое реже остальных бакетов, их балл (7.94) на среднем уровне.

2.2. Перевзвешивание к рамке

ОценкаNPSСредний балл
Сырой (идёт в тренд)+25.47.87
Взвешенный по бакетам LR+27.57.89
Перевзвешивание поднимает оценку, но разрыв сузился: интерим давал вилку 4.6 пункта, финал — 1.9 (+25.4…+27.5). С ростом выборки сырая оценка сама подошла ближе к взвешенной.

2.3. Ранние против поздних

КогортаnСредний баллNPSКритиков
до reminder1 (25–28.08)1207.83 ±0.38+20.820.8%
после reminder1 (28–31.08)757.91 ±0.55+30.721.3%
после reminder2 (после 31.08)657.89 ±0.58+27.720.0%
Третья когорта досчитана на финале: выросла с 15 до 65 человек, ДИ сузился вдвое (±0.58). Балл и NPS практически совпадают с первыми двумя когортами, доля критиков — самая низкая из трёх. Вывод интерима подтверждён на полной выборке: дожатые вторым напоминанием отвечают не хуже добровольных.

2.4. Ковариаты: рамка против ответивших

ПризнакРамка (1384)Ответившие (260)Δ
Жаловались в поддержку за 90 дней59.1%62.7%+3.6 п.п.
Режим advanced (среди известных)67.5%74.2%+6.7 п.п.
Есть стоп-слова31.7%35.8%+4.1 п.п.
Стаж, медиана дней118134.5+16.5
Средний балл жаловавшихся 7.64 (n=163) против 8.25 у не жаловавшихся (n=97). Проверка «пожаловавшиеся не пришли» отвергнута: они пришли даже чаще. Выборка смещена в сторону вовлечённых; разрывы по advanced-режиму и стоп-словам на финале даже шире, чем на интериме.

3. Голос базы — 95 комментариев

95 текстов, 36.5% ответивших (90 показаны построчно дословно; 5 из финального добора 01–03.09 закодированы только в темах — точные цитаты для карточек не восстановлены). Кодировка ручная, схема имён общая с churn-отчётом, один текст может нести несколько тем. Промоутерам поле для жалобы не показывали — поэтому здесь только критики и нейтралы. Комментарии приведены дословно; вместо telegram_id — метки R-01…R-90 в порядке возрастания оценки.

Темы: сколько людей и сколько среди них критиков

критики 1–6 нейтралы 7–8 справа: упоминаний · средний балл группы
Клик по теме фильтрует список комментариев ниже. Список по умолчанию сгруппирован теми же темами в том же порядке; текст с несколькими темами попадает в каждую из них, поэтому карточек больше, чем комментариев.
Темы
Оценка

4. Цена релевантности

Семейство «релевантность» — подбор, фильтры и игнорирование реакций. Сравнение тех, кто эту тему назвал, со всеми остальными ответившими.

Разрыв в 2.45 балла — это и есть весь NPS волны. Если бы вся волна отвечала как «остальные», NPS был бы +46.5 вместо +25.4: потолок роста +21.1 пункта в одной теме (интерим оценивал +24 на 244 ответах; доля группы на финале чуть ниже — 23.1% против 25.4% на интериме, — потолок сузился, но тема остаётся приоритетом №1).

Метрика успеха плана — «тема фильтрации перестаёт быть первой» — не достигнута и на финале: она осталась первой с многократным отрывом. Причём это нижняя граница: промоутерам поле жалобы не показывали вообще, а нейтралам и критикам дали один вопрос вместо шести.

5. За что держатся

Главная ценность продукта

Точность подбора как ценность назвали 5 человек, как проблему — 62. Продукт покупают за агрегацию и скорость, а ломается он на точности. Это и есть асимметрия, которую надо чинить.

13 историй, где сервис сработал

6. NPS против churn: живые и уходящие жалуются на разное

ТемаВ NPSУ уходящихSave rateЧтение

Автопродление — тема №1 на выходе и ноль упоминаний внутри. Опрос её увидеть не может в принципе: из 77 отменивших за 25.08–03.09 опрос заполнили 9 (11.7% против 19.2% у остальных). Замерять её надо churn-flow и поддержкой, не опросом.

Обратная ошибка тоже реальна: у уходящих релевантность выглядит темой №2 (17%), а среди живых это 63.2% текстов и весь разброс балла. Приоритезация по одному источнику промахнулась бы в обе стороны.

Высокий балл не удерживает. На финале — 5 пересечений NPS-ответов с последующими отменами подписки вместо 3 на интериме (двое промоутеров с баллом 10 и 9, трое критиков/нейтралов), все отмены — в течение недели после ответа. NPS измеряет удовлетворённость, а не намерение платить.

7. Что делать

1. Релевантность подбора потолок +21.1 пункта

23.1% ответивших, NPS этой группы −45.0. Разбираемая конкретика из текстов: возраст, рост и цвет волос игнорируются при заполненном профиле; массовка и АМС приходят тем, кто их отключал; стоп-слова не срабатывают; «выбрал категории — всё равно шлёшь».

2. Вернуть фритекст ветки 5_pause отложено 31.08

Решение владельца — не трогать. Практическое следствие: при сравнении тем до и после 25.08 доля темы «пауза» падает артефактно, поправка обязательна.

3. Автопродление и списания из churn-отчёта

Не конкурирует с п.1: разные популяции и разные механизмы. NPS её не подтверждает и не опровергает — он её просто не видит.

4. Фильтры как управляемый инструмент

«Не понимаю, как тебя калибровать», «раньше можно было выбрать типаж — сейчас нельзя», «ставлю дизлайки — ничего не меняется»: 7 человек просят обратную связь на реакции и более гранулярные фильтры. Дешёвая часть — спрашивать причину дизлайка.

5. Телеметрия открытий страницы опроса

При отклике 18.8% мы не отличаем «не заметил сообщение» от «открыл и передумал». Одно событие на загрузку /survey через существующий эндпоинт закрывает дыру к следующей волне.

8. Чего этот срез не закрывает

  • Волна закрыта: последний ответ 01.09.2026 в 14:28 MSK, финальный пересчёт выполнен 03.09.2026.
  • Сегменты «не купившие» и «не продлившие» на бэкенде не реализованы — рассылка шла только активным. Барьеры покупки и возврата этой волной не замеряются.
  • Смещение по признаку, которого нет в БД («молча раздражён, реакции ставит как все»), перевзвешиванием не ловится. Раздел 2 даёт нижнюю границу смещения, а не его величину.
  • Мост NPS × churn держится на пяти пересечениях — это иллюстрация, не статистика. Матрица «распространённость × тяжесть» (раздел 6) не пересчитана целиком, обновлён только прирост за 01–03.09.
  • Комментарии обезличены: соответствие меток R-01…R-90 и telegram_id хранится вне репозитория, в nps/2026-08/coding.py.