Как выбрать правильный статистический метод в A/B тестировании: руководство по сравнению линейной регрессии и других инструментов

Выходя за границы поверхности: почему линейная регрессия по-прежнему заслуживает внимания

В волне машинного обучения и глубокого обучения мы часто упускаем из виду классический и мощный инструмент — линейную регрессию. Хотя LLM и передовая архитектура занимают заголовки, линейная регрессия по-прежнему играет ключевую роль в анализе данных, особенно в сценариях A/B тестирования.

Рассмотрим практический пример: компания электронной коммерции запустила новый дизайн баннера и должна оценить его влияние на среднюю продолжительность сеанса пользователя. Путем сбора данных экспериментов и проведения статистического анализа мы рассмотрим несколько методов интерпретации этих результатов.

Быстрый анализ с помощью T-теста

Используем классический T-тест в качестве отправной точки. Экспериментальные данные показывают значительный эффект: разница в средних значениях выборки между группой обработки и группой контроля составляет 0.56 минут, что означает, что пользователи в среднем потратили на продукт на 33 секунды больше.

Этот показатель выглядит неплохо, но действительно ли он отражает истинное влияние баннера?

Линейная регрессия: глубокое исследование

Теперь переанализируем с помощью линейной регрессии. Используем переменную обработки (показывается ли новый баннер) в качестве независимой переменной, продолжительность сеанса в качестве зависимой переменной. Что показывает сводка модели?

Коэффициент переменной обработки составляет ровно 0.56 — результат совпадает с T-тестом. Интересно, что значение R-квадрата составляет всего 0.008, что указывает на то, что модель объясняет лишь крошечную часть дисперсии данных.

Это просто совпадение? Нет

Почему эти два метода дают одинаковый результат? Ответ кроется в их математической основе.

В линейной регрессии, когда переменная обработки равна 1, это представляет среднюю продолжительность сеанса пользователей, получивших обработку; когда она равна 0, это представляет среднее значение для пользователей, не получивших обработку. Следовательно, коэффициент обработки фактически является разницей средних значений двух групп.

Нулевая гипотеза T-теста (отсутствие разницы между средними группы) полностью совпадает с нулевой гипотезой коэффициента обработки в линейной регрессии. Когда нулевые гипотезы одинаковы, T-статистика и P-значение, вычисленные обоими методами, также должны быть идентичными.

Зачем тогда использовать линейную регрессию?

Простое сравнение средних значений может показаться достаточным, но реальный мир намного сложнее.

На самом деле, только переменная обработки может быть недостаточной для объяснения всех изменений — систематические смещения часто присутствуют. Например:

• Пожилые пользователи чаще сталкиваются с новым баннером, чем новые пользователи
• Пользователи с разными демографическими характеристиками по-разному реагируют на баннер

Хотя случайное распределение может смягчить эту проблему, оно не может полностью устранить ее. Вот почему нам нужны контрольные переменные (ковариаты).

Добавив среднюю продолжительность сеанса пользователя до эксперимента в качестве контрольной переменной в модель, производительность модели значительно улучшается: R-квадрат подскакивает до 0.86, что означает, что мы теперь объясняем 86% дисперсии данных.

Новая оценка эффекта обработки составляет 0.47 минут.

Какое число более точное?

Теперь у нас есть два разных эффекта обработки: 0.56 и 0.47. Какой из них истинный?

В данных реального моделирования фактический эффект обработки был установлен на 0.5. Очевидно, что 0.47 после добавления контрольной переменной ближе к истинному значению, ошибка составляет всего 0.03. Это показывает, что контроль ключевых ковариат может значительно улучшить точность оценки.