Консультант по анализу данных

Анализ данных: гибридный график, вовлечённость и увольнения

Сначала о главном. В вашем дизайне есть проблема, которая влияет на ответы на все три вопроса сильнее, чем выбор теста: формат работы почти полностью совпадает с отделом. Служба поддержки осталась в офисе, остальные отделы перешли на гибрид. Значит, сравнение «гибрид vs офис» по сути может оказаться сравнением «поддержка vs все остальные», а у поддержки своя специфика: нагрузка, эмоциональное выгорание, уровень зарплат, исторически высокая текучесть. Поэтому ниже я сначала предлагаю проверить, насколько эти две переменные совпадают, и только потом выбирать методы.

Числовых результатов я не привожу: данных у меня нет. Где могу, даю формулы и пороги, а где не хватает информации, задаю вопросы (они собраны в конце).

1. Аудит данных

1.1. Типы переменных и как с ними обращаться

1.2. Главный риск: совпадение формата и отдела

Что сделать первым делом: построить таблицу сопряжённости department × work_format.

Возможны три сценария:

• А. Все 94 офисных сотрудника из поддержки, а в поддержке нет ни одного гибридного. Тогда эффект формата статистически неотделим от эффекта отдела. Это нарушение позитивности (positivity / overlap): в каждой клетке ковариат должны встречаться оба варианта воздействия. Контроль отдела в регрессии удалит весь эффект формата, потому что модель не сможет оценить оба коэффициента. RQ3 в части «отдел как модератор» при этом невыполним в принципе: внутри каждого отдела формат не меняется.
• Б. Кроме поддержки, есть отдельные офисные сотрудники в других отделах («большинство отделов» в описании на это намекает). Формально модель можно оценить, но эффект будет держаться на небольшой и, вероятно, особой группе: почему именно эти люди остались в офисе? Возможно, это их выбор, требование руководителя или специфика роли. Это самоотбор.
• В. Внутри поддержки есть и те, и другие. Это лучший вариант: сравнение внутри поддержки становится самым чистым.

Всё дальнейшее зависит от того, какой сценарий у вас. Пожалуйста, пришлите эту таблицу.

1.3. Сотрудники, пришедшие после перехода

Опрос прошёл в сентябре 2025, переход был в марте 2025. У всех со стажем меньше примерно 6–7 месяцев не было опыта работы в офисном режиме в этой компании. Более того, они могли выбрать компанию как раз из-за гибрида: это ещё один вид самоотбора. Кроме того, у новичков обычно выше вовлечённость («медовый месяц»), и у них своя динамика увольнений.

Что делать: создать флаг hired_after_transition и прогнать основной анализ в двух вариантах: на всех и без этой группы.

1.4. Что нельзя ставить в модель как контрольные переменные

Здесь нужна причинная логика. Если ставить переменные в модель по принципу «чем больше контролей, тем лучше», оценка может стать хуже.

• Кандидаты в конфаундеры (влияют и на формат, и на исход, при этом существовали до перехода): department, tenure_months, salary_band, age_group. Их можно контролировать.
• Кандидаты в медиаторы (формат мог на них повлиять): sick_days_6m, manager_rating, remote_days_per_week, а в RQ2 ещё и сам engagement_score. Если включить их как контроль, получится оценка не полного эффекта формата, а только его части, прошедшей «мимо» этих переменных. Например, если гибрид снижает увольнения через рост вовлечённости, то контроль вовлечённости «съест» эффект.

Поэтому для RQ2 советую считать две модели: (1) формат + конфаундеры, это полный эффект; (2) плюс вовлечённость, это исследовательский анализ механизма. Причинно интерпретировать модель (2) нельзя: у медиационного анализа на кросс-секционных данных очень сильные допущения.

Советую нарисовать простую DAG (ориентированный ациклический граф) и согласовать её с HR до анализа.

1.5. Дисбаланс классов в resigned_3m

Ожидаемое число событий небольшое. Условный пример: при годовой добровольной текучести в IT около 10–15% за 3 месяца увольняется примерно 3–4%, то есть 15–20 человек на 452, из них в офисной группе, возможно, около 5. Реальных чисел я не знаю, пришлите их.

Практическое правило: около 10 событий на каждый параметр модели (EPV, events per variable). При 20 событиях корректно оценить можно примерно 2 параметра. А модель «формат + отдел (5 dummy) + грейд (3 dummy) + возраст (3 dummy) + стаж» содержит 13 параметров. Это гарантированное переобучение и, возможно, полное разделение классов (complete separation), когда в какой-то ячейке ноль увольнений и коэффициент уходит в бесконечность.

1.6. Пропуски

Для RQ2 (resigned_3m) важный момент: исход есть у всех 452 человек из HR-системы, поэтому RQ2 анализируется на полной выборке, а не только на заполнивших опрос. Если вовлечённость в модели RQ2 появляется, пропуски в ней заполняются множественной импутацией (MICE, m ≥ 20). В модель импутации нужно включить resigned_3m, иначе связь занизится.

Если среди незаполнивших опрос доля уволившихся заметно выше, это прямое указание на смещение в RQ1: самые невовлечённые из выборки выпали.

1.7. Выбросы и качество данных

• tenure_months: значение 187 месяцев (15,6 года) возможно, но проверьте: реальна ли у компании такая история?
• engagement_score: проверьте straightlining (одинаковый ответ на все 9 пунктов, особенно 1/1/1 или 7/7/7) и время заполнения, если оно есть.
• remote_days_per_week против work_format: гибридный сотрудник с 0 удалённых дней или офисный с 3+ означают либо ошибку, либо фактическое нарушение формата. Сделайте таблицу сопряжённости.
• sick_days_6m: значение 21 день может быть одним длинным больничным (операция, травма), а не хронической проблемой. Для описания это нормально, но среднее по группе от таких случаев сильно уплывает.

1.8. Мощность: хватит ли данных

Для RQ1 (двухвыборочное сравнение, α = 0,05 двусторонний, мощность 80%) минимальный обнаружимый эффект:

$$d_{\min} \approx (z_{1-\alpha/2} + z_{1-\beta}) \cdot \sqrt{\tfrac{1}{n_1} + \tfrac{1}{n_2}} = 2{,}80 \cdot \sqrt{\tfrac{1}{358} + \tfrac{1}{94}} \approx 0{,}32$$

(для заполнивших опрос значение будет близким, около 0,33). Эффекты порядка d ≈ 0,3 и выше обнаружить можно, более тонкие нельзя. Это нормально для главного эффекта, но это оценка до контроля отдела. Если формат и отдел совпадают, эффективный размер выборки резко падает.

Для RQ3 (взаимодействие) нужна выборка примерно в 4 раза больше, чем для главного эффекта того же размера, а часто и больше. При 94 офисных сотрудниках, разбитых по стажу или отделам, мощность для модерации будет низкой. Незначимое взаимодействие здесь не означает отсутствия модерации, это просто неинформативный результат.

Для RQ2 мощность определяется числом событий, а не числом людей. Если увольнений около 20, реально обнаружить можно только очень большие различия в рисках (порядка разницы в 2–3 раза и больше). Будьте готовы к тому, что ответ на RQ2 по этим данным будет звучать как «нет достаточных данных для вывода», и это честный результат.

2. Описательная статистика

2.1. Меры центра и разброса

Для долей при малом числе событий используйте интервал Уилсона: при малых долях обычный интервал «p ± 1,96·SE» может уйти в отрицательные значения.

2.2. Таблица 1 («Table 1»)

Стандартная таблица характеристик по группам «гибрид / офис». Для каждой ковариаты добавьте стандартизированную разность средних (SMD) вместо p-значений:

$$\text{SMD} = \frac{\bar{x}{\text{гибр}} - \bar{x}{\text{офис}}}{\sqrt{(s^2_{\text{гибр}} + s^2_{\text{офис}})/2}}$$

|SMD| > 0,1 означает заметный дисбаланс групп. Дисбаланс сам по себе оценивается на совокупности, а не как гипотеза, поэтому p-значения для сравнения исходных характеристик здесь не нужны. SMD прямо показывает, насколько группы несравнимы до всякого анализа.

2.3. Психометрика шкалы (обязательно до RQ1)

1. Надёжность: ω Макдональда (предпочтительнее) и α Кронбаха, в целом и отдельно по группам формата. Ориентир: ≥ 0,80.
2. Структура: UWES-9 предполагает 3 фактора (энергичность, энтузиазм, поглощённость) по 3 пункта, хотя часто хорошо работает и однофакторная модель. Проведите CFA с оценщиком WLSMV, который учитывает порядковую природу пунктов.
3. Измерительная инвариантность между гибридом и офисом (конфигуральная, затем метрическая, затем скалярная). Почему это важно: если пункт «время на работе летит незаметно» по-разному понимается в офисе и дома, различия в суммарном балле могут отражать разное понимание вопроса, а не разный уровень вовлечённости. Имейте в виду: при n = 94 в офисной группе CFA будет на грани устойчивости, результаты стоит воспринимать как ориентировочные.
4. Масштаб: оригинальная UWES использует шкалу 0–6 и средний балл. Вы используете 1–7 и сумму. Это допустимо, но при сравнении с нормами из литературы переведите баллы: $\text{mean}_{0-6} = \text{sum}/9 - 1$.

2.4. Парные связи

• Спирмен для пар «вовлечённость – стаж», «вовлечённость – больничные», «вовлечённость – оценка руководителя», «стаж – грейд» (устойчив к асимметрии и порядковым шкалам).
• V Крамера для пар категориальных: «формат – отдел» (ожидаю значение, близкое к 1), «грейд – возраст», «отдел – грейд».
• Точечно-бисериальная корреляция или сравнение распределений для пары «вовлечённость – увольнение»: нужна как ориентир для понимания практической значимости (см. 4.4).

2.5. Что проверить визуально

• Распределение вовлечённости по формату и по отделам: нет ли потолка, бимодальности.
• Вовлечённость в зависимости от стажа (точки + LOESS) по форматам: линейная ли связь, есть ли «провал» на каком-то году стажа.
• remote_days_per_week в зависимости от вовлечённости: есть ли градиент «доза–эффект» внутри гибридной группы (2 дня против 3 дней против 4 дней удалённо).
• Доля увольнений по отделам с ДИ: насколько поддержка выделяется уже сама по себе.
• Карта пропусков (например, naniar::vis_miss в R).

3. Выбор метода

Общая логика: для каждого вопроса есть базовый анализ (простое сравнение, понятное руководству) и скорректированный анализ (с учётом конфаундеров). Главный вывод делается по второму, но показывать стоит оба: их расхождение само по себе информативно.

RQ1. Различается ли вовлечённость между форматами?

Шаг 1. Нескорректированное сравнение

• Параметрический вариант: t-критерий Уэлча. Выбран потому, что группы сильно неравны (358 против 94). При неравных группах классический t-критерий Стьюдента плохо переносит неравные дисперсии: ошибка I рода может сильно отклоняться от номинальной. Критерий Уэлча дисперсии не объединяет и почти ничего не теряет, если они на самом деле равны. Поэтому его стоит использовать по умолчанию, без предварительного теста Левена (двухшаговая процедура «сначала Левен, потом тест» сама искажает ошибку I рода).

  Допущения: независимость наблюдений; приблизительная нормальность выборочного среднего, а не самих данных (при n = 94 и 358 по ЦПТ это почти всегда выполняется, если нет экстремального потолка); интервальная природа шкалы (для суммы 9 пунктов с хорошей надёжностью это приемлемо).

  $$t = \frac{\bar{x}_1 - \bar{x}_2}{\sqrt{s_1^2/n_1 + s_2^2/n_2}}$$

• Непараметрический вариант: тест Бруннера–Мунцеля (предпочтительнее Манна–Уитни). Он проверяет гипотезу $P(X > Y) = 0{,}5$, и не требует равенства формы распределений. Манн–Уитни при неравных дисперсиях и неравных группах теряет контроль над ошибкой I рода, а его популярная трактовка «сравнение медиан» верна только при одинаковой форме распределений. Если используете Манна–Уитни, интерпретируйте его как сравнение стохастического превосходства, а не медиан.

• Размеры эффекта:

  • g Хеджеса с 95% ДИ (d Коэна с поправкой на смещение);
  • Разность средних в сырых баллах с ДИ. Для руководства это часто понятнее, чем d;
  • Вероятность превосходства $\hat{P}(X_{\text{гибр}} > X_{\text{офис}})$ или δ Клиффа $= 2P - 1$. Интуитивно: «с какой вероятностью случайно выбранный гибридный сотрудник вовлечённее случайно выбранного офисного».

Шаг 2. Скорректированная модель (основной анализ)

• Параметрический вариант: линейная регрессия (ANCOVA) с робастными стандартными ошибками HC3.

  $$\text{Engagement}_i = \beta_0 + \beta_1 \cdot \text{Hybrid}_i + \beta_2 \cdot f(\text{Tenure}_i) + \boldsymbol{\gamma}' \text{SalaryBand}_i + \boldsymbol{\delta}' \text{AgeGroup}_i + [\text{Department}_i] + \varepsilon_i$$

  Выбрана потому, что позволяет оценить эффект формата при фиксированных конфаундерах. HC3 защищает от гетероскедастичности, которая при неравных группах почти гарантирована. $f(\text{Tenure})$ означает лог-преобразование или естественный сплайн с 3–4 узлами: я не ожидаю, что связь стажа с вовлечённостью линейна.

  Допущения: линейность связи с непрерывными ковариатами (проверить графиком остатков); независимость; отсутствие сильной мультиколлинеарности (VIF < 5, для категориальных переменных GVIF); остатки близки к нормальным (при n > 400 это второстепенно); отсутствие неизмеренных конфаундеров (это непроверяемое допущение, см. раздел 4).

  Про отдел в модели (зависит от сценария из 1.2):

  • Сценарий А: отдел включать нельзя, модель не будет оценена. Честный вывод: «эффект формата неотделим от эффекта отдела поддержки». Альтернативы: сравнить гибрид против офиса без поддержки (если есть сценарий Б) или воспользоваться квази-экспериментальными данными (см. «Усиление дизайна» ниже).
  • Сценарии Б и В: отдел включается как фиксированный эффект. Эффект формата оценивается только на тех отделах, где есть оба формата; явно сообщите, сколько офисных сотрудников на самом деле его «определяют».

• Непараметрическая или полупараметрическая альтернатива: порядковая логистическая регрессия (proportional odds, rms::orm в R) для суммарного балла или взвешивание по пропенсити-скору с последующим сравнением.

  • Порядковая регрессия не требует ни нормальности, ни интервальности шкалы и хорошо работает с потолочными эффектами. Результат выражается в отношении шансов оказаться выше по шкале.
  • Взвешивание по пропенсити (лучше overlap weights, чем классический IPTW: они устойчивы, когда пропенсити близки к 0 или 1, что при вашем совпадении формата с отделом весьма вероятно) делает группы сравнимыми по ковариатам без предположения о функциональной форме связи с исходом. Обязательно проверить баланс (SMD < 0,1 после взвешивания) и перекрытие распределений пропенсити.

• Анализ чувствительности:

  • без сотрудников, нанятых после перехода;
  • с remote_days_per_week вместо work_format (анализ «доза–эффект» внутри гибридной группы; важный вопрос для решения о расширении);
  • на данных после множественной импутации против complete-case;
  • E-value (VanderWeele & Ding): насколько сильным должен быть неизмеренный конфаундер, чтобы полностью объяснить наблюдаемый эффект.

Про зависимость наблюдений. Сотрудники одной команды разделяют руководителя и культуру, поэтому наблюдения не полностью независимы. Кластеризация по 6 отделам не решает проблему: кластерно-робастные ошибки ненадёжны, когда кластеров меньше примерно 30–50. Если в HR-системе есть team_id или manager_id (десятки кластеров), используйте их: смешанную модель со случайным эффектом команды или кластерно-робастные SE по командам. Если нет, отделы остаются фиксированными эффектами, а в ограничениях честно пишется, что возможная внутрикомандная корреляция не учтена.

RQ2. Связан ли формат с вероятностью увольнения?

Шаг 1. Нескорректированное сравнение

• Точный критерий Фишера для таблицы 2×2 (формат × увольнение). Почему: при малом числе событий ожидаемые частоты в ячейках могут быть меньше 5, и асимптотический χ²-критерий становится ненадёжным. Если все ожидаемые частоты ≥ 5, допустим χ²-критерий Пирсона (параметрический асимптотический аналог), но Фишер в любом случае не хуже.
• Размеры эффекта (все с 95% ДИ):
  • разность рисков (RD) = $p_{\text{офис}} - p_{\text{гибр}}$, с ДИ Ньюкомба. Это главная метрика для бизнеса: «на 100 сотрудников на X меньше увольнений»;
  • отношение рисков (RR) = $p_{\text{гибр}} / p_{\text{офис}}$;
  • NNT $= 1 / |RD|$: «сколько сотрудников нужно перевести на гибрид, чтобы предотвратить одно увольнение». Показывайте только при значимой RD, иначе ДИ проходит через бесконечность;
  • отношение шансов (OR) приводите, если нужно, но при редких событиях OR ≈ RR, а при частых OR преувеличивает эффект. Руководству лучше показывать RD и RR.

Шаг 2. Скорректированная модель

• Параметрический вариант: логистическая регрессия с пенализацией Фирта (logistf в R, firthlogist в Python).

  $$\text{logit}, P(\text{Resigned}_i = 1) = \beta_0 + \beta_1 \cdot \text{Hybrid}_i + \text{конфаундеры}$$

  Почему Фирт, а не обычная логистическая регрессия: при малом числе событий обычная оценка максимального правдоподобия смещена от нуля (преувеличивает эффекты), а при квазиразделении не сходится. Пенализация Фирта устраняет смещение первого порядка и всегда даёт конечные оценки. ДИ считайте через профильное правдоподобие, а не по Вальду.

  Жёсткое правило по числу параметров: их число ≲ (число увольнений) / 10. Если увольнений 20, модель ограничивается форматом + 1 ковариатой. Если нужно больше контролей, объедините их в пропенсити-скор и используйте его как одну ковариату или как веса. Это снижает размерность без потери контроля смешения.

  Результат переведите в среднюю предельную разность рисков (average marginal effect, пакет marginaleffects): коэффициент логистической регрессии в логитах руководству непонятен.

  Допущения: независимость; линейность логита по непрерывным ковариатам (проверить сплайнами, если позволяет EPV); отсутствие неизмеренных конфаундеров.

• Непараметрическая альтернатива: стратифицированный анализ Мантеля–Хензеля (общее отношение рисков по стратам, например по грейду) или перестановочный тест (permutation test): многократно перемешать метку формата, посчитать распределение разности рисков при нулевой гипотезе и сравнить с наблюдаемой. Почему: ни одна из них не требует модели для связи ковариат с исходом, а перестановочный тест даёт точное p-значение при любом числе событий.

• Если у вас есть даты увольнений: модель Кокса или хотя бы кривые Каплана–Мейера. Они используют больше информации (не только «уволился да/нет», но и «когда»). Проверьте допущение о пропорциональности рисков (остатки Шёнфельда).

• Модель с вовлечённостью (исследовательская, о механизме, см. 1.4): формат + вовлечённость. Если коэффициент формата заметно уменьшается при добавлении вовлечённости, это совместимо с медиацией, но не доказывает её.

RQ3. Модерирует ли стаж или отдел эффект формата?

Модерация стажем

• Параметрический вариант: регрессия с взаимодействием format × f(tenure) + анализ Джонсона–Неймана.

  $$\text{Engagement}_i = \beta_0 + \beta_1 \text{Hybrid}_i + \beta_2 \text{Tenure}^c_i + \beta_3 (\text{Hybrid}_i \times \text{Tenure}^c_i) + \text{ковариаты} + \varepsilon_i$$

  Здесь $\text{Tenure}^c$ означает центрированный стаж (или его логарифм). Тогда $\beta_1$ интерпретируется как эффект формата при среднем стаже, а $\beta_3$ показывает, насколько эффект формата меняется на единицу стажа.

  Почему Джонсон–Нейман: он показывает, при каких значениях стажа эффект формата значимо отличается от нуля, не заставляя вас произвольно резать стаж на «новичков» и «ветеранов». Почему не нарезка стажа на группы: дихотомизация непрерывной переменной теряет мощность (примерно на треть при разбиении по медиане), а пороги выбираются произвольно, что создаёт простор для p-hacking.

  Если связь нелинейна, используйте взаимодействие со сплайном и покажите график эффекта формата как функции стажа с доверительной полосой. Это информативнее одного коэффициента $\beta_3$.

• Непараметрическая альтернатива: перестановочный тест для взаимодействия (перестановки остатков модели без взаимодействия, процедура Фридмана–Лейна) или обобщённые случайные леса (causal forest, grf) для исследования гетерогенности. Причём causal forest при вашем n имеет скорее разведочный характер. Перестановочный тест подходит, если допущения о распределении остатков сомнительны.

Модерация отделом

• В сценарии А (1.2) это невозможно: внутри отделов нет вариации формата.
• В сценариях Б и В тоже, скорее всего, недостаточно данных: в большинстве отделов офисных сотрудников будет единицы. Если всё же пробовать, используйте иерархическую (многоуровневую) модель со случайным наклоном формата по отделам. Она выполняет частичный пул (partial pooling): оценки для малых отделов «стягиваются» к общему эффекту и не прыгают из-за случайности. Это честнее, чем 6 отдельных t-тестов. Но при 6 отделах дисперсия случайного наклона оценивается очень неточно: байесовский вариант (brms) с разумными априорными распределениями здесь уместнее частотного.

Модерация грейдом (в брифе упомянут «уровень дохода»): аналогично, взаимодействие format × salary_band с порядковыми контрастами. Мощность низкая, поэтому результат разведочный.

Множественные сравнения. Если проверяется 3+ модератора, скорректируйте p-значения по Холму или Бенджамини–Хохбергу. Главное: заранее зафиксируйте, какие модераторы подтверждающие (confirmatory), а какие разведочные (exploratory). Стаж назван в RQ3 явно, значит, он подтверждающий. Всё остальное разведочное.

Как усилить дизайн (самое ценное, что можно сделать)

Текущий дизайн кросс-секционный: одно измерение после перехода. Он показывает связь, но не эффект. Однако у вас, скорее всего, есть данные, которые позволяют перейти к квазиэксперименту:

1. Метод разности разностей (DiD) по увольнениям. В HR-системе есть история увольнений до марта 2025 по всем отделам. Сравните изменение текучести (до и после перехода) в гибридных отделах с изменением в поддержке:

   $$\widehat{\text{DiD}} = (\bar{Y}^{\text{после}}{\text{гибр}} - \bar{Y}^{\text{до}}{\text{гибр}}) - (\bar{Y}^{\text{после}}{\text{офис}} - \bar{Y}^{\text{до}}{\text{офис}})$$

   Главное преимущество: DiD вычитает постоянные различия между поддержкой и остальными отделами, то есть ровно тот конфаундер, который убивает кросс-секционный анализ. Ключевое допущение: параллельные тренды (без перехода динамика текучести в группах была бы одинаковой). Оно проверяется визуально по нескольким кварталам до марта 2025.

2. Если был опрос вовлечённости до перехода (годовой eNPS, pulse-опросы), та же логика применима к RQ1, даже если шкала была другой: на уровне отдела можно сравнивать стандартизированные баллы.

3. Больничные до и после тоже доступны из HR-системы, и к ним применим тот же DiD.

Если такие данные есть, я бы сделал DiD основным анализом, а кросс-секционное сравнение вспомогательным.

4. Интерпретация

4.1. p-значение

Что это: вероятность получить такое же или более сильное различие, если бы на самом деле эффекта не было (и все допущения модели выполнены).

Чем оно не является:

• это не вероятность того, что гипотеза верна;
• p = 0,04 и p = 0,06 не означают качественно разные результаты;
• p > 0,05 не доказывает отсутствия эффекта. При вашей мощности для RQ2 и RQ3 незначимость скорее значит «данных недостаточно».

Про направленность гипотезы: гипотеза сформулирована как «гибрид лучше», но используйте двусторонние тесты. Односторонний тест оправдан, только если результат «гибрид хуже» вы заранее готовы проигнорировать. Для решения о расширении формата это явно не так.

4.2. Доверительные интервалы: главный инструмент для решения

95% ДИ показывает диапазон значений эффекта, совместимых с данными. Для решения о расширении гибрида ширина и положение ДИ важнее p-значения. Как читать:

Последняя строка, скорее всего, будет описывать RQ2 и RQ3.

4.3. Размер эффекта: условные ориентиры и где они не работают

Ориентиры Коэна (d = 0,2 / 0,5 / 0,8 как малый / средний / большой) условны и не привязаны к вашему контексту. В организационных исследованиях типичные эффекты вмешательств на вовлечённость невелики (часто d ≈ 0,2–0,3), так что даже «малый» эффект может быть практически ценен, если он распространяется на сотни людей.

Для разности рисков контекст задаёт бизнес: каждое увольнение в IT стоит компании условно от нескольких месяцев до года оклада сотрудника (поиск, онбординг, потеря продуктивности). Уточните эту цифру у HR, и RD можно будет перевести в деньги.

4.4. Практическая значимость: определите порог до анализа

Это самое полезное, что можно сделать до получения результатов. Варианты задания минимального практически значимого различия (MPD) для вовлечённости:

1. По распределению: например, 0,5 SD. Это стандартный, но не содержательный подход.
2. По связи с поведением (лучший вариант для вас): оцените в ваших же данных, на сколько баллов вовлечённости в среднем различаются уволившиеся и оставшиеся. Если разность между форматами меньше этой величины, её поведенческое значение, вероятно, невелико.
3. По мнению экспертов: спросите HR-директора, какая разница в баллах оправдала бы изменения. Зафиксируйте это письменно заранее.

Для решения о расширении на поддержку также нужно заранее определиться: каким должен быть эффект, чтобы решение имело смысл, с учётом затрат (например, на обеспечение удалённой поддержки: телефония, контроль качества, информационная безопасность).

4.5. Угрозы валидности

Внутренняя валидность (действительно ли это эффект формата?):

• Смешение с отделом, главная угроза (см. 1.2).
• Самоотбор: если в пределах отдела кто-то сам решил остаться в офисе или руководитель одобрил гибрид выборочно (например, только для высоких оценок), группы изначально разные.
• Обратная причинность: более вовлечённым и успешным сотрудникам могли чаще разрешать гибрид.
• Отсутствие базовой линии: без данных до перехода нельзя отличить «гибрид повысил вовлечённость» от «в гибридных отделах вовлечённость всегда была выше».
• Искажение из-за выбывания (survivorship bias): кто уволился между мартом и сентябрём 2025, в выборку не попал. Если несогласные с новым форматом ушли сразу, оставшиеся в каждой группе уже «отобраны».
• Эффект новизны: через 6 месяцев после перехода эффект может отражать новизну, а не устойчивое состояние.
• Общие для всех события: что ещё происходило в компании в марте–сентябре 2025 (реорганизация, пересмотр зарплат, смена руководства в каком-либо отделе, рыночная ситуация в IT)?

Валидность измерения:

• Социальная желательность: насколько опрос был анонимным? Если ответы связаны с employee_id, сотрудники это понимают, особенно если в опросе был отдел, грейд и стаж (в малых подразделениях такое сочетание фактически деанонимизирует). Гибридные сотрудники могут завышать вовлечённость, опасаясь, что им вернут офис: у них есть что терять.
• Неинвариантность шкалы (см. 2.3).
• Для RQ2: только добровольные увольнения, но граница «по собственному желанию» бывает размытой («по соглашению сторон» куда попадает?).

Внешняя валидность (переносимость на решение):

• Эффект на леченных против эффекта на нелеченных (ATT против ATU): даже если гибрид помогает разработчикам и маркетологам, это не значит, что он поможет поддержке. Работа поддержки другая (смены, SLA, эмоциональная нагрузка, потребность в быстрой помощи коллег). Для решения о расширении вам нужен эффект именно для поддержки, а его текущие данные не дают. Честная рекомендация: пилот в поддержке с рандомизацией, например по командам или сменам со ступенчатым внедрением (stepped-wedge). Тогда вопрос решается напрямую.
• Выборка 452 из ~800: вывод относится только к тем, кто в неё попал, пока не ясно, как она сформирована.

5. Визуализация

График 1. Raincloud plot вовлечённости по формату (с разбивкой по отделам)

Что показать: распределение (плотность) + отдельные точки + боксплот для каждой группы; рядом точка разности средних с 95% ДИ.

Идея, которую он доносит: не только «у кого среднее выше», но и насколько распределения перекрываются. Даже при значимой разности средних группы обычно перекрываются на 80–90%, и руководству важно это увидеть: «гибрид не превращает всех во вовлечённых». Разбивка по отделам сразу покажет проблему смешения: если офисные сотрудники есть только в одной колонке, это видно без всякой статистики.

График 2. Эффект формата в зависимости от стажа (для RQ3)

Что показать: по оси X стаж (желательно в лог-шкале или с отметками «6 мес», «1 год», «3 года», «5 лет»), по оси Y разность вовлечённости «гибрид − офис» по модели со сплайновым взаимодействием, с доверительной полосой. Горизонтальная линия на нуле. Альтернатива: две линии (гибрид и офис) с полосами, а под ними точки.

Идея, которую он доносит: для кого эффект сильнее и насколько неточна оценка на разных отрезках. Широкие полосы на краях стажа честно покажут, что там данных мало. Вертикальная пунктирная линия на отметке ~6 месяцев отделит тех, кто пришёл уже в гибрид.

График 3. Forest plot рисков увольнения (и/или разность разностей)

Что показать: для каждой подгруппы (все сотрудники; по грейдам; по возрастным группам; без новичков) точка разности рисков увольнения «гибрид − офис» с 95% ДИ, с подписью n и числа событий. Вертикальная линия на нуле.

Идея, которую он доносит: насколько устойчив вывод и насколько неточны оценки в подгруппах. Руководство сразу видит, что ДИ в подгруппах широкие, и поэтому отказ от «охоты за подгруппами» становится понятен без объяснений.

Если будут исторические данные о текучести: добавьте график трендов поквартальной доли увольнений в гибридных отделах и в поддержке, с вертикальной линией на марте 2025. Это главная визуализация для DiD: параллельность трендов до перехода проверяется на глаз.

Бонус (для техотчёта): распределение remote_days_per_week по формату и график «число удалённых дней – средняя вовлечённость» с ДИ внутри гибридной группы. Если зависимость есть, это аргумент в пользу механизма «удалённость → вовлечённость», а не «удалённый отдел → вовлечённость».

Пошаговый чек-лист

Этап 0. До анализа (зафиксировать письменно)

• 1. Нарисовать DAG: конфаундеры против медиаторов; согласовать с HR.
• 2. Определить минимальный практически значимый эффект для вовлечённости (баллы) и для увольнений (разность рисков).
• 3. Разделить анализы на подтверждающие (RQ1, RQ2, модерация стажем) и разведочные (всё остальное).
• 4. Выяснить, есть ли исторические данные: увольнения по отделам до марта 2025, прошлые опросы.

Этап 1. Аудит

• 5. Проверить дубли employee_id, диапазоны всех переменных, согласованность work_format с remote_days_per_week.
• 6. Таблица department × work_format: определить сценарий А, Б или В.
• 7. Создать флаг hired_after_transition (стаж < ~6–7 мес).
• 8. Сравнить заполнивших и незаполнивших опрос по всем административным переменным, особенно по resigned_3m.
• 9. Выяснить, как кодируется скрытый грейд; завести отдельную категорию.
• 10. Посчитать число увольнений в каждой группе и число допустимых параметров модели (события / 10).
• 11. Проверить straightlining в ответах на опрос.

Этап 2. Описательная статистика и психометрика

• 12. Table 1 по форматам со SMD.
• 13. Надёжность (ω, α) общая и по группам; CFA с WLSMV; проверка инвариантности.
• 14. Корреляции Спирмена и V Крамера; графики распределений.
• 15. Разность вовлечённости «уволившиеся − оставшиеся» (ориентир практической значимости).

Этап 3. RQ1

• 16. t-критерий Уэлча + Бруннер–Мунцель; g Хеджеса, разность в баллах, вероятность превосходства, все с ДИ.
• 17. Регрессия с HC3 и конфаундерами (отдел в зависимости от сценария).
• 18. Взвешивание overlap weights; проверка баланса и перекрытия пропенсити.
• 19. Чувствительность: без новичков; с импутацией; «доза–эффект» по удалённым дням; E-value.

Этап 4. RQ2

• 20. Точный критерий Фишера; RD (Ньюкомб), RR с ДИ.
• 21. Логистическая регрессия Фирта с ограниченным числом параметров (или пропенсити-скор как одна ковариата); предельная разность рисков.
• 22. Перестановочный тест или Мантель–Хензель как альтернатива.
• 23. Если есть даты: Каплан–Мейер, модель Кокса.
• 24. Если есть история: DiD по текучести + график трендов.

Этап 5. RQ3

• 25. Взаимодействие format × f(tenure); анализ Джонсона–Неймана; график условного эффекта.
• 26. Отдел и грейд только как разведочные; иерархическая модель при наличии вариации.
• 27. Поправка Холма или Бенджамини–Хохберга для разведочных модераторов.

Этап 6. Отчёт

• 28. Для каждого вывода: оценка + ДИ + практическая интерпретация + ограничения.
• 29. Отдельный раздел: «что эти данные говорят и чего не говорят о расширении на поддержку».
• 30. Рекомендация о пилоте в поддержке, если данных для решения недостаточно.

На что обратить внимание

1. «Гибрид повышает вовлечённость» — самая вероятная ошибка в формулировке. Кросс-секционные данные без базовой линии говорят только о связи («в гибридной группе вовлечённость выше»). Формулировку «эффект» можно использовать только после DiD или при очень сильных допущениях.

2. «Разница незначима, значит, гибрид не влияет на увольнения». При 15–30 событиях отсутствие значимости почти гарантировано даже при реальном эффекте. Смотрите на ДИ: если он включает и «увольнений стало вдвое меньше», и «увольнений стало больше», ответ звучит как «данные не позволяют сделать вывод».

3. Контроль медиаторов. Добавление вовлечённости, больничных или оценки руководителя в модель «для надёжности» размывает полный эффект формата. Контролируйте только то, что существовало до перехода.

4. Выводы по подгруппам на малых выборках. «Эффект сильнее всего у джунов в маркетинге» при 7 офисных джунах в маркетинге почти наверняка шум. Если перебрать 20 подгрупп, одна-две окажутся значимыми случайно. Для каждого утверждения о подгруппе проверяйте тест взаимодействия, а не «значимо в одной группе, незначимо в другой»: разница между значимым и незначимым сама по себе не обязательно значима.

5. Перенос эффекта на поддержку. Даже идеально оценённый эффект для разработки и маркетинга не говорит, что будет в поддержке. Это другая работа, и данных о гибриде в поддержке нет совсем.

6. Статистическая значимость против практической. При хорошей мощности разница в 1–2 балла из 54 возможных может оказаться значимой, но бесполезной для решений. Сравнивайте результат с порогом, установленным заранее.

7. Молчаливое удаление пропусков. Если самые невовлечённые чаще не заполняли опрос, complete-case анализ завышает вовлечённость. Если это непропорционально чаще касается одной группы формата, разность тоже смещается.

8. Отождествление суммарного балла с конструктом. Прежде чем сравнивать суммы, убедитесь, что шкала работает одинаково в обеих группах (инвариантность) и надёжна.

9. Ложная точность. Не округляйте в отчёте до «гибрид снижает риск увольнения на 43,7%». При таком числе событий точность оценки на порядок ниже.

10. Р-hacking через гибкость анализа. Множество развилок (какие контроли, как кодировать стаж, исключать ли новичков, какие подгруппы смотреть) даёт возможность «найти» нужный результат. Зафиксируйте основной анализ до начала работы, а остальное подавайте как анализ чувствительности.

Уточняющие вопросы

Ответы на них заметно изменят рекомендации:

1. Как распределены офисные сотрудники по отделам? Все 94 из поддержки или есть офисные в других отделах? И есть ли в поддержке гибридные? (Это определяет, решаем ли RQ1 и RQ3 вообще.)
2. Почему в выборке 452 человека при ~800 в компании? Опрос отправили не всем, часть исключили (топы, подрядчики, испытательный срок) или выгрузка неполная?
3. Сколько увольнений всего и сколько в каждой группе формата?
4. Есть ли данные до марта 2025? Помесячная или поквартальная текучесть по отделам; прошлые опросы вовлечённости или eNPS; больничные.
5. Как попадали в гибрид внутри отделов (если внутри отделов есть вариация)? Решение руководителя, выбор сотрудника или автоматически все?
6. Был ли опрос анонимным с точки зрения сотрудников? Как объясняли связь с HR-данными?
7. Как кодируется скрытый грейд у топ-менеджеров: пропуск (NA), отдельная метка, или эти люди вообще исключены?
8. Есть ли в HR-системе team_id или manager_id? Это нужно для учёта кластеризации.
9. Есть ли даты увольнений (для анализа выживаемости)?
10. Что ещё происходило в компании в марте–декабре 2025 (реорганизации, пересмотр зарплат, смена руководства, сокращения)?
11. Какой инструментарий используете: R, Python, SPSS, jamovi? Могу дать конкретный код под каждый шаг чек-листа.

Как только пришлёте таблицу department × work_format и число увольнений по группам, я уточню, какие из анализов выше реально выполнимы, и помогу сформулировать ожидания для руководства до получения результатов.