T27.AI

Блог

Поправка на множественные сравнения изменила чтение развёртывания

2026-08-17 · 6 мин чтения

Смерженная исследовательская заметка показывает, как выбор из девяти placements по среднему отступу становится более узким утверждением после учёта семейства сравнения.

Смерженная исследовательская заметка меняет чтение одного выбора кодбука. В кампании развёрнутый вариант выбирали по среднему отступу, а затем применили поправку на множественные сравнения к девяти placements, из которых делался выбор.

На уровне модели сравнение имеет n = 5 контрольных точек. Развёрнутый NEAR0 имеет средний отступ −4,03 %, 95%-й интервал [−7,32; −0,63], p = 0,031 до поправки ×9 и 0,279 после неё. В скорректированной таблице его статус — TIE.

Таблица после поправки

MID получает статус BEATS в таблице девяти placements: скорректированное p равно 0,036. Это более узкое утверждение, чем рекомендация к развёртыванию. В парном сравнении с NEAR0 разница MID составляет +1,99 %, интервал [−1,17; +5,25], p = 0,157, поэтому при n = 5 это ничья.

Почему среднее оказалось нестабильным

NEAR0 меняется от −1,06 до −8,07 % на пяти контрольных точках: разброс 7,01 процентного пункта. MID меняется от −1,21 до −3,09 %, разброс 1,88 процентного пункта. Если убрать контрольную точку Pythia, NEAR0 меняется до −2,98 %, а MID остаётся на −2,01 %.

При leave-one-checkpoint-out выборе по среднему отступу NEAR0 выбирается 5 раз из 5. Методологический вывод заметки: выбор по сырому среднему и отчёт после поправки на множественные сравнения могут вознаграждать вариант с большим разбросом, потому что статистика выбора и итоговое утверждение отвечают на разные вопросы.

Исходные данные тоже были частью результата

В том же смерженном изменении зафиксировано, что каталог весов находился в /tmp другого сеанса и исчез в середине кампании. Корпус и модель восстановили, затем повторили контрольную линейку и только после совпадения с эталонными значениями сочли измерения до и после потери сопоставимыми. Это квитанция воспроизводимости, а не заявление о производительности.

Чего это не доказывает

• Это не доказывает, что MID лучше NEAR0: их парное сравнение при n = 5 даёт ничью и p = 0,157.
• Пять контрольных точек и одна проверка на wikitext-2 не доказывают поведение на новых моделях, датасетах или режимах обучения.
• Заметка сообщает метрики на уровне модели для блока 32 с E8M0 и без lm_head; это не общий результат для каждого слоя или формата.
• Пост не заявляет результата на FPGA, по скорости, энергии или в реальном развёртывании.

Скорректированный ярлык — не решение о развёртывании. Это более узкое утверждение с явно названным семейством выбора.

Практический урок для инженера: до измерения зафиксировать семейство выбора и статистику, а не превращать измеренный отступ в общий результат. Квитанция — смерженный PR и его исследовательские заметки.