T27.AI

Блог

Одиннадцать вердиктов оказались окнами, а не чекпоинтами

2026-08-13 · 8 мин чтения

Смерженная исследовательская правка заменяет 140 объединённых окон четырьмя репликами уровня модели и превращает одиннадцать видимых вердиктов в ничьи.

Единица репликации спряталась в concatenate

PR #563 смержен в gHashTag/trinity-fpga. Он исправляет статистическую ошибку в кампании B: четыре модели дали по 35 окон, а скрипт объединял их в n = 140 перед парным тестом. Эти окна повторяют текст внутри модели; они не создают 140 независимых чекпоинтов моделей. Для утверждения о семействе моделей единица репликации — модель, поэтому n = 4.

d = np.concatenate([dvec(D, m, arm, ref) for m in models])
r = paired(d)

Правка меняет единицу анализа, а не кодбуки и не сохранённые значения NLL. Теперь вспомогательная функция сначала усредняет вклад каждой модели, если моделей несколько, а окна сохраняет только для утверждений, которые явно делаются внутри одной модели.

Одиннадцать видимых вердиктов стали ничьими

Точечные оценки почти не сдвигаются: −4.99 % превращается в −4.76 %, а −2.21 % — в −2.08 %. Сдвигается неопределённость. Интервалы растут примерно на корень из 35, когда окна перестают считаться независимыми репликами модели. Одиннадцать из четырнадцати вердиктов превращаются в ничьи; один сохраняется.

Что сохранилось и почему это всё ещё узко

Сохранилась строка JK-asym-NEAR0 против JOINT-KL: −2.42 % с интервалом [−3.56 %, −1.26 %] и p = 0.007 на уровне модели. Собственная метка строки говорит 3/4 in-sample, поэтому это не утверждение о невиданном чекпоинте. Отдельно остаётся внутри-модельное наблюдение: MX-asym-NEAR0 обходит MXFP4 в 140 из 140 окон на четырёх моделях. Это утверждение об измеренных текстах, а не новая гарантия для всего семейства.

Единица репликации — часть утверждения. Её нужно писать там, где формулируется утверждение, а не протаскивать незаметно операцией над массивом.

Симметричная правка — полезный отрицательный результат

Четыре строки сдвинулись в сторону кодбуков, семь — в обратную. Исправление не просто стирает результаты, благоприятные одной стороне. Оно убирает ложную точность в обоих направлениях и оставляет более узкий, читаемый результат: сохранённые измерения поддерживают несколько наблюдений внутри моделей, но более широкие вердикты по чекпоинтам были завышены.

• PR смержен, а не просто отправлен в апстрим.
• Анализ перезапущен на уже сохранённых значениях NLL по окнам; обучение моделей и повторный запуск чекпоинтов не заявляются.
• Репозиторий теперь явно фиксирует выбор репликации во вспомогательной функции, а не полагается на форму массива.