T27.AI

Блог

Чему учат пять бэкендов: верификация с одним источником

2026-11-15 · 9 мин чтения

Пять бэкендов, один источник спецификаций: диффинг по каждому тесту показывает, что компилятор может доказать о своём доверии - и чего он честно доказать не может.

Титульная карточка статьи, иллюстрации пока нет: Чему учат пять бэкендов: верификация с одним источником
Открыть титульную карточку в исходном размере
#verification#compilers#DifferentialTesting#trust#backends

Наша ранняя статья, [Одна спека, пять целей: shootout бэкендов t27](/blog/one-spec-five-targets-the-t27-backend-shootout/), ранжировала пять бэкендов по скорости и размеру. Эта статья намеренно не про это. Скорость и размер отвечают на вопрос "какую сборку поставлять". Когда то, что ты строишь, - компилятор, важнее другой вопрос: откуда ты знаешь, что его вывод корректен? Эта статья - про верификацию: что та же установка из пяти бэкендов может доказать о доверии и чего доказать не может.

Бюджет одного расхождения

Репозиторий t27 держит один бюджет корректности, выраженный числом: число тестов, где два бэкенда расходятся. Для новейшего бэкенда, t27b, бюджет потрачен ровно на нуле.

Дифф-прогон по всему корпусу сравнивает t27b с эталонным конвейером (сгенерированный Zig из t27c, собранный в Debug и запущенный нативно). По 1,315 спек-файлов, которые прогнали обе стороны, вердикты сравнивались тест за тестом, по имени: 0 из 8,344 тестов расходятся. Тот же ноль держится, когда эталон пересобирается под aarch64 и исполняется под эмуляцией.

Это одно число - тезис статьи. Компиляторный проект, который не может назвать своё число расхождений одной цифрой, ещё не имеет истории верификации; у него есть тест-сьют. Тест-сьют говорит, что код запускается. Дифф-бюджет говорит, что код согласуется с чем-то ещё, построенным другим способом.

Бюджет что-то значит только потому, что другие бэкенды его тратят. В том же прогоне:

./scripts/tri test
./target/release/t27c suite --repo-root .

Собственная сборка Zig ReleaseFast расходится со своей Debug-сборкой на 7 файлах (11 тестов). Сгенерированный C, собранный clang на -O0 против -O2, расходится на 39 файлах (107 тестов); gcc на двух уровнях оптимизации - на 4 файлах. Эти расхождения существуют, потому что сгенерированный C содержит неопределённое поведение - вердикт зависит от уровня оптимизации - и потому что ReleaseFast оптимизирует иначе, чем Debug.

Так что картина не "t27b идеален". Она такая: один бэкенд согласуется с эталоном в каждом тесте, тогда как мейнстримные конвейеры не могут согласоваться даже с собой между уровнями оптимизации. Точное согласие с эталоном стоит больше, чем приблизительное согласие с семейством собственных сборок.

Диффинг по каждому тесту

Согласие на уровне файла ("конвейер прошёл") слабо. Файл может пройти, пока один тест внутри молча возвращает неверный вердикт. Поэтому корпусный раннер сравнивает на уровне тестов, и делает это по всему корпусу спек, а не по выборке: 1,819 файлов .t27 под specs/, тот же набор, который обходит t27b corpus specs, без исключений за медлительность или поломанность.

Вызов:

./target/release/t27b test specs/a/b_c.t27 --overflow trap

показывает единицу сравнения: одна спека, её тесты в JIT с trap-проверками переполнения. В масштабе корпуса та же команда становится обходом каждого файла, а --reference добавляет вторую сторону:

./target/release/t27b corpus specs --blockers --reference ./target/release/t27c

С --reference каждый файл также проходит эталонный путь (t27c test-report, бэкенд Zig), и там, где обе стороны прогнали тесты файла, раннер сравнивает вердикты тест за тестом и считает файлы, где тест расходится или есть только у одной стороны. Файлы, которые сам эталон не проходит, исключены из знаменателя, так что сравнение честно насчёт того, что реально сравнивалось: на этом дереве 1,311 файлов проходят с хотя бы одним тестом в эталоне, и t27b проходит 1,296 из них (98.9%).

Минимальное расхождение, которое дифф когда-либо ловил, поучительно, и оно не в t27b. specs/a/b_c.t27 заставляет сгенерированный C выдать bool dummy(void) { true; } без return: проходит под gcc -O0 и clang -O2, падает под gcc -O2 и clang -O0. Четыре конфигурации сборки, одна функция, четыре вердикта. Это режим отказа, ради которого существует диффинг по тестам, и причина, почему бюджет считается по тестам, а не по файлам.

Чего это НЕ доказывает

Это самый важный раздел, и тот, который маркетинговая страница опустила бы.

Результат 0-из-8,344 - это не независимая верификация. Репозиторий прогнал проверку Diverse Double-Compiling - собрать самосборку тремя способами, сравнить выходы stage-2 - и подписанная квитанция честно записывает вердикт: DDC_BACKEND_AGREEMENT, не DDC_INDEPENDENT, с фильтром C4 FALSE. Все три маршрута делят один рукописный фронтенд. Эталон, с которым t27b согласен в 8,344 тестах, произведён тем же фронтендом, который t27b монтирует. Согласие здесь доказывает, что бэкенды реализуют один фронтенд одинаково. Оно не может поймать баг, живущий в общем фронтенде.

Остальные проверки той же формы:

Ни одна проверка в текущей установке не сравнивает t27b с независимо написанным фронтендом t27. Это честная граница: верификация необычно *видима* - подписанные квитанции на каждый коммит, дифф по каждому тесту по всему корпусу - но почти вся она - внутренняя согласованность, а не независимость.

Форма компромисса

Верификация на этом уровне не бесплатна, и числа скорости из shootout-статьи - ценник. Эталонный конвейер компилирует спеку за 3.05 секунды (Zig Debug, с LLVM и линковкой); t27b делает ту же работу, с тестами, за 4.8 мс на спеку. Весь его бинарник - 3.08 MB, без ассемблера и линкера.

Компромисс режет и в другую сторону. Негативный результат заявлен так же прямо, как позитивный: на tier-1 бенчмарках t27b исполняет в 3.4 раза больше инструкций, чем gcc -O2, и производит код в 1.8 раза большего размера. Его сгенерированный код сидит на качестве gcc -O0, позади каждого оптимизирующего конвейера в сравнении. Покрытие тоже отстаёт от эталона, который он зеркалит: 15 файлов, которые эталон проходит, в t27b не проходят.

Большинство проектов похоронило бы одну из этих половин. Форма компромисса и есть находка: бэкенд может быть около нуля по бюджету расхождений и одновременно последним по качеству кода, потому что согласие с эталоном и качество вывода - ортогональные оси. Быстрый, маленький, точно-согласованный базовый компилятор - полезный артефакт, даже когда его оптимизированный вывод проигрывает - при условии, что ты говоришь, на какой оси живёт каждое утверждение.

Есть и граница поставки, заявленная, чтобы никто не перечитал результат: t27b выдаёт только объектные файлы (ELF64 или Mach-O), не линкует и отвергает переменные уровня модуля в объектном файле. Он - тест-раннер и генератор кода, ещё не производитель исполнимых файлов.

Ограничения

Честный список, чтобы следующий читатель не переоткрывал его:

  1. Один общий фронтенд. Всё выше сводится к "бэкенды согласны о фронтенде". Независимость потребовала бы второго, отдельно написанного фронтенда; его нет.
  2. Фаззер мал. 1,000 программ за запуск против одного эталона - дымовой тест, а не кампания фальсификации. Уровень 7-на-1,000 - живое число, которое надо снижать, а не решённая величина.
  3. Разрыв покрытия. 15 файлов позади эталона, с известным списком блокеров (i128, убегающие адреса кадров, пустые типизированные литералы массивов, @cos, anytype, std.*, лимит размера кадра). Цифра 98.9% - покрытие проходящего-в-эталоне множества, не корпуса.
  4. Нет исполнимых файлов. Только объектный вывод, без линковки, без переменных уровня модуля; на Linux t27b гоняет тесты в своём JIT.
  5. Доля самогенерации. При 12% кода, который он исполняет, t27b не может осмысленно скомпилировать себя от конца до конца; история доверия - про согласие с братом, а не про селф-хостинг.

Вывод не "поэтому не доверяй t27b". Он в том, что утверждение о верификации не лучше своей заявленной границы, и каждое число выше опубликовано с командой, которая его произвела. Эта привычка - квитанция, команда, число - переносима на любой компиляторный проект, каковы бы ни были его бэкенды.

Источники

Каждое утверждение выше, с файлом и командой, которые его подкрепляют:

УтверждениеИсточник (файл)Команда
0 из 8,344 тестов расходятся, t27b против эталона, 1,315 файловdocs/reports/t27b-bench-2026-10.md (таблица расхождений, "Reading these numbers")./target/release/t27b corpus specs --blockers --reference ./target/release/t27c
Zig Debug против ReleaseFast: 7 файлов / 11 тестов; clang -O0/-O2: 39 файлов / 107 тестов; gcc -O0/-O2: 4 файлатот же отчёт, таблица расхождений./scripts/tri test
Пример отсутствующего return в specs/a/b_c.t27тот же отчёт, "The C pipelines disagree with themselves"./target/release/t27b test specs/a/b_c.t27 --overflow trap
Корпус 1,819 файлов; t27b проходит 1,296/1,311 (98.9%)тот же отчёт, "Denominator" и таблицы покрытия./target/release/t27b corpus specs --blockers --reference ./target/release/t27c
DDC_BACKEND_AGREEMENT, не DDC_INDEPENDENT; фильтр C4 FALSEтот же отчёт, таблица доверия (квитанция #7706)подписанная DDC-квитанция (лаборатория t27b, коммит 0e8564505)
Фаззер: 7 расхождений на 1,000 программ, seed 1791653965тот же отчёт, таблица доверия (квитанция #6442)фаззер случайных программ, запуск в лаборатории t27b
12% самогенерациитот же отчёт, таблица довериясчёт строк: gen/rust/tri/t27b против cli/t27b/src + bootstrap/src/compiler.rs
4.8 мс/спека против 3.05 с zig Debug; бинарник 3.08 MBтот же отчёт, таблицы скорости компиляции и следа./target/release/t27b test <спека> --time / размер бинарника
В 3.4 раза больше инструкций, чем gcc -O2, размер в 1.8 раза большетот же отчёт, секции оси C и список ограниченийпрогоны qemu-плагина счёта инструкций
Только объекты (ELF64/Mach-O), без линковки, без переменных уровня модулятот же отчёт, "no ahead-of-time executable"; cli/t27b/src/codegen.rs ("no writable data section")./target/release/t27b --help

Контекст скорости и размера: [Одна спека, пять целей: shootout бэкендов t27](/blog/one-spec-five-targets-the-t27-backend-shootout/). Всё остальное о проекте: [t27.ai](https://t27.ai).

Файлы с расхождениями настроек компиляторов 1 315 тестовых файлов; столбец - число файлов, где результат изменился между настройками 0 10 20 30 40 clang -O0 vs -O2 39 файлов zig Debug vs ReleaseFast 7 файлов gcc -O0 vs -O2 4 файла t27b vs референс 0 файлов t27b против референса: 0 из 8 344 тестов расходятся
Расхождения настроек компиляторов на 1 315 тестовых файлах - лидирует clang -O0 vs -O2; t27b против референса: 0

Чего это не решает

Пруфы

Поработаем вместе

Хотите так же проверить собственный дизайн?

Я аудирую RTL и строю независимые побитово точные модели, затем провожу результат через синтез и, когда это полезно, проверяю на плате Artix-7. Первый модуль проверки — бесплатно.