Блог
Пять бэкендов, один источник спецификаций: диффинг по каждому тесту показывает, что компилятор может доказать о своём доверии - и чего он честно доказать не может.

Наша ранняя статья, [Одна спека, пять целей: shootout бэкендов t27](/blog/one-spec-five-targets-the-t27-backend-shootout/), ранжировала пять бэкендов по скорости и размеру. Эта статья намеренно не про это. Скорость и размер отвечают на вопрос "какую сборку поставлять". Когда то, что ты строишь, - компилятор, важнее другой вопрос: откуда ты знаешь, что его вывод корректен? Эта статья - про верификацию: что та же установка из пяти бэкендов может доказать о доверии и чего доказать не может.
Репозиторий t27 держит один бюджет корректности, выраженный числом: число тестов, где два бэкенда расходятся. Для новейшего бэкенда, t27b, бюджет потрачен ровно на нуле.
Дифф-прогон по всему корпусу сравнивает t27b с эталонным конвейером (сгенерированный Zig из t27c, собранный в Debug и запущенный нативно). По 1,315 спек-файлов, которые прогнали обе стороны, вердикты сравнивались тест за тестом, по имени: 0 из 8,344 тестов расходятся. Тот же ноль держится, когда эталон пересобирается под aarch64 и исполняется под эмуляцией.
Это одно число - тезис статьи. Компиляторный проект, который не может назвать своё число расхождений одной цифрой, ещё не имеет истории верификации; у него есть тест-сьют. Тест-сьют говорит, что код запускается. Дифф-бюджет говорит, что код согласуется с чем-то ещё, построенным другим способом.
Бюджет что-то значит только потому, что другие бэкенды его тратят. В том же прогоне:
./scripts/tri test
./target/release/t27c suite --repo-root .
Собственная сборка Zig ReleaseFast расходится со своей Debug-сборкой на 7 файлах (11 тестов). Сгенерированный C, собранный clang на -O0 против -O2, расходится на 39 файлах (107 тестов); gcc на двух уровнях оптимизации - на 4 файлах. Эти расхождения существуют, потому что сгенерированный C содержит неопределённое поведение - вердикт зависит от уровня оптимизации - и потому что ReleaseFast оптимизирует иначе, чем Debug.
Так что картина не "t27b идеален". Она такая: один бэкенд согласуется с эталоном в каждом тесте, тогда как мейнстримные конвейеры не могут согласоваться даже с собой между уровнями оптимизации. Точное согласие с эталоном стоит больше, чем приблизительное согласие с семейством собственных сборок.
Согласие на уровне файла ("конвейер прошёл") слабо. Файл может пройти, пока один тест внутри молча возвращает неверный вердикт. Поэтому корпусный раннер сравнивает на уровне тестов, и делает это по всему корпусу спек, а не по выборке: 1,819 файлов .t27 под specs/, тот же набор, который обходит t27b corpus specs, без исключений за медлительность или поломанность.
Вызов:
./target/release/t27b test specs/a/b_c.t27 --overflow trap
показывает единицу сравнения: одна спека, её тесты в JIT с trap-проверками переполнения. В масштабе корпуса та же команда становится обходом каждого файла, а --reference добавляет вторую сторону:
./target/release/t27b corpus specs --blockers --reference ./target/release/t27c
С --reference каждый файл также проходит эталонный путь (t27c test-report, бэкенд Zig), и там, где обе стороны прогнали тесты файла, раннер сравнивает вердикты тест за тестом и считает файлы, где тест расходится или есть только у одной стороны. Файлы, которые сам эталон не проходит, исключены из знаменателя, так что сравнение честно насчёт того, что реально сравнивалось: на этом дереве 1,311 файлов проходят с хотя бы одним тестом в эталоне, и t27b проходит 1,296 из них (98.9%).
Минимальное расхождение, которое дифф когда-либо ловил, поучительно, и оно не в t27b. specs/a/b_c.t27 заставляет сгенерированный C выдать bool dummy(void) { true; } без return: проходит под gcc -O0 и clang -O2, падает под gcc -O2 и clang -O0. Четыре конфигурации сборки, одна функция, четыре вердикта. Это режим отказа, ради которого существует диффинг по тестам, и причина, почему бюджет считается по тестам, а не по файлам.
Это самый важный раздел, и тот, который маркетинговая страница опустила бы.
Результат 0-из-8,344 - это не независимая верификация. Репозиторий прогнал проверку Diverse Double-Compiling - собрать самосборку тремя способами, сравнить выходы stage-2 - и подписанная квитанция честно записывает вердикт: DDC_BACKEND_AGREEMENT, не DDC_INDEPENDENT, с фильтром C4 FALSE. Все три маршрута делят один рукописный фронтенд. Эталон, с которым t27b согласен в 8,344 тестах, произведён тем же фронтендом, который t27b монтирует. Согласие здесь доказывает, что бэкенды реализуют один фронтенд одинаково. Оно не может поймать баг, живущий в общем фронтенде.
Остальные проверки той же формы:
t27c gen плюс Zig..t27; остальное, включая фронтенд и рукописный тест-сьют, - обычный Rust, собранный rustc. t27b не селф-хостится, так что его "сам" фактически не под тестом.Ни одна проверка в текущей установке не сравнивает t27b с независимо написанным фронтендом t27. Это честная граница: верификация необычно *видима* - подписанные квитанции на каждый коммит, дифф по каждому тесту по всему корпусу - но почти вся она - внутренняя согласованность, а не независимость.
Верификация на этом уровне не бесплатна, и числа скорости из shootout-статьи - ценник. Эталонный конвейер компилирует спеку за 3.05 секунды (Zig Debug, с LLVM и линковкой); t27b делает ту же работу, с тестами, за 4.8 мс на спеку. Весь его бинарник - 3.08 MB, без ассемблера и линкера.
Компромисс режет и в другую сторону. Негативный результат заявлен так же прямо, как позитивный: на tier-1 бенчмарках t27b исполняет в 3.4 раза больше инструкций, чем gcc -O2, и производит код в 1.8 раза большего размера. Его сгенерированный код сидит на качестве gcc -O0, позади каждого оптимизирующего конвейера в сравнении. Покрытие тоже отстаёт от эталона, который он зеркалит: 15 файлов, которые эталон проходит, в t27b не проходят.
Большинство проектов похоронило бы одну из этих половин. Форма компромисса и есть находка: бэкенд может быть около нуля по бюджету расхождений и одновременно последним по качеству кода, потому что согласие с эталоном и качество вывода - ортогональные оси. Быстрый, маленький, точно-согласованный базовый компилятор - полезный артефакт, даже когда его оптимизированный вывод проигрывает - при условии, что ты говоришь, на какой оси живёт каждое утверждение.
Есть и граница поставки, заявленная, чтобы никто не перечитал результат: t27b выдаёт только объектные файлы (ELF64 или Mach-O), не линкует и отвергает переменные уровня модуля в объектном файле. Он - тест-раннер и генератор кода, ещё не производитель исполнимых файлов.
Честный список, чтобы следующий читатель не переоткрывал его:
@cos, anytype, std.*, лимит размера кадра). Цифра 98.9% - покрытие проходящего-в-эталоне множества, не корпуса.Вывод не "поэтому не доверяй t27b". Он в том, что утверждение о верификации не лучше своей заявленной границы, и каждое число выше опубликовано с командой, которая его произвела. Эта привычка - квитанция, команда, число - переносима на любой компиляторный проект, каковы бы ни были его бэкенды.
Каждое утверждение выше, с файлом и командой, которые его подкрепляют:
| Утверждение | Источник (файл) | Команда |
|---|---|---|
| 0 из 8,344 тестов расходятся, t27b против эталона, 1,315 файлов | docs/reports/t27b-bench-2026-10.md (таблица расхождений, "Reading these numbers") | ./target/release/t27b corpus specs --blockers --reference ./target/release/t27c |
| Zig Debug против ReleaseFast: 7 файлов / 11 тестов; clang -O0/-O2: 39 файлов / 107 тестов; gcc -O0/-O2: 4 файла | тот же отчёт, таблица расхождений | ./scripts/tri test |
| Пример отсутствующего return в specs/a/b_c.t27 | тот же отчёт, "The C pipelines disagree with themselves" | ./target/release/t27b test specs/a/b_c.t27 --overflow trap |
| Корпус 1,819 файлов; t27b проходит 1,296/1,311 (98.9%) | тот же отчёт, "Denominator" и таблицы покрытия | ./target/release/t27b corpus specs --blockers --reference ./target/release/t27c |
| DDC_BACKEND_AGREEMENT, не DDC_INDEPENDENT; фильтр C4 FALSE | тот же отчёт, таблица доверия (квитанция #7706) | подписанная DDC-квитанция (лаборатория t27b, коммит 0e8564505) |
| Фаззер: 7 расхождений на 1,000 программ, seed 1791653965 | тот же отчёт, таблица доверия (квитанция #6442) | фаззер случайных программ, запуск в лаборатории t27b |
| 12% самогенерации | тот же отчёт, таблица доверия | счёт строк: gen/rust/tri/t27b против cli/t27b/src + bootstrap/src/compiler.rs |
| 4.8 мс/спека против 3.05 с zig Debug; бинарник 3.08 MB | тот же отчёт, таблицы скорости компиляции и следа | ./target/release/t27b test <спека> --time / размер бинарника |
| В 3.4 раза больше инструкций, чем gcc -O2, размер в 1.8 раза больше | тот же отчёт, секции оси C и список ограничений | прогоны qemu-плагина счёта инструкций |
| Только объекты (ELF64/Mach-O), без линковки, без переменных уровня модуля | тот же отчёт, "no ahead-of-time executable"; cli/t27b/src/codegen.rs ("no writable data section") | ./target/release/t27b --help |
Контекст скорости и размера: [Одна спека, пять целей: shootout бэкендов t27](/blog/one-spec-five-targets-the-t27-backend-shootout/). Всё остальное о проекте: [t27.ai](https://t27.ai).
Поработаем вместе
Я аудирую RTL и строю независимые побитово точные модели, затем провожу результат через синтез и, когда это полезно, проверяю на плате Artix-7. Первый модуль проверки — бесплатно.