T27: наш собственный формат чисел
Вы узнаете
Как три трита дают больше уровней, чем 4-битное число с плавающей точкой, и чего это стоит в обычных битах.
У 4-битного числа с плавающей точкой вроде E2M1 — элемента форматов NVFP4 и MXFP4 — 16 кодов, и два из них означают ноль. У трёх сбалансированных тритов 3 x 3 x 3 = 27 состояний. T27 — наш формат, который использует их все: 27 уровней стоят там, где на самом деле лежат веса обученной сети, и один общий масштаб на блок весов. На троичной памяти это больше уровней в том же объёме. Упакованный в обычные двоичные биты, он получается больше, а не меньше, и виджет показывает оба счёта.
Попробуйте
Проведите вес по всему диапазону и найдите, где E2M1 округляет хуже, чем T27; затем прочитайте таблицу хранения в битах. В спеке tnf8 тратит три трита на порядок числа: найдите тест, который считает его значения, и смещение, которое он резервирует.

Drag a weight along one line and see where a 27-level T27 cell and a 4-bit E2M1 code round it, and what 32 weights cost in trits and in bits. Numbers from two compiled .t27 specs.
specs/numeric/tnf8.t27
// SPDX-License-Identifier: Apache-2.0
// tnf8.t27 -- TNF8: Ternary Network Float, 8-bit class.
// Rung of the TF ladder (TF4/8/16/32). Balanced-ternary exponent = 3 trits
// (3^3 = 27 offsets, exponent +-13, ~8 decades), phi-ish 4-bit mantissa, NO
// regime decode. Beats tekum-8 by the same structural argument as TF16 beats
// tekum16: fixed fields + native balanced-ternary exponent add, uniform mantissa.
// layout: [ sign(1) | E = 3 balanced-ternary trits | M = 4 bits ]
// phi^2 + 1/phi^2 = 3 | TRINITY
module triformat_tnf8 {
use base::types;
const EXP_TRITS: u32 = 3;
const MANT_BITS: u32 = 4;
const EXP_OFFSET: u32 = 13; // (3^3 - 1) / 2
const OFFSET_MAX: u32 = 26; // 3^3 - 1 (reserved special row)
// 3-trit exponent field -> unsigned offset in [0,26].
fn exp_offset(t0: u32, t1: u32, t2: u32) -> u32 {
return t0 + (3 * t1) + (9 * t2);
}
fn is_finite(offset: u32) -> bool {
return offset != OFFSET_MAX;
}
fn exp_values() -> u32 {
return 27;
}
// ---- Tests / invariants ----
test offset_range {
assert(exp_offset(0, 0, 0) == 0, "min offset (exponent -13)");
assert(exp_offset(2, 2, 2) == 26, "max offset (reserved special)");
assert(exp_offset(1, 1, 1) == 13, "center offset = exponent 0 (unity)");
}
test finiteness {
assert(is_finite(13) == true, "unity finite");
assert(is_finite(26) == false, "offset 26 special");
assert(exp_values() == 27, "3^3 exponent values (~8 decades) in 3 trits");
}
}
Все уроки
Модуль 1 · Лаборатория: наши исследования
Свой формат чисел, честная таблица результатов и таблицы модели, перемноженные на плате.
Модуль 2 · ИИ-числа: блок MX
Как ИИ-чипы хранят веса в нескольких битах: один общий масштаб на блок, сам байт масштаба и что один выброс делает с соседями.
Модуль 3 · Тернарные веса
Веса, которые бывают только минус масштаб, ноль или плюс масштаб, пять правил, которые должен пройти тернарный алфавит, и прогон тестов, который ничего не проверил.
Модуль 4 · Тернарный формат Ternary Network Float
Правило, которое компилятор проверяет до запуска любого теста, и 17-битное число с плавающей точкой, порядок которого — четыре сбалансированных трита.
Модуль 5 · Арифметика чисел со знаком
Умножить два числа со знаком, сложить их, когда знаки разные, и сделать то и другое сразу в умножении с накоплением.
Модуль 6 · Части нейрона
ReLU с изломом в нуле, степень двойки для softmax и argmax, который называет ответ.
Модуль 7 · Обучение на ошибке
Потеря, которая оценивает неверную догадку в битах, один шаг, который сдвигает вес против градиента, и скрытый слой, который нужен XOR.
Модуль 8 · BitNet: тернарные сети
Порог, который сжимает сумму обратно до трёх значений, один нейрон, который становится другой функцией при смене весов, и нейрон, который читает входы по 27 тритов за раз.
Модуль 9 · Тернарный MAC как чип
Скалярное произведение 27 тритов как провода без регистра, та же сумма, которую регистр копит на каждом такте, и небольшая целая сеть в конце курса.