Обратно в три значения

Вы узнаете

Как порог превращает сумму нейрона обратно в трит и почему каждому краю мёртвой зоны нужен свой тест.

Попробуйте

Найдите в записи изменённую строку и упавший тест; затем найдите в спеке quantize_boundary_lo и определите, какую замену одного символа в строке 7 он поймает.

specs/ternary/activation_quantizer.t27

module ActivationQuantizer;
// Ternary activation quantizer for the BitNet engine: re-ternarize a signed
// accumulator to a packed trit {N=0b00, Z=0b01, P=0b10} using a symmetric
// threshold. v > +t -> P, v < -t -> N, else Z.
pub fn quantize(v: i16, threshold: i16) -> u8 {
    if (v > threshold) { return 2; }
    if (v < -threshold) { return 0; }
    return 1;
}

test quantize_positive { assert_eq(quantize(100, 10), 2); }
test quantize_negative { assert_eq(quantize(-100, 10), 0); }
test quantize_zero_band { assert_eq(quantize(5, 10), 1); }
test quantize_boundary_hi { assert_eq(quantize(10, 10), 1); }
test quantize_boundary_lo { assert_eq(quantize(-10, 10), 1); }
test quantize_just_over { assert_eq(quantize(11, 10), 2); }
test quantize_just_under { assert_eq(quantize(-11, 10), 0); }

// W696: the hardware boundary, DERIVED -- not chosen.
//
// T187 measured an exact equivalence over 617 specs: a module gets a data
// port iff the spec declares `on_comb` or `on_clock`. Without one the
// compiler emits `NO DATA PORTS -- this module cannot move a value across
// its boundary`, and synthesis optimises the whole thing away.
//
// The standing rule is that the default must NOT be guessed. Here no guess
// was made: `t27c entry-points` found exactly ONE function in this spec that
// takes a parameter, returns a value, has a body, and whose types all have a
// known width. With one candidate the choice is forced, so this forwards and
// invents nothing. 11 of 387 port-less specs qualified.
fn on_comb(v: i16, threshold: i16) -> u8 { return quantize(v, threshold); }

endmodule

Открыть спеку урока в плеере ↗

Все уроки

• Модуль 1 · Лаборатория: наши исследования

  Свой формат чисел, честная таблица результатов и таблицы модели, перемноженные на плате.

  1. 01 T27: наш собственный формат чисел
  2. 02 Честная таблица результатов
  3. 03 Таблицы модели на плате

• Модуль 2 · ИИ-числа: блок MX

  Как ИИ-чипы хранят веса в нескольких битах: один общий масштаб на блок, сам байт масштаба и что один выброс делает с соседями.

  1. 04 Один масштаб на блок весов
  2. 05 Байт масштаба на настоящей машине
  3. 06 Один выброс, много нулей

• Модуль 3 · Тернарные веса

  Веса, которые бывают только минус масштаб, ноль или плюс масштаб, пять правил, которые должен пройти тернарный алфавит, и прогон тестов, который ничего не проверил.

  1. 07 Веса минус фи, ноль и плюс фи
  2. 08 Прогон, который ничего не проверил
  3. 09 Пять правил для алфавита весов

• Модуль 4 · Тернарный формат Ternary Network Float

  Правило, которое компилятор проверяет до запуска любого теста, и 17-битное число с плавающей точкой, порядок которого — четыре сбалансированных трита.

  1. 10 Заблокирован — не значит провален
  2. 11 Число, у которого порядок — четыре трита
  3. 12 Дважды сменить знак — получить число обратно

• Модуль 5 · Арифметика чисел со знаком

  Умножить два числа со знаком, сложить их, когда знаки разные, и сделать то и другое сразу в умножении с накоплением.

  1. 13 Знак — это один бит
  2. 14 Разные знаки — вычитание
  3. 15 Умножить, потом сложить

• Модуль 6 · Части нейрона

  ReLU с изломом в нуле, степень двойки для softmax и argmax, который называет ответ.

  1. 16 Излом в нуле
  2. 17 Два в степени x
  3. 18 Выбрать наибольшее

• Модуль 7 · Обучение на ошибке

  Потеря, которая оценивает неверную догадку в битах, один шаг, который сдвигает вес против градиента, и скрытый слой, который нужен XOR.

  1. 19 Потеря в битах
  2. 20 Один шаг вниз по склону
  3. 21 XOR нужен излом

• Модуль 8 · BitNet: тернарные сети

  Порог, который сжимает сумму обратно до трёх значений, один нейрон, который становится другой функцией при смене весов, и нейрон, который читает входы по 27 тритов за раз.

  1. 22 Обратно в три значения
  2. 23 Тот же нейрон, другие веса
  3. 24 Нейрон по кускам

• Модуль 9 · Тернарный MAC как чип

  Скалярное произведение 27 тритов как провода без регистра, та же сумма, которую регистр копит на каждом такте, и небольшая целая сеть в конце курса.

  1. 25 Скалярное произведение из проводов
  2. 26 Складывать на каждом такте
  3. 27 Целая сеть