t27.aiEnglish

Один масштаб на блок весов

Вы узнаете

Почему ИИ-форматы делят один масштаб на блок весов и как читается байт масштаба OCP MX.

У языковой модели миллионы весов, и хранить и пересылать полное число с плавающей точкой для каждого дорого. Форматы Microscaling (MX) консорциума Open Compute Project хранят каждый вес в 4, 6 или 8 битах и дают каждому блоку из 32 весов один общий масштаб. Этот масштаб — один байт, E8M0: без знака и без мантиссы, только порядок, так что код e означает 2 в степени e минус 127, а код 255 означает NaN. Плеер компилирует e8m0.t27, спеку этого байта, прямо в вашем браузере и запускает её тесты. Проверку, которую браузер выполнить не может, он пропускает и объясняет почему.

Попробуйте

Запустите тесты и посчитайте пропуски; затем откройте Verilog и найдите функцию, которая проверяет код 255.

Открыть интерактивный урок →

e8m0.t27, the OCP MX scale byte, compiled inside the post
e8m0.t27, the OCP MX scale byte, compiled inside the post ↗

The OCP MX shared scale as a t27 spec, compiled by t27c as WebAssembly in your browser: one byte, 2^(e-127), code 255 is NaN. Seven backends, the spec's own tests and its Verilog.

Все уроки