Один масштаб на блок весов
Вы узнаете
Почему ИИ-форматы делят один масштаб на блок весов и как читается байт масштаба OCP MX.
У языковой модели миллионы весов, и хранить и пересылать полное число с плавающей точкой для каждого дорого. Форматы Microscaling (MX) консорциума Open Compute Project хранят каждый вес в 4, 6 или 8 битах и дают каждому блоку из 32 весов один общий масштаб. Этот масштаб — один байт, E8M0: без знака и без мантиссы, только порядок, так что код e означает 2 в степени e минус 127, а код 255 означает NaN. Плеер компилирует e8m0.t27, спеку этого байта, прямо в вашем браузере и запускает её тесты. Проверку, которую браузер выполнить не может, он пропускает и объясняет почему.