t27.aiEnglish

Честная таблица результатов

Вы узнаете

Как T27 сравнивали с NVFP4, MX+ и MXFP4 на настоящей языковой модели и чего этот результат не показывает.

Формат судят по тому, что он делает с моделью. Мы сохранили веса одной небольшой языковой модели в каждом формате и измерили перплексию на тексте, которого она не видела: чем ниже, тем точнее модель. Правило записали до запуска: T27 побеждает соперника, если его перплексия ниже 990 тысячных от перплексии соперника. Он победил NVFP4, MX+ и MXFP4 и проиграл E2M2, более широкому формату. Под столбцами — список того, чего этот тест утверждать не может. Утверждение, которое выдерживает проверку, одно: T27 выигрывает у NVFP4 на троичной подложке.

Попробуйте

Найдите отношение для NVFP4 и линию порога; затем назовите формат, которому T27 проигрывает, и чем тот платит за это.

Открыть интерактивный урок →

T27 vs NVFP4: six weight formats on one small language model
T27 vs NVFP4: six weight formats on one small language model ↗

Все уроки