Блог
Тридцать эпох выявили слепую зону доли отказов
Тридцатиэпоховый sweep на MNIST показал, почему рядом с порогом по доле отказов нужны значения по каждому seed: счёт «прошёл» может сосуществовать с неперекрывающимися прогонами.
Подписи на изображении — на английском.
- THE COUNTA passing count says how many crossed.
- THE SPREADThe runs did not overlap at all.
- THE BLIND SPOTA rate hides the shape of the data.
[измерено — обучающий sweep на MNIST] Тридцатиэпоховый прогон проверял, остаётся ли сводка по доле отказов информативной по мере продолжения обучения. Не остаётся: значения по отдельным seed показали разрыв, который сама доля скрывает.
На 30 эпохах срез по пяти seed дал для TNF4 0/5 отказов и среднюю точность 97,82 ± 0,15. В том же срезе fp6 e2m3 дал 4/5 отказов, а fp6 e3m2 — 2/5 отказов. Это измерения эксперимента на MNIST, а не заявление об общем рейтинге форматов.
Порог может быть пройден, даже если прогоны не согласуются
При пороге 60% fp6 e3m2 проходит 3/5 прогонов. Но максимальный его прогон достигает 71,9, тогда как худший прогон TNF4 достигает 97,6: распределения не перекрываются, разрыв составляет 25,7 пункта. Доля считает пересечения линии, но не описывает распределение, равномерно лежащее ниже.
| Формат | Отказы на 30 эпохах | Точность по seed |
|---|---|---|
| TNF4 | 0/5 | 98,0; 97,6; 97,8; 97,9; 97,8 |
| fp6 e2m3 | 4/5 | 19,2; 81,0; 9,6; 12,7; 11,3 |
| fp6 e3m2 | 2/5 | 71,9; 65,6; 55,5; 71,4; 59,3 |
Долгое обучение не добавило ожидаемого дрейфа
Для TNF4 опубликованное среднее изменилось с 96,76 на 3 эпохах до 97,68 на 10 эпохах и 97,82 ± 0,15 на 30 эпохах. По восьми конфигурациям суммарная доля отказов составила TNF4 0/40, fp6 e2m3 29/40 и fp6 e3m2 24/40.
Список значений по seed — формат представления, который не скрывает, какие прогоны сдвинулись.
Что это НЕ доказывает
- Это измеренный обучающий sweep на MNIST, а не измерение на FPGA ALINX AX7203 и не результат на кремнии.
- Он не устанавливает универсальный рейтинг точности или доли отказов для TNF4, fp6 e2m3 или fp6 e3m2.
- Он не показывает, что порог 60% подходит для другой задачи, набора seed или рецепта обучения.
- Эксперимент не устанавливает переносимость за пределы этой конфигурации MNIST; список по seed улучшает аудит, но не снимает ограничение области.
Полезный результат методический: сохранять долю отказов для её узкого вопроса, но печатать рядом каждое значение seed. Небольшое добавление превращает счёт «прошёл» в проверяемую картину отдельных прогонов.
Чего это не решает
- Это измеренный обучающий sweep на MNIST, а не измерение на FPGA ALINX AX7203 и не результат на кремнии.
- Он не устанавливает универсальный рейтинг точности или доли отказов для TNF4, fp6 e2m3 или fp6 e3m2.
- Он не показывает, что порог 60% подходит для другой задачи, набора seed или рецепта обучения.
- Эксперимент не устанавливает переносимость за пределы этой конфигурации MNIST; список по seed улучшает аудит, но не снимает ограничение области.
Пруфы
Поработаем вместе
Хотите так же проверить собственный дизайн?
Я аудирую RTL и строю независимые побитово точные модели, затем провожу результат через синтез и, когда это полезно, проверяю на плате Artix-7. Первый модуль проверки — бесплатно.