Блог
Стоимость положительной и отрицательной половины активаций различается устойчиво и в одну сторону. Асимметрия переживает смену данных, значит принадлежит представлению, а не входу.
Если разделить активации по знаку и посчитать стоимость каждой половины отдельно, половины не совпадают. Ожидание было, что различие есть свойство конкретного набора данных и уйдёт при его смене.
Оно не ушло.
Величина асимметрии менялась от набора к набору. Знак — нет. Направление сохранялось везде, где я смотрел, и это разделяет две гипотезы, которые иначе неразличимы.
Свойство входа меняет знак вместе со входом. Свойство представления — не меняет. Инвариантность знака при смене данных и есть измерение, а не сама величина.
Отсюда вывод: асимметрия принадлежит тому, как числа представлены, а не тому, какие числа пришли. Это утверждение о формате.
Не следует, что на этом можно сэкономить. Асимметрия существует — из этого не вытекает ни величина возможного выигрыша, ни то, что выигрыш вообще достижим без потерь в другом месте.
Не следует и объяснения. Несимметричное кодирование нуля, поведение активации в окрестности нуля и порядок округления дают одно и то же наблюдаемое; чтобы их развести, нужен эксперимент, которого я не ставил.
Устойчивое наблюдение без механизма — это надёжно измеренная загадка, а не результат. Разница в том, что можно предсказать: загадка не предсказывает ничего вне области, где её измерили.
Соблазн был написать «формат тратит энергию несимметрично, вот сколько можно вернуть». Второй половины у меня нет, и приписывание её к первой превратило бы измерение в обещание.
В своде помечено [Empirical fit]: числа проверены, инвариантность знака проверена, механизм не предъявлен, выигрыш не измерен.
Каждая цифра выше измерена, и рядом с ней названы её пределы.