Излом в нуле

Вы узнаете

Почему ReLU нужен тест с отрицательным входом, прежде чем можно сказать, что у неё есть излом.

Нейрон пропускает свою сумму через функцию активации, и в gft_relu.t27 это relu(x) = max(0, x). on_comb возвращает 0 для нуля и для любого входа с битом знака, а иначе сам x. Заголовок говорит, что у ReLU точный градиент 0/1 и что 2-слойная сеть с ReLU решает XOR, а линейная модель GF-T этого не может. Браузер пропускает все 4 теста, потому что его исполнитель пока не знает assert_eq; нативный t27c запускает все 4, все проходят, ни один не пустой. Запись запускает t27c test-report, затем однострочный sed, который пропускает отрицательные входы, и relu становится тождеством, прямой линией, и снова t27c test-report. Падает ровно один тест, negz; больше ни у одного теста нет отрицательного входа. git checkout возвращает строку на место, и sha256sum печатает тот же хеш, что и до правки. Каждый байт в записи напечатала команда; инсценирован только набор текста.

Открыть интерактивный урок →