Один шаг вниз по склону

Вы узнаете

Как один шаг SGD сдвигает вес против градиента и почему тест с двумя равными входами не может их различить.

gft_sgd_step.t27 сдвигает вес против градиента: w' = w - eta*g, где eta — скорость обучения. Её 3 теста: step, где w = 1.0, g = 0.5 и eta = 0.5; nograd, где g = 0 оставляет w как есть; и ascend, где g = -1.0 и eta = 1.0 поднимают w до 2.0. Браузер пропускает все 3 теста, потому что его исполнитель пока не знает assert_eq; нативный t27c запускает все 3, все проходят, ни один не пустой. Запись запускает t27c test-report, затем однострочный sed, который умножает g на само себя вместо eta, и снова t27c test-report. В step g равно eta, а в nograd оба произведения равны 0. Поэтому падает ровно один тест, ascend, где вес падает до 0, вместо того чтобы подняться до 2.0. git checkout возвращает строку на место, и sha256sum печатает тот же хеш, что и до правки. Каждый байт в записи напечатала команда; инсценирован только набор текста.

Открыть интерактивный урок →