Прекрасный проект Loss Landscape визуализирует функции потерь при обучении различных нейронных сетей. Метод основан на работе “Visualizing the Loss Landscape of Neural Nets” Hao Li, Zheng Xu, Gavin Taylor, Christoph Studer, Tom Goldstein (28 Dec 2017 (v1), последнее обновление 7 Nov 2018 (v3)).
Обратите внимание на представленные ролики в Галлерее сайта, где поведение функций ошибок показано в динамике, выглядит очень футуристично, напоминая неземные космические ландшафты!
Безусловно, функция ошибок это много-параметрическая функция, часто определенная в пространстве много-миллионной размерности. При этом она динамично меняется в процессе минимизации. В работе авторов статьи предложен метод проекции на трехмерное пространство, который позволяет наглядно представить потрясающую динамику “жизни” функции ошибок.
