Геометрия ландшафта потерь и «понимание» нейросети Когда нейросеть обучается, ее функция потерь образует слож…
Геометрия ландшафта потерь и «понимание» нейросети Когда нейросеть обучается, ее функция потерь образует сложный ландшафт в пространстве параметров – с вершинами (области высокой ошибки) и долинами (области низкой ошибки). Свойства этого ландшафта – его кривизна, форма минимальных долин, спектр матрицы Гессе и пр. – могут многое рассказать о том, насколько модель усвоила закономерности данных. Идея состоит в том, что не все минимумы одинаковы: одн... https://clck.ru/3LpeLu
Автор: Habr все новости об IT