Есть некая вектор-функция: $$\vec{y} = f(W^T\vec{x} + \vec{b})$$ Если расширить вектор $% \vec{x} $% единицей, то ее можно переписать как $$\vec{y} = f(\hat{W}^T\hat{\vec{x}})$$ В случае, когда входных параметров несколько, то можно записать функцию так: $$\vec{y} = f(\hat{W}^T\hat{X})$$ Итак, необходимо через $%\hat{W}$% и $%\hat{X}$% найти матрицу, собственные вектора которой соответствующие её нулевым собственным значениям, задают пространство, добавление любого элемента которого к вектору параметров любого нейрона данного слоя, не приводит к изменению работы данного слоя (и, следовательно, всей сети) ни на одном из векторов обучающей выборки. В данной формулировке Веса нейронов для всех параметров - это $%\hat{W}$%. Мои рассуждения следующие: Слой нейронной сети будет работать идним и тем же образом, если совпадет значение функций активании до и после добавления вектора из искомого пространства будут одинаковы. Так мы можем перейти от равенсва функций к равенству аргументов, так как в данной задаче нам не важно, какая функция активации. Мне кажется, что моэжно записать искомое равенсво как $$\hat{W}^T\hat{X} = \hat{W'}^T\hat{X}$$ Дальше я не понимаю куда двигаться. Подскажите, как я могу переписать правую часть данного сообщения, или же я двигаюсь в неверном направлении? Заранее спасибо за любую помощь. задан 14 Июн '19 11:44 Fedor |