Есть некая вектор-функция: $$\vec{y} = f(W^T\vec{x} + \vec{b})$$ Если расширить вектор $% \vec{x} $% единицей, то ее можно переписать как $$\vec{y} = f(\hat{W}^T\hat{\vec{x}})$$

В случае, когда входных параметров несколько, то можно записать функцию так: $$\vec{y} = f(\hat{W}^T\hat{X})$$

Итак, необходимо через $%\hat{W}$% и $%\hat{X}$% найти матрицу, собственные вектора которой соответствующие её нулевым собственным значениям, задают пространство, добавление любого элемента которого к вектору параметров любого нейрона данного слоя, не приводит к изменению работы данного слоя (и, следовательно, всей сети) ни на одном из векторов обучающей выборки.

В данной формулировке Веса нейронов для всех параметров - это $%\hat{W}$%.

Мои рассуждения следующие: Слой нейронной сети будет работать идним и тем же образом, если совпадет значение функций активании до и после добавления вектора из искомого пространства будут одинаковы. Так мы можем перейти от равенсва функций к равенству аргументов, так как в данной задаче нам не важно, какая функция активации.

Мне кажется, что моэжно записать искомое равенсво как $$\hat{W}^T\hat{X} = \hat{W'}^T\hat{X}$$

Дальше я не понимаю куда двигаться. Подскажите, как я могу переписать правую часть данного сообщения, или же я двигаюсь в неверном направлении?

Заранее спасибо за любую помощь.

задан 14 Июн '19 11:44

10|600 символов нужно символов осталось
Знаете, кто может ответить? Поделитесь вопросом в Twitter или ВКонтакте.

Ваш ответ

Если вы не нашли ответ, задайте вопрос.

Здравствуйте

Математика - это совместно редактируемый форум вопросов и ответов для начинающих и опытных математиков, с особенным акцентом на компьютерные науки.

Присоединяйтесь!

отмечен:

×1,542
×20
×8

задан
14 Июн '19 11:44

показан
535 раз

обновлен
14 Июн '19 11:44

Отслеживать вопрос

по почте:

Зарегистрировавшись, вы сможете подписаться на любые обновления

по RSS:

Ответы

Ответы и Комментарии

Дизайн сайта/логотип © «Сеть Знаний». Контент распространяется под лицензией cc by-sa 3.0 с обязательным указанием авторства.
Рейтинг@Mail.ru