Из книги "Глубокое обучение" (Николенко С. И., Кадурин А. А., Архангельская Е. О.): alt text

Пытаюсь понять, как продифференцировать функцию RSS по w. Исходя из моего понимания, нужно вычислить производную по направлению w. Для этого я решил вычислить градиент функции и, согласно свойству производной по направлению, результат должно дать скалярное произведение градиента и направления w (будем считать, что w - единичный вектор). Функцию RSS(w) я записал как скалярное произведение (y-Xw, y-Xw), затем использовал линейность скалярного произведения и представил в виде суммы скалярных произведений. Дифференцирование первых трех слагаемых не вызвало сложности - оператор X при w во 2-м и 3-м слагаемом я просто "перекидывал" на другую сторону, транспонировав его матрицу, и для этих слагаемых производная считалась как производная скалярного произведения переменного вектора w на некий константный вектор. Но у меня вызвало сложность вычислить производную скалярного произведения (Xw, Xw).

Подскажите, какие соображения нужно использовать для вычисления данной производной? И корректен ли в целом мой подход или дифференцирование исходной функции можно было бы произвести проще исходя из каких-то других соображений?

задан 1 Янв 22:59

10|600 символов нужно символов осталось
2

Исходя из моего понимания, нужно вычислить производную по направлению w. - нет... то что делают тут скорее вычисление градиента, где $%\omega$% - это вектор составленный из переменных...

Если вкратце, то посмотрите, например, учебник Я. Магнус, П. Катышев, А. Пересецкий: Эконометрика. Начальный курс стр. 69 и приложение, посвящённое дифференцированию матричных выражений по векторному аргументу, на стр. 505-506...

Пы.Сы.: Кстати, $%\omega^{\ast}$% - это уже решение уравнения $%\dfrac{d RSS(\omega)}{d\omega}=0$% ...

ссылка

отвечен 2 Янв 0:53

изменен 2 Янв 16:10

Спасибо за учебник. Однако меня смутило определение производной скалярной функции от векторного аргумента. В учебнике сказано, что эта производная - вектор. Но как это может быть,если по определению производная это предел отношения двух скалярных величин? Приведенный в учебнике вектор - это градиент.

(3 Янв 15:32) DarkGenius
1

@DarkGenius, не надо пропускать слова... Вы всё время пытаетесь притянуть просто производную функции одной переменной, а здесь производная скалярной функции от векторного аргумента - это вектор ... Фактически здесь переобозвали градиент, чтобы можно было говорить про аналогичное дифференцирование матриц...

(3 Янв 15:43) all_exist
10|600 символов нужно символов осталось
Ваш ответ

Если вы не нашли ответ, задайте вопрос.

Здравствуйте

Математика - это совместно редактируемый форум вопросов и ответов для начинающих и опытных математиков, с особенным акцентом на компьютерные науки.

Присоединяйтесь!

отмечен:

×880
×85

задан
1 Янв 22:59

показан
71 раз

обновлен
3 Янв 15:43

Отслеживать вопрос

по почте:

Зарегистрировавшись, вы сможете подписаться на любые обновления

по RSS:

Ответы

Ответы и Комментарии

Дизайн сайта/логотип © «Сеть Знаний». Контент распространяется под лицензией cc by-sa 3.0 с обязательным указанием авторства.
Рейтинг@Mail.ru