Доброго времени суток, уважаемые знатоки. Вопрос из теории информации: Какие значения может принимать "среднее количество взаимной информации"? Решая задачу по "Основам Информационных Технологий" столкнулся вот с такой задачей. В моем варианте, решения задачи у меня получаются значения "Энтропии источника сообщений $%H(X)$%" и "условная энтропия случайной величины $%Х$%" - $%H(X|Y)$% - положительные, а само среднее количество взаимной информации $%I(Y->X) = H(X) - H(X|Y)$% у меня получается отрицательное число. Правильно ли это? Ведь по идее взаимная информация должна быть положительным числом, или я что-то не правильно понял?

задан 1 Фев '13 1:33

изменен 1 Фев '13 18:38

Deleted's gravatar image


126

10|600 символов нужно символов осталось
1

Количество информации в сообщении (классическая вероятностная интерпретация) определяется как минус логарифм от вероятности события, о наступлении которого говорится в сообщении. Эта величина не может быть отрицательным числом. Также только неотрицательные значения может принимать собственная энтропия источника сообщений. Взаимная информация характеризуется случайной величиной, определяемой совместным распределением вероятностей двух источников. Несмотря на то, что взаимная информация может принимать отрицательные значения, средняя взаимная информация двух источников всегда неотрицательна (доказательство см., например, в [Р. Галлагер. Теория информации...]).

ссылка

отвечен 28 Фев '13 2:21

изменен 28 Фев '13 3:03

10|600 символов нужно символов осталось
Ваш ответ

Если вы не нашли ответ, задайте вопрос.

Здравствуйте

Математика - это совместно редактируемый форум вопросов и ответов для начинающих и опытных математиков, с особенным акцентом на компьютерные науки.

Присоединяйтесь!

отмечен:

×520
×91
×10

задан
1 Фев '13 1:33

показан
1677 раз

обновлен
28 Фев '13 3:03

Отслеживать вопрос

по почте:

Зарегистрировавшись, вы сможете подписаться на любые обновления

по RSS:

Ответы

Ответы и Комментарии

Дизайн сайта/логотип © «Сеть Знаний». Контент распространяется под лицензией cc by-sa 3.0 с обязательным указанием авторства.
Рейтинг@Mail.ru