|
Доброго времени суток, уважаемые знатоки. Вопрос из теории информации: Какие значения может принимать "среднее количество взаимной информации"? Решая задачу по "Основам Информационных Технологий" столкнулся вот с такой задачей. В моем варианте, решения задачи у меня получаются значения "Энтропии источника сообщений $%H(X)$%" и "условная энтропия случайной величины $%Х$%" - $%H(X|Y)$% - положительные, а само среднее количество взаимной информации $%I(Y->X) = H(X) - H(X|Y)$% у меня получается отрицательное число. Правильно ли это? Ведь по идее взаимная информация должна быть положительным числом, или я что-то не правильно понял? задан 1 Фев '13 1:33 
SKYnetRTX |
|
Количество информации в сообщении (классическая вероятностная интерпретация) определяется как минус логарифм от вероятности события, о наступлении которого говорится в сообщении. Эта величина не может быть отрицательным числом. Также только неотрицательные значения может принимать собственная энтропия источника сообщений. Взаимная информация характеризуется случайной величиной, определяемой совместным распределением вероятностей двух источников. Несмотря на то, что взаимная информация может принимать отрицательные значения, средняя взаимная информация двух источников всегда неотрицательна (доказательство см., например, в [Р. Галлагер. Теория информации...]). отвечен 28 Фев '13 2:21 
Urt |