Информационные характеристики источников сообщений

ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ
Вариант № 2

Задача №1

Условие:

Определить количество информации в сообщении, содержащем Вашу фамилию, имя и отчество, записанные русским текстом (включая пробелы). Буквы алфавита считаются независимыми неравновероятными случайными величинами.

Решение:

Сообщение: Бородашкина Екатерина Алексеевна

Всего сообщение содержит 32 символа, из них 30 букв и 2 пробела.

Найдем частоты и вероятности появления каждого символа и занесём их в таблицу.

pi=ni32

Количество информации найдём по формуле Шеннона для неравновероятных событий:

IX=i=1NpxiIxi=-i=1Npxilogpxi=-7*0,03125*log0,03125+4*0,0625*log0,0625+2*0,09375*log0,09375+0,15625*log0,15625+ 0,1875*log0,1875=3,6 дв. ед./символ

Ответ: IX=3,6 дв. ед./символ

Задача №2

Условие:

Имеются два источника информации X и Y, алфавиты и вероятности появления символов которых заданы матрицами

X=x1x2p1p2  и  Y=y1y2y3q1q2q3.

Определить какой источник дает большее количество информации, если

1) p1=p2,   q1=q2=q3

2) p1=q1,   p2=q2+q3.

Решение:

1) Если p1=p2,   q1=q2=q3

Из условия 1 видно, что распределения равновероятны. Значит можно воспользоваться формулой Хартли:

HX=logN

Таким образом,
HX=log2=1

HY=log3=1,6

HY>HX

Следовательно, источник информации Y даёт большее количество информации, чем X.

2) Если p1=q1,   p2=q2+q3

Здесь воспользуемся формулой Шеннона для неравновозможных исходов:

HX=i=1Npilog(1pi)

С учётом 2 условия

HX=q1log1q1+q2+q3log1q2+q3=q1log1q1+q2log1q2+q3+q3log1q2+q3

HY=q1log1q1+q2log1q2+q3log1q3

Теперь сравним 1, 2 и 3 слагаемые HX и HY.

1 слагаемое

q1log1q1=q1log1q1

2 слагаемое

q2log1q2+q3<q2log1q2

1q2+q3<1q2

3 слагаемое

q3log1q2+q3<q3log1q3

1q2+q3<1q3

Таким образом, HX<HY.

Следовательно, источник информации Y даёт большее количество информации, чем X.

Ответ: И в первом и во втором случае источник информации Y даёт большее количество информации, чем X.