Энтропия и информация

Лабораторная работа №1

Энтропия и информация

1. Источник информации состоит из различных букв первых взятых из первых 12 букв вашего ФИО, вероятности их появления – частоты этих букв в первых 12 буквах ФИО.

a. Появление каких букв даёт самую большую информацию?

b. Посчитайте энтропию этого источника. На сколько она отличается от максимально возможной энтропии источника с таким количеством сообщений?

2. Последовательность = ‘N1990(30-N)’, где N – номер варианта (01, 02, …., 25; например, при N=02, Последовательность=02199028, при N=12 – 12199018). Случайные величины А и Б в качестве значений принимают различные цифры из последовательности и 𝑃(А = а, Б = б) есть частота встречаемости подпоследовательности аб в Последовательности.

a. Сколько всего подпоследовательностей длины 2 в Последовательности?

b. Постройте матрицу этого распределения и распределения каждой из указанных случайных величин.

c. Независимы ли случайные величины А и Б?

d. Найдите информацию события {A=1, Б=9}.

e. Найдите условную информацию события {A=1} при условии, что {Б=9}.

f. Найдите взаимную информацию между событиями {A=1} и {Б=9}.

g. Найдите энтропию совместного распределения А и Б.

h. Найдите условную энтропию А при условии Б.

i. Найдите среднюю взаимную информацию величин А и Б.

Решение.

1. Согласно варианту, источник информации состоит из различных букв последовательности АРСЕНЬЕВРУСЛ. Найдем вероятности их появления и информацию связанную с их появлением.

Находим элементы (буквы), вероятность которых является наименьшей. Эти элементы(буквы) и будут давать самую большую информацию. Самую большую информацию дают А, Н, Ь, В, У, Л.

Найдем энтропию данного источника.[pic 19] 

Известно, что энтропия при заданном количестве сообщений (𝑘) достигает наибольшего значения, когда эти события равновероятны (log2 𝑘). В нашем случае [pic 20].

Таким образом, энтропия нашего источника отличается от максимально возможной энтропии источника с таким количеством сообщений на [pic 21].

2. Для варианта 1 исходная последовательность будет иметь вид 01199029. Для нахождения количества подпоследовательностей длины 2 воспользуемся формулой: [pic 22], где n – количество элементов в последовательности. В нашем случае 𝑛 = 8 и [pic 23].

Количество подпоследовательностей равно 28.

Построим матрицу этого распределения и распределения каждой из указанных случайных величин: