Энтропия сложной системы. Условная энтропия

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ

РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Сибирский государственный университет науки и технологий

имени академика М.Ф. Решетнева»

Лабораторная работа 2

По дисциплине: «Теория информации»

Тема: Энтропия сложной системы.

Условная энтропия»

Выполнил:

студент группы

БИСЗ-22-01

Ишимов М.С.

Проверил:

преподаватель

Бочаров Алексей Николаевич

Красноярск 2024

14 Вариант

Цель    работы:

Закрепить    теоретические    знания    и    получить практические навыки при определении энтропии

Задание:

Влияние помех в канале связи описывается канальной матрицей, с помощью условных вероятностей P(Y/X)  P(Х/Y),  где X – источник информации, Y – приемник информации.

1. Провести исследование канала информации со стороны источника информации и со стороны приемника информации.

По результатам исследования определить:

-   потери   информации   Н(Y/xi ),   которые   приходятся   на   каждый переданный хi сигнал и потери Н(Y/X) при передаче всех сигналов х;

- потери информации Н(Х/уj), которые приходятся на каждый принятый уj сигнал и потери Н(Х/Y) при приеме всех сигналов yj.

Исходные данные:

Р(уj/xi ) и  Р(xi/уj)  получить  из  матрицы  совместных  вероятностей,

размером 10 × 10, которую задать самостоятельно.

2. Определить энтропию Н(Х,Y) двухбуквенного сочетания и условную энтропию Н(Y/X) заданного текста, где Х и Y – 32-х буквенный алфавит. Использовать текстовый файл из первой лабораторной работы.

Задание 1

1)Таблица совместных вероятностей:

[pic 1]

2)Таблица условных вероятностей p (xi / yj):

[pic 2]

3)Таблица условных вероятностей p (yj / xi):

[pic 3]

Потери информации от приемника Y к источнику X, Н(X/yj):

Используя формулу:

[pic 4] ,

найдем H(X/yj):

[pic 5]

Используя формулу, вычислим H(X/Y):

[pic 6],

H(X/Y) =2.67

Потери информации от источника X к приемнику Y, Н(Y/xi):

[pic 7]

Используя формулу, найдем H(Y|X):

[pic 8]

H(Y|X) = 2.74

Задание 2.

По заданному тексту найдем все возможные двухбуквенные сочетания, используя язык программирования Python:

[pic 9]

В результате работы программы, получаем словарь, с ключом в виде двухбуквенного сочетания и значения, в виде количества этих сочетаний в тексте.

[pic 10]

По этим данным строим следующию таблицу: