Энтропия как мера степени неопределенности системы

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ

1. Федеральное государственное бюджетное образовательное учреждение
2. высшего образования
3. «Сибирский государственный университет науки и технологий
4. имени академика М.Ф. Решетнева»

Институт информатики и телекоммуникаций (ИИТК)

Безопасность информационных технологий (БИТ)

ОТЧЕТ ПО ЛАБОРАТОРНОЙ РАБОТЕ №1

Энтропия как мера степени неопределенности системы

Преподаватель                                    

        подпись, дата        

Обучающийся                                

                подпись, дата        

Цель работы: закрепить теоретические знания и получить практические навыки при вычислении энтропии

Ход работы:

1. Получить таблицу значений функции n(p) = −p log2 p при изменении р от 0,01 до 0,99 с шагом 0,01.[pic 1]

[pic 2] [pic 3] [pic 4] [pic 5]

Рисунок 1

[pic 6]

Рисунок 2 – формула n(p)

2. Система может находиться в двух состояниях. Вероятность одного

состояния p. Определить значения энтропии при изменении p от 0,01 до 0,99 с шагом 0,01. Определить максимальное значение энтропии. Построить график.

[pic 7][pic 8][pic 9][pic 10]

Рисунок 3

[pic 11]

Рисунок 4

[pic 12]

Рисунок 5

Максимальное значение энтропии = 1 при p = 0,5.

3. Пользуясь таблицей частот русского языка определить энтропию однобуквенного сочетания русского текста.

[pic 13]

Рисунок 6

Ответ: энтропия однобуквенного сочетания русского текста = 4,348971.

Вычисляется по формуле: [pic 14]

4. На основе заданного текстового файла определить частоту появления символов в тексте. Определить энтропию однобуквенного сочетания заданного текста.

Вариант 5.

Результат кода на Python:

[pic 15][pic 16]

Рисунок 7

Ответ: Энтропия однобуквенного сочетания: 4,7803

Контрольные вопросы: