Энтропия как мера степени неопределенности системы

Башуров Кирилл Павлович, БИСЗ22-01

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИ РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное бюджетное образовательное учреждение высшего образования

«Сибирский государственный университет науки и технологий

имени академика М.Ф. Решетнева»

Институт информатики и телекоммуникаций

Кафедра информатики и вычислительной техники

ОТЧЕТ ПО ЛАБОРАТОРНОЙ РАБОТЕ №1

по дисциплине «Теория информации»

на тему: «Энтропия как мера степени неопределенности системы»

Преподаватель Бочаров А.Н.                   ____________    __________________

                                                                                                                  подпись, дата                       инициалы, фамилия

Обучающийся БИСЗ22-01, 221214004 ____________     __________________

                                         номер группы, зачетной книжки                 подпись, дата                        инициалы, фамилия

Красноярск 2024

Цель: Закрепить теоретические знания и получить практические навыки при вычислении энтропии.

Ход работы

Задание 1. Получили таблицу значений функции η(p) = −p * log2p при изменении р от 0,01 до 0,99 с шагом 0,01 (рисунки 1-3).

[pic 1]

Рисунок 1 – Значения n(p)

[pic 2]

Рисунок 2 – Значения n(p)

[pic 3]

Рисунок 3 – Значения n(p)

Задание 2. Система может находиться в двух состояниях. Вероятность одного состояния p. Определили значения энтропии при изменении p от 0,01 до 0,99 с шагом 0,01. Определили максимальное значение энтропии. Построили график (рисунки 4-7).

[pic 4]

Рисунок 4 – Значения энтропии

[pic 5]

Рисунок 5 – Значения энтропии

[pic 6]

Рисунок 6 – Значения энтропии

Максимальное значение энтропии = 1.

[pic 7]

Рисунок 7 – График зависимости энтропии от вероятности состояния p

Задание 3. Пользуясь таблицей частот русского языка определили энтропию однобуквенного сочетания русского текста (таблица 1).

Таблица 1 – Таблица частот русского языка

[pic 8]

Для вычисления энтропии вводят специальную функцию: [pic 9]

Тогда формула энтропии примет следующий вид:

[pic 10] 

Энтропия однобуквенного сочетания русского текста = Н(х) = 4,34897

Задание 4. На основе заданного текстового файла определить частоту появления символов в тексте. Определить энтропию однобуквенного сочетания заданного текста (рисунок 8).

Текст вариант 3:

Зернистое изображение, красивый, но грубоватый рисунок. Большего компьютер

вытянуть не может.

Да и не надо. Что такое глубина без человека?

Я моргнул, расслабился, пытаясь войти в виртуальность самостоятельно. Конечно,

ничего не получается. Я не в пустыне, я дома за клавиатурой... Пришлось

протянуть руку, и набрать команду:

deep

А теперь - "ввод".

Поверх пустыни вспыхивает многоцветье дип-программы. Секунду я еще видел

экранчики, мягкую подкладку шлема, потом сознание начало плыть. Мозг пытался

сопротивляться, но куда там! Дип-программа действует на всех.

Вот только попадаются - с частотой один на триста тысяч, люди, не утрачивающие

до конца связи с реальностью. Способные самостоятельно выплывать из глубины.

Дайверы.

Я, например.

Волк ухмыляется мне.

- Промочил горлышко, богатырь?

- Да.

Оглядываю себя - все ли в порядке? Мое тело в виртуальности - нехитрый рисунок,

транслируемый компьютером на ту или иную точку Диптауна и его окрестностей. А

вот меч на поясе, и вещички в сумке - не просто рисунок. Это "ярлычки", пусковые