Количественная мера информации

Федеральное государственное образовательное учреждение

Высшего профессионального образования

«Ярославский Государственный Технический Университет»

Кафедра «Информационные системы и технологии»

Отчет защищен

с оценкой _________

Канд.техн.наук, доцент

__________ Ю.М. Горовой

«___» _________ 2025

КОЛИЧЕСТВЕННАЯ МЕРА ИНФОРМАЦИИ

Отчет о лабораторной работе № 1

по курсу «Введение в теорию информации»

ЯГТУ 09.03.02 – 024 ЛР

Работу выполнил студент

группы ДЦИС-17

С.И. Тафинцев

« 08» марта 2025

2025

Лабораторная работа №1

ЦЕЛЬ РАБОТЫ:

экспериментальное изучение количественных аспектов информации.

ЛАБОРАТОРНОЕ ЗАДАНИЕ:

1. Определить количество информации (по Хартли), содержащееся в заданном сообщении, при условии, что значениями являются буквы кириллицы.

Текст сообщения:

«Я, студент Тафинцев Сергей Игоревич, выполняю лабораторную работу.»

2. Построить таблицу распределения частот символов, характерные для заданного сообщения. Производится так называемая частотная селекция, текст сообщения анализируется как поток символов и высчитывается частота встречаемости каждого символа. Сравнить с имеющимися данными в таблице 1.

3. На основании полученных данных определить среднее и полное количество информации, содержащееся в заданном сообщении.

4. Оценить избыточность сообщения.

Таблица 1

- 0.175

О 0.090

Е, Ё 0.072

А 0.062

И 0.062

Т 0.053

Н 0.053

С 0.045

Р 0.040

В 0.038

Л 0.035

К 0.028

М 0.026

Д 0.025

П 0.023

У 0.021

Я 0.018

Ы 0.016

З 0.016

Ь, Ъ 0.014

Б 0.014

Г 0.013

Ч 0.012

Й 0.010

Х 0.009

Ж 0.007

Ю 0.006

Ш 0.006

Ц 0.004

Щ 0.003

Э 0.003

Ф 0.002

ХОД РАБОТЫ:

1. Чтобы определить количество информации (по Хартли) воспользуемся следующей формулой: , где I – количество информации в битах, а N - количество возможных равновероятных событий (в данном случае количество различных символов в алфавите, включая пробел).

В нашей строке 23 уникальных символа, включая пробел. Мы не будем учитывать регистры букв и знаки препинания:

N = 23 символа

Подставляем N = 23 в формулу: и вычисляем логарифм:

I = ≈ 4.528 бит

Это означает, что каждый символ (включая пробел) содержит примерно 4.528 бит информации, если все символы равновероятны.

Теперь нужно определить количество информации во