Измерение количества информации

Практическое занятие 1

Тема: Измерение количества информации.

Цель занятия: Исследование структурных и статистических методов измерения количества информации.

Краткие сведения из теории

Структурная мера информации рассматривает строение массивов информации и их измерение простым подсчетом информационных элементов или комбинаторным методом. При использовании структурных мер информации учитывается только дискретное строение сообщения и количество содержащихся в нем информационных элементов (символов). К структурным мерам информации относятся: геометрическая, комбинаторная и аддитивная.

Геометрическая мера информации употребляется в измерении длины, площади или объёма информационного массива в единицах дискретных элементов (сообщений) этого массива. 

Комбинаторная мера информации употребляется для оценки возможностей систем, в которых передача и хранение информации осуществляется при помощи различных комбинаций из набора сообщений. Сопоставление сообщениям из большого их множества (алфавита) комбинаций из других сообщений меньшего, множества (алфавита) является одним из способов кодирования, а сами комбинации (группы сообщений, символов) обычно называются кодовыми комбинациями.

Аддитивная мера информации (мера Хартли) используется для количественной оценки данных, полученных при измерениях, для оценки информационной емкости технических и других систем, а также различных документов, графической информации и в других случаях, где можно различать конечное число состояний.

Р. Хартли в 1928 году предложил формулу для измерения количества информации для равновероятных сообщений:

I = log2 N

т. к. каждое из N событий имеет равновероятный исход (р = 1/N), то получим:

I = log2 N = log2 (1 / р) = - log2 р.

Для N=2 получим I =1. Эту единицу назвали бит (от англ. Binary digit).

Данная формула даёт аналитическое определение бита по Хартли: это количество информации, которое содержится в одном двоичном разряде (цифре).

Алфавитный подход к измерению количества информации основан на подсчете числа символов в сообщении. При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Для решения задач по измерению количества информации в полученном сообщении используются следующие формулы:

N = 2n

где N - мощность алфавита (количество символов алфавита),

n – количество информации в одном символе.

I = K*n

где I – количество информации в сообщении,

K - количество символов в сообщении.

Пример. Для записи текста используются только строчные буквы русского алфавита и “пробел” для разделения слов. Какой информационный объем имеет текст, состоящий из 2000 символов?

Решение. В русском алфавите 33 буквы. Сократив его на две буквы (“ё” и “й”) и введя символ пробела, получаем число символов - 32. Используя формулу N = 2n получим

N = 32 = 25

Отсюда: n = 5 бит – количество информации каждого символа. Тогда информационный объем всего текста равен:

I = 2000 · 5 = 10 000 бит

В качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации. Для практического использования понятия информации необходимо научиться измерять количество информации.

Количество информации – это количество сведений, содержащихся в том или ином информационном элементе (в символе кода или сообщении).

Единица количества информации  - двоичная цифра или бит. 1 бит - такое количество информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза.