Измерение количества информации
Автор: moonsreve • Январь 29, 2023 • Практическая работа • 900 Слов (4 Страниц) • 259 Просмотры
Практическое занятие 1
Тема: Измерение количества информации.
Цель занятия: Исследование структурных и статистических методов измерения количества информации.
Краткие сведения из теории
Структурная мера информации рассматривает строение массивов информации и их измерение простым подсчетом информационных элементов или комбинаторным методом. При использовании структурных мер информации учитывается только дискретное строение сообщения и количество содержащихся в нем информационных элементов (символов). К структурным мерам информации относятся: геометрическая, комбинаторная и аддитивная.
Геометрическая мера информации употребляется в измерении длины, площади или объёма информационного массива в единицах дискретных элементов (сообщений) этого массива.
Комбинаторная мера информации употребляется для оценки возможностей систем, в которых передача и хранение информации осуществляется при помощи различных комбинаций из набора сообщений. Сопоставление сообщениям из большого их множества (алфавита) комбинаций из других сообщений меньшего, множества (алфавита) является одним из способов кодирования, а сами комбинации (группы сообщений, символов) обычно называются кодовыми комбинациями.
Аддитивная мера информации (мера Хартли) используется для количественной оценки данных, полученных при измерениях, для оценки информационной емкости технических и других систем, а также различных документов, графической информации и в других случаях, где можно различать конечное число состояний.
Р. Хартли в 1928 году предложил формулу для измерения количества информации для равновероятных сообщений:
I = log2 N
т. к. каждое из N событий имеет равновероятный исход (р = 1/N), то получим:
I = log2 N = log2 (1 / р) = - log2 р.
Для N=2 получим I =1. Эту единицу назвали бит (от англ. Binary digit).
Данная формула даёт аналитическое определение бита по Хартли: это количество информации, которое содержится в одном двоичном разряде (цифре).
Алфавитный подход к измерению количества информации основан на подсчете числа символов в сообщении. При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.
Для решения задач по измерению количества информации в полученном сообщении используются следующие формулы:
N = 2n
где N - мощность алфавита (количество символов алфавита),
n – количество информации в одном символе.
I = K*n
где I – количество информации в сообщении,
K - количество символов в сообщении.
Пример. Для записи текста используются только строчные буквы русского алфавита и “пробел” для разделения слов. Какой информационный объем имеет текст, состоящий из 2000 символов?
Решение. В русском алфавите 33 буквы. Сократив его на две буквы (“ё” и “й”) и введя символ пробела, получаем число символов - 32. Используя формулу N = 2n получим
N = 32 = 25
Отсюда: n = 5 бит – количество информации каждого символа. Тогда информационный объем всего текста равен:
I = 2000 · 5 = 10 000 бит
В качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации. Для практического использования понятия информации необходимо научиться измерять количество информации.
Количество информации – это количество сведений, содержащихся в том или ином информационном элементе (в символе кода или сообщении).
Единица количества информации - двоичная цифра или бит. 1 бит - такое количество информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза.
...