Экономное кодирование дискретных сообщений

Нижегородский государственный университет им. Н. И. Лобачевского

Радиофизический факультет

Кафедра статистической радиофизики и мобильных систем связи

Отчет о проведенной лабораторной работе №4:

«Экономное кодирование дискретных сообщений»

Выполнили:

Вездетский А. Д.

Иванов Е. А.

Куклев Д. А.

Лариошкина А. С.

Кривина Е. Н.

447 гр.

Нижний Новгород

2022 г

Цель работы: Изучение методов экономного кодирования дискретных сообщений.

Теоретическая часть

Информацию можно определить как совокупность существующих сведений о предмете или явлении. Сообщением называют информацию, представленную в форме, которая позволяет осуществить ее преобразования с целью передачи и обработки. Физическая величина, параметры которой отображают сообщение, называется сигналом.

Сообщения подразделяются на дискретные и непрерывные. Дискретные сообщения – это последовательность из конечного числа элементов, которые называются символами. Полный набор символов называется алфавитом. Примеры дискретных сообщений: 37439 или 101110. В первом примере алфавит состоит из десяти символов, а во втором – из двух. Количество символов в сообщении называют длиной сообщения, а объем алфавита, из которого выбираются символы – основанием системы счисления. Источники информации, которые создают дискретные сообщения, называют дискретными источниками.

Непрерывные сообщения создаются непрерывными источниками информации. Эти сообщения и отображающие их параметры сигналов (информационные параметры) являются непрерывными функциями времени. Непрерывное сообщение может быть преобразовано в дискретное путем его квантования по уровню и дискретизации по времени, соответствующего информационного параметра сигнала. При дискретизации по времени выбираются значения информационного параметра в заранее определенные дискретные моменты времени, а при квантовании по уровню выбранные значения округляются до некоторых (заранее определенных) дискретных величин. Эти величины можно записать в виде чисел некоторой системы счисления, т.е. дискретных сообщений. Полученные числа, в свою очередь, могут быть отображены новым сигналом. Сигналы, получаемые с помощью квантования по уровню и дискретизации по времени, называю цифровыми.

Обозначим через X0 множество всевозможных дискретных сообщений x1, x2, …, xN, которые могут передаваться по каналу связи или записываться в запоминающее устройство соответственно с вероятностями p(x1), p(x2), …, p(xN), причем [pic 1]. По каналу связи от источника к получателю передается или записывается лишь одно сообщение xi из N. Большая вероятность p(xi) означает, что сообщение xi и, следовательно, заключенные в нем сведения практически не являются для получателя неожиданными, т.е. он почти не получает информации, принимая это сообщение. Поэтому, разумно считать, что количество информации Ji в сообщении xi тем больше, чем меньше p(xi). Тогда количество информации, получаемое при передаче сообщения xi, можно определить следующим образом:

[pic 2] бит.

Основание логарифма можно выбрать произвольно, оно определяет лишь единицу измерения. При основании логарифма равного двум единица измерения информации называется бит, при основании e ≈ 2,718… - нат, при основании 10 - хартли. С принципиальной точки зрения выбор основания логарифма не имеет значения, поскольку по известной формуле [pic 3] можно легко перейти к любой единице измерения. Натуральная единица измерения в 1,443 раза, а десятичная в 3,322 меньше одного бита.

Среднее количество информации, получаемое от источника при передаче одного символа сообщения, равно