Информационные характеристики источника сообщений и канала связи

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ

РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ

БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧЕРЕЖДЕНИЕ

ВЫСШЕГО ОБРАЗОВАНИЯ

"ВЯТСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ"

ФАКУЛЬТЕТ АВТОМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ

КАФЕДРА РАДИОЭЛЕКТРОННЫХ СРЕДСТВ

Теория информации и кодирования

Контрольная работа

Вариант 5

Выполнил: студент группы ИКТб-3301-04-24________________Д.А. Шишкин

Проверил: профессор каф. РЭС __________________________Е.В. Медведева

        Киров 2023

ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКА СООБЩЕНИЙ И КАНАЛА СВЯЗИ

Задача 1.1 Вариант д

Условие задачи. Источник сообщений выдает символы из ансамбляA(ai)[pic 1]. Распределения вероятностей приведены в табл. 1.1. Найти количество информации, содержащееся в каждом из символов источника при их независимом выборе (источник без памяти). Вычислить энтропию и избыточность заданного источника.

Таблица 1.1

Решение

Количество информации для каждого символа определяется по формуле:

[pic 2]

[pic 3]

[pic 4]

[pic 5]

[pic 6]

[pic 7]

Энтропия источника вычисляется по формуле

[pic 8]

H(A) =  - (0,5*(-1) + 0,04*(-4,64) + 0,03*(-5,06) + 0,15*(-2,73) + 0,04*(-4,64) + 0,12*(-3,06) + 0,1*(-3,32) + 0,02*(-5,64) = 0,5 + 0,1856 + 0,1518 + 0,41 + 0,1856 + 0,37 + 0,33 + 0,11 =  2,24

Избыточность источника определяется по формуле:

[pic 9]

H(A) – энтропия, вычисленная на основе характеристик источника;

Hmax(A)–максимальная энтропия источника.

Согласно, свойству энтропии   Hmax(A)= log2Ma,

где Ma – количество возможных сообщений источника.

Hmax(A)= log2Ma= log28 = 3

Избыточность источника равна 1 – 2,24/3 = 1 – 0,75 = 0,25

Результаты вычислений

Энтропия равна   2,24. Избыточность источника      0,25  

Задача 1.8

Условие задачи. Чему равна пропускная способность симметричного канала, если источник вырабатывает со скоростью 2 знака в секунду сообщения, закодированные кодом с основанием m = 10, а вероятность ложного приёма рл = 0,03?

Решение

Определить пропускную способность канала с учетом ложного приема (помех) можно по формуле

[pic 10]

C = 2*(log210 + 0,03*log2 (0,03/9) + (1-0,03)*log2 (1-0,03))
=  2*(3,32 + 0,03*(-8,23) +0,97*(-0,044) = 2*(3,32 – 0,24 – 0,043) = 2 * 3,04 = 6,08

Результат вычисления. Пропускная способность канала равна 6 бит/сек

ЭФФЕКТИВНОЕ КОДИРОВАНИЕ

Задача 2.1 Вариант д

Условие задачи. Дискретный источник выдает символы из ансамбля [pic 11] с вероятностями, приведенными в табл. 1.1. Закодировать символы данного ансамбля кодом Хаффмена, кодом Шеннона-Фано и равномерным кодом. Определить среднюю длину кодовой комбинации и сравнить с энтропией сообщения. Показать, какой код является наиболее эффективным.

Решение

Кодирование кодом Хаффмана

Таблица кодирования по шагам