Энтропия сообщения

Расчетная работа 1

Суров Ярослав РИ-351218

Вариант 13

Определить энтропию сообщения, состояния которого распределены по биномиальному закону

а) в общем виде:

 =[pic 1]

= –[pic 2]

- , отсюда [pic 3]

[pic 4]

б) при p = 1/2, n = 5

1-p=1/2; Подставим данные значения в формулу выше при k = 1…5

k=1: H(X) = -5,37
k=2: H(X) = 6,03
k=3: H(X) = 5,37
k=4: H(X) = -6,03
k=5: H(X) = -5

Получается, что энтропия биномиального распределения H(X) при заданных значениях равна 5.

Расчетная работа 2
Суров Ярослав РИ-351218

Вариант 13

Вычислить пропускную способность и оптимальное входное распределение для канала связи, заданного матрицей  переходных вероятностей. Если матрица содержит параметр p, построить график зависимости пропускной способности от p.[pic 5]

[pic 6]

Решение:

Матрица переходных вероятностей P = {pij}, характеризует вероятность перехода процесса с текущим состоянием si в следующее состояние sj, при этом сумма вероятностей переходов из одного состояния равна 1:

[pic 7]

Дискретный канал называется симметричным по выходу, если все строки матрицы переходных вероятностей образованы перестановками элементов первой строки. Для такого канала условная энтропия  не зависит от распределения вероятностей на входе,[pic 8]

Дискретный канал называется симметричным по входу, если все столбцы матрицы переходных вероятностей образованы перестановками элементов первого столбца. Если канал симметричен по входу, и символы на его входе равновероятны, то также равновероятны и символы на его выходе.

Дискретный канал называется симметричным, если он симметричен по входу и выходу. Иными словами, и строки и столбцы матрицы переходных вероятностей образованы перестановками одного набора чисел.

Исходя из указанных свойств, найдём пропускную способность симметричного (по входу и выходу) дискретного канала C.

[pic 9]

[pic 10]

Z – канал

Найти пропускную способность Z–канала.

Модель канала:

[pic 11][pic 12][pic 13][pic 14][pic 15][pic 16]

[pic 17]

[pic 18][pic 19][pic 20][pic 21]

[pic 22][pic 23][pic 24]

Априорные вероятности принятых сообщений:

[pic 25]

[pic 26]

Безусловная энтропия:

[pic 27]

Условная энтропия:

[pic 28]

Среднее количество информации:

[pic 29]

Дифференцируем по вероятности подачи х0.

[pic 30]

Получим p0 опт.:

[pic 31]

[pic 32]

Теперь построим в MathCAD график зависимости пропускной способности от распределения.

[pic 33]

Расчетная работа 3

Суров Ярослав РИ-351218

Вариант 13

Определить количество информации содержащееся в 1 замере напряжения x равномерно распределенного в интервале от 200 до 240 В, если погрешность не зависит от X и распределено по нормальному закону с
[pic 34]

Найдем дифференциальную энтропию непрерывной случайной величины x распределенной равномерно:

[pic 35]

Остаточная дифференциальная энтропия определяется погрешностью измерения при нормальном распределении N(0,):[pic 36]

Нормальное распределение случайной величины:

[pic 37]

Тогда искомая энтропия:

[pic 38]

[pic 39]

[pic 40]

[pic 41]

Подставим исходные значения в получившуюся формулу:

[pic 42]

Количество информации, полученное в результате 1 замера напряжения x, определяется как разность начальной и конечной энтропии:

[pic 43]

Ответ: I(x) = 4,11 (дв. ед)

Дополнительное задание 3

Суров Ярослав РИ-351218

1) Вывести формулу пропускной способности канала с аддитивным гаусовским шумом со спектральной плоскостью N(f). Сигнал имеет спектральную плотность S(f). На канал наложено ограничение по полосе частот [pic 44]

2) исходя из условия  определить спектральную плотность сигнала, которая бы обеспечивала максимальную пропускную способность канала;[pic 45]

1) Для того чтобы найти среднее количество информации, передаваемое сигналом на интервале Т, необходимо рассмотреть n=2FвT отсчетов непрерывного сигнала на входе канала и на выходе канала. В этом случае: