Задачи по "Теории электрической связи"
Автор: DeksMaster • Ноябрь 18, 2023 • Задача • 911 Слов (4 Страниц) • 110 Просмотры
РЕШЕНИЕ ЗАДАЧИ
Дано:
Источник сообщений выдает символы из ансамбля (где ) с вероятностями, представленными в таблице 1 в зависимости от последней цифры шифра.[pic 1][pic 2]
Таблица 1.
Параметр | [pic 3] | [pic 4] | [pic 5] | [pic 6] | [pic 7] |
0,4 | 0,2 | 0,3 | 0,2 | 0,1 |
Сумма вероятностей в условии больше 1 (такого быть не должно, об этом написано в условии задачи 1 примера). Сумма всех p(xi) должна быть равной 1, как полной группы несовместных событий
Уменьшил две самые большие вероятности на 0,1 каждую, чтобы сумма вероятностей была равна 1.
Параметр | [pic 8] | [pic 9] | [pic 10] | [pic 11] | [pic 12] |
0,3 | 0,2 | 0,2 | 0,2 | 0,1 |
Решение:
Количество информации , содержащееся в символе , выбираемом из ансамбля (), где - объем алфавита, с вероятностью , причем , определяется по формуле[pic 13][pic 14][pic 15][pic 16][pic 17][pic 18][pic 19]
.[pic 20]
Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации.
Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации – это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов.
бита ;[pic 21]
бита ;[pic 22]
бита ;[pic 23]
бита ;[pic 24]
бита .[pic 25]
Средне количество информации , приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита , можно найти как математическое ожидание дискретной случайной величины , определяющей количество информации, содержащейся в одном случайно выбранном символе (знаке) .[pic 26][pic 27][pic 28][pic 29]
.[pic 30]
Эта величина называется энтропией источника независимых сообщений.
[pic 31]
[pic 32]
.[pic 33][pic 34]
Одной из информационных характеристик дискретного источника является избыточность:
.[pic 35]
Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов.
.[pic 36]
...