Кількісна оцінка інформації - ентропія
Автор: Nataliia34 • Март 19, 2019 • Практическая работа • 303 Слов (2 Страниц) • 293 Просмотры
Міністерство освіти і науки України
Вінницький національний технічний університет
Факультет менеджменту
Кафедра МБІС
Практична робота №1
з дисципліни «Теорія інформації та кодування»
на тему «Кількісна оцінка інформації - ентропія»
Виконала:
ст. групи УБ – 15б
Копайгородська Наталія
Перевірив:
Сінюгін В.В.
Вінниця 2017
Варіант 12
Мета: засвоїти теоретичні знання, одержані на лекційних заняттях у частині визначення кількості інформації рівноймовірних та нерівноймовірних повідомлень. Навчитися обчислювати ентропію.
Виконання роботи:
Задане повідомлення:
The Heart-ache, and the thousand Natural shocks. That Flesh is
Визначення кількості кожного символу в повідомленні:
Символ | a | c | d | e | h | i | k | l | n | o | r | s | t |
Р(х) | 7 | 2 | 2 | 5 | 7 | 1 | 1 | 2 | 2 | 2 | 2 | 5 | 5 |
Символ | u | T | F | H | N | - | , | . | проб. | ||||
Р(х) | 2 | 2 | 1 | 1 | 1 | 1 | 1 | 1 | 9 |
Загальна кількість символів m = 53
Обчислення середньої ймовірності появи окремих літер повідомлення без врахування пробілу:
Символ | a | c | d | e | h | i | k | l | n | o | r | s | t |
Р(х) | 7/53 | 2/53 | 2/53 | 5/53 | 7/53 | 1/53 | 1/53 | 2/53 | 2/53 | 2/53 | 2/53 | 5/53 | 5/53 |
Символ | u | T | F | H | N | - | , | . | |||||
Р(х) | 2/53 | 2/53 | 1/53 | 1/53 | 1/53 | 1/53 | 1/53 | 1/53 |
Загальна кількість символів m=62
Обчислення середньої ймовірності появи окремих літер повідомлення з врахуванням пробілу:
Символ | a | c | d | e | h | i | k | l | n | o | r | s | t |
Р(х) | 7/62 | 2/62 | 2/62 | 5/62 | 7/62 | 1/62 | 1/62 | 2/62 | 2/62 | 2/62 | 2/62 | 5/62 | 5/62 |
Символ | u | T | F | H | N | - | , | . | проб. | ||||
Р(х) | 2/62 | 2/62 | 1/62 | 1/62 | 1/62 | 1/62 | 1/62 | 1/62 | 9/62 |
Створення графіку розподілу ймовірностей в повідомленні без врахування пробілу:
[pic 1]
Створення графіку розподілу ймовірностей в повідомленні з врахуванням пробілу:[pic 2]
Визначення кількості інформації на символ повідомлення без врахування пробілу та з врахування пробілу:
Кількість інформації на символ повідомлення розраховується за формулою:
...