Основи теорii iнформацii та кодування

МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ

НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ «ЛЬВІВСЬКА ПОЛІТЕХНІКА»

Кафедра ТЗЕ

[pic 1]

З В І Т

до лабораторної роботи №1

з курсу: “ОСНОВИ ТЕОРІЇ ІНФОРМАЦІЇ ТА КОДУВАННЯ”

Виконав: ст. гр. КБ-206

Новосад А.А

Прийняв: доц. Кравців В.П    

Львів 2023

Дослідження основних інформаційних характеристик джерел повідомлень

Мета роботи:

виробити вміння та набути практичні навики дослідження оцінок основних інформаційних характеристик дискретних джерел повідомлень за допомогою розрахунків виконаних у програмному середовищі Matcad.

        Теоретичні відомості:

Теорія інформації вивчає основні закономірності отримання, передавання, зберігання та оброблення інформації.

Виділяють три основні напрямки:

• Структурний ;
• Статистичний;
• Семантичний.

Ентропія – це кількість інформації, що припадає на один елемент повідомлення. Чим вища ентропія повідомлення, тим більша кількість інформації в ньому закладено, тим важче її запам’ятати (записати) або передати каналом зв’язку.

Робочі формули:

[pic 2][pic 3][pic 4][pic 5][pic 6][pic 7]

Завдання 3.1

[pic 8]

[pic 9]

1. Переніс дані з таблиці та відсортував їх за спаданням .
2. Розрахував Максимальну ентропію за формулою 3.3 . В нашому випадку m = 12 .
3. Розрахував Реальну ентропію для кожного випадку по формулі 3.2 . Потім використав формулу Суми за знайшов Реальну ентропію для всіх випадків , що становить 3,204009
4. Порахував Надлишковість по формулі 3.14
5. Знайшов Максимальну та Реальну середні кількості інформації по формулі , яку вивів з 3.2
6. Створив окремо 2 стовпця для формування графіка залежності реальної ентропії від ймовірності та побудував графік.

[pic 10]

[pic 11]

Завдання 3.2