Ақпарат саны. Артықтық. Энтропия

1 Ақпарат саны. Артықтық. Энтропия

Оқиғаны тәжірибенің мүмкін болатын нәтижелері ретінде қарастыруға болады және барлық нәтижелер ансамбль - N  оқиғаларының толық тобын құрады:

[pic 1]     

мұндағы pi- тәжірибенің i-ші нұсқа нәтижесінің ықтималдығы

        Шеннон энтропияны N ансамблінен дискретті жағдай көзін таңдауды анықталмағандық өлшемі ретінде анықтады:

[pic 2]        (1)

        Көз жағдайы тең ықтималдықты болса, Шеннон формуласы келесідей болады:

H(N)=log N  (Хартли формуласы)        (2)

        Осылайша, ықтималдықтар тең болғанда энтропия, демек, бір жағдайға сәйкес келетін анықталмағандық, жүйенің N мүмкін болатын жағдайлар санына байланысты .

Логарифмнің негізі өлшем бірлігін анықтайды. Негіз  "2" ге тең болғанда өлшем бірлігі бит болады. Негіз "10" болғанда - ДИТ. Негіз "e" болса - HАТ.

I ақпарат саны тәжірибеден кейін энтропияның азаюы, демек:

I=H1-H2,            (3)

мұндағы H1 және H2 - энтропияның сәйкес априорлы және  апосториорлы мәндері.

Ақпараттың ең көп  саны ең үлкен анықталмағандық алынып тасталғанда алынады, демек, барлық оқиғалардың ықтималдықтары бірдей болғанда:

                   I=-Log2p=Log2N   (4)

Тең ықтималдықты және өзара тәуелсіз символдар үшін m алфавитінің k хабарламаларында ақпараты саны:      I=k*log2m  (бит)

     Тең ықтималдықты емес алфавиттер үшін алфавиттіңбір символына келетін энтропия:

[pic 3]         

ал, k тең ықтималдықты емес символдардан құралған хабарламадағы ақпарат саны:

      [pic 4]

        Ақпараттық артықтық өлшемсіз шама болып табылады:

        [pic 5]                               

мұндағы  [pic 6]  қысу коэффициенті.

        Жалпы артықтықтан басқа оның дербес түрлері болады:

        1) Хабарламадағы символдардың тең емес ықтималдығына байланысты артықтық:

[pic 7]

2) Хабарлама символдары арасындағы статистикалық байланысқа байланысты артықтық: