Шеннонның ақпараттық өлшемі

Кіріспе

           Клод Элвуд Шеннон (ағыл. Claude Elwood Shannon; 30 сәуір 1916, Петоски,   Мичиган,      АҚШ — 24 ақпан 2001, Медфорд, Массачусетс, АҚШ) — америкалық инженер, криптоаналитик және математик. Болып саналады әке "ақпараттық ғасырдың".

           Қазіргі заманғы жоғары технологиялық байланыс жүйелерінде қолдануды тапқан ақпарат теориясының негізін қалаушы. Қазіргі уақытта қазіргі коммуникациялық технологиялардың негізін құрайтын негізгі ұғымдар, идеялар және олардың математикалық тұжырымдамаларын ұсынды. 1948 жылы ол "бит" сөзін ақпараттың ең аз бірлігін білдіру үшін қолдануды ұсынды ("математикалық байланыс теориясы"мақаласында). Сонымен қатар, энтропия ұғымы Шеннон теориясының маңызды ерекшелігі болды. Ол өзі енгізген энтропия берілетін хабарламадағы ақпараттың анықталмауына тең екенін көрсетті. Шеннонның "математикалық байланыс теориясы" және "құпия жүйелердегі байланыс теориясы" мақалалары Ақпарат және криптография теориясы үшін негіз болып саналады. Клод Шеннон криптографияға ғылыми тұрғыдан алғашқылардың бірі болып келді, ол өзінің теориялық негіздерін бірінші болып тұжырымдап, көптеген негізгі ұғымдарды енгізді. Шеннон ықтималдық сұлбалар теориясына, ойындар теориясына, автоматтар теориясына және басқару жүйелері теориясына — "кибернетика"ұғымына кіретін ғылым салаларына негізгі үлес қосты.

Зертханалық жұмыс №2. Шеннонның ақпараттық өлшемі

Ақпараттың мөлшері мен артықтығы.

Байланыстың дискретті жүйелері–хабарламаны орындау сияқты сигналды да орындау, қарапайым символдардың нақты санын құрайтын алфавитің символдарының қатары болып саналатын жүйелер.

ξ мен η - мүмкін мәндері көп кездейсоқ шамалар болсын X={х1, х2,..., хn}, Y={у1,у2,...,уn}.

Ақпараттың мөлшері H(ξ)ξ∈ X={х1, х2,..., хn} кездейсоқ шаманы P={р1, р2,..., рn} ықтималдықтар таралуымен бақылағанда Шеннон формуласымен беріледі:

[pic 1]   .

Ақпараттың мөлшерінің өлшем бірлігі бит болып табылады, ол екі тең ықтималды мәні бар кездейсоқ шаманы бақылағанда алынатын ақпарат көлемін көрсетеді.

р1= р2=...= рn біркелкі таралғанда ақпарат мөлшері Хартли формуласымен көрсетіледі:

H (ξ) =        .[pic 2]

Келесі қатынастар дұрыс:

1) 0 ≤ H (ξ)≤        .[pic 3]

2) 2, 0,5, N = p1 = p2 = H(ξ) =1.

3) H(ξ,η) = H(ξ) + H(η), ξ мен η - тәуелді болмаса. Артықшылықдепp=1-H(ξ)/max H (ξ)=1-H (ξ)/        аталады. Үздіксіз хабарламалардың энтропиясы.[pic 4]

Ақпаратты берудің үздіксіз жүйелері - (0,Т) соңғы уақыттық интервалда хабарламаны орындау сияқты сигналды да орындау уақыттың кейбір үздіксіз функциялары болып саналатын жүйелер.

x(t)-байланыс сұлбасының бір блогының кірісіндегі үздіксіз хабарламаны орындау, y(t)- шығыс хабарламаны (сигналды) орындау, W(x)-

кіріс хабарламалар ансамблінің ықтималдықтарының тығыздығы, W(у) - шығыс хабарламалар ансамблінің ықтималдықтарының тығыздығы болсын.

Үздіксіз хабарламалардың Н энтропиясы үшін формулалар дискретті хабарламалар энтропиясы үшін формулаларды жалпылау жолымен алынады. Егер Δx- кванттау (өлшеу дәлдігі) болса, онда Δx айтарлықтай аз болғанда үздіксіз хабарламалардың энтропиясы