Informo-teorio

L'Informo-teorio, anke konocita kom matematikala teorio pri la komuniko analizas sistemi di komuniko e lia efikiveso. La nociono pri sistemo di komuniko esas ampla, e la sama eventas kun la konceptajo pri l'informo-teorio.

Ca teorio originis de la verki da Claude Elwood Shannon, qua konsideresas lua kreinto pro lua artiklo A Mathematical Theory of Communications, publikigita en 1948.

Inter l'importanta branchi, on povas citar:

• la kodexajo di informo,
• la quantiva mezuro di vorto-superflueso di ula texto,
• la kompreso di datumi
• la kriptografo.

Exempli pri informo

Informo or informeso indikas, inter ula ensemblo di eventi, un o plura posibla eventi.

Tale, l'informo diminutas la necerteso. En decido-teorio, on konsideras mem ke ol ne apelendas informo ke to qua esas posible di havas efekto sur nia decidi (poke di kozi en jurnalo esas a ta konto di informi ..).

Unesma exemplo

Sive fonto povinta produktar di integra tensioni di 1 a 10 volti e recepciono qua mezuros ta fluo. Ante la sendo di elektra fluo per la fonto, la recepciono ne havas ideo de la tensiono qua esos livrar per la fonto.

En revancho, foye la fluo emisita e recepcionita, la ne-certeso sur la fluo emisita diminutas. L'informo-teorio konsideras ke le recepciono posedas ne-certeso di10 standi.

Duesma exemplo

Libraro posedas granda nombro di labori, di revui, di libri e di vorto-libri. Ni serchas kompleta kurso sur la informo-teorio. Tota unesme, ol esas logika ke ni ne trovesos ta dokumentaro en verki di arti o literaturo; ni venas do obtenar neformala informeso qua diminutos nia tempo por inquestar.

Neperfekta informeso

Sive realizisto do me amas du filmo pri tri. kritikisto ke me konocas bona kritikegas sua lasta filmo e me savas ke me partigas mezavalore l'analizi di ta kritikisto quar foye pri kin. Ta kritikon me deskonsilos di irar vidar la filmo? To esas ibe la centrala questiono di bayesiala infero, qua quantesas anke en biteti.

Atencez a ne konfundar

Oportas min di biteti per skribar ‘'hundo ke ‘'mamifero. Tamen l'indiko ‘'Medoro esas hundo kontenas bona ‘'plu d'informo ke l'indiko ‘'Medoro esas mamifero: la kontenita di semantikala informo di sendajo dependas di kontexto. Fakte, to esas la paro sendajo + kontexto qua konstituas la vera porto di informo, e nul tempe la sendajo sole (videz Paradoxo di kompresilo).

mezuro dil quanteso di informo

Quanteso di informo : elementala kazo

Konsideras N buxi numerizita de 1 til N. Individuo A celis segun chanco ul objekto en un ek ta buxi. Individuo B devas trovar la numero dil buxo ube esas celita l'objekto. Por facar to, ilu povas pozar du questioni al individuo A a qua il-ca devas respondar sen mentiar "YES" o "NO". Ma omna questiono pozita reprezentas kusto a pagar por l'individuo B (exemple, 1 Euro). Individuo C savas en quala buxo celesas l'objekto. Il povas vendar ta informo a l'individuo B. Se B aceptos ta vendo-kontrato ke se la preco di C esas infre od egale a mezavalora kusto ke B devrus spensar per trovar la buxo en pozar di questioni a A. L'informo detenita per C havas do certa preco. Ta preco reprezentas la quanto di informo per la konoco di la bona buxo : to esas la mezavalora nombro di questioni a pozar per identifikar ta buxo. Ni notas lu I.

Exemplo:

Kad N = 1, I = 0. To esas sole un buxo. Irga questiono esas necesa.

Kad N = 2, I = 1. On demandas se la bona buxo esas la buxo n°1. La respondo Yes o No determinas lore sen ambigueso kel esas la sercha buxo.

Kad N = 4, I = 2. On demandas se la buxo permisas lors d'eliminar du di buxi ed ol suficas di lasta questiono per trovar kel esas la bona buxo per du.

Kad N = 2^k, I = k. On skribas la numeri di buxi en bazo 2. Li numeri havas ad-maxime k binara cifri, e per omnu di rango di ta cifri, on demandas se la sercha buxo posedas la cifro 0 o la cifro 1. En k questioni, on havas determinas omna binara cifri del bona buxo. To rivenas anke a pozar k questioni, omna questiono havinta per skopo di divisar sequi la nombro di konsiderita buxi per 2 (metodo di dikotomio).

On esas do amenita a pozar I = log(N), ube log esas la logaritmo en bazo 2, ma ta figuro ne produktas su ke en la kazo di N equiprobabla evenementi.

Quanteso di informo relata a evenemento

Supozante nun ke la buxi sive kolorita, e ke to esas n reda buxi. Supozas anke ke C savas ke la buxo ube esas celita l'objekto esas reda. Qual esas la preco di ta informo? Sen ta informo, le preco a pagar ne esas pluse ke log(n). La preco dil informo ‘'la sercha buxo esas reda esas do log(N) - log(n) = log N/n.

On definas tale la quanteso di informo kom kreskanta funciono di ${\frac {N}{n}}$ kom :

• $N$ la nombro di posibla evenementi
• $n$ la kardinala di sub-ensemblo delimita per l'informo.

Por mezurar ta quanteso d'informo, on pozas : $I=log_{2}\left({\frac {N}{n}}\right)$

$I$ esas expresas en biteto (o logon, uneso introdukta per Shannon, di qua, en la fakti, biteto esas devenita sinonimo), o bona en nat se on uzas la naturala logaritmo vice di logaritmo di bazo 2.

Ta defino justifikas su nam ol volas la sequa propraji :

1. L'informo esas inkluzite en 0 e ∞.
2. Un evenemento nam poko di probableso reprezentas multo di informo, (exemplo: « nivas en januaro » kontenas multo min d'informo ke « nivas en agosto » se nur ke on sive en la norda misfero)
3. L'informo devas esar adicionala.

Remarko : kande on dispozar di multa informi, la quanteso di blokala informo ne esas la sumo di quanteso d'informo. To esas devita a la prezenteso di logaritmo. Videz anke: reciproka informo, komuna informo a du sendaji, qua, en l'idajo, explikas ta « sub-adicionala » dil informo.

Entropio, formulo di Shannon

Supozas nun ke la buxi sive di diversa kolori : n₁ buxi de koloro C₁, n₂ buxi de koloro C₂, ..., n_k buxi de koloro C_k, kon n₁ + n₂ + ... + n_k = N. La persono C savas di qual koloro esas la sercha buxo. Qual esas la preco di ta informo?

L'informo « la buxo esas di koloro C₁ » valoras log N/n₁, e ta eventualajo havas probableso n₁/N. L'informo « la buxo esas di koloro C2 » valoras log N/n₂, e ta eventualajo havas probableso n₂/N...

La mezavaloro preco di l'informo esas do n₁/N log N/n₁ + n₂/N log N/n₂ + ... + n_k/N log N/n_k. Plu ordinare, se on konsideras k disjunta evenementi di rispektiva probableso p₁, p₂, ..., p_k kun p₁ + p₂ + ... + p_k = 1, lore la quanteso di informo korespondinta a ta distributo di probableso esas p₁ log 1/p₁ + ... + p_k log 1/p_k. Ta quanto apelar su entropio del distributo di probableso.

L'entropio permisas do di mezurar la quanteso di mezavaloro informo di ensemblo di evenementi (en partikulara di sendaji) e di mezurar sua necerteso. On notas li $H$ :

$H\left(I\right)=-\sum _{i\in I}p_{i}\mathbf {log} _{2}\;p_{i}$

kun $p_{i}={\frac {n_{i}}{N}}$ l'asocia probableso a l'aparo di l'evenemento $i$.

Kodexaja di l'informo

On konsideras sequi di simboli. Omna simbolo povas kontenar du valori s₁ e s₂ kun di probablesi rispektive p₁ = 0,8 e p₂ = 0,2. La quanto d'informo kontenas en simbolo esas p₁ log 1/p₁ + p₂ log 1/p₂ ≈ 0,7219. Se omna simbolo esas nedependanta di segun, lore sendajo di N simboli kontenas en mezavalora quanto d'informo egala a 0,72N. Se la simbolo s₁ esas kodexita 0 e la simbolo s₂ esas kodexita 1, lore la sendajo havas longua di N, to qua esas perdo per raporto ala quanto di informo ke ol portas.

Shannon-teorii enuncas ke esas neposibla trovar kodexo do la mezavalora longuo sive infre 0,72N, ma ke ol esas posibla di kodexar la sendajo di fasono a ta ke la kodexa sendajo havas mezavalore longua anke proxim ke volas di 0,72N kande N augmentas.

Exemple, on rigrupas la simboli tri per tri e on kodexas li quale:

simboli a kodexar	probableso di trio	kodexita di trio	longua di kodexo
s1s1s1	0.83 = 0.512	0	1
s1s1s2	0.82 ¥ 0.2 = 0.128	100	3
s1s2s1	0.82 ¥ 0.2 = 0.128	101	3
s2s1s1	0.82 ¥ 0.2 = 0.128	110	3
s1s2s2	0.22 ¥ 0.8 = 0.032	11100	5
s2s1s2	0.22 ¥ 0.8 = 0.032	11101	5
s2s2s1	0.22 ¥ 0.8 = 0.032	11110	5
s2s2s2	0.23 = 0.008	11111	5

La sendajo s₁s₁s₁s₁s₁s₂s₂s₂s₁ esos kodexi 010011110.

La mezavaloro longua di kodexo di sendajo di N simboli esas :

${N \over 3}(0.512+3\times 0.128\times 3+3\times 0.032\times 5+0.008\times 5)=0,728N$

Videz anke

• Kodexaja dil informo
• teorio di Cox-Jaynes
• Autoregulo