Teoria codificarii. Vezi codificarea teoriei Koli ta choma vinikla

„Scopul acestui curs este de a te pregăti pentru viitorul tău tehnic.”

Salut Habr. Îți amintești de minunatul articol „Tu ești robotul tău” (+219, 2442 de marcaje, 394k citite)?

Deci, axa lui Hamming (deci, așa, codul lui Hemming, care se auto-monitorizează și se auto-corectează) este o carte întreagă, scrisă pe baza prelegerilor sale. O putem traduce, chiar și ca un bărbat.

Această carte nu este doar despre IT, aceasta este o carte despre stilul de gândire al oamenilor incredibil de cool. Aceasta nu este doar o încărcătură de gânduri pozitive; Descrie idei care vă vor crește șansele de a face o treabă grozavă.

Am transferat deja 28 (din 30) secțiuni. Lucrez să văd lucrurile „la ziar”.

Teoria codificării - I

După ce ne-am uitat la computere și la principiile muncii lor, acum putem vedea cum furnizează informații: cum computerele prezintă informațiile pe care doresc să le proceseze. Semnificația oricărui simbol poate sta în metoda de prelucrare a acestuia, mașina nu are sens de cântare în ritm. La ora discuţiilor despre istorie securitatea software-ului 4 secțiuni au analizat un fel de programare în limbaj sintetic, cu un nou cod de instrucțiuni combinat cu codul altor instrucțiuni. Această situație este tipică, majoritatea dintre noi, în loc de instrucțiuni, este indicată de un program separat.

Pentru a simplifica problema furnizării de informații, să ne uităm la problema transferului de la un punct la altul. Acest aliment are legătură cu informațiile despre economisirea alimentelor. Problemele de transmisie în frecvență și spațiu sunt identice. Malyunka 10.1 vine cu un model de transmisie standard.

Malyunok 10.1

Există o mulțime de informații disponibile pentru Zliva Malyunku 10.1. Când ne uităm la model, natura dzherel nu are importanță pentru noi. Este posibil să setăm simboluri ale alfabetului, numere, formule matematice, note muzicale, simboluri pe care le putem detecta în rutinele de dans - natura simbolului și semnificația simbolurilor care sunt stocate în acesta nu fac parte din modelul de transmisie. . Fără prea multe informații, putem vedea că de la astfel de granițe vine o teorie puternică, ascunsă, care poate fi extinsă în multe sfere. Este o abstracție de la o mulțime de programe.

Când Shannon a creat în sfârșit teoria informațiilor în 1940, a fost important ca aceasta să nu fie numită teoria legăturilor, ci mai degrabă termenul de informație. Acest termen a devenit o cauză constantă atât de interes, cât și de dezamăgire constantă față de teorie. Anchetatorii au vrut să urmărească scopul „teoriei informației”, despre care credeau că este teoria unui set de simboluri. Revenind la modelul de transmisie, avem o mulțime de date care trebuie codificate pentru transmisie.

Codificatorul este format din două părți, prima parte se numește codificator dzherel, numele exact depinde de tipul de dzherel. Diferite tipuri de date necesită diferite tipuri de codificatoare.

Cealaltă parte a procesului de codificare se numește codificarea canalului și este denumită canal de transmisie a datelor. Astfel, o altă parte a procesului de codificare depinde de tipul de canal de transmisie. Astfel, cu utilizarea interfețelor standard, datele de la dispozitiv la sursă sunt codificate în funcție de interfața corespunzătoare și apoi în funcție de canalul de transmisie a datelor adecvat.

Similar cu modelul, canalul mic de transmisie de date 10.1 este supus unui aflux de „zgomot suplimentar”. Tot zgomotul din sistemul de distribuție este în acest punct. Se presupune că codificatorul acceptă toate caracterele fără întârziere, iar decodorul își finalizează funcția fără eroare. Aceasta este o idealizare, dar pentru multe scopuri practice este aproape de realitate.

Faza de decodare constă și în două etape: canal - standard, standard - recepție de date. De exemplu, instrucțiunile de transmisie sunt transmise unul altuia. Și din nou nu putem vedea nutriția în timp ce colegul interpretează datele.

După cum sa menționat mai devreme, sistemul de transmitere a datelor, de exemplu, mesaje telefonice, radio, programe TV, prezintă date sub forma unui set de numere în registrele unei mașini de calcul. Repet din nou, transmisia în spațiu nu diferă de transmisia în ore sau de salvarea informațiilor. Dacă aveți informații care vor fi necesare într-o oră, atunci este necesar să le codificați și să le salvați pentru a salva datele. Informațiile sunt decodificate după cum este necesar. Deoarece sistemul de codificare și decodare este același, trimitem date prin canalul de transmisie fără modificări.

Există o diferență fundamentală între teoria prezentată și teoria primară în fizică - aceasta este ipoteza despre prezența zgomotului în corp și în aer. De fapt, mila se datorează oricărei instalări. În mecanica cuantică, zgomotul apare în anumite etape din cauza principiului nesemnificației și nu ca mintea cob; Din întâmplare, conceptul de zgomot în teoria informației nu este echivalent cu conceptul de mecanică cuantică.
Pentru semnificație, am aruncat o privire asupra formei binare de transmitere a datelor către sistem. Alte forme sunt aranjate într-o ordine similară, de dragul simplității le vom analiza.

Să aruncăm o privire la sistemele cu simboluri codificate ale punctului și liniuței, precum codul Morse clasic cu un punct și o liniuță, în care simbolurile care sunt adesea condensate sunt scurte, iar cele rare sunt lungi. Această abordare permite codului să atingă o eficiență ridicată, dar înseamnă și că codul Morse este ternar, nu binar, deoarece are un simbol de spațiu între puncte și liniuțe. Deoarece toate caracterele din cod sunt noi, un astfel de cod se numește cod bloc.

În primul rând, este evident că puterea este necesară pentru cod - capacitatea de a decoda fără ambiguitate informații despre prezența zgomotului, cel puțin, se pare autorităților, deși în anumite situații acest lucru poate fi obținut. Datele de la canalul de transmisie receptor apar ca un flux de caractere care conțin unu și zerouri.

Vom numi două simboluri adiacente pentru subextensii, trei simboluri adiacente pentru a treia extensie, iar în cazurile în care suntem copleșiți de N simboluri, vom folosi o extensie la codul de bază al N simboluri. Receptorul, neștiind valoarea lui N, este responsabil pentru împărțirea fluxului în blocuri care sunt difuzate. Sau, cu alte cuvinte, receptorul este responsabil pentru capacitatea de a descompune fluxul într-o singură manieră pentru a reînnoi informațiile de ieșire.

Să aruncăm o privire la alfabetul cu câteva simboluri, să ne uităm la alfabet cu mult mai multe. Alfabetul nostru variază de la 16 la 36 de caractere, inclusiv litere mari și mici, numere, semne și semne de punctuație. De exemplu, un tabel ASCII are 128 = 2^7 caractere.
Să aruncăm o privire la codul special care constă din 4 caractere s1, s2, s3, s4

s1 = 0; s2 = 00; s3 = 01; s4 = 11.

Yak Priymach este vinovat de interpretarea unui astfel de otrimaniy viraz

Iac s1s1s4 sau s2s4?

Nu puteți data fără ambiguitate confirmarea acestui aliment, acest cod este decodat fără ambiguitate, prin urmare, nu este satisfăcător. Pe de altă parte, cod

s1 = 0; s2 = 10; s3 = 110; s4 = 111

Decodifică mesajele într-un mod unic. Să luăm un rând lung și să vedem cum este decodificarea. Trebuie să utilizați un arbore de decodare. Sub rezerva formularului pentru bebeluș 10.II. Rând

1101000010011011100010100110 …

Poate fi împărțit în blocuri de simboluri

110, 10, 0, 10, 0, 110, 111, 0, 0, 0, 10, 10, 0, 110, …

Aceasta conduce la următoarea regulă pentru arborele de decodare:

Dacă vă aflați în vârful copacului, citiți simbolul de avansare. Când ajungeți la o frunză a copacului, schimbați secvența într-un simbol și vă întoarceți la început.

Motivul pentru un astfel de arbore este că simbolul dat nu este un prefix al nimic altceva, așa că știți deja când trebuie să rotiți arborele de decodare.

Este necesar să vă creșteți respectul pentru acest lucru. În primul rând, decodarea este strict un proces de streaming, pentru care fiecare pas este monitorizat de mai multe ori. În alt mod, în protocoale trebuie să includeți simboluri care servesc drept marker pentru finalizarea procesului de decodare și încheierea necesară a notificării.

Completarea simbolurilor este o considerație frecventă la proiectarea codurilor. Desigur, puteți trece la modul de decodare continuă, caz în care simbolul final nu este necesar.

Malyunok 10.II

Următorul aliment - cod tse pentru decodare în flux (mittevogo). Să ne uităm la codul care vine de la prima afișare a simbolurilor

s1 = 0; s2 = 01; s3 = 011; s4 = 111.

Să zicem că am luat consistența 011111...111 . Singura modalitate de a decoda textul mesajului este să grupezi bătăile de la final în 3 grupuri și să vezi grupurile cu zero înaintea celor, după care poți decoda. Un astfel de cod este decodat într-un singur mod, dar nu atenuat! Pentru a decoda, trebuie să verificați sfârșitul transmisiei! În practică, această abordare reduce flexibilitatea decodării (teorema lui McMillan), deci este necesar să se caute metode de decodificare Mitt.

Să ne uităm la două moduri de a codifica același simbol, Si:

s1 = 0; s2 = 10; s3 = 110; s4 = 1110, s5 = 1111,

Arborele de decodare al acestei metode este prezentat în Malyunku 10.III.

Malyunok 10.III

Altă cale

s1 = 00; s2 = 01; s3 = 100; s4 = 110, s5 = 111,

Arborele de decodare pentru această vedere este prezentat la Malyunku 10.IV.

În cel mai evident mod, modificarea luminozității codului este avantajul de mijloc pentru orice set de informații. Pentru a face acest lucru, trebuie să calculați dublarea codului simbolului pielii, înmulțit cu valoarea globală a lui pi. În acest fel, vei termina totul. Formula pentru jumătatea din mijloc a codului L pentru un alfabet cu q caractere arată ca următorul rang

Unde pi este originea simbolului si, li este originea simbolului codificat. Pentru un cod eficient, valoarea lui L poate fi cea mai mică. Deoarece P1 = 1/2, p2 = 1/4, p3 = 1/8, p4 = 1/16 și p5 = 1/16, atunci pentru codul #1 valoarea este scăzută din același cod

Și pentru codul #2

Eliminați semnificația primului cod.
Deoarece toate cuvintele din alfabet vor avea aceeași unicitate, atunci vom scurta un alt cod. De exemplu, pentru pi = 1/5 dozhin la codul #1

Și codul dovzhina #2

Acest rezultat arată superioritatea codului 2. Prin urmare, atunci când creați un cod „bun”, este necesar să îmbrățișați puterea simbolurilor.

Malyunok 10.IV

Malyunok 10.V

Să aruncăm o privire la inegalitatea lui Kraft, care înseamnă valoarea limită a codului pentru simbolul li. Conform bazei 2, inegalitatea este prezentată în aparență

Nu are rost să vorbim despre cei care nu pot avea o mulțime de simboluri scurte în alfabet, altfel suma va fi uriașă.

Pentru a demonstra inegalitatea lui Kraft pentru orice cod unic care poate fi decodat, construim un arbore de decodare și folosim metoda inducției matematice. Dacă arborele poartă una sau două frunze, așa cum se arată în imaginea 10.V, atunci, fără îndoială, inconsecvența este adevărată. În plus, dacă copacul are mai mult de două frunze, atunci împărțim copacul în doi subcopaci. În conformitate cu principiul inducției, se presupune că denivelarea pielii este corectă cu o înălțime de m -1 sau mai mică. Similar cu principiul inducției, stazei și neuniformității pielii. În mod semnificativ, codurile suplimentare ale unghiilor K" și K"". Când două frunze de copac sunt combinate, valoarea pielii crește cu 1, apoi suma codului se adună la sumele K'/2 și K'/2,

Teorema a fost demonstrată.

Să ne uităm la confirmarea teoremei lui McMillan. Neuniformitatea lui Kraft este constantă până când codurile sunt decodificate incorect. Dovada este determinată de faptul că pentru orice număr K > 1 treapta a n-a a numărului este evident mai mare decât funcția liniară a lui n, unde n este un număr mare. Luăm anxietatea lui Kraft la a n-a etapă și îi aruncăm o privire asupra sumei

Unde Nk este numărul de simboluri ale simbolului k, calculul începe de la simbolul minim al celei de-a n-a apariții a simbolului și se termină cu simbolul maxim nl, unde l este simbolul maxim al simbolului codificat. Cu beneficiile decodării unice, vibrează. Suma este dată în fața ta

Dacă K > 1, atunci este necesar să setați raportul la mare pentru ca nervozitatea să devină distructivă. Otje, k<= 1; теорема Макмиллана доказана.

Să aruncăm o privire la o serie de puncte ale inegalității stagnante a lui Kraft. Cum puteți găsi un cod unic care este decodat, cu dovzhins 1, 3, 3, 3? Da, fragmente

Dar dovzhin 1, 2, 2, 3? Resorbabil cu formula

Anxietatea a fost distrusă! Acest cod are o mulțime de caractere scurte.

Codurile de puncte (coduri de virgulă) sunt coduri care constau din simbolurile 1, care se termină cu simbolul 0, urmat de caracterul rămas, care este format din toate. Una dintre celelalte opțiuni este codul

s1 = 0; s2 = 10; s3 = 110; s4 = 1110; s5 = 11111.

Pentru ce cod putem elimina virusul pentru inechitatea Kraft?

Și aici intră în joc gelozia. Este ușor de observat că pentru codurile cu puncte, inegalitatea lui Kraft se transformă în egalitate.

În zilele lucrătoare, trebuie să iei cu tine geanta Kraft. Deoarece geanta Kraft începe să depășească 1, acesta este un semnal despre necesitatea de a porni simbolul după schimbarea codului din mijloc.

Este necesar să rețineți că inconsecvența lui Kraft nu este despre cei al căror cod este decodat unic, ci despre cei al căror cod se bazează pe simbolurile unei astfel de subgene, care este decodificat în mod unic. Pentru a asigura un cod unic care este decodat, puteți adăuga un număr dublu la ultima zi în biți li. De exemplu, pentru dovzhins 2, 2, 3, 3, 4, 4, 4, 4, denivelările lui Craft sunt eliminate

Apoi, puteți crea un astfel de cod unic de flux de decodare.

s1 = 00; s2 = 01; s3 = 100; s4 = 101;

S5 = 1100; s6 = 1101; s7 = 1110; s8 = 1111;

Vreau să arăt respect față de cei care vor avea dreptate atunci când schimbăm idei. De exemplu, în acest moment vreau să transfer ideea din capul meu în al tău. Cer niște cuvinte, ajutor, pe care le respect, veți putea înțelege (respinge) această idee.

Dacă puțin mai târziu doriți să transmiteți această idee prietenului dvs., atunci puteți cânta cuvinte complet diferite. În realitate, semnificațiile și locurile nu sunt așezate între niciun cuvânt cântător. Am folosit câteva cuvinte și puteți folosi alte cuvinte pentru a transmite aceeași idee. Astfel, cuvinte diferite pot transmite aceeași informație. Dacă îi spuneți însoțitorului dvs. că nu înțelegeți informațiile, atunci, de regulă, pentru a transfera înlocuitorul însoțitorului dvs., selectați un alt set de cuvinte, unul diferit sau un al treilea. Astfel, informația nu se încadrează într-un set de cântece. Pe măsură ce ați luat aceste și alte cuvinte, încheiați marea lucrare la ora traducerii cuvintelor în ideea pe care doriți să vi-o transmiteți.

Trebuie să alegem cuvinte pentru a face față coronavirusului. Simțul cântării alege cuvintele în funcție de gândurile noastre și de zgomotul din canal, deși această nivelare nu reflectă cu exactitate modelul pe care îl folosesc pentru a reprezenta zgomotul în procesul de decodare. În marile organizații, o problemă serioasă este necunoașterea sistemului de modernizare, așa cum au spus alți oameni. Pe poziții înalte, sportivii pot mirosi aproape ce vor. În astfel de situații, trebuie să rețineți acest lucru dacă sunteți implicat în adunări de carieră. Furnizarea de informații într-un mod formal la reflecțiile frecvente ale proceselor vieții noastre s-a răspândit cu mult dincolo de limitele regulilor formale în aplicațiile informatice.

Vor mai fi...

Dacă cineva dorește ajutor cu traducerea, aspectul sau alte cărți, vă rog să-mi scrieți prin poștă [email protected]

Înainte de discurs, tocmai am lansat traducerea unei alte cărți cool.

Cei aparent au început să ia foc, codificare- dacă sunt alertate la semnal, calea va stabili o cooperare reciprocă între ei. Semnificativ pentru un student universitar codificare– transformarea unei secvențe discrete într-o secvență de simboluri de cod urmând o regulă dată. Anonimitatea tuturor secvențelor de cod ( coduri combinatii si combinatii), este posibil să codificați pentru această regulă, confirm cod. O regulă de codificare poate fi exprimată într-un tabel de coduri cu un alfabet care indică ceea ce este codificat și combinațiile de coduri asociate. Se numește setul de simboluri, inclusiv formarea secvențelor de cod alfabet de cod, Și numărul lor (în alfabetul codului) - baza codului.

Regulile codului elemente de notificare – reguli de înregistrare numere diferite în
- Sistemul de numere. Separa Două (
) acea bogat pozitionat (
-Ічні,
)Cody. Cuvânt de cod Dovzhina - Numărul de descărcări pentru noi . Pentru a transmite informații la un cod dublu, sunt suficiente cel puțin două semnale diferite. Da, simboluri і Este posibil să se transmită prin vibrații de frecvențe diferite și prin impulsuri un flux de polaritate diferită. Vidstan Hemming între două cuvinte cod і stiu ca sunt doua etape. Așezați cuvintele în cifre în
-sistem de numere cronice fără transfer la gradul superior ( Adăugarea codului de bază al modulului
, care este indicat prin simbol ). Scoateți valorile și adăugați-le
- Sistemul de numere:

, (1.1)

de і - acelasi nume (
i) cifrele codurilor і evident. Asa de,
,
,
і
la
. Pentru un cod dublu, introduceți egal cu numărul de cifre în care cuvinte і discordie. Kodova vidstan - codul cel mai puțin semnificativ pentru care . U echidistant codurile stau între cele două, în orice cuvinte ar fi acestea. Numărul de elemente diferite de zero ale cuvântului de cod vagon .

1.2. Clasificarea metodelor de codificare

În fig. 1.1 oferă o clasificare a metodelor de codificare . Una dintre sarcinile mele este să introduc alfabetul pe canal. Ansamblul pielii poate fi îmbrăcat în diferite moduri. Cel mai scurt cod indică următoarele beneficii:

1) puteți confirma mesajul de notificare trimițând un link către linie;

2) pentru a reprezenta un mesaj, în medie, este necesar un număr minim de simboluri.

Pot pe placul tuturor vârcolaci Cody. Toate cuvintele cod sunt diferite și sunt în mod clar asociate cu aceleași mesaje. Economie Cody este mulțumit de prietenul său.

Orez. 1.1. Clasificarea metodelor de codificare

Prin metoda efectiv(statistic) codificarea și creșterea vitezei de transmitere a informațiilor și aducerea vitezei mai aproape de maximum posibil - construirea capacităţii canalul zv'yazku. Uzgodzhennya Productivitatea lui Dzherel notifica despre debitul canalului– una dintre cele mai importante sarcini este codificarea.

Cody stăruiește primar(simplu si primitiv) acea zavadostiyki. Codurile simple sunt formate din toate cuvintele de cod care sunt posibile cu această metodă de codare. Conversia unui simbol al unui cuvânt cod în altul printr-un alt cuvânt cod dă un nou cuvânt cod. Mila este blamată, dar nu poate fi dezvăluită. În cazul codurilor sălbatice, doar o mică parte din numărul de cuvinte cod posibile va fi eliminată. Numiți cuvintele care au fost înghețate admisibile, reshta - le-a îngrădit. Codarea schimbată vă permite să creșteți acuratețea transmiterii informațiilor.

Separa dispozitive de codare (codificare) Pentru dzherela informatii pentru canal legătură. Sarcinile primului sunt salvate (la cel puțin numărul mediu de caractere) sunt afișate notificări, iar sarcinile celuilalt sunt garantate pentru a asigura transmiterea fiabilă a notificărilor.

Decodare Consultați informațiile actualizate despre simbolurile codului. Dispozitiv de decodare ( decodor) deodată cu codificatorul este creat codec. Apelați codecul - dispozitivul logic.

Primitiv (deasupra lumii) codul este configurat pentru a se potrivi cu alfabetul dzherel-ului cu alfabetul canalului. Todi supramondism dzherel(diviziunea 2.1), aprobare Totuși, ieșirea și intrarea codificatorului. Această codificare este folosită și pentru a cripta informațiile transmise și pentru a crește puterea sistemului de sincronizare. În final, regula de codificare este aleasă astfel încât consistența să apară la ieșirea codificatorului într-o secvență lungă, care constă numai din sau numai , a fost minim. Acest codificator este numit scrambler(Ca și în cuvântul englezesc scramble - mix).

O actualizare a mesajului transmis se va apropia în curând. Este apelată informația necesară pentru a asigura acuratețea necesară actualizării Sutteva. Stisnennya (comprimare) informație(tributuri) - exterior sau parțial vizibil din nou (їх) excesivă informație. Cea mai mare dintre toate misiunile este la îndemână economic koduvannyam. Comprimarea datelor salvează memoria dispozitivului și construirea capacităţii canale Cu o codificare economică, excesul de dzherel, creat de ieșirea codificatorului, este mai mic la intrarea codificatorului. Codificarea economică este inclusă în EOM. Sistemele de operare au programe de comprimare a datelor în depozit ( compresoare dinamiceі arhivatori). Da, standard
pe modem Pentru a comunica între MOA prin linii telefonice, corespondența legală include o strângere a procedurilor de prelucrare a datelor (div. Addendum).

Pereshkodostijke (deasupra lumii) trebuie utilizat pentru a identifica și corecta erorile care apar la transmiterea mesajelor pe canal. Aceeași superioritate a dispozitivului creat de ieșirea codificatorului este mai mare decât superioritatea dispozitivului la intrarea encoderului. Această codificare este mai largă în diferite sisteme de comunicații, economisind în același timp transmisia de date în măsurile EOM, în tehnologia digitală audio și video.

Cu toate acestea, numărul de cifre pentru diferite cuvinte de cod poate fi diferit. Aparent, se despart lume egalăі lume neuniformă Cody. Utilizarea codurilor uniforme simplifică funcționarea dispozitivelor automate de scriere și nu interferează cu transferul caracterelor secționale între cuvintele cod. Numărul de evacuări pentru orice cuvânt cod de cod mondial egal - capacitatea codului. Există o serie de combinații posibile pentru același cod
.

fund 1.2.1. Un cod național atractiv, care este folosit în telegrafie, este codul Baudot elemente duble în cuvântul skin (

). Cantitatea completă de apă
. Ce este suficient pentru codare?
literele alfabetului rus, dar există o transmitere insuficientă de informații pentru a înlocui literele, cifrele și diferitele semne mentale (punct, comă, adunare, înmulțire etc.). Apoi puteți seta Cod internațional nr. 2 (MTK-2) pe baza principiului registrului. U nyomu te la fel
Un cuvânt cod elementar poate fi editat de până la trei ori în funcție de poziția registrului: rusă, latină și digitală. Numărul de semne diferite este vechi
Ce este suficient pentru codarea telegramelor? Se recomandă transferul de date
cod element MTK-5 .

U coduri internaționale Cuvintele cod sunt împărțite în diferite simboluri și numerele lor. Aceste coduri conțin fie semne de diviziune speciale care indică sfârșitul unuia și începutul altui cuvânt cod, fie vor fi astfel încât cuvântul cod să nu fie începutul altuia. Prefix (necunoscut) codurile satisfac restul minții. Dragă, codul egal nu este identificabil.

Codul Budova a fost transmis cu ușurință lui Viglyada grafic(arborele de coduri), în yakoma z cutanat vuzla arată numărul de pini, care este același cu baza codului (pentru un cod dublu, de exemplu, marginea de sus înseamnă , croc jos - ).

fund 1.2.2. Cod Morse - un cap tipic al unui cod dublu neuniform . Simboluri U Nyumu і Este greu să te blochezi între doi oameni, ca să fii singur ( і ) sau ca triplu (
і
). Semnal, afară , se numește punct și
- liniuță. Simbol Este folosit ca semn care întărește un punct în fața unei liniuțe, un punct în fața unui punct și o liniuță în fața unei liniuțe. Totalitate
stagnează ca semn al împărțirii cuvintelor cod.

Un algoritm simplu pentru eliminarea codurilor de prefix neuniforme a fost propus de Shannon și Fano. Algoritmul Shannon-Fano pentru un cod dublu – ofensiv. Simbolurile alfabetului trebuie scrise în ordine, fără a crește acuratețea aspectului lor. Apoi simbolurile sunt împărțite în părți astfel încât suma compatibilității simbolurilor din fiecare dintre aceste părți să fie aproximativ aceeași. Toate personajele
Ai (
oh) părți de atribut () in yakosti
wow simbol al cuvântului cod. Piele
x părți (dacă sunt mai multe în el
simbol) împărțiți în două, dacă este posibil, părți egale. Înaintea acestora se stabilește aceeași regulă de codificare. Procesul se repetă până când părțile cutanate au fost îndepărtate.
simbolul mu. Împărțirea podelei în bucăți cu proprietăți aproximativ egale nu este întotdeauna o procedură simplă. Erorile de codare pot fi modificate, iar codul poate fi eficientizat, trecând de la codificarea caracterelor la codificarea secvențelor de caractere de notificare. metoda de marire a alfabetului(Div. clauza 4.2).

fund 1.2.3. Să mergem la alfabet
Corpul este format din simboluri ,
. Consistența apariției simbolurilor la ieșirea dispozitivului este aparent veche
,
,
,
,
і
. Procedura Shannon-Fano pentru generarea unui cod mondial neuniform fără agregarea alfabetului este dată în tabel. 1.1 .

Tabelul 1.1. Koduvannya Dzherela în spatele metodei Shannon-Fano

		Selectați simboluri dintr-un cod neuniform

pe
etapele ohm ale simbolurilor anonime sunt împărțite în părți: і
; pe
om - і
; pe
Sunt -
і
; pe
om - і ,і . Simboluri mai mari ale cuvintelor de cod dzherel nadamo ale dozhni minor . Am uitat codul prefixului. Numărul mediu de simboluri de cuvinte de cod (numărul mediu de simboluri din cod pentru un simbol dzherel)
.

Este posibil să existe coduri modificate blocuriі neîntreruptă. Cu codificarea blocurilor, secvența simbolurilor de bază este împărțită în secțiuni. Plastura de piele este indicată de secvența (blocul) simbolurilor codului - cuvântul de cod. Abundența de cuvinte de cod care sunt posibile cu această metodă de codare creează un cod bloc. U lume egală (lume neuniformă) Codul de blocare a plății este permanent (modificabil). Coduri schimbate - apelați-le în mod egal.

Apar codurile de blocare diviziuniі de nedespartit. În codul divizat
dovzhini simbolurile pot fi împărțite în semnificații informație(pentru a transporta informații despre notificare) și
inversare. Cod de viteză
. Mai multe cuvinte din cod sunt mai vechi
, A
- Numărul de scurgeri permise. Pentru codurile care nu sunt separate, nu puteți vedea informațiile și simbolurile de conversie. De exemplu, - tse kodi z într-un mod liniştitі cod bazat pe matricea Hadamard(Div. clauza 6.3). Într-un cod dublu cu cod constant, cuvintele răzbunare au același număr . Codul telegrafic standard nr. 3 are trei dintre ele i chotiri .

Există coduri separate liniarі neliniară. Codurile liniare au o sumă pentru
(Div. (1.1))
x orice cuvânt de cod creează un cuvânt de cod pentru același cod. Codul liniar este numit sistematic, yakshcho mai întâi simbolurile oricărui cuvânt cod sunt informaționale și altele
- reversibile. Subclasa de coduri liniare - coduri ciclice(Div. clauza 6.5). Acestea sunt toate seturi create prin rearanjarea ciclică a simbolurilor în fiecare cuvânt de cod și cuvinte de cod în același cod în sine. Acest guvern va cere codec-ul de la caz la caz, mai ales atunci când erorile individuale sunt identificate și corectate. Aplicații ale codurilor ciclice - coduri Hamming, coduri Bose-Chaudhuri-Hocquengham (coduri BCH) și altele. Cap de cod dublu neliniar - cod Berger(Div. clauza 1.4) . În acest caz, simbolurile de inversare sunt create prin notarea dublă a numărului în succesiunea simbolurilor informaţionale.

Codificarea și decodificarea continuă funcționează pe o secvență continuă de simboluri fără a le împărți în blocuri. Printre cei neîntrerupti, cel mai adesea stagnanți codurile zgortkovi(Div. clauza 6.8).

Separați canalele de conexiune independentі în favoruri, ce să grupăm. Aparent, codurile tranzitorii pot fi împărțite în clasa: corectarea amendamentelor independente și corectarea pachete Pardon. Există o mulțime de coduri eficiente pentru a le corecta pe cele rămase. În practică, este mai important să înghețe codurile pentru a corecta erorile neintenționate, dintr-o dată de la dispozitiv pentru intercalarea simbolurilor(decorarea favorurilor). Aceste simboluri de cuvinte de cod nu sunt transmise secvenţial, ci sunt amestecate cu simboluri ale altor cuvinte de cod. Pe măsură ce intervalul dintre simbolurile cuvântului cod al pielii crește capacitatea de memorie a canalului, schimbările între un cuvânt vor deveni independente. Acest lucru vă permite să stagnați codul pentru a corecta erorile neintenționate.

Dodatku ilustrează principiile codurilor și compresiei datelor în aplicarea măsurătorilor computerizate.

Material de pe Wikipedia - enciclopedia liberă

Teoria codificarii- știința puterii codurilor și relevanța acestora pentru atingerea țintei.

Zagalnye Vidomosti

Codarea este procesul de transformare a datelor într-un formular care poate fi procesat manual, stocat într-un formular care poate fi transferat, salvat, procesat automat și salvat de la accesul neautorizat. Principalele probleme ale teoriei codificării includ neambiguitatea reciprocă a codificării și complexitatea implementării canalului care leagă sarcinile minții:86. În legătură cu aceasta, teoria codificării este importantă să ia în considerare abordările directe: 18:

Omagii stoarse

Corectarea directă a daunelor

Criptografie

Criptografia (din greaca veche. κρυπτός - spitale i γράφω - scriu), acest domeniu de cunoștințe despre metodele de asigurare a confidențialității (imposibilitatea citirii informațiilor de către terți), integritatea datelor (imposibilitatea modificării secrete a informațiilor), autentificarea (verificarea cu drepturile autoritatea sau alte autorități ale obiectului), precum și imposibilitatea atribuirii dreptului de autor

Koduvannya. Înțelegerea de bază.

Diverse metode de codare au fost utilizate pe scară largă în activitățile practice ale oamenilor din timpuri imemoriale. De exemplu, sistemul numeric cu zece poziții este o modalitate de codificare a numerelor naturale. O altă metodă de codificare a numerelor naturale sunt cifrele romane, iar această metodă este mai științifică și naturală, eficientă, degetul - I, cinci degete - V, două degete - X. Cu toate acestea, cu această metodă, codificarea este mai importantă decât concluzia aritmetică operații asupra numerelor mari, care este scris într-o metodă de codificare bazată pe sistemul pozițional al zecelei numere. Din acest punct puteți dezvolta un concept conform căruia diferite metode de codare pot avea caracteristici specifice, care pot fi relevante pentru scopurile de codare, dar pot să nu fie potrivite pentru o anumită metodă de codare, dar nu Icom.

Există metode larg cunoscute de codificare numerică a obiectelor geometrice și a pozițiilor acestora în spațiu: coordonate carteziene și coordonate polare. Și aceste metode de codare se disting prin caracteristicile specifice atașate acestora.

Până în secolul al XX-lea, metodele și tehnicile de codificare au jucat un rol similar, dar odată cu apariția computerelor situația s-a schimbat radical. Codarea este cunoscută a fi cea mai utilizată în tehnologia informației și adesea alimentația centrală pentru diverse sarcini, cum ar fi:

- Depunerea de date de natură suficientă (numere, text, grafică) în memoria calculatorului;

- Transmiterea optimă a datelor prin canale de comunicare;

– protectia informatiilor (notificare) datorita accesului neautorizat;

- Asigurarea stabilitatii la transmiterea datelor prin canale de comunicatie;

- Informații constrânse.

Din punctul de vedere al teoriei informației, codificarea este procesul de aranjare neechivocă a alfabetului de informații și a totalității simbolurilor mentale care urmează o anumită regulă, iar codul (alfabetul de cod) este întregul agregat Există (multe) diferite simboluri mentale (simboluri de cod) care pot fi utilizate pentru a codifica informațiile de ieșire posibile pentru această regulă de codare. Numărul de simboluri de cod diferite dintr-un alfabet de cod de depozit se numește cod de cod sau cod de alfabet de cod. Evident, obligația față de alfabetul codificat nu poate fi mai mică decât obligația față de alfabetul informațiilor de ieșire codificate. Astfel, codificarea este transformarea mesajului de ieșire, totalitatea sau secvența simbolurilor de cod care reprezintă mesajul care este transmis prin canalul de comunicație.

Codarea poate fi numerică (digitală) sau nenumerică, în funcție de tipul în care sunt reprezentate simbolurile codului: numere în sistemul de calcul sau, respectiv, alte obiecte sau semne.

În majoritatea tipurilor de simboluri de cod există o combinație sau o secvență a anumitor elemente simple, de exemplu, succesiunea de cifre din simbolurile codului unui cod numeric, care sunt numite elemente ale simbolului codului. Numărul de ordine al elementului din cuvântul cod este indicat de poziția acestuia.

Numărul de elemente dintr-un simbol de cod care este utilizat pentru a reprezenta un simbol în alfabetul dispozitivului de ieșire se numește valoarea codului. Dacă semnificația codului este aceeași pentru toate caracterele din alfabetul mesajului de ieșire, codul se numește egal, în caz contrar - neuniform. Numărul de elemente care apar înaintea simbolului codului este uneori numit simbol pre-cod.

În ceea ce privește supranumerația, toate codurile pot fi împărțite în de prisos și de prisos. În codurile de prisos, numărul de elemente ale simbolurilor de cod poate fi scurtat pentru a salva elemente mai eficiente care sunt pierdute; în codurile de prisos, este imposibil să se scurteze numărul de elemente din simbolurile de cod.

Există o mare diferență între tipurile de coduri și manifestările lor. Prin urmare, există o distincție între codarea eficientă (statistică) și codarea corectă (corectă). Cu o codificare eficientă, sarcina este de a asigura identificarea simbolurilor în alfabetul alfabetului jerela cu un număr minim de elemente de simboluri de cod într-un caracter al alfabetului alfabetului jerela, cu ajutorul unei modificări suplimentare a supranumerației. din cod, Ce trebuie să faceți pentru a crește viteza de transmisie. Și cu o codificare corectivă (schimbabilă), se stabilește o reducere a numărului de simboluri în transferul de simboluri ale alfabetului de ieșire de către router pentru a identifica și corecta literele în scopul introducerii de date suplimentare în cod.

Vom consolida cerințele de codare și vom proteja împotriva accesului neautorizat, asigurând astfel reducerea acestora. În acest tip de codare, codarea este introdusă în așa fel încât cei care le-au eliminat, atacatorul nu le va putea anula. Procesul acestui tip de codificare se numește criptare (sau criptare), iar procesul de decodare se numește criptare (sau criptare). Codarea în sine se numește criptare (sau pur și simplu criptare), iar metoda de codare care este criptată se numește cifru.

Cel mai adesea, o gamă largă de clase văd metode de codare care vă permit să primiți (fără pierderea informațiilor) notificări de cod și să economisiți mai puțini bani în notificările de weekend. Astfel de metode de codare sunt numite metode de compresie și de ambalare a datelor. Intensitatea compresiei este determinată de coeficientul de compresie, care variază între sute și care arată câte sute de mesaje codificate sunt mai scurte decât cel de ieșire.

La procesarea automată a informațiilor din wiki-urile EOM, are loc utilizarea codării numerice (digitale) și, în mod natural, alimentarea cu energie a sistemului de numere victoris este afectată. De fapt, atunci când se modifică baza de calcul, alfabetul elementelor simbolurilor din cod este eliminat, iar simbolurile din cod sunt reînnoite. Pe de altă parte, cu cât este mai mare baza sistemului numeric, cu atât este mai mic numărul de cifre necesare pentru a reprezenta un simbol al codului și, prin urmare, mai puțin timp pentru transmiterea acestuia și, de asemenea, cu atât mai mare este baza sistemului numeric, este posibilă trecerea rapidă la canalele de comunicare și recunoașterea tehnică a semnalelor elementare care indică diferite elemente ale simbolurilor codului. Zokrema, codul unui număr scris în sistemul numeric din două cifre din mijloc este de aproximativ 3,5 ori mai mare decât codul zecimal. Deoarece toate sistemele de procesare a informațiilor trebuie să salveze cantități mari de informații sub formă de informații numerice, unul dintre criteriile esențiale este selectarea alfabetului elementelor simbolurilor codului numeric (adică Aceasta este baza numărului sistem) minimizarea numărului de elemente electronice din dispozitivele de stocare, precum și a simplității și fiabilității acestora.

Cu un număr semnificativ de elemente electronice necesare pentru fixarea elementelor de piele ale simbolurilor codului, este necesar să se provină dintr-o ipoteză practică, care necesită un număr mare de elemente electronice cele mai simple (de exemplu, tranzistori), care este baza antică a sistemului numeric. A. Produse pentru depozitare într-o unitate de depozitare n elemente de simbol necesare pentru cod M elemente electronice:

M = a · n. (2.1)

Cel mai mare număr de numere diferite care pot fi înregistrate în acest dispozitiv N:

N = un n.

Luând logaritmul acestei expresii și derivat din ea n omis:

n= jurnal N/ln A.

După ce a refăcut viraz (2.1) vizual

M= a∙ ln N/ln A(2.2)

se poate determina pentru ce substaţii de logaritmi A număr de elemente M va fi minimă la un anumit moment N. Diferențierea în funcție de A funcţie M = f(a)și după ce le-am echivalat cu zero, anulăm:

Evident, pentru orice fel de final A

ln N/ ln 2 a ≠ 0

Si bine,

ln A- 1 = 0,

stele a = e ≈ 2,7.

Întrucât baza unui sistem numeric poate fi un număr întreg, atunci A alegeți egal cu 2 sau 3. Pentru stoc, setăm capacitatea maximă la dispozitivul de salvare N=10 6 numere. Todi pentru diverse tipuri de sisteme de calcul ( A)numar de elemente ( M) într-un astfel de dispozitiv economisirea va fi, în conformitate cu regula (2.2), disponibilă (Tabel 2.1):

Tabelul 2.1.

A
M	39,2	38,2	39,2	42,9		91,2

Prin urmare, dacă venim de la minimizarea cantității de posesie, atunci cele mai avantajoase sunt sistemele numerice de două, trei și patru ori, care sunt apropiate de acest parametru. Deși implementarea tehnică a dispozitivelor care funcționează în sistemul numeric dublu este mult mai simplă, cea mai mare expansiune în codificarea numerică a apărut pe baza sistemului numeric de pe baza 2.

Pentru a analiza diverse informații, precum și canalele tuturor transmisiilor, este necesar să se studieze întreaga lume pentru a evalua cantitatea de informații care este situată în zona locală și transportată de semnal. Aceasta este abordarea din 1946. după ce a respins opinia americană a lui K. Shannon.

Mai mult, corpul de informații este important să fie discret, ceea ce arată succesiunea de informații elementare, fiecare dintre acestea fiind selectată dintr-un ansamblu discret (alfabet) a, a 2, ..., A; inainte de Folosim alfabetul pentru informare.

Conștientizarea elementară a pielii pentru a plasa informațiile necesare ca un set de informații (în aplicație) despre starea corpului de informații analizat. Pentru marea importanță a acestor informații nu este importantă semnificația locului, precum și nivelul de importanță al acestor informații pentru proprietarul său. Cu respect, înainte de retragerea cunoașterii, puterea acesteia este întotdeauna la fel de neînsemnată ca și cea a cunoașterii. s-cu ajutorul tuturor oamenilor posibili va fi transferat la tine. Această nesemnificație ar trebui evaluată pe baza validității suplimentare a priori a transmiterii informațiilor. Este important de menționat că o abordare obiectivă a informațiilor care se încadrează într-un mesaj elementar al unui dispozitiv discret este determinată de alegerea acestui mesaj și este desemnată ca o funcție aceasta este probabilitatea. Această funcție caracterizează stadiul de nesemnificație, evident în posesia informației pentru a deveni un dispozitiv discret. Se poate face o concluzie că nivelul de nesemnificație a informațiilor dobândite înseamnă posibilitățile canalelor de transmisie.

Zagalom emovirnist R(a,) alegerea unei anumite cunoștințe elementare (numite și simbolul ei) să se afle printre simbolurile selectate anterior, atunci. Nu există certitudine intelectuală și nu corespunde cu certitudinea a priori a unei astfel de alegeri.

tim, ce ^ R(a):) = 1, așa că, ca toți ceilalți, creăm un nou grup sub

ny), iar selecția acestor simboluri depinde de semnificația funcțională suplimentară J(a,)= P(a,) = 1, deoarece simbolul ales de simbol este atribuit a priori, J(a,)= a„a P(a t ,a)- Fiabilitatea unei astfel de alegeri este că cantitatea de informații care se încadrează în perechi de simboluri este egală cu cantitatea de informații care se încadrează în fiecare dintre simbolurile I și I. Puterea sa în lumea informației se numește aditivitate.

Apreciem asta R(a,)- consecvența mentală în alegerea simbolului I, după toate simbolurile conducătoare, și R(a,,I,) - mentalitate în alegerea simbolului I; după mine, și toți înaintea mea, și doctorii, care P(a 1,a 1) = P(a) P(i,|i y), aditivitatea mentală poate fi scrisă

Introduceți denumirea R(a) = P p P(ar) = QȘi să rescriem mintea (5.1):

Apreciem asta R, O* 0. Vikorista viraz (5.2), tipul de funcție (p) este semnificativ (R). Diferențierea efectivă, înmulțită cu R* 0 RV = R, hai sa o scriem

Este semnificativ faptul că relația (5.3) este determinată de oricare R f O i^^O. Cu toate acestea, acest lucru poate duce la starea părților din dreapta și din stânga (5.3): Pq>"(P)= Ar"(/?) - inainte de - const. Apoi ajungem la nivel Rts>"(R) = Inainte deși poate fi îndepărtat după integrare

Îmi pare rău, îl vom rescrie

Apoi, odată cu victoria a două minți despre puterea lui J(a,) a devenit clar că acesta este un tip de dependență funcțională. J(a,)în funcţie de fiabilitatea alegerii simbolului un t până la punctul de coeficient constant Inainte de clar indicat

Coeficient Inainte de Se îmbină cu scara și înseamnă că sistemul unește volumul de informații. Oskolki 1p[R] F 0, atunci senzorul poate vibre Până când există atât de multe informații în lume J(a) a fost pozitiv.

După ce a acceptat K=-1, hai să-l notăm

Se pare că multe informații sunt informații antice despre cei care au apărut, a căror credibilitate este veche Pe mine. O astfel de unitate de informație se numește unitate naturală. Cel mai adesea respectăm asta Inainte de= -, atunci

Astfel, am ajuns la două unități de informații, astfel încât să informăm despre prezența uneia dintre cele două măsuri egale, care se numește „bătăi”. Această unitate a fost extinsă pe scară largă ca urmare a utilizării de către tehnologie a legăturii codurilor duale. Selectând baza logaritmului în forma zagal, eliminăm

Logaritmul poate fi dedus dintr-o bază suficientă.

Puterea de aditivitate a lumii mari a informațiilor permite, pe baza expresiei (5.9), să se determine cantitatea de informații din datele care constă din succesiunea de simboluri. Importanta alegerii unui dispozitiv intr-o astfel de secventa este sa ai grija de urechile tale si sa le spui ce s-a intamplat inainte.

Cantitatea mare de informații care se încadrează în informațiile de bază (nu indică cantitatea medie de informații J(A) ceea ce vedeți când alegeți o informație elementară anunț

Cantitatea medie de informație caracterizează nucleul informațional și este una dintre cele mai importante caracteristici ale sistemelor de comunicații.

Această caracteristică este semnificativă pentru un dispozitiv discret de informații independente din alfabet Inainte de. Semnificativ prin PE) cantitatea medie de informații care se încadrează într-un simbol și calculul matematic al valorii variabilei L - cantitatea de informații care se încadrează în simbolul selectat aleatoriu A

Cantitatea medie de informație care cade pe un caracter se numește entropia sistemului informațional independent. Entropia este un indicator al nesemnificației medii a priori la momentul alegerii unui simbol de desen.

Virusul (5.10) este vizibil pentru că este una dintre posibilități R(a) aceeași unitate (și toate celelalte sunt egale cu zero), iar entropia informației este egală cu zero - informația este clar indicată.

Entropia va fi maximă pentru diferite egalități ale puterilor a priori ale tuturor simbolurilor posibile Inainte de, apoi. R(a) = 1 /Inainte de, apoi

Ca rezultat, Dzherelo selectează în mod independent două simboluri cu următoarele proprietăți: P = P(a x) i P 2 = 1 - P, atunci entropia pe simbol va fi

În fig. Figura 16.1 arată amploarea entropiei unui simbol dublu sub forma validității a priori a alegerii a două simboluri duble, din care reiese, de asemenea, că entropia este maximă la R, = R 2 = 0,5

1 aproximativ 1 doi - și în două unități log 2 2 = 1-

Orez. 5.1. Depozit de entropie la K = 2 tipuri de încredere în alegerea uneia dintre ele

Entropia provine dintr-o varietate de simboluri, precum și din diferite alfabete Inainte de, crește logaritmic cu creșterea Inainte de.

Dacă alegerea simbolurilor este diferită, atunci entropia dzherelului scade IN ABSENTA) la maxim N(A) psh = Buturuga Inainte de.

Cu cât este mai mare corelația dintre simboluri, cu atât este mai mică libertatea de a alege simbolurile adecvate și cu atât simbolul conține mai puține informații. Prin urmare, nesemnificația diviziunii mentale este imposibil să depășească entropia diviziunii lor nebunești. Semnificativ entropie dzherel cu memorie și alfabet Inainte de prin N(AA"), iar entropia a fost scrisă fără memorie, dar în alfabet - prin PE)și să aducem neliniște

Numiri Vivshi P(aa") pentru claritate mentală, alegeți simbolul a, (/ = 1, 2, LA) din motivul că simbolul a fost selectat mai devreme ajij =1,2,LA)și omițând recreat, fără dovezi scriem

ce să provoace nervozitate (5.13).

Gelozia în (5.13) sau (5.14) este posibilă oricând

Aceasta înseamnă că mentalitatea alegerii unui simbol este la fel de veche ca puterea nebună a alegerii acestuia, ceea ce se poate întâmpla doar fără memorie.

Tsikavo, că entropia textului rus devine 1,5 două unități pe caracter. Aceeași oră și același alfabet K= 32 în minte simboluri independente și egale N(A) tn = 5 unități binare pe simbol. De asemenea, prezența conexiunilor interne a modificat entropia de aproximativ 3,3 ori.

O caracteristică importantă a unui dispozitiv discret este supra-dimensionalitatea sa:

Natura supranaturală a sferei informaționale este de o mărime adimensională, deoarece este situată între. Desigur, pentru totalitatea supradimensionalității p = 0.

Pentru a transmite orice fel de informație printr-un dispozitiv care nu conține legături de corelare între simboluri, cu probabilitate egală pentru toate simbolurile, este necesar un număr minim posibil de simboluri pentru a transmite /7 min: /g 0 (/7 0 I(L max )). Pentru a transmite aceleași informații printr-un dispozitiv cu entropie (simboluri care sunt interconectate și neuniforme) aveți nevoie de un număr mediu de simboluri n = n„H(A) și JH(A).

Un dispozitiv discret este, de asemenea, caracterizat de productivitate, care este indicată de numărul de simboluri pe oră v H:

Ce este productivitatea? IN ABSENTA) medie în două unități, iar ora în secunde, atunci PE) - Acesta este numărul de două unități pe secundă. Pentru secvențele discrete, în care există secvențe staționare de simboluri pentru o lungă perioadă de timp /?, introduceți conceptul: secvențe tipice și atipice de simboluri pentru simboluri, în care toate secvențele dovzhin pot fi defalcate P. Toate secvențele tipice N lMl (A) Dzherela la P- „oo care se profilează, totuși, a apărut o nouă lume

Probabilitatea totală de apariție a tuturor secvențelor atipice la origine este zero. Respectă acuratețea (5.11), respectând consistența secvențelor tipice /Nrm(A), entropia este mai veche logN TIin (,4) și apoi

Să ne uităm la viteza și viteza de transmitere a informațiilor pe un canal discret cu zgomot. Anterior, informația era privită ca o unitate discretă ca o secvență de simboluri (i,).

Acum este acceptabil ca informațiile despre dispozitiv să fie codificate și să reprezinte secvența simbolurilor codului (b, (/ = 1,2,..T - subcod), este utilizat cu un canal discret pentru transmiterea de informații, a cărui ieșire este secvența

Se presupune că operația de codificare este unu-la-unu - pentru o secvență de caractere (b,) cu siguranță puteți actualiza secvența (i,), atunci. Urmând caracterele codului, puteți actualiza complet informațiile despre dispozitiv.

Cu toate acestea, dacă vă uitați la simbolurile pentru ieșire |?. j și simbolurile de intrare (/>,), apoi din cauza prezenței în canalul de transmitere a informațiilor, codul este schimbat, actualizarea este imposibilă. Entropia secvenței de ieșire //(/?)

Poate apărea mai multă entropie a secvenței de intrare N(V), dar cantitatea de informații nu a crescut.

Dacă există o relație unu-la-unu cu intrarea și ieșirea și informațiile corespunzătoare nu sunt pierdute, atunci canalul de transmisie nu poate spune nimic despre simbolurile de intrare bazate pe simbolurile de ieșire. Toate informațiile relevante sunt cheltuite pe canal.

Pierderea de informații într-un canal cu zgomot este estimată la fel de mult ca și cantitatea de informații transmise de canalul cu zgomot. Este important ca caracterul să fie transmis corect, deoarece atunci când caracterul este transmis, se primește 6

simbol B j chiar cu acest număr (/ = j). Pentru un canal ideal fără zgomot scriem:

În spatele simbolului B j- la ieșirea canalului din cauza neregulilor (5.21)

nesemnificativa este inevitabila. Puteți observa că informațiile din simbol b i nu este transferat complet și o parte din acesta este cheltuită în canal prin intrarea codului de transfer. Pe baza conceptului de lume a informațiilor, este important ca expresia numerică a nesemnificației care apare la canalul de ieșire după simbolul primit ft; :

iar asta înseamnă cantitate informații pierdute Canalul este în proces de transmisie.

Fix ft. și făcând media (5.22) peste toate simbolurile posibile, putem elimina suma

cantitatea inițială de informații care este irosită într-un canal atunci când este transmisă pe un canal fără memorie a unui simbol elementar atunci când este primit un simbol bj(t).

Pentru a face media sumei (5,23) pe toți ft, scădem valoarea Z?), care este semnificată prin n(v/v- Aceasta indică cantitatea de informații cheltuită pe oră pentru transmiterea unui caracter pe un canal fără memorie:

de P^bjbjj - consistența completă a procesului în timpul transmiterii

simbol b. Veți accepta simbolul b t.

N [v/ consultați caracteristicile dispozitivului pentru informații despre

intrare canal Uși cele mai inovatoare caracteristici ale canalului de comunicare. În spatele lui Shannon, teoria statistică are o legătură n(v/v numiți canalul nesigur.

Entropia mentală NV/V, entropia unui nucleu discret

la intrarea în canal N(V) acea entropie eu ^B) la ieșire nu pot buti

negativ. Canalul este absolut nesigur

n(in/in = 0. Este semnificativ pentru (5.20) că Н^в/В^

iar gelozia are loc numai datorită independenței statistice a intrării și ieșirii canalului:

Simbolurile de ieșire nu se află cu simbolurile de intrare - ca urmare, canalul va fi întrerupt sau va exista chiar o supraîncărcare puternică de cod.

Ca și înainte, pentru secvențele tipice puteți scrie

sati, care este motivul trecerii codului nesiguranței sale

Sub informația transmisă către canalul din mijloc J[ b/per un caracter înseamnă diferența dintre cantitatea de informații de la canalul de intrare J(B)și informațiile petrecute în canal /?).

Dacă existau informații pe acel canal fără memorie, atunci

Viraz (5.27) determină entropia simbolurilor de ieșire ale canalului. O parte din informațiile de la ieșirea canalului sunt corecte, iar unele sunt generate de defecte ale canalului. Chiar apreciez asta n[v/ 2?) exprimă informații despre tranziția canalului, iar diferența I(s)-I(s/s) - informațiile de bază care au trecut prin canal.

Vă rugăm să rețineți că ceea ce este important este numărul de secvențe care sunt create la ieșirea canalului, care sunt atipice și au o consistență generală scăzută.

De regulă, este acoperit cel mai larg tip de transmisie - zgomotul aditiv N(t); semnalul de la canalul de ieșire arată astfel:

Pentru semnalele discrete, zgomotul echivalent care provine din (5.28) are o structură discretă. Zgomotul este o secvență de fază discretă, similară cu secvența semnalelor de intrare și de ieșire. Simbolurile alfabetului aditiv al zgomotului într-un canal discret sunt semnificative prin C1 = 0, 1,2, T- 1). Posibilitate rezonabilă de tranziție într-un astfel de canal

Deci iac Eu (^B/?) І (B) atunci, informația secvenței de ieșire a canalului discret #(/) este intrarea B(t) chi navpacki I (B)-Н^в/в) (5).

Cu alte cuvinte, informația transmisă de canal nu poate fi suprascrisă de informațiile de la intrarea acestuia.

Când canalul intră în mijloc x la simboluri într-o secundă, puteți calcula viteza medie de transmitere a informațiilor pe un canal zgomotos:

de Н(В) = V k J(B,B^ - productivitatea dispozitivului la canalul de intrare; n(v/v) = U la n(v,v) ~ lipsa de încredere în canal pe oră; H (B) = V k H^B^- productivitatea canalului creat de ieșirea canalului (care este informații parțial valoroase și parțial deturnate); Н^в/В^ = У la 1/(в/в)- cantitatea de informații false,

creat la canalul fabricii într-o oră.

Înțelegerea costului și vitezei transferului de informații pe un canal poate fi împărțită în diferite secțiuni ale canalului. Poate exista o dihotomie „intrare codificator - ieșire decodor”.

Este semnificativ faptul că, prin extinderea parcelei la canalul care este vizibil, nu este posibilă deplasarea fluidității în zona de stocare dorită. Fie că este irevocabil transformat înainte de pierderea informațiilor. Până la porțile porții, este nevoie de a trece prin cod, precum și de detectare și decodare cu coduri din supramundanitate. Voi găsi modalități de a reduce costurile. Tse „priyom zagalom”.

Să ne uităm la debitul unui canal discret și la teorema codificării optime. Shannon a introdus o caracteristică care indică limitarea vitezei posibile de transmisie pe un canal cu putere vizibilă (zgomot) atunci când este aplicată unui ansamblu de semnale de intrare. Acesta este debitul canalului C. Pentru un canal discret

pe cat posibil, fii atent la eventuale jerele la intrare U la un dat Vkși volumul alfabetului de simboluri din intrare T.

Pe baza capacității de transfer a canalului discret, scriem

Vă rugăm să rețineți că C = 0 cu intrare și ieșire independente (nivel ridicat de suprasarcină a canalului) și, prin urmare

la in permanenta comutator diy la semnal.

Pentru un canal dublu simetric fără memorie

Orez. 5.2.

Graficul capacității de trecere a unui canal dublu în funcție de parametru R reprezentările din fig. 5.2. La R= 1/2 capacitate canal Z = 0, entropia mentală

//(/?//?) = 1. Interes practic

graficul reprezintă la 0

Teorema principală a lui Shannon pentru codificare optimă este legată de conceptul de debit. Aceasta este formula pentru un canal discret: pe măsură ce este raportată productivitatea dispozitivului PE) lățime de bandă mai mică pentru canalul C:

Aceasta este o metodă de codificare și decodare optimă, în funcție de fiabilitatea semnalului sau de nefiabilitatea canalului n[a!A j mozhe buti yak zavgodno mic. Yakshcho

Nu există astfel de metode.

Similar cu teorema lui Shannon, cantitatea Zє valorile limită ale vitezei de transmisie lină prin canal. Totuși, pentru un canal cu zgomot, calea către codul optim nu este specificată. Această teoremă a schimbat radical opiniile asupra posibilităților importante ale tehnologiei de transmisie. Înainte de Shannon, se credea că într-un canal cu zgomot, este posibil să eliminați cât de mult volum de zgomot este posibil atunci când viteza de transfer a informațiilor este redusă la zero. Acest lucru, de exemplu, mărește fidelitatea legăturii ca urmare a repetării simbolurilor fără memorie.

Iată o grămadă de dovezi recente ale teoremei lui Shannon. Teorema lui Boula a fost dezvoltată pentru un canal discret fără memorie folosind metoda codării paddock. În acest caz, se poate observa absența tuturor tipurilor de coduri pentru dzherelaȘi acest canal confirmă faptul reducerii asimptotice la zero a puterii medii a decodării secvenței pentru toate codurile, cu creșterea necesară a complexității secvenței de informații. În acest fel, este necesar să se stabilească faptul codului, care asigură posibilitatea decodării fără erori, dar nu oferă o metodă clară de codare. În același timp, de îndată ce dovada devine clară, devine evident că, menținând aceeași entropie ansamblului, secvența este comunicată și este în mod unic în concordanță cu multitudinea de vicoriști pentru transmiterea intrărilor de cod către ansamblu. U Este necesar să se introducă supranumerar suplimentar, care va asigura o creștere a consistenței reciproce a secvenței de simboluri de cod. Acest lucru se poate face numai cu o varietate mai mare de secvențe de cod din care sunt selectate cuvintele de cod.

Indiferent de faptul că teorema principală de codare pentru canalele cu recodări nu indică o cale clară pentru alegerea unui anumit cod, iar în demonstrarea teoremei sunt valabile și ele, se poate arăta că cea mai mare parte a ordinii aleatorii a codurilor selectate în timpul codificării sunt triviale x secvențe de informații depășesc puțin puterea medie a decodării laptelui. Cu toate acestea, caracterul practic al codificării cu blocuri lungi se datorează dificultăților de implementare a sistemelor de memorie și procesării logice a secvențelor unui număr mare de elemente de cod, precum și întârzierii crescute în transferul și procesarea informațiilor tsії. Este deosebit de interesant să obținem rezultate care să ne permită să determinăm fezabilitatea decodării laptelui la valorile finale ale trivalității P blocuri de cod vikorizate. De fapt, se folosesc valori moderate de bruiaj și este posibilă creșterea vitezei de transmisie cu o capacitate neuniformă a canalului.