Informasjonsteori, læren om overføring av informasjon mellom en avsender og en mottaker. Informasjonsteori er en gren av kommunikasjonsteorien og dreier seg om tre grunnleggende forhold:
En melding er dannet ved at man setter sammen et antall symboler som velges fra et gitt register av en eller annen type. En skriftlig melding dannes for eksempel ved valg av bokstaver fra alfabetet, og tale dannes ved valg av bestemte lyder blant de mellom 30 og 40 som brukes i talen. En melding inneholder en viss informasjon som kan utnyttes som summen av informasjonen fra hvert enkelt symbol, så lenge symbolene er statistisk uavhengige. Informasjoner i et symbol er igjen avhengig av hvor mange muligheter det er å velge blant når vi velger symbolet, for eksempel ett blant alfabetets bokstaver. Jo flere muligheter det er, desto mer kan hvert enkelt symbol si oss, desto større er symbolets informasjon.
Informasjonen fremkommer altså ved valg. For å få et fast uforanderlig mål for informasjon, må vi foreskrive valg av en bestemt art. Dette kan man gjøre ved å redusere alle virkelig forekommende valg til rekker av elementærvalg, det vil si enten/eller-valg. Anta for eksempel at vi vil velge en bokstav blant 32 mulige (i et alfabet med dette antall bokstaver). Det kan gjøres ved fem elementærvalg, idet vi først deler alfabetet i to ganger seksten som vi betegner med symbolene 0 og 1, og merker oss den del av alfabetet, for eksempel 1, hvor bokstaven finnes. Deretter deles denne delen på nytt i to deler à åtte bokstaver, som får betegnelsen 0 og 1, og vi noterer den del hvor bokstaven finnes, f.eks. del 0. Slik kan man fortsette å halvere og notere, inntil man har lokalisert bokstaven fullstendig ved fem elementærvalg. Samtidig er notert en rekke på fem symboler, valgt i registeret 0–1.
Når valgene utføres på denne måten, representerer hvert av dem den samme informasjonsmengde, den har fått navnet 1 bit (forkortet av engelsk binary digit = siffer i to-tallsystem). Vår bokstav er dermed representert ved et femsifret tall i to-tallsystemet, f.eks. 10110. Alle 32 bokstaver i alfabetet kan representeres ved femsifrete tall i to-tallsystemet, og hver bokstav har en informasjonsmengde 5 bit.
Informasjonsmengden i en melding kalles også for meldingens negative entropi, da den matematisk har stor likhet med termodynamikkens entropi (se termodynamikk).
En annen viktig størrelse i informasjonsteori er en kanals kapasitet, dvs. den informasjonsmengde den kan overføre per sekund. Den amerikanske matematikeren Claude Elwood Shannon har påvist at så lenge den overførte informasjonsmengde per tidsenhet er mindre enn overføringskanalens kapasitet, kan man ved en hensiktsmessig koding overføre all informasjon feilfritt. Dette er en av informasjonsteoriens viktigste hovedsatser.
Informasjonsteorien ble først fremsatt av H. Nyquist i 1924 og av R. V. L. Hartley i 1928, og den er senere behandlet av Claude Elwood Shannon. Informasjonsteorien har betydning for kybernetikk, se Norbert Wiener.
Kommentarer
Kommentarer til artikkelen blir synlig for alle. Ikke skriv inn sensitive opplysninger, for eksempel helseopplysninger. Fagansvarlig eller redaktør svarer når de kan. Det kan ta tid før du får svar.
Du må være logget inn for å kommentere.