Informatie-Overdracht & -Verwerking

InformatiebronDiscreet

bron. . .

Mj+3

. . .

Mj+2

. . .

Mj+1

Continu

Discreet §1Algemeen

Bronalfabet: A = a1, . . . , anDebiteert rij symbolen uit A op discrete tijdstippen.

Boodschap: M ∈ A∗; lengte: l = |M |Bron met/zonder geheugen

Hoeveelheid InformatieHoeveelheid informatie:H (M) [bit/boodschap]

H (A) [bit/symbool]

R. Hartley (1928):

maxH (A) = log2 n [bit/symbool]

maxH (M) = log2 nl = l · log2 n [bit/boodschap]

⇒ Geen waarschijnlijkheid en afhankelijkheid

WaarschijnlijheidWaarschijnlijkheid: kans op een symbool ai

P (ai) = pi

C.E. Shannon (1948):

H (ai) = − log2 pi [bit/symbool ai]

H (A) = −∑n

i pi · log2 pi [bit/symbool]

H (M) = l ·H (A) [bit/boodschap]

Redundantie: Rw = 1−H (A) /maxH (A)

Bij equivalente kansen: geen redundantie

Afhankelijkheid (bron met geheugen)Afhankelijkheid: kans op een symbool ai na een

serie tekens sj−k, . . . , sj−1.

P (ai|sj−k, . . . , sj−1)

Markovketen van orde k.

Overgangsinformatie:

H (ai|sj−k, . . . , sj−1) = − log2 (P (ai|sj−k, . . . , sj−1))

Ha (s1, . . . , sl) =∑l

j H (sj|sj−k, . . . sj−1) [bit/boodschap]Hg (s1, . . . , sl) = Ha (s1, . . . sl) /l [bit/symbool]

Hg (A) =∑

s1...sk+1P (s1, . . . , sk + 1) ·Ha (s1, . . . sl) /k

Redundantie: Ra = 1−Hg (A) /H (A)

Discretisatie §4Algemeen

Omzetten van analoge naar digitale signalen

Waarom? Intressanter, veel digitale toepassingen

Hoe frequent bemonsteren?

Bemonsteringstheorema van Nyquist

1 2

1: Bemonsteren 2: Kwantiseren

Bemonsteringstheorema van NyquistVoorwaarde: beperkte absolute bandbreedte B

Bemonsteringsfrequentie: fs

Perfecte reconstructie: fs ≥ 2B

Ingenieursvuistregel (praktisch): fs ≥ 2.2B

Kwantiserenuitgangssignaal heeft oneindig veel mogelijkheden

omzetten naar symbolen uit eindig alfabet

verschillende mogelijke kwantisaties

eenvoudigste: uniform scalair

Aantal symbolen: K = #A met grote a = 2V/K

Afrondingsfout: ε met −a/2 ≤ ε ≤ a/2

Gemiddelde kwadratische afrondingsfout: E (ε2)

E (ε2) =∫ a/2−a/2 ε

2p (ε) dε = a2/12

Karakteristieken:

Pieksignaal tot kwantisatieruisverhouding

(S/N)s = V/√E (ε2) =

√3K

Pieksignaal tot kwantisatieruisvermogenverhouding

(S/N)v = (S/N)2s = 3K2

gemiddeld signaal tot kwantisatieruisvermogenverhouding

(S/N)0 = E (x2 (t)) /E (ε2) = K2 + 1

Continu §3Algemeen

Uitgangssignaal: x (t)

Continu uitgangssignaal verandert continu in de tijd.

Kansverdeling: p (x)

Bron met/zonder “geheugen”

Hoeveelheid InformatieHoeveelheid informatie:

veralgemenen van discrete bronnen

H (X) = −∫ +∞−∞ p (x) log2 p (x) dx [bit/bem.]

Problemen: - bereik van p (x) begrenzen

- H (X) afhankelijk van eenheid x

Begrenzingen: - amplitude −A ≤ x (t) ≤ A

- vermogen Px ≤ σ2

Eenheid: altijd kwantisatie met grondeenheid ∆:

H(X∆)

= H (X)− log2 ∆ [bit/bem.]

Maximale H (x): - amplitudebegrensd log2 2A

- vermogen begrensd log2 σ√

2πeAnaloog ook waarschijnlijkheidsredundantie

BandbreedteFouriertransformatie:

welke frequenties worden in het signaal gebruikt?

x (t) X (f)= [x (t)]

=−1 [X (f)]

Dirichlet-voorwaarden:- absoluut integreerbaar

∫ +∞−∞ |x (t)| <∞

- #maxima/minima eindig in elk deelinterval

- #discontinue punten eindig in elk deelinterval

= [x (t)] =∫ +∞−∞ x (t) e−2πfti dt

=−1 [X (f)] =∫ +∞−∞ X (f) e2πfti df

Bandbreedte: (f2 − f1 met f1, f2 ≥ 0)

- absoluut B: ∀f > 0 ∧ f /∈ [f1, f2] : X (f) = 0

- nul-tot-nul B0: X (f1) = X (f2) = 0 ∧ f1 ≤ f1 ≤ f2

Evenredigheid: B0 = k0/∆t met k0 pulsvormafhankelijk

zachtere vorm ⇒ grotere k

ZenderDatareductieEliminatie van niet relevante informatie.

BroncoderingComprimeren van informatie tot meest compacte vorm.

Broncodering §2Algemeen

Nut: comprimeren van data naar compacte vormmaxH(X)→ H(X)

Bronalfabet: A met n = #ABroncodealfabet: B met r = #BCodewoorden: C ⊆ B∗Brondcodering: bc : A 7→ CCodewoordlengte: li = |ci|Coderingslengte: L =

∑i lip(ci)

proberen L te minimaliserenOngelijkheid van Kraft:Er bestaat een codering met configuratie r en li indien:∑

i r−li ≤ 1

Ondergrens voor L: Lmin = H(A)/ log2 rEfficientie ε = H(A)/L log2 rCompressieverhouding= log2 n/L log2 r

Huffmancoderingcodering naar binaire codes (B = 0, 1)alle bronsymbolen omzetten in knopen in een boomknopen sorteren op kans en twee laagste samennemenblijven toepassen tot 1 knoop overblijftAlfabetuitbreiding: samennemen van bronsymbolenkansen zijn het product van kansen bronsymbolenConderingslengte delen door aantal symbolen

Voorbeeld:A pa1 0.20a2 0.30a3 0.25a4 0.25

a1 a2a3 a4

0 1 0 1

0 1

VercijferingBeveiligt informatie tegen ongeoorloofd gebruik.

KanaalcoderingVoegt redundante informatie toe voor foutcorrectie.

Kanaalcodering §5Algemeen

Nut: fouteloze communicatie mogelijk maken

Hoe: redundante informatie toevoegen en controleren

Achtergrond: Kanaalcoderingstheorema

Kanaaldecodering: Detecteren en corrigeren van fouten

Verschillende types:

Blokcodering

na k bits r redundante

Convolutiecodering

vervlochten redundantie

KanaalcoderingstheoremaFouteloze overdracht mogelijk? Ja, enkel theoretisch

Kanaal theorema:Over geheugenloos discreet kanaal met H (X) ≤ Cinformatie overbrengen met foutkans Pe 0Indien H (X) > C: onzekerheid blijft:

H (Y |X) = H (X)− CIn de praktijk: Pe ∈ [10−12, 10−3]

BlokcoderingenBron genereert k symbolen ui uit alfabet ATypisch A = 0, 1 ⇒ #A = 2

Aantal mogelijke boodschappen M = 2k

r symbolen uit A genereren uit de boodschap

Efficientie: ε = k/ (k + r) = k/n

Broncode

U

Kanaalcode

CC = U ·GGeneratormatrix: G = [Ik|P ]

S

Foutsyndroomvector

Y

Uitgang kanaalcode

S = Y ·HT

Pariteitscontrolematrix: H =[P T |Ir

]

Y=C

+F

Foutvector: F

= ~0 indien fouteloos of niet detecteerbaaranders aanwijzing foute bit(s)

Corrigerend/detecterend vermogen:

Gewicht w: # 1en in codeHamming afstand d: # verschillende bits tussen 2 codes

Minimum afstand dmin = minimum gewicht w 6= ~0Correctievermogen: t = b(dmin − 1)/2cDetectievermogen: e = dmin − 1

Niet geschikt voor kanalen met geheugen

Discre

et

Kanaal

Discreet Transmissiekanaal §5Algemeen

discreeet kanaalxi ∈ X yj ∈ Y

ruis

Kanaalcoderingsalfabet: X

Verstuurkans: p(xi|yj) = pijSymboolkans: p(xi)p(xi|yj) = p(xi)qji/q(yj)

Ontvangen symbolen: Y

Ontvangkans: q(yj|xi) = qjiSymboolkans: q(yj)q(yj) =

∑i p(xi)qji

Equivocatie/Twijfel:H(X|Y ) = −

∑j q(yj)

∑i pij log2 pij

Irrelevantie:H(Y |X) = −

∑i p(yj)

∑i qji log2 qji

CapaciteitOvergebrachte hoeveelheid informatie R

R = H(X)−H(X|Y ) = H(Y )−H(Y |X) [bit/symbool]

H(X) H(Y )

H(Y |X)H(X|Y )R

Transmissiedebiet: rs [#symb/sec]rb [bit*/sec]

Informatiedebiet: Rt = rs R [bit/s]

R is afhankelijk van bron en kanaal

Capaciteit: maxp(xi) R [bit/symbool]

Symboolfoutkans: Pep(e|yj) =

∑i 6=j p(xi|yj) = 1− p(xj|yj)

Pe =∑

j q(yj) p(e|yj)

Modulatie

Basisbandtransmissie §8Algemeen

Hoe informatie overdragen op een kanaal

3 mogelijke bronnen- Discrete informatiebron- Continue informatiebron met discretisatie- Continue informatiebron zonder discretisatie

Bron is ofwel discreet (na discretisatie) of continu

2 mogelijke transmissies- Basisbandtransmissie- Doorlaatbandtransmissie

afhankelijk van de kanaaleigenschappen

Kanaaleigenschappen

f

B|H(f)|2 [dB]

f1 f2

Bandbreedte vanaf f1 = 0 Hz tot f2

Continue Informatiebronrechtstreeks aanleggen op het kanaal

Voorwaarde: fmax ≤ B

Vervorming: Meestal is |H(f)|2 niet rechthoekig⇒ vervorming van het signaal “dispersie”

Oplossing: filters bij ontvanger: dispersie tegenwerken

Discrete InformatiebronModulator: omzetten van symbolen naar golfvormen

Keuze van de golfvorm:

Parameters: - Bandbreedte (van de golfvorm)- intersymboolinterferentie

(verschillende golven tegelijk actief)

Golfvormen:- Blokgolf: oneindige bandbreedte- Ideale golf?

u(t) =sin 2πfmt

πt+B volledig gebruikt+geen symboolinterferentie

-perfecte synchronisatie-B tijdsafhankelijk

- Parameterafhankelijke ideale golf

t

α = 0

α = 0.4

α = 0.8

f

α = 0

α = 0.4

α = 0.8

u(t, α) =sin 2πfmt

πt· cos 2παfmt

1− (4αfmt)2

B = (1 + α)fm2/1 + α [pulsen/s Hz]

Meervoudige golfvormen:2n golfvormen → n bit*/golfvormonafhankelijk van de bandbreedte. geen wondermiddel!!verlaagt Signaal-tot-ruisverhoudingtransmissiedebiet rb = n rs

Doorlaatbandtransmissie §9

Kanaaleigenschappen

f

B|H(f)|2 [dB]

f1 f2

Bandbreedte vanaf f1 6= 0 Hz tot f2

Continue InformatiebronDraaggolf xc op draagfrequentie fc:

xm(t) = Ac cos(2πfct+ φc)

Modulator: Transmissie door grootheid aan te passen

Amplitudemodulatie (AM):

xm(t) = Ac x(t) cos(2πfct+ φc)

−fc fc

Ac/2X(f)

Xm(f)

Radio: variant van AM om makkelijker af te stemmenxm(t) = Ac (x(t) + 1) cos(2πfct+ φc) | |x(t)| < 1

Voorbeeld:

Discrete Informatiebronnenidentiek aan continue informatiebronnen

maar met discrete i.p.v. continue veranderingen4 mogelijkheden:

Amplitudeverschuiving (A.S.K.):xm(t) = (Ac + x(t)∆Ac) cos(2πfct+ φc)

Frequentieverschuiving (F.S.K.):xm(t) = Ac cos(2π(fc + x(t)∆fc)t+ φc)

Faseverschuiving (P.S.K.):xm(t) = Ac cos(2πfct+ φc + x(t)∆φc)

“Aan-Uit-Modulatie”: binaire modulatie

golfvorm: xi(t) =sin 2πfct

πt· cos 2πfct

1− (4fct)2

Tb = 1/2fcinformatiesignaal: x(t) =

∑i xi(t− Tb)

Meervoudige golfvormen:reeds in discrete verschuivingen, pas ∆Ac,∆fc,∆φc aan

Multiplexen §10Algemeen

Tot nu toe signaal door beperkte bandbreedte krijgen

Meestal: overaanbod aanbod aan bandbreedte.

hoe bandbreedte optimaal benutten?

Oplossing: verschillende bronnen langs zelfde kanaal

Strategieen: frequentiemultiplexing/tijdsmultiplexing

Frequentiemultiplexingsignalen met verschillende draaggolf moduleren

Voorwaarde: geen overlapping van de bandbreedtes

xM(t) =∑

i xi(t)Aci cos 2πfcitVoorbeeld:X1(f)

X2(f) XM(f)

X3(f)

−fc1 fc1

Ac1/2

−fc2 fc2

Ac2/2

−fc3 fc3

Ac3/2

C.C.I.T-F.D.M.: hierarchie van frequentiemultiplexinggroep: 12× 4 kHz spraakkanalensupergroep: 5 groepenhoofdgroep: 5 supergroepensuperhoofdgroep: 3 hoofdgroepen

TijdsmultiplexingToepasbaar op discrete informatiebronnen

afwisselend 1 van de bronnen aan de beurt latenna bepaalde tijd beurt doorgevenVoorbeeld:

x1(t)

x2(t)

xM(t)

C.C.I.T.T.-T.D.M.: hierarchie van tijdsmultiplexing

Continu

Kanaal

Continu transmissiekanaal §6Algemeen

discrete kanalen bestaan niet (black box)

Continu kanaal: fysisch kanaal + ruis

Omzetting nodig met behulp van modulatie in golfvormen

Karakteriseren: capaciteit met theorema van Shannon

continu fysisch kanaalx (t) y (t)

ruis

n(t)

Theorema van ShannonRuis: additieve gaussische witte ruis

Ruisvermogen: Pn = σ2n

Ruisinformatie:

H (Y |X) = H (N) = log2 σn√

2πe [ref. §3]

fs,n = 2B [bem./s]

Ht (Y |X) = Ht (N) = B log2 σ2n2πe [bit/s]

Capaciteit:

C = maxp(x) R = maxp(x) R [ref. §5]

C = maxp(x) H (Y )−H (Y |X) = maxp(x) H(Y )−H(N)

Wanneer H (Y ) maximaal?

indien p(y) gaussische verdeeld is

Py = σ2y = σ2

u + σ2n

H(Y ) = log2

√2πe√σ2u + σ2

n

Ht(Y ) = B log2 2πe(σ2u + σ2

n)

C = B (log2 2πe(σ2u + σ2

n)− log2 2πeσ2n)

C = B log2(1 + Pu/Pn) “Shannon capaciteit”

Oneindige bandbreedte: (B →∞)

Pn = n0B

C = limB→∞B log2 (1 + Pu/n0B) = log2 e · Pu/n0

Minimale energie per bit: W = Pu/C

Fysische transmissiekanaal §7Algemeen

hoe worden signalen overgedragen?

Verschillende technieken:- Geleide golfvoortplanting

- Telefoonlijn- Coaxiale kabel- Glasvezel

- straling (radiovergelijking)

Overdrachtsfunctie: H(f) = U(f)/X(f) = |H(f)|eiφ(f)

Verzwakking: |H(f)|Faseverandering: φ(f)

Geleide golfvoortplantingModel van transmissielijn: (over afstand dz)

Interne weerstand R [Ω/m]Lekstroom G [S/m]Capaciteit (E-veld) C [F/m]Inductantie (B-veld) L [H/m]

R dz L dz

G dzC dzv(z, t) v(z + dz, t)

H (f) = e−γl

γ =√

(R + 2πfLi)(G+ 2πfCi)

Karakteristieken:Verzwakkingsconstante: α = Re(γ) [Np/m]Faseconstante: β = Im(γ) [rad/m]Faseverandering: φ(f) = −βlVerzwakking: A = 20 log10 e

α [dB/m]

Technieken:Telefoonlijn: 600 getwiste aderparen koperdraad

R = 170.26 [Ω/km]L = 0.6 [mH/km]

C = 52.2 [nF/km]G = 52.2 [nS/km]

Coaxiale kabel: 2 concentrische cilindrische geleiders

Glasvezel: kritische reflectie van licht

StralingAntennes verbonden met EM-golven

Zender:

Zendvermogen: Pz

Uitgestraald vermogen is richtingsafhankelijk

Uniform

Winstfunctie: G(θ, φ)

P (R) =Pz

4πR2 P (θ, φ,R) =Pz G(θ, φ)

4πR2

Gericht

Ontvanger: effectief ontvangoppervlak Ae

Ae(θ, φ) =λ2

4πG(θ, φ)

paraboolantenne Ae = επd2/4

Radiovergelijking:

Po = P (θ, φ,R) Ae(θ, φ) =

(λ

4πR

)2

GoGzPz

Thermische ruis:n0 = kBT

Pn = n0 = kBTB

Dem

odulatie

Filters §13Algemeen

Taak: verzwakken van signalen afhankelijk van frequentie

Blackbox:

vi(t) vu(t)H(f)

H(f) = Vu(f)/Vi(f) = |H(f)|eiφ(f)

Whitebox (mogelijke implementatie):

Z1Z2H(f) =

Z2

Z1 + Z2

Hoog-/laag-doorlaatfilterHoogdoorlaatfilter

R L

H(f) =2πfLi

R + 2πfLi|H(f)|2 = f 2/f 2

B + f 2

fB = R/2πL

φ(f) = arctan(fB/f)

bodediagram

fBfB/10 10fB

H(f) in [dB]−10

−20

Laagdoorlaatfilter

R C

H(f) =1/2πfCi

R + 1/2πfCi|H(f)|2 = f 2

B/f2B + f 2

fB = 1/2πRC

φ(f) = arctan(−f/fB)

bodediagram

fBfB/10 10fB

H(f) in [dB]−10

−20

Banddoorlaat/stopfilterBanddoorlaatfilter

LC R

H(f) = 1

1+ iLR (2πf− 1

2πfLC )

H(f) = 11+iQs(f/f0−f0/f)

f0 = 1/2π√LC “resonantiefrequentie”

Qs = 2πf0L/R “kwaliteitsfactor”

bodediagram

f0f0/10 10f0

Qs = 0.3125Qs = 0.625Qs = 1.25

−20

−40

Bandstopfilter

R C

L

H(f) =iLR (2πf− 1

2πfLC )1+ iL

R (2πf− 12πfLC )

H(f) = iQs(f/f0−f0/f)1+iQs(f/f0−f0/f)

f0 = 1/2π√LC

Qs = 2πf0L/R

bodediagram

f0f0/10 10f0

Qs = 0.3125Qs = 0.625Qs = 1.25

−2.5

−5

Invloed in-/uit-gang & cascaderingWerkelijkheid↔ theoretisch model:

Zs Z1 ZbZ2Vs Vi Vu

Ingangsimpedantie: Zs + Z1 H(f) = Z2//ZbZs+Z1+Z2//Zb

Cascadering: meerdere filters naast elkaar plaatsen

Z1 Z3Z2 Z4filters zijn niet multiplicatief

Versterkers §14Algemeen

Taak: versterken van de spanning van een signaal

vu(t) = Avvi(t)

Rs Rivivs Avovi

Ru

Rl+-

vu

Spanningversterking: Av = vu/vi = AvoRl/Ru +Rl

Stroomversterking: Ai = iu/ii = AvRi/Rl

Vermogenversterking: G = Pu/Pi = AvAi = A2vRi/Rl

Rendement: η = Pu/Ps

TransistorTransistor

E

CB

vBE

vCE

iC = βiB

iB = IBSeqVBE/kBT

⇒ iB ≈ IBSe40VBE

IBS ∈ [10−16, 10−14]

Eenvoudig modelRπ

VBEO βiB

VBE0 = 0.7 V bij Si

rπ =∂vbe∂ib

⇒ DC: rπ = 0

⇒ AC: rπ = 1/40IBQiB = IB + ib

Versterkerschakelingen

1

CkR1

VccRc

vivu

2

CkR1

R2

VccRc

vivu

3

CkR1

R2Re

VccRc

vivu

4

CkR1

R2Re

C3

VccRc

C2

vivu

OntvangerKanaaldecodering

Logische Schakelingen §15Algemeen

Voorstelling data:

binair (1 en 0)

soms groeperen: octaal, hexadecimaal

per karakter omzetten: BCD

Negatieve getallen: 1-complement, 2-complement

Combinatorische schakelingen:a b a a+ b ab

0 0 1 0 0

0 1 1 0 1

1 0 0 0 1

1 1 0 1 1

Synthese van logische schakelingenBeschrijving ⇒ Waarheidstabel

voorbeeld:

A B C D0 0 0 10 0 1 00 1 0 10 1 1 01 0 0 01 0 1 01 1 0 11 1 1 1

⇒ Logische uitdrukking:

2 strategieen:

-SOP: sum of products

product van de variabelen vanpositieve termen sommeren

op voorbeeld:

ABC + ABC + ABC + ABC

-POS: product of sums

som van de negatie variabelen vannegatieve termen sommeren

op voorbeeld:

(A+B + C)(A+ B + C)(A+B + C)(A+B + C)

Vereenvoudigen: Minder poorten-Algebraısche manipulatie (wetten van De Morgan)

A1A2 . . . An A1 + A2 + . . .+ An

A1 + A2 + . . .+ An A1A2 . . . An

voorbeeld: ABC + ABC + ABC + ABC

AC(B +B) + AB(C + C) AC + AB

- Karnaugh-kaarten (visueel optimaliseren)

voorbeeld:

B

C

A

1 1 0 0

0 1 1 0

waarheidstabel in 2 dimensies

groeperen in rechthoeken

zijden: 1,2,4

rechthoeken herberekenen

toegepast: AC + AB

OntcijferingBrondecoderingDatareconstructie

Bestemming