4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius...

15
4 Positieve en niet-negatieve lineaire algebra Positieve en niet-negatieve matrices komen veel voor binnen de stochastiek (met als bekend voorbeeld de Google PageRank matrix) en binnen het modelleren van fysische processen: temperatuur, dichtheid, en concentratie zijn allemaal niet-negatief. Definitie 4.1 (Positieve/niet-negatieve matrix) Laat (a ij )= A R n×k . Als a ij > 0 voor alle i, j ∈{1,...,n} schrijven we A> 0 en heet A een positieve matrix. Als a ij 0 voor alle i, j ∈{1,...,n} schrijven we A 0 en heet A een niet-negatieve matrix. Opmerking 4.2 Als gevolg schrijven we A>B als A - B> 0 en A B als A - B 0 Daarnaast bedoelen we met A<B dat B>A, met A B dat B A, enzovoorts. Tot slot schrijven we |A| voor de matrix waarvan de entries de absolute waarden zijn van die van A. Opmerking 4.3 Als x R en x 0 en x 6= 0 dan is x> 0. Echter, als A R n×k met nk > 1 en A 0 en A 6= 0, impliceert dit niet dat A positief is: zie bijvoorbeeld A = [1 0]. Zonder bewijs vermelden we de volgende elementaire eigenschappen. Lemma 4.4 (E1) Als A> 0 en x 0,x 6=0, dan is Ax > 0; (E2) Als A> 0 en x>y dan is Ax > Ay; (E3) Als A 0 en x y dan is Ax Ay; (E4) Voor alle A R n×k en x R k geldt dat |Ax|≤|A||x|; (E5) Voor alle matrices A en B waarvoor AB bestaat geldt dat |AB|≤|A||B|. 4.1 De Neumannrij en de Neumannreeks Als r R en |r| < 1 dan convergeert dat de meetkundige reeks X j =0 r k = 1 1 - r , want 1+ r + r 2 + ··· + r k = 1 - r k+1 1 - r (1) voor alle k en lim k→∞ r k+1 = 0. Een soortgelijk resultaat werd voor matrices met bepaalde eigenschappen bewezen door de Duitse wiskundige Carl Neumann. Carl Neumann (1832-1925) Eerst een definitie, die de voorwaarde |r| < 1 voor convergentie helpt te generaliseren. 1

Transcript of 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius...

Page 1: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

4 Positieve en niet-negatieve lineaire algebra

Positieve en niet-negatieve matrices komen veel voor binnen de stochastiek (met als bekendvoorbeeld de Google PageRank matrix) en binnen het modelleren van fysische processen:temperatuur, dichtheid, en concentratie zijn allemaal niet-negatief.

Definitie 4.1 (Positieve/niet-negatieve matrix) Laat (aij) = A ∈ Rn×k. Als aij > 0voor alle i, j ∈ {1, . . . , n} schrijven we A > 0 en heet A een positieve matrix. Als aij ≥ 0 vooralle i, j ∈ {1, . . . , n} schrijven we A ≥ 0 en heet A een niet-negatieve matrix.

Opmerking 4.2 Als gevolg schrijven we A > B als A − B > 0 en A ≥ B als A − B ≥ 0Daarnaast bedoelen we met A < B dat B > A, met A ≤ B dat B ≥ A, enzovoorts. Tot slotschrijven we |A| voor de matrix waarvan de entries de absolute waarden zijn van die van A.

Opmerking 4.3 Als x ∈ R en x ≥ 0 en x 6= 0 dan is x > 0. Echter, als A ∈ Rn×k metnk > 1 en A ≥ 0 en A 6= 0, impliceert dit niet dat A positief is: zie bijvoorbeeld A = [1 0].

Zonder bewijs vermelden we de volgende elementaire eigenschappen.

Lemma 4.4 (E1) Als A > 0 en x ≥ 0, x 6= 0, dan is Ax > 0;

(E2) Als A > 0 en x > y dan is Ax > Ay;

(E3) Als A ≥ 0 en x ≥ y dan is Ax ≥ Ay;

(E4) Voor alle A ∈ Rn×k en x ∈ Rk geldt dat |Ax| ≤ |A||x|;

(E5) Voor alle matrices A en B waarvoor AB bestaat geldt dat |AB| ≤ |A||B|.

4.1 De Neumannrij en de Neumannreeks

Als r ∈ R en |r| < 1 dan convergeert dat de meetkundige reeks

∞∑j=0

rk =1

1− r, want 1 + r + r2 + · · ·+ rk =

1− rk+1

1− r(1)

voor alle k en limk→∞ rk+1 = 0. Een soortgelijk resultaat werd voor matrices met bepaalde

eigenschappen bewezen door de Duitse wiskundige Carl Neumann.

Carl Neumann (1832-1925)

Eerst een definitie, die de voorwaarde |r| < 1 voor convergentie helpt te generaliseren.

1

Page 2: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

Definitie 4.5 (Spectraalstraal) Laat A ∈ Cn×n. De spectraalstraal van A is het reele,niet-negatieve getal

ρ(A) = max{|λ| | λ ∈ σ(A)}

waarbij σ(A) de verzameling van eigenwaarden van A is, het spectrum van A. De verzameling{z ∈ C | |z| ≤ ρ(A)} heet de spectrale schijf, met als rand de spectrale cirkel.

Dus ρ(A) is de straal van de kleinste schijf rond 0 ∈ C waarop alle eigenwaarden van A liggen.Deze schijf is spectrale schijf.

Cρ(A)

ρ(A)0

∗∗

∗∗ is een eigenwaarde}

Figuur 4.1 Het spectrum, de spectrale cirkel, de spectrale schijf, en de spectraalstraal.

Opmerking 4.6 De spectraalstraal ρ(A) is niet altijd een eigenwaarde van A. Zie A = [−1].

De met (1) corresponderende uitspraak verdelen we over een lemma en twee stellingen.

Lemma 4.7 Laat λ ∈ C met |λ| < 1 en laat ` ∈ N. Dan geldt dat

limk→∞

(k

`

)λk−` = 0. (2)

Bewijs. Dit volgt uit de begrenzing van de binomiaalcoefficient middels(k

`

)=

k!

`!(k − `)!=k(k − 1) . . . (k − `+ 1)

`!≤ k`

`!,

en de eventueel herhaalde toepassing van de regel van de l’Hopital. �

Stelling 4.8 (Neumannrij) Laat A ∈ Cn×n en veronderstel ρ(A) < 1, dan geldt dat delimiet voor k →∞ van de Neumannrij (Ak)k≥0 gelijk is aan de nulmatrix,

limk→∞

Ak = 0.

Bewijs. Eerder bewezen we dat er voor alle A ∈ Cn×n een X ∈ GLn(C) bestaat zo, dat

X−1AX =

T1 0 . . . 0

0 T2. . .

......

. . .. . . 0

0 . . . 0 Tp

(3)

2

Page 3: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

waarbij Tj = λjI+Mj met Mj ∈ Cmj×mj strict bovendriehoeks. Hierbij is mj de meetkundigemultipliciteit van de eigenwaarde λj van A. Nu volgt eenvoudig dat

Ak = X

T k1 0 . . . 0

0 T k2

. . ....

.... . .

. . . 00 . . . 0 T k

p

X−1.Omdat de beide matrices λjI en Mj commuteren, vinden we met behulp van het binomiumvan Newton dat voor alle k ∈ N,

T kj = (λjI +Mj)k =

k∑`=0

(k

`

)λk−`j M `

j =

mj∑`=1

(k

`

)λk−`j M `

j .

waarbij de laatste gelijkheid geldt omdat Mj nilpotent is met index ten hoogste mj . Omdat|λj | < 1 wegens de aanname dat ρ(A) < 1 volgt met Lemma 4.7 dat de limiet voor k naaroneindig van T kj gelijk is aan de nulmatrix, en dus ook die van Ak. �

Opmerking 4.9 De voorwaarde ρ(A) < 1 is noodzakelijk voor de convergentie van de Neu-mannrij naar de nulmatrix, maar niet noodzakelijk voor convergentie. Zie bijvoorbeeld A = I.

Stelling 4.10 (Neumannreeks) Laat A ∈ Cn×n en veronderstel dat ρ(A) < 1, dan geldtdat

∞∑j=0

Ak = (I −A)−1. (4)

Bewijs. Voor iedere gehele k ≥ 0 geldt dat

(I +A+A2 + · · ·+Ak)(I −A) = I −Ak+1.

De limiet voor k →∞ van het rechterlid bestaat volgens Lemma 4.8 en dus vinden we dat

∞∑j=0

Ak(I −A) = I.

Omdat I −A vierkant is, is de som links van de matrix I −A kennelijk zijn inverse. �.

Opmerking 4.11 De voorwaarde ρ(A) < 1 is noodzakelijk voor de convergentie van de Neu-mannreeks in Stelling 4.10, omdat in een convergente som de individuele termen naar nulconvergeren. De voorwaarde is echter niet nodig voor de inverteerbaarheid van I −A. Zie

A =

[3 11 3

]met σ(A) = {2, 4}, I −A = −

[2 11 2

]en merk op dat I −A inverteerbaar is wegens det(I −A) = 3 ondanks dat ρ(A) = 4.

3

Page 4: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

4.2 Perron-Frobeniustheorie voor positieve matrices

Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren vanniet-negatieve matrices.

Oskar Perron (1880-1975) en Georg Ferdinand Frobenius (1849-1917)

De bewijzen zijn het eenvoudigst voor positieve matrices.

Lemma 4.12 Laat A ∈ Rn×n. Als A > 0 dan is zijn spectraalstraal ρ(A) > 0.

Bewijs. Stel dat ρ(A) = 0. Dit betekent dat alle eigenwaarden van A gelijk zijn aan nul.Maar dan is A nilpotent en bestaat er dus een p met Ap = 0. Echter, als A > 0 dan isduidelijk ook Ak > 0 voor alle k. Deze tegenspraak bewijst de bewering. �

Lemma 4.13 Laat A ∈ Rn×n, A > 0. Als Ax = x voor zekere x ≥ 0, x 6= 0, dan is x > 0.

Bewijs. Volgens (E1) uit Lemma 4.4 is Ax > 0. Omdat Ax = x geldt dus ook x > 0. �

Stelling 4.14 Laat A ∈ Rn×n. Als A > 0 dan bestaat er een x > 0 zodanig dat

Ax = ρ(A)x. (5)

waarbij ρ(A) de spectraalstraal is van A.

Bewijs. Veronderstel op grond van Lemma 4.12 zonder verlies van algemeenheid dat ρ(A) =1. Dit impliceert dat er een λ ∈ σ(A) bestaat met |λ| = 1 en een y 6= 0 waarvoor Ay = λy.Voor deze λ en y geldt

|y| = |λ||y| = |λy| = |Ay| ≤ |A||y| = A|y|,

waarbij we gebruik maken van eigenschap (E4) uit Lemma 4.4. We concluderen dat

w = A|y| − |y| ≥ 0. (6)

We gaan bewijzen dat zelfs w = 0 door een tegenspraak af te leiden uit de veronderstellingdat w 6= 0. Omdat A > 0 volgt met (E1) uit Lemma 4.4 dat zowel Aw > 0 als dat A|y| > 0,oftewel,

AA|y| > A|y| > 0. (7)

Omdat iedere entry van AA|y| groter is dan de overeenkomstige entry van A|y|, bestaat ereen ε > 0 met

1

1 + εAA|y| > A|y| > 0. (8)

4

Page 5: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

Schrijf nu

B =A

1 + εen z = A|y|.

Met deze notatie verandert (8) in Bz > z > 0. Maar dan is met (E2) uit Lemma 4.4 ookB2z = B(Bz) > Bz want B > 0, en met inductie zien we dat Bkz > z > 0 voor alle k ∈ N.Echter

ρ(B) =ρ(A)

1 + ε=

1

1 + ε< 1,

dus geeft Stelling 4.8 dat Bk → 0 voor k → ∞. Dit is in tegenspraak met Bkz > z > 0voor alle k. Dus w = 0, oftewel, A|y| = |y|. Maar dan is x = |y| 6= 0 een eigenvector van Abehorende bij een eigenwaarde λ = 1 van A, en uit Lemma 4.13 volgt tot slot dat x > 0. �

Opmerking 4.15 Het feit dat Bk → 0 is niet in tegenspraak met Bkz > 0 voor alle k. Het isdus noodzakelijk om de ongelijkheid Bkz > z > 0 te bewijzen in plaats van slechts Bkz > 0.

De eigenruimte van de eigenwaarde ρ(A) van A bevat dus een positieve vector x > 0. Welaten zien dat alle andere eigenvectoren behorende bij ρ(A) hier veelvouden van zijn.

Stelling 4.16 Laat A ∈ Rn×n en veronderstel dat A > 0. Dan is dim ker(A− ρ(A)I) = 1.

Bewijs. Veronderstel wegens Lemma 4.12 zonder verlies van algemeenheid dat ρ(A) = 1.Uit Stelling 4.14 volgt dat er een x > 0 bestaat met Ax = x. Laat nu y 6= 0 met Ay = y. Wetonen aan dat y een veelvoud is van x. Merk hiertoe op dat er een α ∈ R bestaat zodanig datz = y + αx ≥ 0, terwijl z ook ten minste een entry gelijk aan nul heeft. Als nu z 6= 0 volgtuit Az = z en Lemma 4.13 dat z > 0, wat in tegenspraak is met het feit dat z ten minste eenentry gelijk aan nul heeft. Dus z = 0 en dus is y = −αx een veelvoud van x. �

Definitie 4.17 (Perronvector) Laat A ∈ Rn×n met A > 0. De unieke x > 0 waarvoor

Ax = ρ(A)x en e>x = 1, waarbij e = e1 + · · ·+ en

de all-ones vector is, heet de Perronvector van A.

Opmerking 4.18 Een van de bekendste en recent in de belangstelling staande Perronvec-toren is de Google PageRank vector van Larry Page en Sergey Brin.

Stelling 4.19 De enige eigenwaarde van 0 < A ∈ Rn×n met absolute waarde ρ(A) is ρ(A).

Bewijs. Volgens Stelling 4.14 is ρ(A) ∈ σ(A). Resteert de uniciteit aan te tonen. Veronder-stel op grond van Lemma 4.12 zonder verlies van algemeenheid dat ρ(A) = 1. Laat λ ∈ σ(A)met |λ| = 1. Dan bestaat er dus een y 6= 0 met Ay = λy. Hiervoor geldt net als in hetbewijs van Steling 4.14 dat A|y| = |y| > 0. Per definitie van matrix-vectorvermenigvuldigingimpliceren de respectievelijke gelijkheden A|y| = |y| en Ay = λy, dat voor alle k ∈ {1, . . . , n},

|yk| =n∑j=1

akj |yj | en λyk =

n∑j=1

akjyj (9)

en dus,n∑j=1

akj |yj | = |yk| = |n∑j=1

akjyj |. (10)

5

Page 6: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

Nu geldt dat de absolute waarde |z1+· · ·+zn| van de som van n complexe getallen alleen gelijkis aan de som |z1| + . . . ,+|zn| van de absolute waarden als ze allemaal hetzelfde argumenthebben.

C0 ∗ ∗

∗∗∗ |z1|+ · · ·+ |zn| = |z1 + · · ·+ zn|

φ = arg(z1) = · · · = arg(zn)φ

Figuur 4.2 Driehoeksgelijkheid in C alleen bij gelijke argumenten.

Dus concluderen we uit (10) en het feit dat |y| > 0 dat yk = αky1 met αk > 0 voor allek ∈ {1, . . . , n}. Dus is y een eventueel complex veelvoud y1α van een positieve vector α.Maar dan is ook α een eigenvector van A behorende bij eigenwaarde λ. En omdat Aα reeelis, gelijk aan λα, en in het bijzonder positief, is λ dat ook. We concluderen dat λ = 1. Endus is λ = 1 de enige eigenwaarde van A op de spectrale cirkel. �

4.3 De machtsmethode, ook wel Von Mises-iteratie genaamd

De Von Mises-iteratie, ook wel machtsmethode genoemd, is een methode, al gebruikt doorJacobi, om een eigenvector te berekenen horend bij de unieke eigenwaarde van A die hetgrootst is in absolute waarde, en waarvan de eigenruimte dimensie een heeft.

Richard von Mises (1883-1953) en Carl Jacobi (1804-1851)

We bewijzen nu dat de Neumannrij (Ak)k∈N ook kan convergeren als ρ(A) = 1.

Stelling 4.20 Laat A ∈ Rn×n met A > 0. Veronderstel dat ρ(A) = 1. Dan geldt dat

limk→∞

Ak = uw> (11)

waarbij Au = u > 0 met ‖u‖ = 1 en A>w = w 6= 0.

Bewijs. Omdat A > 0 is volgens Stelling 4.14 ρ(A) = 1 een eigenwaarde van A, en bestaater een unieke positieve eigenvector u > 0 met ‖u‖ = 1 zo, dat Au = u. Dus bestaat er eenSchurdecompositie van A van de vorm

A = UTU∗ waarbij T =

[1 b0 R

], met U∗U = I en Ue1 = u.

6

Page 7: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

De eigenwaarden van R zijn de eigenwaarden van A ongelijk aan 1. Op grond van Stelling4.19 zijn deze allemaal kleiner dan 1 in absolute waarde. Dus ρ(R) < 1. We berekenen numachten van A,

Ak =

(U

[1 b0 R

]U∗)k

= U

[1 b0 R

]kU∗.

Met volledige inductie kan eenvoudig worden aangetoond dat[1 b0 R

]k=

[1 b(I +R+ · · ·+Rk−1)0 Rk

]. (12)

Omdat ρ(R) < 1 volgt met behulp van Lemma 4.8 en Stelling 4.10 dat

limk→∞

Ak = U

[1 b(I −R)−1

0 0

]U∗ = Ue1v

>U∗ waarbij v> = [1, b(I −R)−1]

en dus vinden we dat

limk→∞

Ak = uw> waarbij u = Ue1 en w> = v>U∗.

Omdat kennelijk limk→∞(A>)k = wu> is w een eigenvector bij λ = 1 van de getransponeerdematrix A>. Dit bewijst de bewering. �.

Gevolg 4.21 Als x ∈ Rn zodanig is dat w>x = α 6= 0, dat

limk→∞

Akx = u(w>x) = αu.

Dus, de rij (Akx)k≥0 convergeert naar een niet-triviaal veelvoud van de eigenvector bij λ = 1.

Opmerking 4.22 Matrixvermenigvuldiging is associatief: (Ak)x = Ak−1(Ax). Het is echterveel rekenwerk om A tot de k-de macht te verheffen en Ak te vermenigvuldigen met x. Ef-ficienter is x1 = Ax uit te rekenen, dan x2 = Ax1, tot en met xk = Axk−1 = Akx. Het laatstevergt k matrix-vectorvermenigvuldigingen, het eerste k matrix-matrixvermenigvuldigingen.

Opmerking 4.23 De Google Pagerankvector wordt in de praktijk niet precies uitgerekend,maar in drie decimalen nauwkeurig benaderd met xk = Axk−1 = Akx voor zekere k << n.

4.4 Een alternatief analytisch bewijs

Perron-Frobeniusstellingen kunnen ook worden bewezen middels technieken uit de Analyse.

Definitie 4.24 (Convexe verzameling) Een verzameling C ⊂ Rn heet convex als vooriedere x, y ∈ C geldt dat tx+ (1− t)y ∈ C voor alle t ∈ [0, 1].

Een belangrijk Nederlands resultaat uit de Analyse zegt het volgende.

Stelling 4.25 (Dekpuntstelling van Brouwer) Laat D ⊂ Rn gesloten, begrensd, en con-vex zijn, en f : D → D continu. Dan bestaat er een x ∈ D waarvoor f(x) = x.

7

Page 8: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

Luitzen Brouwer (1881-1966)

Opmerking 4.26 Ingeval D = [a, b] een gesloten interval is, zegt de stelling niets anders dandat de grafiek van f de lijn y = x snijdt, wat direct uit de Tussenwaardestelling volgt.

De dekpuntstelling aannemende wordt Perron-Frobeniustheorie iets inzichtelijker en intuıtiever.Als voorbeeld (her-)bewijzen we het volgende resultaat.

Stelling 4.27 Laat A ∈ Rn×n. Als A > 0 dan heeft A een positieve eigenvector behorendebij een positieve eigenwaarde.

Bewijs. Associeer met de matrix A > 0 de lineaire afbeelding

LA : Rn≥0 → Rn≥0, x 7→ Ax

van het onbegrensde niet-negatieve orthant Rn≥0 naar zichzelf. Definieer

S = {x ∈ Rn≥0 | e>x = 1}.

Oftewel, S is het deel van het hypervlak met vergelijking x1 + · · · + xn = 1 dat in Rn≥0 ligt.Dan is S gesloten, begrensd, en convex. Bekijk nu de continue afbeelding

KA : S → S : x 7→ Ax

e>Ax=

LA(x)

e>LA(x).

Dan is KA continu als quotient van continue afbeeldingen.

R3≥0

010

100

001

S = {x ∈ R3≥0 | e>x = 1}

KA : S → S

x 7→ Ax

e>AxS

Volgens Stelling 4.25 is er een x ∈ S is met KA(x) = x. Voor deze x geldt dus dat Ax =(e>Ax)x. Omdat x ∈ S geldt dat x ≥ 0 en x 6= 0. Omdat x ≥ 0 en x 6= 0 is Ax > 0. OmdatAx = (e>Ax)x vinden we dus tot slot dat e>Ax > 0 en x > 0. �

8

Page 9: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

4.5 Genormeerde ruimten

We geven de definitie van een norm op een complexe vectorruimte.

Definitie 4.28 (Norm, genormeerde ruimte) Zij (V,C) een vectorruimte. Een afbeeld-ing ‖ · ‖ : V → R heet een norm als deze voldoet aan de volgende norm-axioma’s:

(1) ‖v‖ ≥ 0 voor alle v ∈ V en ‖v‖ = 0 als en alleen als v = 0,

(2) ‖αv‖ = |α|‖v‖ voor alle α ∈ C en v ∈ V ,

(3) ‖v + w‖ ≤ ‖v‖+ ‖w‖ voor ale v, w ∈ V .

Een vectorruimte V die voorzien is van een norm heet een genormeerde ruimte.

Voorbeeld 4.29 Laat p ∈ R met 1 ≤ p <∞. Dan definieren de toevoegingen

‖x‖p =

n∑j=1

|xj |p 1

p

en ‖x‖∞ = maxj∈{1,...,n}

{|xj |} (13)

normen op Cn, en geldt bovendien dat limp→∞ ‖x|p = ‖x‖∞.

Opmerking 4.30 De norm in (13) is afkomstig van een inproduct als en alleen als p = 2.

Definitie 4.31 (Operatornorm) Laat (V, ‖ · ‖V ) en (W, ‖ · ‖W ) genormeerde ruimtes zijn.Dan is de toevoeging

‖L‖hom(V,W ) = supv 6=0

‖L(v)‖W‖v‖V

. (14)

een norm op hom(V,W ), de operatornorm genaamd.

De operatornorm kan als volgt worden gebruikt om normen van matrices te definieren.

Definitie 4.32 (Geınduceerde matrixnorm) Laat Cn en Ck voorzien zijn van de respec-tievelijke normen ‖ · ‖Cn en ‖ · ‖Ck . Dan is

‖A‖Cn×k = maxx 6=0

‖Ax‖Cn

‖x‖Ck

. (15)

de door ‖ · ‖Cn en ‖ · ‖Ck geınduceerde matrixnorm op Cn×k.

Opmerking 4.33 De Frobeniusnorm op Cn×k is niet geınduceerd door normen op Cn en Ck.

4.6 Niet-negatieve matrices als limiet van positieve matrices

We bekijken nu de niet-negatieve matrices A ≥ 0 die niet positief zijn. Met andere woorden,we gaan uit van tenminste een entry gelijk aan nul. De volgende observatie is triviaal.

Opmerking 4.34 Ieder niet-negatieve n× n matrix A ≥ 0 is de limiet van een rij positievematrices (Ak)k≥1. Een voorbeeld van zo’n rij is

Ak = A+1

kee> > 0,

waarbij e = e1 + · · ·+ en de all-ones vector is.

9

Page 10: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

Sommige eigenschappen van positieve matrices blijken soms zelfs in de limiet niet meer op tegaan voor niet-negatieve matrices, zoals blijkt uit de volgende voorbeelden.

Voorbeeld 4.35 Laat

A =

0 1 00 0 00 0 0

. (16)

Dan is ρ(A) = 0. Dus Lemma 4.12 geldt niet voor alle A ≥ 0. Wel is ρ(A) ∈ σ(A), net zoalsin Stelling 4.14. Echter, A heeft geen eigenvector v > 0 bij ρ(A). In contrast met Stelling4.19 heeft A twee lineair onafhankelijke niet-negatieve eigenvectoren horend bij ρ(A).

Voorbeeld 4.36 De matrix

A =

[0 11 0

]. (17)

heeft twee verschillende eigenwaarden −1 en 1 op de spectrale cirkel, wat wezenlijk anders isdan voor positieve matrices, zie Stelling 4.19. Omdat

A2k =

[1 00 1

]en A2k+1 =

[0 11 0

],

bestaat de limiet voor k → ∞ van Ak niet, in tegenstelling tot Stelling 4.20 voor positievematrices. De limiet van Akx bestaat alleen als x1 = x2.

Stelling 4.37 Laat A ∈ Rn×n, A ≥ 0. Dan bestaat er een 0 6= x ≥ 0 zo, dat Ax = ρ(A)x.

Bewijs. Laat Ak = A + 1kee> > 0 voor iedere k ∈ N. Schrijf ρk = ρ(Ak) en laat pk > 0 de

unieke Perronvector van Ak zijn, oftewel,

Akpk = ρkpk, e>pk = 1. (18)

Omdat eigenwaarden continu zijn als functies van de entries van de matrix, zijn ook continuefuncties van die eigenwaarden, zoals de spectraalstraal, continu. Dus geldt dat

limk→∞

ρk = limk→∞

ρ(Ak) = ρ( limk→∞

Ak) = ρ(A). (19)

De verzameling van bijbehorende Perronvectoren {pk}∞k=1 is bevat in [0, 1]n en dus begrensd.Volgens de stelling van Bolzano-Weierstrass heeft {pk}∞k=1 een convergente deelrij {pk`}∞`=1,waarvoor dus geldt

lim`→∞

pk` = p ≥ 0 en e>p = e> lim`→∞

pk` = lim`→∞

e>pk` = 1 (20)

waaruit volgt dat p 6= 0. Tot slot vinden we omdat beide afzonderlijke limieten bestaan dat

Ap = lim`→∞

Ak` lim`→∞

pk` = lim`→∞

Ak`pk` = lim`→∞

ρk`pk` = lim`→∞

ρk` lim`→∞

pk` = ρ(A)p. (21)

En dit bewijst de bewering. �

Opmerking 4.38 Stelling 4.37 bewijst niet dat de Perronvector p ≥ 0 van A ≥ 0 de limietis van de rij (pk)k∈N van Perronvectoren van de matrices Ak, en ook niet dat deze uniek is.

10

Page 11: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

4.7 Grafentheorie binnen de lineaire algebra

Om verdere resultaten te kunnen bewijzen over niet-negatieve matrices introduceren watenkele begrippen uit de grafentheorie binnen de lineaire algebra.

Definitie 4.39 (Verbindingsgraaf) Laat (aij) = A ∈ Rn×n. De gerichte graaf G(A) =(V,E) bestaande uit de punten V = {1, . . . , n} en de pijlen E ⊂ V × V met (i, j) ∈ E als enalleen als aij 6= 0 heet de verbindingsgraaf van A.

Grafen vormen een wiskundige structuur die voor het eerst werd bestudeerd door Euler.

Leonhard Euler (1707-1783)

Omgekeerd kunnen we met iedere gerichte graaf een matrix associeren.

Definitie 4.40 (Verbindingsmatrix) Zij G = (V,E) een gerichte graaf met V = {1, . . . , n}.De matrix (mij) =M(G) ∈ {0, 1}n×n waarvoor mij = 1 als en alleen als er in G een pijl vanvertex i naar vertex j gaat heet de verbindingsmatrix van G. Dus mij = 1⇔ (i, j) ∈ E.

Voorbeeld 4.41 Hier tekenen we de verbindingsgraaf G(A) van de gegeven matrix A en deverbindingsmatrix M(G(A)) van die graaf.

G(A) =

4

1 2

3

A =

0 −1 0 00 0 1 −20 0 0 13 1 0 0

M(G(A)) =

0 1 0 00 0 1 10 0 0 11 1 0 0

Merk op dat A =M(G(A)) als en alleen als A ∈ {0, 1}n×n.

Definitie 4.42 (Wandeling) Zij G = (V,E) een gerichte graaf. Een rij vertices (v0, . . . , vp) ∈V p+1 van een gerichte graaf G heet een wandeling van lengte p van v0 naar vp als (vj , vj+1) ∈ Evoor alle k ∈ {0, . . . , p− 1}.

Opmerking 4.43 De wandelingen in G = (V,E) van lengte 1 zijn precies de edges e ∈ E.

Voorbeeld 4.44 Er zijn precies tien wandelingen van lengte twee in de verbindingsgraafG(A) van A uit Voorbeeld 4.41, te weten

(1, 2, 3), (1, 2, 4), (2, 3, 4), (2, 4, 1), (2, 4, 2), (3, 4, 1), (3, 4, 2), (4, 1, 2), (4, 2, 3), (4, 2, 4).

Dit zijn uiteraard alle mogelijkheden om een wandeling van lengte 1 met 1 stap uit te breiden.

11

Page 12: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

De volgende stelling veralgemeniseert de observatie uit het voorgaande voorbeeld.

Stelling 4.45 Zij G een graaf met verbindingsmatrix B =M(G). Schrijf w(i, j, k) voor hetaantal verschillende wandelingen in G van i naar j van lengte k. Dan geldt dat

w(i, j, k) = e>i Bkej . (22)

Het rechterlid is de entry van Bk op positie (i, j).

Bewijs. Laat `1, . . . , `p de vertices zijn die een wandeling van lengte een verwijderd zijn vani, oftewel, de directe buren van i. Deze buren zijn als volgt verkrijgbaar uit de i-de rij van B,

e>i B = (e`1 + · · ·+ e`p)>. (23)

Daarnaast geldt natuurlijk dat

w(i, j, k) = w(`1, j, k − 1) + · · ·+ w(`p, j, k − 1). (24)

Veronderstel nu als inductie-hypothese dat (22) correct is voor alle wandelingen van lengtek − 1, oftewel, dat

w(i, j, k − 1) = e>i Bk−1ej (25)

voor alle i, j. Dan vinden we in combinatie met (24) en (23) dat

w(i, j, k) = e>`1Bk−1ej + · · ·+ e>`pB

k−1ej = (e`1 + · · ·+ e`p)>Bk−1ej = e>i BBk−1ej (26)

en dus is (22) ook geldig voor het bepalen van de hoeveelheid verschillende wandelingen vanlengte k. Omdat de inductie-basis is verwoord in Opmerking 4.43 bewijst dit de stelling. �

Het bewijs van Stelling 4.45 is gevisualiseerd in Figuur 4.3.

i j

`1

`2

`p

e>`1Bk−1ej

e>`2Bk−1ej

e>`pBk−1ej

...

e>i B = e>`1 + · · ·+ e>`p

e>`1Bk−1ej+· · ·+e>`pB

k−1ej =(e>i B

)Bk−1ej = e>i B

kej

Figuur 4.3 Illustratie van het bewijs van Stelling 4.45.

Voorbeeld 4.46 Keren we terug naar Voorbeeld 4.41, dan berekenen we dat

M(G(A))2 =

0 1 0 00 0 1 10 0 0 11 1 0 0

0 1 0 00 0 1 10 0 0 11 1 0 0

=

0 0 1 11 1 0 11 1 0 00 1 1 1

. (27)

De entries ongelijk aan nul in M(G(A))2 komen overeen met de tien wandelingen van lengtetwee in G(A) die zijn opgesomd in Voorbeeld 4.44.

12

Page 13: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

Definitie 4.47 (Drager) De drager supp(A) van een matrix (aij) = A ∈ Kn×k is de verza-meling van alle paren (i, j) waarvoor aij 6= 0.

Opmerking 4.48 Als A ≥ 0 dan is supp(A) = supp(M(G(A))). Ook geldt dat de dragersvan M(G(A))k en Ak dan aan elkaar gelijk zijn. Zo geldt bijvoorbeeld schematisch dat 0 + 0 0

0 0 + +0 0 0 +

+ + 0 0

0 + 0 0

0 0 + +0 0 0 ++ + 0 0

=

0 0 + ++ + 0 ++ + 0 00 + + +

,ongeacht de exacte waarden van de positieve entries van de matrix in het linkerid.

We formuleren dit resultaat in zijn volle algemeenheid in de volgende stelling.

Stelling 4.49 Laat A,B ≥ 0. Als supp(A) = supp(B) dan geldt dat supp(Ak) = supp(Bk)voor alle k ∈ N.

4.8 Reducibiliteit en irreducibiliteit

We introduceren nu tot slot een combinatorische eigenschap van matrices die de Perron-Frobeniustheorie voor positieve matrices deels laat generaliseren voor niet-negatieve matrices.

Definitie 4.50 (Reducibiliteit) Gegeven A ∈ Rn×n met verbindingsgraaf G(A). Als er inG(A) voor ieder paar i, j ∈ {1, . . . , n} met i 6= j een wandeling van i naar j bestaat dan heetA irreducibel. Als A niet irreducibel is, heet A reducibel.

Equivalent aan deze definitie is, met behulp van Stelling 4.45, de volgende karakterisering.

Gevolg 4.51 A ∈ Rn×n, A ≥ 0 is irredicibel als voor ieder paar i, j ∈ {1, . . . , n} er een k ∈ Nbestaat zo, dat e>i A

kej 6= 0.

Opmerking 4.52 Merk op dat irreducibiliteit van A ≥ 0 niet impliceert dat er een N ∈ Nbestaat zo, dat Ak > 0 voor alle k ≥ N . Zie bijvoorbeeld

A =

0 1 00 0 11 0 0

, A2 =

0 0 11 0 00 1 0

, A3 =

1 0 00 1 00 0 1

, A4 = A.

Dus is (e>j Akej)k∈N gelijk aan de 3-periodieke rij 0, 0, 1, 0, 0, 1, 0, 0, 1, . . . .

De volgende stelling geeft een polynoom in A dat wel positief is.

Stelling 4.53 Als A ≥ 0 irreducibel is dan is (I +A)n−1 > 0.

Bewijs. Veronderstel dat A ≥ 0 irreducibel is. Laat i 6= j. Per definitie bestaat er eenwandeling van i naar j. De kortste wandeling van i naar j heeft uiteraard lengte ten hoogsten− 1. Definieer nu de graaf G als G(A) met daaraan toegevoegd voor iedere vertex een extrapijl naar zichzelf indien deze niet al bestaat. Dan heeft G de volgende eigenschappen:

• G = G(I +A);

13

Page 14: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

• er bestaat een wandeling in G van lengte n− 1 van iedere vertex i naar zichzelf;

• ieder wandeling van lengte ` < n− 1 van i naar j kan worden aangevuld tot lengte n− 1.

Omdat er in G(A + I) voor ieder tweetal punten i, j ∈ {1, . . . , n} een wandeling van lengteprecies n−1 bestaat van i naar j, volgt uit Stelling 4.45 dat alle entries van [M(G(A+I))]n−1

positief zijn. Stelling 4.49 geeft nu dat ook (A+ I)n−1 > 0. Dit bewijst de bewering. �

4.9 Perron-Frobeniustheorie voor irreducibele A ≥ 0

Laat A ≥ 0. Veronderstel dat A irreducibel is. Dan weten we dat B = (A+I)n−1 > 0. Dus opB is de Perron-Frobeniustheorie voor positieve matrices van toepassing, en we concluderen:

• 0 < ρ(B) ∈ σ(B),

• er bestaat een x > 0 waarvoor Bx = ρ(B)x,

• de dimensie van de kern van B − ρ(B)I is gelijk aan een,

• ρ(B) is de enige eigenwaarde van B op de spectrale cirkel.

We destilleren hieruit de volgende informatie over de matrix A.

Lemma 4.54 Laat 0 ≤ A ∈ Rn×n en B = (I +A)n−1. Dan geldt

λ ∈ σ(A) ⇒ (1 + λ)n−1 ∈ σ(B). (28)

Bewijs. Laat Av = λv. Dan is (I + A)v = v + λv = (1 + λ)v, en dus (I + A)(I + A)v =(I +A)(1 + λ)v = (1 + λ)2v. Een eenvoudig inductie-argument bewijst nu de bewering. �

Opmerking 4.55 De omgekeerde implicatie in (28) geldt ook, maar is veel moeilijker tebewijzen, bijvoorbeeld via Jordanvormen.

Gevolg 4.56 Lemma 4.54 en Opmerking 4.55 combineren tot λ ∈ σ(A)⇔ (1+λ)n−1 ∈ σ(B).

Lemma 4.57 Laat 0 ≤ A ∈ Rn×n. Veronderstel dat A irreducibel is. Laat B = (I + A)n−1.Dan geldt dat

ρ(B) = (1 + ρ(A))n−1. (29)

Bewijs. De eigenwaarden van B zijn gelijk aan (1 + λ)n+1, met λ ∈ σ(A), en dus is

ρ(B) = maxλ∈σ(A)

|(1 + λ)n−1| = ( maxλ∈σ(A)

|1 + λ|)n−1 = (1 + ρ(A))n−1.

De tweede gelijkheid geldt omdat er een λ ∈ σ(A) bestaat zo, dat |1 + λ| ≥ 1, namelijkλ = ρ(A) ∈ σ(A). De derde geldt omdat als de schijf |z| ≤ ρ een naar rechts verschuift in C,het punt met grootste modulus in de verschoven schijf het punt z = 1 + ρ is. �

Lemma 4.58 Laat 0 ≤ A ∈ Rn×n. Veronderstel dat A irreducibel is. Dan is ρ(A) > 0.

Bewijs. Omdat A irreducibel is, bestaat er wegens Definitie 4.50 een wandeling van zekerepositieve lengte k van vertex 1 naar 1 in de verbindingsgraaf G(A) van A. Maar dan bestaater ook een wandeling van 1 naar 1 van lengte `k voor alle ` ∈ N. Wegens Stelling 4.45 geldtnu dat e>1 A

k`e1 > 0 voor alle ` ∈ N. Dus is A niet nilpotent, en dus is ρ(A) > 0. �

14

Page 15: 4 Positieve en niet-negatieve lineaire algebra - janbrandts.nl · Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices.

Stelling 4.59 Laat 0 ≤ A ∈ Rn×n. Als A irreducibel is dan bestaat er een v > 0 zo, datAv = ρ(A)v. Tevens is dim(ker(A− ρ(A)I)) = 1.

Bewijs. Volgens Stelling 4.37 is ρ(A) een eigenwaarde van A en bestaat er een v ≥ 0 zo,dat Av = ρ(A)v. Laat nu B = (I + A)n−1. Dan is Bv = (1 + ρ(A))n−1v = ρ(B)v wegensLemma 4.54 en Lemma 4.57 en dus is v een veelvoud van de positieve Perronvector van B.Deze v is dus een positieve eigenvector van A horende bij eigenwaarde ρ(A). Tot slot, steldat ook Aw = ρ(A)w voor zekere w ∈ Rn. Dan volgt met Lemma 4.54 en Lemma 4.57 datBw = ρ(B)w. Omdat volgens Stelling 4.16 dim(ker(B − ρ(B)I)) = 1 zijn v en w lineairafhankelijk. Dus is ook de kern van A− ρ(A)I eendimensionaal. �

Opmerking 4.60 De eigenschap dat een positieve matrix precies een eigenwaarde op despectrale cirkel heeft, geldt niet voor irreducibele niet-negatieve matrices. De matrix B uit(16) die twee verschillende eigenwaarden heeft op de spectrale cirkel is immers irreducibel.

15