Positieve matrices en hun toepassingenmoderne wiskunde en haar toepassingen. We beginnen met een...
48
Positieve matrices en hun toepassingen Mireille Kroon, Daphne Broedersz 30 augustus 2013 Bachelorscriptie Begeleiding: Dr. Tanja Eisner-Lobova KdV Instituut voor Wiskunde Faculteit der Natuurwetenschappen, Wiskunde en Informatica Universiteit van Amsterdam
Transcript of Positieve matrices en hun toepassingenmoderne wiskunde en haar toepassingen. We beginnen met een...
Positieve matrices en hun toepassingen
Mireille Kroon, Daphne Broedersz
30 augustus 2013
Bachelorscriptie
Begeleiding: Dr. Tanja Eisner-Lobova
KdV Instituut voor Wiskunde
Faculteit der Natuurwetenschappen, Wiskunde en Informatica
Universiteit van Amsterdam
SamenvattingIn dit verslag werken we toe naar de wiskunde achter het zoekprogrammaGoogle. We laten de lezer kennis maken met verschillende takken vande wiskunde, namelijk positieve matrices, grafentheorie en Markovketens.Positieve matrices worden gebruikt in de grafentheorie en de theorie vanMarkovketens. De drie gebieden zijn dus niet helemaal onafhankelijk, maarzeker wel verschillend. We beginnen met de klassieke stelling van Perron-Frobenius voor positieve matrices en beschrijven vervolgens de spectrale ken-merken van positieve matrices. In het hoofdstuk over grafentheorie kijkenwe naar gerichte en gewogen gerichte grafen. Dit doen we omdat ongerichteen gewogen ongerichte grafen niet nodig zijn om de wiskunde die Googlegebruikt te bestuderen. Een andere toepassing van de theorie van positievematrices is Markovketens. Na deze onderwerpen te hebben bestudeerd, gaanwe het concept van Google bekijken.
GegevensTitel: Positieve matrices en hun toepassingenAuteurs: Mireille Kroon, [email protected], 5989205
Daphne Broedersz, [email protected], 6073077Begeleider: Dr. Tanja Eisner-LobovaEinddatum: 30 augustus 2013
Korteweg de Vries Instituut voor WiskundeUniversiteit van AmsterdamScience Park 904, 1098 XH Amsterdamhttp://www.science.uva.nl/math
Inhoudsopgave
Inleiding 3
1 Lineaire Algebra 51.1 Normen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.2 Eigenwaarden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3 De resolvent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81.4 Jordan-normaalvorm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.5 Stochastische matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2 Positieve Matrices 152.1 Stelling van Perron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162.2 Dominante eigenwaarde . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.3 Irreducibele matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3 Grafentheorie 233.1 Gerichte grafen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233.2 Verbindingsmatrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243.3 Sterke samenhangendheid . . . . . . . . . . . . . . . . . . . . . . . . . . 253.4 Gewogen grafen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273.5 Gewogen verbindingsmatrices . . . . . . . . . . . . . . . . . . . . . . . . 28
4 Markovketens 304.1 Basisbegrippen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304.2 Theorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
5 Google PageRank 355.1 Geschiedenis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.1.1 Lawrence E. Page . . . . . . . . . . . . . . . . . . . . . . . . . . . 355.1.2 Sergey Brin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.2 Basisidee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365.2.1 Eerste poging om het PageRank algoritme te bepalen . . . . . . . 365.2.2 De originele formule voor PageRank . . . . . . . . . . . . . . . . . 37
5.3 Google algoritme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395.4 Dangling nodes; transformatie naar de Googlematrix . . . . . . . . . . . 405.5 Eigenschappen van de Google matrix . . . . . . . . . . . . . . . . . . . . 41
Populaire samenvatting 43
1
Verdeling
De verdeling van het schrijfwerk in dit verslag is als volgt:
• Samenvatting: samen.
• Inleiding: samen.
• Hoofdstuk 1: Mireille Kroon.
• Hoofdstuk 2: Daphne Broedersz.
• Hoofdstuk 3: Daphne Broedersz.
• Hoofdstuk 4: Mireille Kroon.
• Hoofdstuk 5: Mireille Kroon.
• Populaire samenvatting: samen.
We hebben allebei alle stof gelezen en begrepen. Ook hebben we beiden het verslaggelezen en het met zijn tweeen samengevoegd.
2
Inleiding
De theorie van positieve matrices gaat terug naar de stelling van Perron en Frobenius uithet begin van de 20ste eeuw. Zij bestudeerden spectrale eigenschappen en asymptoten vanpositieve matrices. Later zijn deze onderwerpen gegeneraliseerd naar positieve operatorenover oneindig-dimensionale ruimten. Dit gebied van de wiskunde staat niet alleen bekendom zijn elegantie, maar zeker ook om zijn krachtige toepassingen in wiskundige gebiedenals stochastiek en differentiaalvergelijkingen. Deze theorie heeft zelfs toepassingen inandere gebieden zoals economie en computerwetenschappen.
In dit verslag introduceren we de lezers in de basistheorie van Perron en Frobeniusen we geven hier wat toepassingen van voor eindige Markovketens en gerichte grafen. Alsultieme, concrete toepassing bespreken we het wiskundige concept dat Google zo briljantmaakt. Bij deze toepassing komen alle onderwerpen samen.
Het verslag is als volgt opgebouwd. In Hoofdstuk 1 behandelen we de basisde-finities en stellingen van de lineaire algebra. Deze kennis hebben we nodig voor de restvan het verslag. De informatie komt van [1].In Hoofdstuk 2 hebben we het meer gedetailleerd over de theorie van positieve matri-ces. Dit hoofdstuk is een direct vervolg op Hoofdstuk 1. We zullen eerst kijken naar debasistheorie, dit zijn standaarddefinities en een kleine stelling. Na deze korte inleidinggaan we de stelling van Perron uitgebreid bestuderen en bewijzen. Deze stelling is zoalsgezegd erg belangrijk en het bewijs hiervan hebben we dan ook zo uitgebreid mogelijkbeschreven. Na deze stelling beschrijven we het begrip ‘dominante eigenwaarde’. Ook indeze paragraaf zal een stelling met bewijs staan en bij dit bewijs een verhelderend plaatje.In Paragraaf 2.3 hebben we het over irreducibele matrices, die zijn erg belangrijk voorGoogle. Deze paragraaf is hetzelfde opgebouwd als de voorgaande paragrafen, eerst watbasisdefinities, dan een stelling en alles wordt intuıtief duidelijk gemaakt aan de handvan voorbeelden. De wiskundige informatie voor dit hoofdstuk komt allemaal uit [1] envan Tanja Eisner-Lobova en de informatie over Perron en Frobenius komt van [9].Nadat we de theorie van lineaire algebra en positieve matrices tot in de puntjes uitgelegdhebben, gaan we verder met de eerste toepassing: gerichte grafen. Ook in Hoofdstuk 3beginnen we met een korte inleiding in het onderwerp, in dit geval dus grafentheorie.Na de uitleg over gerichte grafen gaan we kijken naar verbindingsmatrices, een nuttigconcept dat grafen en matrices met elkaar verbindt. Met behulp van dit begrip kunnenwe daarna sterke samenhangendheid bestuderen. Het zal de lezer opvallen dat verbin-dingsmatrices bij stellingen over sterke samenhangendheid een grote rol spelen. Daarnagaan we kijken naar gewogen grafen. Ook voor deze grafen bestaan verbindingsmatrices.Op Lemma 3.11 na gelden alle stellingen in Hoofdstuk 3 ook voor gewogen grafen. Alleinformatie voor dit hoofdstuk komt van Tanja Eisner-Lobova.In Hoofdstuk 4 gaan we dieper in op de theorie van Markovketens. Een Markovketenkunnen we opvatten als een graaf, hierdoor is er een direct verband met Hoodstuk 3. Bijeen Markovketen hoort een matrix, deze matrix is positief, hierdoor wordt er ook een
3
verband gelegd met Hoofdstuk 2.We beginnen zoals gebruikelijk met een aantal basisde-finities. Vervolgens behandelen we een aantal belangrijke stellingen.In Hoofdstuk 5 behandelen we stap voor stap de basis van de Google zoekmachine, na-melijk het algoritme PageRank. PageRank wordt gebruikt om de resultaten van eenzoekopdracht te rangschikken. Het World Wide Web, meestal kortweg het web genoemd,bevat wereldwijd enkele miljarden webpagina’s met informatie en ontspanning die ver-bonden zijn door middel van links. Dit web kunnen we zien als een grote gerichte graaf.De literatuur die we voor dit hoofdstuk hebben bestudeerd is [3], [6] en [7]. Ook hebbenwe gebruik gemaakt van de website [10].
4
Hoofdstuk 1
Lineaire Algebra
Lineaire algebra is een gebied van de wiskunde dat zich bezig houdt met de studie vanvectoren, vectorruimte en lineaire transformaties. De lineaire algebra staat centraal in demoderne wiskunde en haar toepassingen. We beginnen met een aantal basisbegrippen enstellingen. In dit project richten wij ons op de ruimte Mn(C), de ruimte van n×n-matricesmet complexe coefficienten.
1.1 Normen
Het begrip norm heeft veel overeenkomsten met het begrip lengte. Er volgt een aantaldefinities die we nodig hebben in het vervolg van dit project. We beginnen met destandaardnorm van een vector x = (x1, . . . , xn)T met reele of complexe getallen.
Definitie 1.1. Stel dat X een lineaire ruimte is over het veld R . De norm || · || is eenniet-negatieve reele functie die voldoet aan de volgende axioma’s:
• ‖x‖ ≥ 0 met ‖x‖ = 0 dan en slechts dan als x = 0,
• ‖αx‖ = |α| ‖x‖ ∀α ∈ R, ∀x ∈ X
• ‖x+ y‖ ≤ ‖x‖+ ‖y‖. ∀x, y ∈ X
Elke norm gedefinieerd op de lineaire ruimte X = Rn noemen we een vector norm.Voorbeelden van normen zijn de 1-norm || · ||!, de 2-norm (of Eucidische norm) || · ||2, ende ∞-norm || · ||∞; deze zijn als volgt gedefinieerd.
Definitie 1.2. Stel x = (x1, . . . , xn)T , dan is de Euclidische norm gedefinieerd als
‖x‖2 =
(n∑i=1
|xi|2) 1
2
.
In het geval van PageRank en Markovketens wordt echter vaak de 1-norm gebruikt.
Definitie 1.3. De 1-norm voor een vector x = (x1, . . . , xn)T is gedefinieerd als
‖x‖1 =n∑i=1
|xi|.
5
Ook wordt vaak de ∞-norm gebruikt.
Definitie 1.4. De ∞-norm is gedefinieerd als
‖x‖∞ = maxi|xi|.
We hebben nu gezien dat we voor vectoren normen kunnen definieren. Dit kunnen weook doen voor matrices.
Definitie 1.5. Laat A ∈ Mn(C) en laat ‖ · ‖ de norm op Cn zijn. De operatornorm opMn(C) is gedefinieerd als
‖A‖ := sup{‖Ax‖ : x ∈ Cn, ‖x‖ ≤ 1} = max{‖Ax‖ : x ∈ Cn, ‖x‖ ≤ 1}.
De rijnorm is gedefinieerd als
‖A‖∞ := max{‖Ax‖∞ : x ∈ Cn, ‖x‖∞ ≤ 1} = max1≤i≤n
n∑j=1
|aij|.
De kolomnorm is gedefinieerd als
‖A‖1 := max{‖Ax‖1 : x ∈ Cn, ‖x‖1 ≤ 1} = max1≤i≤n
n∑i=1
|aij|.
Ten slotte gaan we kijken naar een stelling die we niet gaan bewijzen.
Stelling 1.6 (Tikhonov). Laat X een eindigdimensionale (complexe) vectorruimte zijnen laat ‖ · ‖ en ||| · ||| normen zijn op X. Dan bestaan er constanten c1, c2 > 0 zodat
c1|||x||| ≤ ‖x‖ ≤ c2|||x|||, ∀x ∈ X.
Deze stelling gaan we niet bewijzen. Voor het bewijs verwijzen we naar [1].
1.2 Eigenwaarden
Lineaire afbeeldingen spelen een belangerijke rol in de lineaire algebra. Een speciaal gevalzijn de lineaire afbeeldingen van een vectorruimte in zichzelf.We herinneren ons dat als A een n × n-matrix is, een vector x ∈ Cn, met x 6= 0, eeneigenvector van A heet als geldt:
Ax = λx voor zekere λ ∈ C.
Deze scalair heet de eigenwaarde van A.
Definitie 1.7. De verzameling σ(A) := {λ1, λ2, . . . , λm} van alle eigenwaarden van eenmatrix A wordt het spectrum van A genoemd. De resolventverzameling is het complementvan σ(A). Oftewel ρ(A) := C\σ(A).
Voor latere referenties introduceren we de volgende definitie.
6
Definitie 1.8. Laat λ1, . . . , λn de eigenwaarden van een matrix A ∈ Mn(C) zijn. Dan isde spectrale straal voor een matrix een positief getal
r(A) := max1≤i≤m
|λi|. (1.1)
De cirkel in het complexe vlak met het middelpunt in de oorsprong en de straal gelijkaan r(A) wordt de spectraalcirkel genoemd. Dit is de kleinste cirkel die het spectrum vanA bevat.
Deze definitie illustreren we aan de hand van het volgende voorbeeld.
Voorbeeld 1.9. Laat
A =
1 2 15 2 10 5 1
.
Dan geldt:
det(A− λI) = (1− λ)((2− λ)(1− λ)− 5)− 5(2(1− λ)− 5)
= (1− λ)(2− 3λ+ λ2 − 5)− 5(2− 2λ− 5)
= −3− 3λ+ λ2 + 3λ+ 3λ2 − λ3 + 15 + 10λ
= −λ3 + 4λ2 + 10λ+ 12
= (λ− 6)(−λ2 − 2λ− 2).
Hieruit volgt dat de eigenwaarden van A gelijk zijn aan:
• λ1 = 6,
• λ2 =2+√
(−2)2−4·−1·−2−2 = −1− 1
2
√−4 = −1− i,
• λ3 =2−√
(−2)2−4·−1·−2−2 = −1 + i.
Dus uit Definitie 1.8 volgt nu dat:
r(A) = max{
6,√
(−1)2 + 12,√
(−1)2 + (−1)2}
= max{
6,√
2}
= 6.
7
6−1− i
−1 + i
6i
−6i
Figuur 1.1: Het complexe vlak met de spectraalcirkel van A en de bijbehorende eigen-waarden.
Lemma 1.10. Laat ‖·‖ de operatornorm op Mn(C) zijn en laat A ∈ Mn(C) en λ ∈ σ(A).Dan geldt |λ| ≤ ‖A‖. In het bijzonder geldt dat r(A) ≤ ‖A‖.
Bewijs. Voor elke eigenvector x 6= 0 behorend bij de eigenwaarde λ geldt dat ‖Ax‖ = |λ|‖x‖.Bovendien geldt ‖Ax‖ ≤ ‖A‖‖x‖. Dus |λ|‖x‖ = ‖Ax‖ ≤ ‖A‖‖x‖. Dit impliceert dat|λ| ≤ ‖A‖. Uit Definitie 1.8 volgt direct dat r(A) ≤ A.
1.3 De resolvent
Voor het bewijzen van een aantal stellingen hebben we de resolvent van een matrix nodig.De resolvent is een begrip om bepaalde toepassingen binnen de complexe analyse toe tepassen. In het bijzonder om het spectrum van operatoren te bestuderen. We beginnenmet de definitie van de resolvent.
Definitie 1.11. De resolvent van een matrix A is de afbeelding
µ 7→ R(µ,A) := (µ− A)−1 met µ ∈ ρ(A).
Dit illustreren we aan de hand van het volgende voorbeeld.
Voorbeeld 1.12. Stel de matrix A is gelijk aan:
λ 1 0λ 1
. . . . . .. . . 1
0 λ
.
8
Dan is de resolvent R(µ,A) in het punt µ gelijk aan:
1µ−λ
1(µ−λ)2 . . . . . . 1
(µ−λ)n
1µ−λ
1(µ−λ)2
.... . . . . .
.... . . 1
(µ−λ)2
0 1µ−λ
.
Dit kunnen we nagaan door de matrix R(µ,A) te vermenigvuldigen met de matrix
(µ− A) =
µ− λ −1 0µ− λ −1
. . . . . .. . . −1
0 µ− λ
.
De volgende reeks is belangrijk in de theorie van positieve matrices.
Definitie 1.13. De formele reeks
∞∑k=0
Ak
µk+1, voor µ ∈ C\{0},
wordt de Neumannreeks genoemd.
Lemma 1.14. Laat A ∈ Mn(C) en r(A) = maxλ∈σ(A) |λ| < |µ|. Dan convergeert deNeumannreeks in µ en de volgende gelijkheid geldt:
R(µ,A) =∞∑k=0
Ak
µk+1.
Bewijs. We bewijzen dit lemma alleen voor µ waarvoor geldt µ > ‖A‖. De algemenesituatie volgt uit Proposition 3.9 van [1].
R(µ,A) = (µ− A)−1
=
(µ
(I − A
µ
))−1voor
∥∥∥∥Aµ∥∥∥∥ =
1
|µ|‖A‖ < 1
=1
µ
∞∑k=0
(A
µ
)k=∞∑k=0
Ak
µk+1,
waarbij de reeks∑∞
k=0Ak
µk+1 vanwege het criterium van Weierstrass absoluut convergeert.
9
1.4 Jordan-normaalvorm
In de lineaire algebra is de Jordan-normaalvorm een simpele vorm waarnaar men een ma-trix kan transformeren met behoud van de eigenwaarden van die oorspronkelijke matrix,door een transformatie van een basis. Het begrip komt voort uit de vraag hoever menmatrices die niet diagonaliseerbaar zijn kan vereenvoudigen.We herinneren ons dat voor λ ∈ C de matrix
Jk =
λ 1 0λ 1
. . . . . .. . . 1
0 λ
∈ Mk×k(C)
een Jordanblok van dimensie k is.Een Jordanmatrix is een matrix van de vorm:
J =
Jn1(λ1) 0Jn2(λ2)
. . .. . .
0 Jnk(λk)
met Jni
(λi) Jordanblokken voor i = 1, . . . , k en λ1, . . . , λk ∈ C.
Stelling 1.15 (Jordan-normaalvorm). Laat A ∈ Mn(C). Dan bestaat er een inverteerbareP ∈ Mn(C) zodanig dat
A = PJP−1
met J een Jordanmatrix. De matrix J is uniek op de rangschikking van de Jordanblokkenna en wordt de Jordan-normaalvorm genoemd.
Opmerking. In de Jordanmatrix J, met λj eigenwaarden van de matrix A, kunnen erblokken zijn met dezelfde λj. De dimensie van het grootste Jordanblok dat correspondeertmet λj is de macht van λj − z in het minimaal polynoom van A.
Vervolgens behandelen we een stelling over het convergeren van machten van matrices.Dit is een belangrijk stelling voor het Google PageRank algoritme.
Stelling 1.16. De machten van A ∈ Mm(C) convergeert dan en slechts dan als:
• λi = 1 en dim(Jni(λi)) = 1
of
• |λi| < 1 ∀λi ∈ σ(A).
Bewijs. We weten uit Stelling 1.15 dat A te schrijven is als PJP−1, met J een Jordan-matrix. Hieruit volgt dat
An = (PJP−1)n = PJP−1PJP−1 . . . . . . PJP−1︸ ︷︷ ︸n keer
= PJnP−1.
10
Dus Jn = P−1AnP . Oftewel, de machten van de Jordan matrix, Jn, convergeert dan enslechts dan als An convergeert. We mogen zonder verlies van algemeenheid aannemendat A een Jordanmatrix is van de vorm:
A =
Jn1(λ1) 0
Jn2(λ2). . .
0 Jnk(λk)
.
Elk Jordanblok is te schrijven als
Jk(λ) =
λ 1 0λ 1
. . . . . .. . . 1
0 λ
=
λ 0λ
. . .. . .
0 λ
︸ ︷︷ ︸
D
+
0 1 00 1
. . . . . .. . . 1
0 0
︸ ︷︷ ︸
B
.
Er geldt:
(Jk(λ))n = (D +B)n =n∑i=0
(n
i
)Dn−iBi
= Dn +
(n
1
)Dn−1B + · · ·+
(n
k − 1
)Dn−(k−1)Bk−1 +
0︷ ︸︸ ︷(n
k
)Dn−kBk + · · ·+Bn
= Dn +
(n
1
)Dn−1B + · · ·+
(n
k − 1
)Dn−(k−1)Bk−1.
In matrixnotatie zien we dat:
(Jk(λ))n =
λn nλn−1 n(n−1)2
λn−2 · · ·(nk−1
)λn−(k−1)
λn. . . . . .
.... . . . . . n(n−1)
2λn−2
. . . nλn−1
0 λn
.
Nu zullen we een aantal gevallen onderscheiden:
i) Stel λ = 1. Dan geldt:
(Jk(1))n =
1 n n(n−1)2
· · ·(nk−1
)1
. . . . . ....
. . . . . . n(n−1)2
. . . n
0 1
. (1.2)
De matrix (Jk(1))n convergeert dan en slecht dan als de dimensie van dit Jordanblokeen is.
11
ii) Stel |λ| > 1. Dan geldt:(Jk(λ))n11 →∞.
Dus An convergeert niet.
iii) Stel |λ| < 1. Dan geldt:(Jk(λ))n → 0.
Dus An convergeert ook.
iv) Stel |λ| = 1, λ 6= 1. Dan convergeert λk niet, dus de matrix (Jk(λ))n convergeert ookniet.
Kortom, uit de gevallen i), ii), iii) en iv) volgt dat (Jk(λ))n, en dus ook de matrix An,alleen convergeert als λi = 1 en dim(Jki(λi)) = 1 of als |λi| < 1.
Voorbeeld 1.17. Als we nu de matrix A en de resolvent R(µ,A) gebruiken als inVoorbeeld 1.12, dan zien we dat de Jordan-normaalvorm van de resolvent gelijk is aan
R(µ,A) =
R(µ, Jn1(λ1)) 0
R(µ, Jn2(λ2)). . .
0 R(µ, Jnk(λk))
met dezelfde Jordanbasis als A. Hierbij geldt dat
R(µ, Jni(λi)) =
1µ−λi
1(µ−λi)2 · · · · · · 1
(µ−λi)ni
1µ−λi
1(µ−λi)2
.... . . . . .
.... . . 1
(µ−λi)2
0 1µ−λi
,
waarbij ni gelijk is aan de dimensie van het blok corresponderend met λi voor i = 1, . . . , k.
1.5 Stochastische matrices
Stochastische matrices zijn matrices die de overgangen van een Markovketen beschrijven.Dit soort matrices worden ook door Google gebruikt. Daarom zullen we een aantaldefinities en lemma’s over stochastische matrices behandelen.
Definitie 1.18. Een n × n-matrix A heet kolomstochastisch als alle entries aij positiefzijn en
n∑i=0
aij = 1 ∀j ∈ {1, ..., n}.
Definitie 1.19. Een n×n-matrix A heet kolom-deelstochastisch als alle entries aij positiefzijn en
n∑i=0
aij ≤ 1 ∀j ∈ {1, ..., n}.
12
Een stochastische matrix heeft een aantal eigenschappen, die we in het volgende lemmagaan bewijzen.
Lemma 1.20. Stel A is een vierkante stochastische matrix. Dan gelden de volgendebeweringen:
i) 1 ∈ σ(A),
ii) de spectrale straal r(A) is gelijk aan 1.
Bewijs. i) StelA is een kolomstochastische n×n-matrix. We weten dat de eigenwaardenvan de matrix A en de eigenwaarden van zijn getransponeerde AT gelijk zijn. Dematrix A is kolomstochastisch, dus de som van iedere kolom van de matrix is gelijkaan 1. Dit is equivalent met de gelijkheid
AT1 = 1, met 1 = (1, . . . , 1)T .
We zien dat λ = 1 een eigenwaarde van de matrix AT is en dus ook een eigenwaardevan de matrix A is.
ii) Voor elke matrixnorm geldt dat r(A) ≤ ‖A‖ (zie Lemma 1.10) en uit i) volgt dat ereen eigenwaarde gelijk aan 1 is. Hieruit volgt dat:
1 ≤ r(A) ≤ ‖A‖1 = 1,
dus r(A) = 1.
Kolomstochastische matrices worden gebruikt bij Google PageRank. Voor de wiskundeachter Google willen we ook dat de machtreeks van een kolomstochastische matrix weerkolomstoschastisch is. Daarom willen we, met behulp van inductie, het volgende lemmabewijzen.
Lemma 1.21. Laat A,B twee n × n kolomstochastische matrices zijn. Dan geldt datA×B is kolomstochastisch.
Bewijs. Laat
A =
a11 . . . a1n...
...an1 . . . ann
, B =
b11 . . . b1n...
...bn1 . . . bnn
,
We bewijzen dat de som van de eerste kolom van de matrix AB gelijk is aan 1 en nemendan zonder verlies van algemeenheid aan dat de som van alle kollommen gelijk is aan 1.Het bewijs dat de som van elke andere kolom gelijk is aan 1 gaat analoog.Met behulp van matrixvermenigvuldiging zien we dat de eerste kolom van AB gelijk isaan: a11b11 + · · ·+ a1nbn1
...an1b11 + · · ·+ annbn1
.
Als we de elementen van de eerste kolom van AB optellen, krijgen we:
b11(a11 + · · ·+ an1) + · · ·+ bn1(a1n + · · ·+ ann).
13
De som van de eerste kolom van AB is gelijk aan
b11
1︷ ︸︸ ︷(a11 + · · ·+ an1) + · · ·+ bn1
1︷ ︸︸ ︷(a1n + · · ·+ ann) = b11 + · · ·+ bn1 = 1.
Dit volgt omdat de matrix A en de matrix B kolomstochastisch zijn. Hieruit volgt datAB kolomstochastisch is.
14
Hoofdstuk 2
Positieve Matrices
Nu de basis van de lineaire algebra bekend is, gaan we wat dieper in op deze basisbe-grippen. Dit doen we in het bijzonder voor positieve matrices. Later in dit verslag, metname in Hoofdstuk 5, zullen we de stellingen uit dit hoofdstuk nodig hebben om hetGoogle-probleem te versimpelen. We beginnen met een aantal definities.
Definitie 2.1. Een vector x = (x1, . . . , xn)T is positief als xi ≥ voor elke i ∈ {1, . . . , n}.Dit noteren we met x ≥ 0. Een n ×m-matrix T = (tij) is positief als tij ≥ 0 voor elkei ∈ {1, . . . , n}, j ∈ {1, . . . ,m}. Dit noteren we met T ≥ 0.
Opmerking. We noemen een vector x (of matrix T ) strikt positief als alle entries groterdan nul zijn. Dit noteren we met x� 0 (of T � 0).
Definitie 2.2. De absolute waarde van x = (x1, . . . , xn)T ∈ Cn is de vector |x| = (|x1|, . . . , |xn|)T .De absolute waarde van T = (tij)i,j=1,...,n ∈ Mn(C) is |T | = (|tij|)i,j=1,...,n.
Het volgende lemma wordt gegeven zonder bewijs. Het bewijs van dit lemma is ergsimpel, de lezer wordt uitgedaagd het voor zichzelf te bewijzen.
Lemma 2.3. Laat T ∈ Mn(C). Er geldt:
(i) T ≥ 0 ⇐⇒ Tx ≥ 0 voor elke x ≥ 0,
(ii) |Tx| ≤ |T ||x| voor elke x ∈ Cn, dus T ≥ 0 =⇒ |Tx| ≤ T |x| voor elke x ∈ Cn.
Met dit lemma kunnen we een stelling bewijzen die gemakkelijk in te zien is maar grotegevolgen met zich meebrengt.
Stelling 2.4. Laat T een positieve matrix zijn met spectrale straal r(T ). Er geldt:
(i) µ > r(T ) =⇒ R(µ, T ) ≥ 0,
(ii) |µ| > r(T ) =⇒ |R(µ, T )| ≤ R(|µ|, T ).
Bewijs. Volgens Lemma 1.14 kunnen we voor |µ| > r(T ) de resolvent schrijven als Neu-mannreeks:
R(µ, T ) =∞∑n=0
T n
µn+1.
15
(i) Er geldt dat T ≥ 0, dus dat T n ≥ 0 voor elke n, en µ > r(T ) ≥ 0 impliceert µn > 0voor elke n, dus voor µ > r(T ) hebben we
R(µ, T ) =∞∑n=0
T n
µn+1≥ 0.
(ii) Voor µ met |µ| > r(T ) ≥ 0 geldt dat
|R(µ, T )| =
∣∣∣∣∣∞∑n=0
T n
µn+1
∣∣∣∣∣ ≤∞∑n=0
∣∣∣∣ T nµn+1
∣∣∣∣≤
∞∑n=0
|T |n
|µ|n+1=∞∑n=0
T n
|µ|n+1
= R(|µ|, T ).
Dit maakt het bewijs compleet.
2.1 Stelling van Perron
Oskar Perron was een Duits wiskundige die op 7 mei 1880 in Frankenthal werd geborenen tot 22 februari 1975 leefde. Hij gaf les aan de Ruprecht-Karls-Universitat Heidelbergen aan de Ludwig-Maximilians-Universitat Munchen en was voornamelijk werkzaam inhet gebied van de differentiaalvergelijkingen en partiele differentiaalvergelijkingen. Zijnbekendste werk is de ‘Perron methode’, een methode voor het oplossen van Dirichletpro-blemen voor Laplacevergelijkingen. Hij hield zich echter ook bezig met de lineaire algebra,voornamelijk met strikt positieve matrices. In 1907 heeft hij verschillende eigenschappenvan strikt positieve matrices bewezen, onder andere een variant van de volgende stelling:
Stelling 2.5 (Perron). Laat T een positieve matrix zijn. Dan is r(T ) een eigenwaardevan T met een positieve eigenvector. In het bijzonder geldt dat r(T ) de grootste positieveeigenwaarde van T is.
Deze stelling is dus eigenlijk niet helemaal bedacht en bewezen door Oskar Perron. Hijbewees dat voor een strikt positieve matrix T de spectrale straal een strikt positieveeigenvector heeft. Stelling 2.5 is in werkelijkheid in 1912 bewezen door Ferdinand Ge-org Frobenius, een andere Duits wiskundige. We noemen de stelling in dit verslag welde stelling van Perron, omdat Frobenius de originele stelling van Perron alleen veralge-meniseerd heeft. (In dit geval heeft hij het feit dat positieve matrices te schrijven zijnals limieten van strikt positieve matrices gebruikt, Stelling 2.5 volgt dan meteen uit deoriginele stelling.) Om deze stelling te bewijzen, hebben we nog een extra lemma nodig.
Lemma 2.6. Voor elke n×m-matrix A 6= 0 geldt dat er een y ≥ 0 is zdd. Ay = x 6= 0.
Bewijs. Stel Ay = 0 voor elke y ≥ 0.Elke reele vector z kan geschreven worden als z = y1 − y2 met y1, y2 ≥ 0, dus voor elkez ∈ Rm geldt Az = Ay1 − Ay2 = 0. Dit impliceert dat
Ac = Az1 + i · Az2 = 0 voor elke c = z1 + i · z2 met z1, z2 ∈ Rm, dus voor elke c ∈ Cm.
Dit betekent dat A de nulmatrix is. Dus er is een y ≥ 0 zdd. Ay = x 6= 0.
16
Alternatief bewijs. Omdat A 6= 0, is er een j waarvoor de j-de kolom van A niet gelijk isaan nul. Neem y = ej, de nulvector met een een op de j-de plaats, dan geldt Ay 6= 0.
Bewijs (stelling van Perron). We gaan de stelling van Perron bewijzen in twee delen:
1. Wat we moeten bewijzen is dat r(T ) ∈ σ(T ).We nemen een µ met |µ| > r(T ) en schrijven T in zijn Jordan normaalvorm, dusT = PJP−1. Herinner dat de resolvent van J gelijk is aan
R(µ, J) =
1µ−λ1
1(µ−λ1)2 · · ·
1(µ−λ1)n1
. . . . . .... 0
. . . 1(µ−λ1)2
0 1µ−λ1
. . .1
µ−λk1
(µ−λk)2· · · 1
(µ−λk)nk
. . . . . ....
0 . . . 1(µ−λk)2
0 1µ−λk
.
Hierbij geldt σ(T ) = {λi | i = 1, . . . , k} en ni is de dimensie van het Jordan-blok behorend bij λi. De λi’s hoeven niet allemaal verschillend te zijn. Er geldtr(T ) = max1≤i≤k |λi|, dus er is een λ0 ∈ σ(T ) met |λ0| = r(T ). Omdat λ0 = λivoor een i ∈ {1, . . . , k}, geldt dat
limµ→λ0
‖R(µ, J)‖ → ∞.
Aangezien T = PJP−1, geldt datR(µ, T ) = (µI−T )−1 = (P (µI−J)P−1)−1 = PR(µ, J)P−1,en dus geldt ook dat
limµ→λ0
‖R(µ, T )‖ → ∞.
Voor |µ| > r(T ) geldt |R(µ, T )| ≤ R(|µ|, T ) (zie Stelling 2.4 (ii)), dus er geldt ookdat
limµ→λ0|µ|>r(T )
‖R(|µ|, T )‖ → ∞.
Vanwege de continuıteit van de resolvent betekent dit dat r(T ) /∈ ρ(T ), dus dat r(T ) ∈ σ(T ).
2. Wat we moeten bewijzen is dat er een x ≥ 0, x 6= 0, is zdd. Tx = r(T )x.We weten dat er minstens een Jordanblok behorend bij r(T ) is. Laat n0 de dimensievan het grootste blok dat bij r(T ) hoort zijn. Noteer dit grootste blok met J(r(T )).Neem
S = limµ↘r(T )
(R(µ, T )(µ− r(T ))n0).
Er geldt S ≥ 0, want R(µ, T ) en µ − r(T ) zijn beide groter dan of gelijk aan nulvoor elke µ > r(T ). Ook geldt S 6= 0, want in het deel van S behorend bij J(r(T ))
17
is er een entry die gelijk is aan een:
SJ(r(T )) = limµ↘r(T )
(µ− r(T ))n0
1
µ−r(T ) · · ·1
(µ−r(T ))n0
. . ....
0 1µ−r(T )
=
0 · · · 0 1
. . . 0. . .
...0 0
.
Uit Lemma 2.6 volgt nu dat er een y ≥ 0 en x 6= 0 bestaan zdd. Sy = x. OmdatS ≥ 0, hebben we ook dat x ≥ 0. We gaan laten zien dat Tx = r(T )x. Er geldtinderdaad dat
(r(T )I − T )x = (r(T )I − T )Sy
= (r(T )I − T ) limµ↘r(T )
(R(µ, T )(µ− r(T ))n0)y
= limµ↘r(T )
((r(T )I − T )R(µ, T )︸ ︷︷ ︸commuterend
(µ− r(T ))n0)y
= limµ↘r(T )
(R(µ, T )(r(T )I − T )(µ− r(T ))n0)y
= limµ↘r(T )
[R(µ, T )((r(T )− µ)I + (µI − T ))(µ− r(T ))n0 ]y
= − limµ↘r(T )
(R(µ, T )(µ− r(T ))n0+1︸ ︷︷ ︸=0
)y
+ limµ↘r(T )
(R(µ, T )(µI − T )︸ ︷︷ ︸=I
(µ− r(T ))n0)y
= 0.
Dus er is een x ≥ 0, x 6= 0, zdd. Tx = r(T )x.
Dus r(T ) is een eigenwaarde van T met een positieve eigenvector. Dat r(T ) de grootstepositieve eigenwaarde van T is, volgt nu uit de Definitie 1.8.
Voorbeeld 2.7. We gaan deze stelling controleren voor de matrix uit Voorbeeld 1.9.Voor deze matrix geldt r(A) = 6 ∈ σ(A), dus r(A) is een eigenwaarde van A. XVoor de eigenvector x van r(A) geldt Ax = r(A)x, dus we willen een x vinden waarvoorAx = 6x, dus waarvoor (A− 6I)x = 0. We hebben
A− 6I =
−5 2 15 −4 10 5 −5
.
Nu kunnen we de vergelijking (A− 6I)x = 0 in een matrix zetten en de oplossing vindenmet behulp van rijvegen: −5 2 1 0
5 −4 1 00 5 −5 0
∼ 1 −2
5−1
50
0 −2 2 00 1 −1 0
∼ 1 0 −3
50
0 1 −1 00 0 0 0
=⇒ x1 =3
5x3, x2 = x3.
18
Neem x3 = 5, dan hebben we als eigenvector
x =
355
en deze vector is positief! XVerder is 6 de enige positieve eigenwaarde, dus ook de grootste. XLater zullen we zien dat x� 0 volgt uit de irreducibiliteit van A.
2.2 Dominante eigenwaarde
Voordat we verdergaan met irreducibiliteit, gaan we eerst kijken naar dominante ei-genwaarden. Dit lijkt nu los te staan van de verdere onderwerpen, maar alles zal inHoofdstuk 5 op zijn plaats vallen. Voordat we aan de hoofdstelling van deze paragraaftoekomen, moeten we eerst nog definieren wat een dominante eigenwaarde is.
Definitie 2.8. Laat T ∈ Mn(C). Een λ ∈ σ(T ) is dominant als |µ| < |λ| voorelke µ ∈ σ(T ), µ 6= λ.
Stelling 2.9. Laat T ≥ 0 met een strikt positieve diagonaal. Dan is r(T ) een dominanteeigenwaarde van T .
Om deze stelling te bewijzen hebben we eerst nog een lemma nodig. Het bewijs van ditlemma volgt direct uit de definitie van een eigenwaarde.
Lemma 2.10. Laat A ∈ Mn(C) en t ∈ C. Dan geldt dat de eigenwaarden van A − tIde eigenwaarden van A minus t zijn, dus λ is een eigenwaarde van A ⇐⇒ λ− t is eeneigenwaarde van A− tI.
Bewijs (Stelling 2.9). We gaan bewijzen dat r(T ) de enige eigenwaarde is op de cirkelmet straal r(T ). (Dan ligt de rest van de eigenwaarden binnen die cirkel en geldt dus datr(T ) dominant is.) Om het bewijs duidelijk te maken, tekenen we intussen een plaatje,deze staat onder het bewijs.De eigenwaarden van T liggen allemaal binnen en op de cirkel met straal r(T ), cirkel 1in het plaatje.Neem een ε zdd. 0 < ε < mini=1,...,n(tii). Uit Lemma 2.10 volgt dat de eigenwaardenvan T − εI de eigenwaarden van T minus ε zijn, dus de eigenwaarden van T − εI liggenallemaal binnen en op de cirkel met middelpunt −ε en straal r(T ), cirkel 2 in het plaatje.Er geldt dat T−εI ≥ 0, dus dat r(T−εI) ∈ σ(T−εI). Uit Stelling 2.5 volgt dat r(T−εI)de grootste positieve eigenwaarde van T − εI is. Uit Lemma 2.10 volgt dat r(T ) − ε degrootste positieve eigenwaarde van T − εI is, dus r(T − εI) = r(T )− ε. De eigenwaardenvan T − εI liggen dus allemaal binnen en op de cirkel met straal r(T − εI) = r(T ) − ε,cirkel 3 in het plaatje.Nu volgt uit Lemma 2.10 dat de eigenwaarden van T de eigenwaarden van T − εI plus εzijn, dus de eigenwaarden van T liggen allemaal binnen en op de cirkel met middelpuntε en straal r(T )− ε, cirkel 4 in het plaatje.
19
r(T )r(T )− ε−ε ε0
12
34
Figuur 2.1: De bijbehorende cirkels waarin en waarop de eigenwaarden liggen. De rozecirkels horen bij T en de groene bij T − εI.
Aangezien alle eigenwaarden van T in en op cirkel 4 liggen, is r(T ) de enige eigenwaardeop cirkel 1 en dus is r(T ) dominant.
Voorbeeld 2.11. We gaan deze stelling controleren voor de matrix uit Voorbeeld 1.9.De spectrale straal is dominant als hij de enige eigenwaarde op de cirkel met straal r(A)is. In het plaatje in Voorbeeld 1.9 is duidelijk te zien dat dit zo is, dus r(A) = 6 isinderdaad dominant. X
2.3 Irreducibele matrices
Na het kleine uitstapje naar dominante eigenwaarden komen we nu aan bij de irreducibelematrices. Dit is een erg belangrijke eigenschap voor matrices, omdat dit een van decondities blijkt te zijn waarvoor het grootste Jordanblok behorend bij de spectrale straaldimensie een heeft. Het feit dat dit wel of niet zo is zegt veel over het gedrag van demachten van de matrices als de macht naar oneindig gaat.
Definitie 2.12. Een matrix T ∈ Mn(C) is reducibel als er een verzamelingM $ {1, . . . , n},M 6= ∅,bestaat voor welke de deelverzameling
JM = {(x1, . . . , xn)T | xi = 0 voor elke i ∈M} ⊂ Cn
invariant onder T is. Er moet dus gelden dat x ∈ JM =⇒ Tx ∈ JM .Als T niet reducibel is, heet T irreducibel.
Doordat we de kanonieke basisvectoren van Cn ongestraft mogen permuteren, kunnen wede verzameling JM uit deze definitie vervangen door de verzameling
JMk= {(x1, . . . , xn)T | xk+1 = . . . = xn = 0}
20
voor een k ∈ {1, . . . , n}. Hieruit volgt de volgende karakterizering van (ir)reducibelematrices:
Lemma 2.13. Een matrix T ∈ Mn(C) is reducibel ⇐⇒ er bestaat een permutatiematrixP zdd. S = PTP−1 een blokvorm heeft:
S =
(A B0 C
).
Hierbij geldt dat A en C vierkante matrices zijn en minstens 1× 1 groot zijn.
Opmerking. De bewerking PTP−1 is simpelweg het gelijktijdig verwisselen van kolommenen rijen van T . Dus stel dat de bewerking PT ervoor zorgt dat rij 1 en 2 verwisseld worden,dan zorgt de bewerking PTP−1 ervoor dat rij 1 en 2 verwisseld worden en dat kolom 1en 2 verwisseld worden. (De volgorde van de verwisselingen maakt natuurlijk niet uit.)
Stelling 2.14. Laat T ∈ Mn(C) een irreducibele en positieve matrix zijn. Er geldt:
(i) r(T ) > 0.
(ii) De eigenruimte van r(T ) is 1-dimensionaal en wordt opgespannen door een striktpositieve stochastische vector z = (z1, . . . , zn)T .
(iii) In de Jordan normaalvorm heeft het (unieke) blok behorend bij r(T ) dimensie een.
Bewijs. (i) Wat we moeten bewijzen is dat r(T ) > 0.We laten zien dat er een z � 0 bestaat zdd. Tz = r(T )z. Dan volgt uit T ≥ 0meteen dat r(T ) > 0, want het product van een positieve matrix en een striktpositieve vector is niet gelijk aan nul als de matrix niet gelijk aan nul is, en dus kanr(T ) dan niet gelijk zijn aan nul.Uit Stelling 2.5 volgt dat er een z ≥ 0, z 6= 0, bestaat zdd. Tz = r(T )z. Stel nu datz nulcoordinaten heeft. Zonder verlies van algemeenheid kunnen we z dan schrijvenals z = (z1, . . . , zk, 0, . . . , 0)T met z1, . . . , zk > 0.Laat nu Y = lin{e1, . . . , ek} en neem een y ∈ Y , dus yk+1, . . . , yn = 0. Er geldt:voor elke t ∈ R en t′ > 0 is er een a > 0 zdd. |t| ≤ at′, dus er is een c > 0 zdd.|y| ≤ cz. Dit betekent dat het volgende geldt:
|Ty| ≤ T |y| ≤ cTz = cr(T )z.
Dit impliceert dat (Ty)k+1, . . . , (Ty)n = 0, dus dat Ty ∈ Y . Dit betekent dat Y
invariant is onder T en dat impliceert dat T reducibel is. Dus z � 0.
(ii) Wat we moeten bewijzen is dat de eigenruimte van r(T ) 1-dimensionaal is en opge-spannen wordt door een stochastische vector y � 0.We laten zien dat de eigenruimte van r(T ) wordt opgespannen door y = 1∑n
i=1 ziz
waarbij z gelijk is aan de z uit (i). Dus we laten zien dat Tx = r(T )x =⇒ x = cyvoor een c ∈ C.Laat x ∈ Cn, x 6= 0, zdd. Tx = r(T )x. We mogen aannemen dat x reeel is. (Be-schouw anders Re(x) en Im(x) als twee losse gevallen.) Er bestaat een c > 0 zdd.x = y−cx ≥ 0 en zdd. x minstens een nulcoordinaat heeft. Dus als x 6= 0, geldt datx een eigenvector van r(T ) is met minstens een nulcoordinaat, dus dat T reducibel
21
is, zie het bewijs van (i). Er moet dus gelden dat x = 0, dus dat y = cx. Oftewel,x = 1
cy voor een c > 0.
De vector y is ten duidelijkste een stochastische vector (∑n
i=1 yi = 1∑ni=1 zi
∑ni=1 zi = 1),
dus de eigenruimte van r(T ) wordt opgespannen door een strikt positieve stochas-tische vector.
(iii) Wat we moeten bewijzen is dat het Jordanblok behorend bij r(T ) dimensie eenheeft.Zonder verlies van algemeenheid mogen we aannemen dat r(T ) = 1, beschouwanders de matrix T
r(T )(die heeft dezelfde Jordanrepresentatie als T ). Dan geldt voor
de z hierboven dus dat Tz = z. Laat D de diagonaalmatrix zijn met z1, . . . , zn opde diagonaal en definieer S = D−1TD ≥ 0. Schrijf de n-dimensionale 1-vector als1. Er geldt:
S1 = D−1Tz = D−1z = 1.
Verder geldt voor de rijnorm van S en de ∞-norm van Cn dan ook dat
‖S‖ = ‖S1‖ = ‖1‖ = 1,
dus dat∥∥SN∥∥ ≤ ‖S‖N = 1 voor elke N ∈ N. Dus∥∥TN∥∥ =
∥∥(DSD−1)N∥∥ =
∥∥DSND−1∥∥ ≤ ‖D‖ ∥∥D−1∥∥ voor elke N ∈ N.
Dit betekent dat {∥∥TN∥∥}∞N=1 begrensd is. Dat kan alleen zo zijn als alle Jordan-
blokken behorend bij 1 dimensie een hebben, zie formule (1.2).
Voorbeeld 2.15. We gaan deze stelling controleren voor de matrix uit Voorbeeld 1.9.Eerst moeten we laten zien dat deze matrix irreducibel is. Om dit in te zien rekenen weA2 uit:
A2 =
1 2 15 2 10 5 1
1 2 15 2 10 5 1
=
11 11 415 19 825 15 6
.
Dus A2 � 0. Dit betekent dat S2 = (PAP−1)2 = PA2P−1 � 0 voor elke permuta-tiematrix P , dus dat S niet in blokvorm te schrijven is voor elke permutatiematrix P .(Als er wel een permutatiematrix P is waarvoor S in blokvorm te schrijven is, moet ookgelden dat S2 in blokvorm staat voor die P , want de nulmatrix in de blokvorm blijft eennulmatrix in alle machten.) Dus A is irreducibel.
(i) r(A) = 6 > 0. X
(ii) De eigenwaarde 6 heeft maar een eigenvector (op vermenigvuldiging na) en deze isstrikt positief (zie Voorbeeld 2.7), dus de eigenruimte van r(A) is 1-dimensionaalen wordt opgespannen door een strikt positieve vector x = (3, 5, 5)T . Deze eigen-ruimte wordt opgespannen door alle veelvouden van x, dus ook door de stochastische
vector z = 113x =
(313, 513, 513
)T. X
(iii) De matrix A heeft eigenwaarden 6, −i + 1 en −i − 1, dus de Jordanmatrix van Aziet er als volgt uit:
J =
6 0 00 −i+ 1 00 0 −i− 1
.
(De eigenwaarden kunnen natuurlijk gepermuteerd worden.) Het Jordanblok beho-rend bij r(T ) = 6 heeft dus dimensie een. X
22
Hoofdstuk 3
Grafentheorie
In dit verslag werken we toe naar Google, een van de bekendste toepassingen van detheorie van positieve matrices. Voordat we echter zover zijn, gaan we eerst in Hoofdstuk 3en Hoofdstuk 4 wat vertellen over respectievelijk grafen en Markovketens, omdat ookvanuit deze gebieden van de wiskunde gekeken kan worden naar het algoritme van Google.Verder is er een hechte relatie tussen grafentheorie en de theorie van positieve matrices.
3.1 Gerichte grafen
Definitie 3.1. Een gerichte graaf G is een paar G = (V,E) met V de verzameling‘punten’, in het Engels ‘vertices’, en E ⊂ V × V de verzameling ‘lijnen’, in het Engels‘edges’. De lijnen kunnen gezien worden als verbindingen met een richting tussen punten,sommige punten zijn dus met elkaar verbonden en andere niet. Als e = (v, w), is e de lijn
van v ∈ V naar w ∈ V . Dus we kunnen e = (v, w) schrijven als e = v w
Alle grafen waar we het in dit hoofdstuk over hebben zijn gerichte grafen.
Definitie 3.2. Een graaf van graad n is een graaf met n punten. We schrijven danV = {v1, . . . , vn} en E = {e1, . . . , em}, waarbij voor elke i ∈ {1, . . . ,m} geldt datei = (vj, vk) voor een j, k ∈ {1, . . . , n}.
Voorbeeld 3.3 (Graaf van graad 4). Laat V = {1, 2, 3, 4} en E = {e1, e2, e3, e4, e5}waarbij e1 = (1, 2), e2 = (1, 3), e3 = (3, 2), e4 = (3, 4) en e5 = (4, 2).De bijbehorende graaf ziet er als volgt uit:
1 2
34
e1
e3
e4
e2
e5
Definitie 3.4. Er is een wandeling van lengte n van vi naar vj als er vi1 , . . . , vin−1 ∈ V be-staan zdd. (vi, vi1), (vi1 , vi2), . . . , (vin−2 , vin−1)(vin−1 , vj) ∈ E. Intuıtief is er zo’n wandelingals je in n stappen van vi naar vj kunt ‘lopen’ terwijl je de richting van de lijnen volgt.
23
We schrijven een wandeling van lengte n van vi naar vj als (vi, vi1)(vi1 , vi2) · · · (vin−1 , vj).We zeggen dat vi verbonden is met vj als er een wandeling van vi naar vj bestaat.
Voorbeeld 3.5. In de graaf uit Voorbeeld 3.3 zijn er wandelingen van 1 naar 2:
1. (1, 2), een wandeling van lengte een,
2. (1, 3)(3, 2), een wandeling van lengte twee,
3. (1, 3)(3, 4)(4, 2), een wandeling van lengte drie.
Zoals je ziet zitten in wandeling 2 ook een wandeling van 1 naar 3 ((1, 3)) en een wan-deling van 3 naar 2 ((3, 2)) bevat. De andere wandelingen in deze graaf zijn (1, 3)(3, 4),(3, 4)(4, 2), (3, 4) en (4, 2).
3.2 Verbindingsmatrices
Er is een nuttige relatie tussen matrices en grafen, om specifiek te zijn tussen positievematrices en grafen.
Definitie 3.6. De verbindingsmatrix A = (aij)i,j=1,...,n van een graaf G van graad n is dematrix met
aij =
{1 als (vj, vi) ∈ E,0 anders.
De verbindingsmatrix beschrijft de graaf helemaal, de relatie is een-op-een.
Voorbeeld 3.7. De verbindingsmatrix van de graaf uit Voorbeeld 3.3 is
A =
0 0 0 01 0 1 11 0 0 00 0 1 0
.
Op een soortgelijke wijze beschrijft een ‘gewone’ positieve matrix ook een graaf. Stelnamelijk dat A ≥ 0 een n× n-matrix is en definieer A = (aij)i,j=1,...,n met
aij =
{1 als (A)ij > 0,
0 als (A)ij = 0.
Dan is er dus een unieke graaf die bij A hoort, en deze wordt gedefinieerd door zijnverbindingsmatrix A.
Definitie 3.8. Deze unieke graaf noemen we de geassocieerde graaf van de matrix A.
Voorbeeld 3.9. Neem
A =
0 12
32 π 81 0 0
.
Dan is de geassocieerde graaf als volgt:
24
1 2
3
De matrix A die door A gedefinieerd wordt is
A =
0 1 11 1 11 0 0
en dit is inderdaad de verbindingsmatrix van de graaf!
Opmerking. Deze relatie is niet een-op-een, want de positieve matrices met nullen opdezelfde plek hebben dezelfde geassocieerde graaf. Dus bij een positieve matrix hoort eenunieke graaf, maar bij een graaf hoort geen unieke positieve matrix.
Voorbeeld 3.10. We hebben in Voorbeeld 3.7 gezien wat de verbindingsmatrix van degraaf uit Voorbeeld 3.3 is:
A =
0 0 0 01 0 1 11 0 0 00 0 1 0
.
Dit betekent dat deze graaf de geassocieerde graaf is van alle positieve 4×4-matrices meteen nul op plek (1, 1), (1, 2), (1, 3), (1, 4), (2, 2), (3, 2), (3, 3), (3, 4), (4, 1), (4, 2) en (4, 4).Dus het is de geassocieerde graaf van de matrices van de vorm
A =
0 0 0 0z1 0 z2 z3z4 0 0 00 0 z5 0
met z1, . . . , z5 > 0.
Na al deze definities kunnen we nu een handig lemma formuleren. Met dit lemma kun jemet behulp van een computer snel zien of er wandelingen zijn tussen de punten van eengrote graaf. Het bewijs volgt uit de definitie van een verbindingsmatrix en de regels voormatrixvermenigvuldiging. Dit wordt aan de lezer overgelaten.
Lemma 3.11. Laat G = (V,E) een graaf van graad n zijn en laat A de bijbehorendeverbindingsmatrix zijn. Dan geldt dat er een wandeling van vi naar vj van lengte kbestaat d.e.s.d.a. (Ak)ji > 0.Bovendien geldt voor elke i, j ∈ {1, . . . , n} dat (Ak)ji = #{wandelingen van vi naar vj}.
3.3 Sterke samenhangendheid
Er is een relatie tussen samenhangende grafen en irreducibele matrices die heel bruikbaaris. Deze relatie staat in Stelling 3.16, maar eerst volgen er een aantal definities.
25
Definitie 3.12. Een graaf G is sterk samenhangend als er tussen elke twee punten eenwandeling in beide richtingen is. Intuıtief betekent sterke samenhangendheid dus dat jevan elk punt naar elk ander punt kunt lopen in de richting van de lijnen. Equivalenthieraan is dat alle punten met elkaar verbonden zijn.Uit Lemma 3.11 volgt dus dat een graaf van graad n sterk samenhangend is als er voorelke i, j ∈ {1, . . . , n} een k ∈ N is zdd. (Ak)ji > 0.
Voorbeeld 3.13. We bekijken de grafen uit de voorgaande voorbeelden:
• De graaf uit Voorbeeld 3.3 is niet sterk samenhangend. Er is bijvoorbeeld geenwandeling van 2 naar 1 (er is zelfs helemaal geen wandeling met 2 als beginpunt of1 als eindpunt).
• De graaf uit Voorbeeld 3.9 is wel sterk samenhangend, er zijn wandelingen van elkpunt naar elk ander punt.
Voorbeeld 3.14. De geassocieerde graaf van
A =
1 0 0 5 00 0 0 0 785
0 1 0 00 5 10 0 00 3 0 0 5
is een graaf die niet sterk samenhangend is:
1
2
3
4
5
Het is duidelijk dat het onmogelijk is om van het bovenste deel van de graaf, {1, 3, 4},naar het onderste deel, {2, 5}, te komen.
We gaan nu een stelling bewijzen die erg op de hoofdstelling (Stelling 3.16) van dezeparagraaf lijkt. Met deze stelling op zak wordt het bewijs van Stelling 3.16 een stuksimpeler.
Stelling 3.15. Een graaf G van graad n is sterk samenhangend ⇐⇒ de verbindings-matrix A van G is irreducibel.
Bewijs. ‘=⇒’ Wat we moeten bewijzen is dat als er voor elke i, j ∈ {1, . . . , n} een k ∈ Nbestaat zdd. (Ak)ij > 0, A irreducibel is.
26
Stel dat A reducibel is. Dan volgt uit Lemma 2.13 dat er een permutatiematrix Pis zdd. S = PAP−1 te schrijven is als
S =
(∗ ∗0 ∗
),
waarbij de sterretjes matrices zijn met willekeurige reele getallen en de twee matriceslinksboven en rechtsonder kwadratisch zijn. (Deze getallen zitten zelfs in {0, 1}.)Dan geldt ook voor elke k ∈ N dat Sk = PAkP−1 zo te schrijven is:
Sk =
(∗ ∗0 ∗
).
(Nu zijn de sterretjes matrices met willekeurige getallen in Z≥0.) Voor sommigeentries van Ak geldt dus dat ze voor elke k ∈ N gelijk zijn aan nul. (Dit is omdat depermutaties die op Ak toegepast worden voor elke k ∈ N gelijk zijn.) Dit betekentdat er geen k is waarvoor geldt dat er een wandeling van lengte k is tussen de
punten die bij die entries horen. Dus A is irreducibel.
‘⇐=’ Wat we moeten bewijzen is dat A irreducibel =⇒ voor elke i, j ∈ {1, . . . , n} er iseen k ∈ N zdd. (Ak)ji > 0.Deze helft van het bewijs maakt geen deel uit van dit verslag. Dit deel van hetbewijs volgt uit Proposition 1 op pagina 533 van [8].
Dus een graafG is sterk samenhangend ⇐⇒ de verbindingsmatrix A vanG is irreducibel.
Nu kunnen we de langverwachte belangrijke stelling over irreducibiliteit van matricesbewijzen.
Stelling 3.16. Laat A een positieve matrix zijn. Dan geldt dat A irreducibel is d.e.s.d.a.zijn geassocieerde graaf sterk samenhangend is.
Bewijs. Uit de definitie van de verbindingsmatrix volgt dat A irreducibel is d.e.s.d.a. debijbehorende verbindingsmatrix A irreducibel is. Stelling 3.15 zegt dat A irreducibel isd.e.s.d.a. zijn geassocieerde graaf sterk samenhangend is, dus A is irreducibel ⇐⇒ degeassocieerde graaf van A is sterk samenhangend.
Opmerking. Met behulp van deze stelling kan je op een gemakkelijke manier zien ofeen matrix irreducibel is, mits deze matrix niet al te groot is. Zo is de matrix uitVoorbeeld 3.7 niet irreducibel, omdat de geassocieerde graaf (die staat in Voorbeeld 3.3)niet sterk samenhangend is. De matrices A en A uit Voorbeeld 3.9 zijn wel irreducibel,want de geassocieerde graaf is sterk samenhangend.
3.4 Gewogen grafen
Voor Google is het fijn om te weten hoeveel waarde een bepaalde link van de ene sitenaar de andere heeft. Om dit makkelijk in te zien kun je gewogen grafen gebruiken.
27
Definitie 3.17. Een graaf G = (V,E) is een gewogen graaf als er voor elke ei ∈ E eenbijbehorende wi is zdd.
(i) wi > 0,
(ii)∑
j:ej uitgaande lijn van v wj = 1 voor elke v ∈ V met minstens een uitgaande lijn.
De wi’s noemen we de gewichten.
Voorbeeld 3.18 (Gewogen graaf van graad 4). De graaf
1 2
34
12
16
14
34
1
13 1
is een gewogen graaf:
(i) wi > 0 voor elke i ∈ {1, . . . 7}.
(ii) •∑
j:ej uitgaande lijn van 1wj = 12
+ 13
+ 16
= 1.
•∑
j:ej uitgaande lijn van 2wj = 1.
•∑
j:ej uitgaande lijn van 3wj = 14
+ 34
= 1.
•∑
j:ej uitgaande lijn van 4wj = 1.
3.5 Gewogen verbindingsmatrices
Ook tussen gewogen grafen en matrices is een relatie die het rekenen met grafen een stukmakkelijker maakt doordat de computer er met behulp van matrices aan kan rekenen.Deze matrices beginnen al erg op de matrices die Google gebruikt te lijken.
Definitie 3.19. De gewogen verbindingsmatrix Aw = (awij)i,j=1,...,n van een gewogen graafG van graad n is de matrix met
awij =
{wk als ek = (vj, vi) ∈ E,0 als (vj, vi) /∈ E.
Net als de verbindingsmatrix voor ongewogen grafen beschrijft de gewogen verbindings-matrix de gewogen graaf helemaal. Ook de relatie tussen gewogen verbindingsmatricesen gewogen grafen is een-op-een.
Opmerking. De kolomsommen van een gewogen verbindingsmatrix Aw zijn allemaal gelijkaan een of nul. Als de kolomsom gelijk is aan nul, heeft het punt behorend bij die kolomgeen uitgaande lijnen.
28
Voorbeeld 3.20. De gewogen verbindingsmatrix van de graaf uit Voorbeeld 3.18 is
Aw =
0 0 0 112
0 14
013
0 0 016
1 34
0
.
Op een soortgelijke wijze beschrijft een ‘gewone’ kolomstochastische matrix ook een ge-wogen graaf. Stel namelijk dat Aw een kolomstochastische n × n-matrix is. Dan is er,op isomorfie van lijnen na, een unieke gewogen graaf die bij Aw hoort, en deze wordtgedefinieerd door zijn gewogen verbindingsmatrix Aw = Aw, dus door de matrix zelf. Zokun je elke kolomstochastische matrix dus zien als een gewogen verbindingsmatrix.
Definitie 3.21. Deze unieke gewogen graaf noemen we de gewogen geassocieerde graafvan de kolomstochastische matrix Aw.
Voorbeeld 3.22. Neem
Aw =
0 1π
112
2π
012
π−3π
0
.
Dan is de gewogen geassocieerde graaf als volgt:
1 2
3
12
12
1π
2π
π−3π1
29
Hoofdstuk 4
Markovketens
Een andere toepassing van de theorie van positieve matrices (zie Hoofdstuk 2) is Markovke-tens. De kennis die we in dit hoofdstuk behandelen is ook zeer gebruikelijk voor Google.Een Markovketen is genoemd naar de Russische wiskundige Andrej Markov (1856−1922).Een Markovketen beschrijft een systeem dat zich door een aantal toestanden beweegt enstapsgewijs overgangen vertoont van de ene naar de andere toestand. Markovketens wor-den in veel gebieden gebruikt voor het simuleren en analyseren van (computer)modellenvan systemen waarvan de toestand geheel of voor een deel van het toeval afhangt.
4.1 Basisbegrippen
Om te beginnen introduceren we een aantal basisbegrippen.
Definitie 4.1. Een eindig discreet stochastisch proces is een verzameling stochasten{Xt}∞t=0 met een gemeenschappelijke toestandsruimte S = {S1, . . . , Sn}. Hierbij geeftXt de toestand van het proces op tijdstip t.
Een Markovketen heeft de volgende eigenschap.
Definitie 4.2. Een Markovketen is een stochastisch proces dat voldoet aan de Markov-eigenschap:
P(Xt+1 = Sj |Xt = Sit , Xt−1 = Sit−1 , . . . , X0 = Si0) = P(Xt+1 = Sj |Xt = Sit) ∀t = 0, 1, 2, . . . .
Oftewel, de kans dat het proces op tijdstip t+ 1 zich in toestand Sj bevindt, hangt alleenaf van de toestand op tijdstip t.
Opmerking. De notatie P(X|F ) is de kans op een bepaalde gebeurtenis X gegeven dat ereen andere gebeurtenis F plaatsvindt. Dit wordt de voorwaardelijke kans genoemd.
De Markov-eigenschap houdt in dat een proces geheugenloos is. De toekomst gegevenhet heden hangt niet af van het verleden. Dus de toestand van de keten in de toekomsthangt alleen af van de huidige toestand, niet van het verleden.
Voorbeeld 4.3. Surfen op het web is een voorbeeld van een Markovketen waarbij deMarkov-eigenschap de volgende eigenschap is: het surfen naar de volgende website isonafhankelijk van de websites die in het verleden zijn bezocht, dus is alleen afhankelijkvan de huidige website.
30
Definitie 4.4. De overgangsmatrix T = T (t) = (pij(t)) is een vierkante matrix waarbij
pij(t) = P(Xt = Si |Xt−1 = Sj)
de kans is om van toestand Si naar Sj te komen op tijdstip t, zodat
• pij(t) ≥ 0, 1 ≤ i, j ≤ n, t ≥ 0,
•∑n
j=1 pij(t) = 1, 1 ≤ i ≤ n, t ≥ 0.
Opmerking. Uit de definitie volgt dat de matrix T een positieve kolomstochastische matrixis. Ook hebben we in Paragraaf 3.5 gezien dat er bij elke kolomstochastische matrix eenunieke gewogen graaf hoort.
Voorbeeld 4.5. De matrix uit Voorbeeld 3.22 is dus een overgangsmatrix en de graafuit het voorbeeld is een weergave van de bijbehorende Markovketen.
Definitie 4.6. Een Markovketen heet stationair als
pij(t) = pij ∀t = 0, 1, 2, . . . .
Een stationaire Markovketen wordt ook wel een homogene Markovketen genoemd.
Opmerking. Als de Markovketen homogeen is, is de overgangsmatrix T = (pij) een eindigematrix.
Definitie 4.7. Een Markovketen is (ir)reducibel als de overgangsmatrix T een (ir)reducibelematrix is.
Definitie 4.8. Een stochastische vector is een positieve vector x = (x1, . . . , xn)T zodat:∑n
xn = 1.
Opmerking. We kunnen een Markovketen noteren met M = (T, p(0)). Hierbij is T debijbehorende overgangsmatrix en p(0) de initiele kansverdelingsvector.
We hebben nu een aantal definities behandeld. Om de definities iets duidelijker te maken,gaan we nu naar een voorbeeld kijken.
Voorbeeld 4.9. Stel dat de populatie van Atlantis uit 2900 mensen bestaat en stel dater drie steden A, B, en C zijn in Atlantis. Elk jaar zal de gehele populatie van elke stadverhuizen naar de andere steden door zich in twee gelijke delen te verdelen.Laat a(t), b(t) en c(t) de populatiegrootte van A, B, en C na t jaar zijn en neem
p(t) = (a(t), b(t), c(t))T .
Stel dat de beginpopulaties van de stedenA, B en C repectievelijk a(0) = 700, b(0) = 1000en c(0) = 1200 zijn. Wat is de populatie dan over een aantal jaar?De overgangsmatrix is gelijk aan:
T =
0 12
12
12
0 12
12
12
0
en p(0) = (700, 1000, 1200)T .
31
Dan geldt:p(1) = Tp(0) = (1100, 950, 850)T
p(2) = Tp(1) = (900, 975, 1025)T .
Met inductie volgt nu dat:
T k =
pk pk+1 pk+1
pk+1 pk pk+1
pk+1 pk+1 pk
en pk =1
3
(1 +
(−1)k
2k−1
).
Dus
limk→∞
T k =1
3
1 1 11 1 11 1 1
.
Hieruit volgt dat
p = limk→∞
pk = limk→∞
T kp0 =1
3(2900, 2900, 2900)T
de uiteindelijke verdeling van de populatie is.
4.2 Theorie
We hebben een aantal definities behandeld met betrekking tot Markovketens. Nu gaanwe verder met een aantal klassieke theorieen over Markovketens.
Definitie 4.10. Een toestand Si heeft toegang tot een toestand Sj , Si → Sj, alsP{Si → Sj in k stappen voor een k ∈ N} > 0, oftewel als het mogelijk is om in een eindigaantal stappen van Si naar Sj te komen. Als Si → Sj en Sj → Si, dan noemen we Si enSj samenhangend, Si ↔ Sj.
Opmerking. Het is makkelijk na te gaan dat dit een equivalentierelatie definieert.
Definitie 4.11. De klassen van een Markovketen zijn de equivalentieklassen geınduceerddoor de samenhangende relatie op de verzameling S. We zeggen dat een klas α toegangheeft tot een klas β als Si → Sj voor een Si ∈ α en Sj ∈ β. Een klas heet gesloten alshet geen toegang heeft tot een andere klas. Als een geslotenl klas een toestand bevat danheet de toestand absorberend. Een Markovketen heet ergodisch als het bestaat uit eenunieke klas.
Opmerking. Een Markovketen is ergodisch als alle toestanden samenhangend zijn. Dit isequivalent met Definitie 3.12.
Voorbeeld 4.12. Een voorbeeld van een ergodische Markovketen is
T =
(12
12
12
12
),
omdat alle toestanden samenhangend zijn.
Het volgende lemma heeft veel overeenkomsten met een stelling die we al eerder zijntegengekomen in de grafentheorie.
32
Lemma 4.13. Laat T de overgangsmatrix voor een Markovketen M zijn. Dan geldt: Mis ergodisch dan en slechts dan als T irreducibel is.
Bewijs. De Markovketen is ergodisch dan en slechts dan als de bijbehorende graaf sterksamenhangend is. Dus uit Stelling 3.15 volgt dit lemma.
Stelling 4.14. De Markovketen is ergodisch dan en slechts dan als er een unieke statio-naire kansverdelingsvector bestaat.
Bewijs. De overgangsmatrix T is kolomstoschastisch dus r(P ) = 1. We weten uit Lemma4.13 dat een Markovketen ergodisch is dan en slechts dan als T irreducibel is. Dus wewillen bewijzen dat T irreducibel is dan en slechts dan als er een unieke vector x � 0bestaat zodat Tx = x en
∑xj = 1.
‘⇐=’ We nemen aan dat er een unieke vector x� 0 bestaat zodat Tx = x en∑xj = 1.
Stel dat T reducibel is. Dan mogen we zonder verlies van algemeenheid aannemendat er een permutatiematrix T is zodat S = PTP−1 van de vorm(
A C0 B
)is. Als T kolomstoschastisch is, dan is de matrix S ook kolomstochastisch. Ditbetekent dat A ook kolomstochastisch is, dus dat r(A) = 1. Dus volgens Stelling 2.5bestaat er een y > 0 zodat Ay = y. Dit impliceert dat x = (y, 0, . . . 0)T eeneigenvector van P is waarvoor geldt dat Tx = x. Dit is in tegenspraak met deaanname dat de unieke eigenvector strikt positief moet zijn. Dus P is irreducibel.
‘=⇒’ Dit hebben we bewezen in Stelling 2.14.
We willen nog een belangrijke stelling bewijzen. Hiervoor hebben we nog een definitienodig.
Definitie 4.15. Een Markovketen heet regular als ∃k ∈ N zodat
P{Sj → Sj in k stappen } > 0, ∀i, j.
Opmerking. Elke regular Markovketen is ergodisch, maar niet elke ergodische Markovke-ten is regular.
Voorbeeld 4.16. Laat
T =
(0 11 0
).
Deze matrix is ergodisch, maar niet regular.
In Hoofdstuk 2 over positieve matrices hebben we de definities van irreducibele matricesen dominante eigenwaarden behandeld. Die zullen nu in de volgende stelling van paskomen.
Stelling 4.17. Markovketen is regular dan en slechts dan als T irreducibel is en 1 eendominante eigenwaarde is van T .
33
Bewijs. ‘⇐=’ We weten dat T irreducibel, kolomstochastisch en positief is met 1 alsdominante eigenwaarde. Ook weten we dat
T k → P � 0.
Dus ∃k0 zodanig dat T k0 → P � 0. Dit impliceert dat de Markovketen regular is.
‘=⇒’ Stel dat de Markovketen regular is. Dan volgt uit Definitie 4.15:
P{Sj → Sj in k stappen } > 0, ∀i, j.
Stel dat T reducibel is. Dan is er een permutatiematrix P zodat S = PTP−1 vande vorm (
A C0 B
)is. Ook geldt dat:
Sn =
(An ∗0 Bn
).
Dit is in tegenspraak met de aanname dat de Markovketen regular is. Nu willenwe nog aantonen dat 1 een dominante eigenwaarde is van T . We weten dat Tkolomstochastisch is, dus r(T ) = 1. Ook weten we dat T k0 � 0. Neem aan dat∃λ ∈ σ(T ) met |λ| = 1. Dan moeten we laten zien dat λ = 1. Voor k0 geldt datλk0 = 1. Maar als T k0 � 0, dan ook T k0+1 � 0. Dus λk0+1 = 1. Dit impliceert dat
1 =λk0+1
λk0= λ.
Hieruit volgt dat 1 een dominante eigenwaarde is.
34
Hoofdstuk 5
Google PageRank
Google onderscheidt zich van andere zoekmachines doordat de zoekresultaten wordengesorteerd zodanig dat de relevante webpagina’s als eerste worden gezien. Bij het bedrijfGoogle Inc. werken nu 19.385 mensen voltijd. Het hoofdkantoor is gevestigd in MountainView in Californie. Sinds 19 augustus 2004 is het bedrijf beursgenoteerd. Het bedrijf isuitgegroeid tot een van de grootste bedrijven in de ICT-industrie en het nam verschillendebedrijven over, zoals YouTube en DoubleClick.
5.1 Geschiedenis
Figuur 5.1: Lawrence E.Page, geboren op 26 maart1973
Het bedrijf Google Inc. is een bedrijf dat startte met eenzoekmachine op internet voor site’s op het World Wide Web.In 1998 is deze zoekmachine door Larry Page en Sergey Brinopgericht. De naam ‘Google’ komt van het woord “googol”,dit is een term voor 10100. De term geeft het doel aan van dezoekmachine om alle informatie van de wereld toegankelijken nuttig te maken. Eigenlijk zou het bedrijf “Googol”heten,maar door een fout van een van de oprichters werd hetGoogle. Het bedrijf maakt gebruik van een netwerk vanzeer veel relatief goedkope computers. Googles server be-staat naar schatting uit meer dan 450.000 systemen die zijnopgebouwd uit standaard hardwaredocumenten.
5.1.1 Lawrence E. Page
Lawrence E. Page, beter bekend als Larry Page, is op 26maart 1973 geboren in Michigan. Larry Page heeft gestu-deerd aan de Universiteit van Michigan, hier heeft hij zijnbachelor behaald. Zijn mastertitel heeft hij behaald aan deStanford University in computerbouwkunde. Hier ontmoettehij Sergey Brin. Vervolgens is hij in Stanford begonnen alspromovendus. Tijdens zijn promotie ontwikkelde hij samenmet Sergey Brin de Google zoekmachine. Tot 2001 was Larry Page mede-directeur vanGoogle. Vanaf 4 april 2011 werkt hij als Chief Executive Officer bij Google Inc..
35
5.1.2 Sergey Brin
Figuur 5.2: Sergej Mi-chailovitsj Brin, geborenop 21 augustus 1973
Sergej Michailovitsj Brin is op 21 augustus 1973 geboren inMoskou. In 1979 is hij samen met zijn familie geemigreerdnaar de Verenigde Staten om te ontsnappen aan de Joden-vervolging. Hij is een van de oprichters van Google Inc.. Ser-gey heeft zijn bachelor in wiskunde en computerwetenschap-pen aan de Universiteit van Maryland behaald. Vervolgenshaalde hij zijn mastertitel aan de Stanford University. Daarontmoette hij in 1995 Larry Page met wie hij de technologieachter de zoekmachine ontwierp. Vanwege zijn werkzaamhe-den bij Google Inc. ligt zijn promotie stil.
Larry Page en Sergey Brin hebben elkaar ontmoetop Stanford University. Stanford University heeft het patentop PageRank terwijl de naam een handelsmerk van Googleis.
5.2 Basisidee
Het idee is dat het internet zelf beslist hoe belangrijk een pagina is, dit wordt bepaaldmet behulp van een bepaalde waarde. De basis van de Google zoekmachine is een algo-ritme met de naam PageRank. De waarde van een pagina wordt bepaald door het aantalkeer dat er naar gelinkt wordt vanaf andere webpagina’s. Google analyseert de paginawaar de link vandaan komt. PageRank wordt gebruikt om de zoekresultaten van eenzoekopdracht te rangschikken. Elke zoekopdracht doorzoekt in minder dan een secondeeen index die is opgebouwd uit bijna 10 miljard webpagina’s (stand in juli 2007). Om tebepalen welke pagina het eerst in de resultatenlijst verschijnt wordt er gekeken naar hoevaak er een pagina gelinkt wordt, vanaf welke pagina’s en met welke tekst. Google heeftin totaal ongeveer 200 algoritmes om te bepalen welke website het eerst in de resulta-tenlijst verschijnt. Van ongeveer 150 algoritmes is de werking van het algoritme bekend.Veel gebruikers van Google willen natuurlijk hoog in de resultatenlijst komen, daaromworden er methoden gebruikt om de waarde van een website in Google te verhogen, bij-voorbeeld door het maken van webpagina’s die alleen dienen om naar andere webpagina’ste verwijzen zodat deze een hogere rang krijgen. We kunnen niet exact uitleggen hoe deplaats van een website in de resultatenlijst wordt bepaald. Het algoritme van Googlewordt namelijk door de uitvinders geheimgehouden.
5.2.1 Eerste poging om het PageRank algoritme te bepalen
Stel het web bevat d webpagina’s W1, . . . ,Wd. De waarde die wordt gegeven aan web-pagina Wk definieren we met xk en is positief. Als xk > xj, zeggen we dat pagina Wk
belangrijker is dan pagina Wj. Een simpele manier om de waarde van een pagina te be-palen is om xk gelijk te stellen aan het aantal backlinks van webpagina Wk. De backlinksvan een webpagina zijn de links naar die gegeven webpagina.
36
Voorbeeld 5.1. Beschouw een web met webpagina’s W1 = 1,W2 = 2,W3 = 3 en W4 = 4.
Figuur 5.3: Voorbeeld van een web met 4 webpagina’s. De pijl van i naar j geeft aan dater een link bestaat van pagina i naar j, met i, j ∈ {1, 2, 3, 4}
Dan zien we dat de waarden van deze pagina’s gelijk zijn aan x1 = 0, x2 = 3, x3 = 1 enx4 = 1. De score van pagina W3 en W4 zijn gelijk, maar W3 wordt gelinkt door W1 enW4 door W2, waarbij W2 belangrijker is dan W3.
Opmerking. In Paragraaf 3.1 en Paragraaf 3.2 hebben we de onderwerpen gerichte grafenen de relatie tussen matrices en grafen behandeld. Het web in Voorbeeld 5.1 kunnen wezien als een gerichte graaf van graad 4 met verbindingsmatrix
A =
0 0 1 01 0 1 11 0 0 00 1 1 0
.
We willen dat een website belangrijk is als de website gelinkt wordt door andere belang-rijke pagina’s. In Voorbeeld 5.1 zien we dat twee websites dezelfde waarde krijgen, terwijlde webpagina’s gelinkt worden door webpagina’s met een verschillende waarde. Om ditte voorkomen moeten we dus ook rekening houden met waar de links vandaan komen.Stel dat de waarde van een webpagina Wk voldoet aan
xk =∑j∈Lk
xj,
waarbij Lk ⊂ {1, 2, . . . , n} de verzameling backlinks van webpagina Wk is. Nu zijn dewaarden van de webpagina’s met een link naar Wk verwerkt in de formule. Maar opdeze manier kunnen webpagina’s de waarde van hun website heel makkelijk manipuleren,namelijk door af te spreken om heel vaak naar elkaar te linken. Daarom hebben SergeyBrin en Larry Page een ander manier bedacht om een waarde te geven aan een webpagina.
5.2.2 De originele formule voor PageRank
Om te beginnen, berekenen we de waarde van webpagina Wj door de som te nemen vanalle waarden van alle webpagina’s die een link hebben naar webpagina Wj. Als pagina Wj,nj links bevat waarvan er een linkt naar pagina Wk, geven we Wk de waarde
∑j∈Lk
xjnj
.
We definieren:xk =
∑j∈Lk
xjnj, (5.1)
met nj het aantal uitgaande links van site Wj. Deze reeks wordt gebruikt bij het Googlealgoritme.
37
Voorbeeld 5.2. We beschouwen een web met webpagina’s W1 = 1, . . . ,W6 = 6.
Hieruit volgt dat het aantal uitgaande links n1, . . . , n6 gelijk is aan n1 =, n2 = 1, n3 = 2,n4 = 3, n5 = 1 en n6 = 0.De backlinks van de webpagina’s zijn L1 = ∅, L2 = {1, 3, 4}, L3 = {1}, L4 = {2},L5 = {3, 4} en L6 = {4, 5}. Met vergelijking (5.1) volgt dat de waarden x1, . . . x6 gelijkzijn aan:
i) x1 = 0,
ii) x3 = x1n1
= x12
,
iii) x2 = x1n1
+ x3n3
+ x4n4
= x12
+ x32
+ x43
,
iv) x4 = x2n2
= x21
= x2,
v) x5 = x3n3
+ x4n4
= x32
+ x43
,
vi) x6 = x4n4
+ x5n5
= x43
+ x51
.
Deze lineaire vergelijkingen zijn te schrijven als Ax = x, met x = (x1, x2, x3, x4, x5, x6)T
en
A =
0 0 0 0 0 012
0 12
13
0 012
0 0 0 0 0
0 1 0 0 0 0
0 0 12
13
0 0
0 0 0 13
1 0
. (5.2)
De matrix A die geconstrueerd wordt met dit principe wordt de linkmatrix genoemd.
We gaan de linkmatrix formeel definieren, met behulp van de volgende definitie.
Definitie 5.3. De linkmatrix A = (aij) definieren we als:
aij =
{1nj
als j ∈ Li0 anders.
Opmerking. Om terug te komen op het hoofdstuk over grafen 3, kunnen we de linkmatrixA ook zien als een gewogen verbindingsmatrix 3.19. We kunnen bij Voorbeeld 5.2 eengewogen graaf tekenen, zoals we al eerder hebben gezien in Paragraaf 3.4.
38
1 5
62
3
4
12
12
112
12
1
13
13
13
Dit is een gewogen graaf van graad 6.
We willen de vergelijking Ax = x oplossen. We zoeken dus naar een stochastische eigen-vector x 6= 0 met eigenwaarde λ = 1 en we willen ook dat x uniek is op vermenigvuldigingmet een constante na, zodat het altijd duideljk is welk van de twee pagina’s belangrijkeris. Bovendien willen we een algoritme vinden om deze unieke eigenvector x te vinden.Deze vector wordt de ranking vector genoemd.
5.3 Google algoritme
Het algoritme dat wordt toegepast is het volgende:Stel x0 is een stochastische vector, dan definieren we:x1 := Ax0,x2 := Ax1 = A2x0,...xn = Axn−1 = Anx0, enzovoorts.Op deze manier krijgen we een rij {xn}∞n=1.
Opmerking. Als xn convergeert naar x, geldt Ax = x, omdat
limn→∞
xn = limn→∞
Axn−1 = Ax.
We willen dat {xn} convergeert voor alle x0, dit is equivalent met het convergeren vanAn naar een P 6= 0, omdat xn = Anx0. Bovendien willen we dat elke kolom van Pgelijk is aan de unieke stochastische eigenvector. Echter kunnen er een aantal problemenvoorkomen met onze matrix A:
i) de machten Ak convergeren niet. Stel namelijk dat
A =
(0 11 0
),
oftewel we hebben twee webpagina’s W1 en W2 die naar elkaar linken. Dan conver-geert Ak niet;
ii) het probleem Ax = x heeft alleen een triviale oplossing;
iii) de eigenvector van A behorend bij λ = 1 is niet uniek op vermenigvuldiging met eenconstante na. Bekijk de matrix
A =
(1 00 1
),
39
de eigenvector behorend bij λ = 1 is niet uniek.
Om dit soort problemen te voorkomen, willen we A veranderen in een matrix G, diezoveel mogelijk informatie uit A bevat zodat:
• G kolom stochastisch en irreducibel is,
• dim(Ker(I −G)) = 1,
• Gn → P 6= 0, waarbij alle kolommen van P gelijk zijn.
In de volgende paragraaf zullen we laten zien hoe we A transformeren in een matrix Gzodat deze matrix aan alle eigenschappen voldoet.
5.4 Dangling nodes; transformatie naar de Google-
matrix
Een dangling node is een webpagina die naar geen enkele andere webpagina verwijst. Alser webpagina’s zijn die geen uitgaande links hebben, zien we dat de linkmatrix uit eenkolom met nullen bestaat. In Voorbeeld 5.2 zien we dat webpagina 6 geen uitgaande linksheeft, dit geeft een kolom met nullen in de linkmatrix A. Een web met dangling nodesgeeft een matrix A die uit een of meer kolommen bestaat met allemaal nullen. Hieruitvolgt dat A kolom-deelstochastisch is.
Voorbeeld 5.4. Laat
A =
(0 1
3
0 23
).
Dit is een kolom-deelstochastische matrix met eigenwaarden σ(A) = {0, 23}. Dus A is
kolom-deelstochastisch, maar 1 is geen eigenwaarde.
Om het probleem van dangling nodes op te lossen vervangen we de kolommen als volgt:00...0
1n1n
...1n
waarbij n gelijk is aan het aantal webpagina’s in het web. Dit betekent dat als eenwebpagina geen uitgaande links heeft, we het zo construeren dat die webpagina linktnaar alle webpagina’s. De nieuwe matrix duiden we aan met S.
Voorbeeld 5.5. Stel we hebben de matrix A gelijk aan (5.2). Dan wordt de matrix Szonder dangling nodes gelijk aan
0 0 0 0 0 16
12
0 12
13
0 16
12
0 0 0 0 16
0 1 0 0 0 16
0 0 12
13
0 16
0 0 0 13
1 16
,
waarbij het aantal websites, d, in Voorbeeld 5.2 gelijk is aan 6.
40
Opmerking. De matrix S is kolomstochastisch en kan dus worden vergeleken met deovergangsmatrix voor een Markovketen. De webpagina’s kunnen we interpreteren alstoestanden en de coordinaten Sij met de overgangskans om van toestand Wj naar Wi tekomen.
Deze matrix geeft ons nog geen garantie dat de unieke positieve vector x 6= 0 bestaat endat het algoritme convergeert, omdat S nog entries heeft die gelijk zijn aan 0. Dus wemoeten nog een andere aanpassing uitvoeren.Laat
D :=
1n
. . . 1n
......
1n
. . . 1n
.
We vervangen de matrix A nu door de matrix:
G := αS + (1− α)D met α ∈ (0, 1).
De matrix G is een gemiddelde van de matrices D en S en wordt ook wel de Googlematrixgenoemd. Als α te klein is, dan zal er informatie verloren gaan en als α te groot is danzal de matrix Gn te langzaam convergeren. De waarde α wordt door Google gebruikt enheeft ongeveer de waarde 0, 85. Deze waarde blijkt effectief en efficient te zijn. Oftewelals G een positieve matrix is, dan convergeert Gn naar P , waarbij P stochastisch is en allekolommen gelijk zijn aan de ranking vector x, zoals we in de volgende paragraaf zullenzien.
5.5 Eigenschappen van de Google matrix
De matrix G� 0 is kolomstochastisch, want G is een combinatie van een kolomstochas-tische matrix S en een kolomstochastische matrix D. Ook geldt dat de Googlematrixpositief en irreducibel is. Om te laten zien dat de machtreeks convergeert naar een ma-trix P die bestaat uit kolommen die gelijk zijn aan de ranking vector hebben we nog eenstelling nodig.
Stelling 5.6. Stel G is een strikt positieve, irreducibele matrix met r(G) = 1. Dan geldt
limk→∞
Gk = P,
waarbij alle kolommen van P gelijk zijn aan de unieke stochastische strikt positieve ei-genvector van G behorend bij eigenwaarde 1.
Bewijs. We weten dat G kolomstochastisch is, dus r(G) = 1. Uit Stelling 2.14 volgt datKer(I − G) eendimensionaal is en opgespannen wordt door een strikt positieve stochas-tische vector z = (z1, . . . , zd)
T . Bovendien is het Jordanblok behorend bij eigenwaarde1 in de Jordan-normaalvorm van dimensie 1. Ook is G � 0 en heeft dus ook een striktpositieve diagonaal, dus uit Stelling 2.9 volgt dat 1 een dominante eigenwaarde is. UitStelling 1.16 volgt nu dat de machtreeks Gn convergeert naar een P en uit Lemma 1.21volgt ook dat Gn kolomstochastisch is. Dus P is ook kolomstochastisch. Bovendien heb-ben we in Paragraaf 5.3 gezien dat elke kolom van P een eigenvector is behorend bijeigenwaarde 1. Deze eigenvector is stochastisch dus moet hij gelijk zijn aan (z1, . . . , zd)
T ,de unieke stochastische eigenvector.
41
Met behulp van deze stelling en met behulp van het algoritme in Paragraaf 5.3 kunnenwe concluderen dat
limn→∞
Gnx0 = Px0,
waarbij elke kolom van P gelijk is aan de ranking vector die we zoeken. Google berekentGnx0 net zolang totdat er een bepaald aantal decimalen achter de komma niet meerverandert. De precieze waarde van de eigenvector x is niet belangrijk, maar de manierwaarop de webpagina’s worden gerangschikt is wel belangrijk. Nu hebben we de uniekeeigenvector (de ranking vector) gevonden en hebben we ons doel bereikt.
42
Populaire samenvatting
Per dag gebruiken miljoenen internetgebruikers de zoekmachine Google. Google is veruitde meest geliefde zoekmachine die er is. Wat maakt Google nou zo speciaal? Dat is devraag achter dit project. Als we de Google zoekmachine willen gebruiken naar het zoekenvan een bepaalde website, willen we dat de voor ons relevante website bovenaan komtte staan in de resultatenlijst. Het basisidee is dat elke site een waarde krijgt die alleenafhangt van de waarde van de andere sites. Deze waarden worden bepaald met behulpvan de links van de ene site naar de andere. Als er een link is van site W1 naar site W2,hangt de waarde x1 van W1, af van de waarde x2 van W2. Hoe groter de waarde van depagina, hoe belangrijker die website is.
Google wordt bekeken vanuit verschillende takken van de wiskunde. Ten eerstevanuit de matrixtheorie. Je kunt de vector met waarden van de sites uitdrukken meteen matrix. Dit kan omdat de waarden alleen afhangen van elkaar, waardoor je eenstelsel lineaire vergelijkingen krijgt. Een lineaire vergelijking is een vergelijking zonderkwadraten of hogere machten. Dit betekent dat x1 = 1
2x2+x3 wel een lineaire vergelijking
is, maar x1 = 12x2 + x23 niet. Als je meerdere lineaire vergelijkingen hebt met dezelfde
variabelen, noemen we al deze vergelijkingen samen een stelsel lineaire vergelijkingen.De vector die Google zoekt is dan de vector x waarvoor geldt dat Ax = x, waarbij Aeen vierkante kolom-deelstochastische matrix is. Deze vector is uniek en geeft de waardevan alle pagina’s aan. De waarden van deze vector geven aan welke websites belangrijkerzijn dan andere websites. De matrix A is kolom-deelstochastisch, dit betekent dat allewaarden van A positief zijn, dat wil zeggen groter dan of gelijk aan 0 zijn, en dat voorelke kolom (van boven naar beneden) van A geldt dat de som van alle getallen in diekolom kleiner dan of gelijk is aan 1. In dit geval is het zelfs zo dat de som gelijk is aan 1of dat alle getallen van die kolom gelijk zijn aan 0. Een stelling die erg belangrijk is voorhet feit dat deze vector x bestaat en uniek is, is de stelling van Perron.
Stelling 5.7 (Perron). Laat T een positieve matrix zijn. Dan is r(T ) een eigenwaardevan T met een positieve eigenvector. In het bijzonder geldt dat r(T ) de grootste positieveeigenwaarde van T is.
Opmerking. Er staan wat termen in deze stelling die nog onbekend kunnen zijn voor delezer. We leggen ze even uit:
• Een positieve matrix is een matrix waarvan alle waarden positief zijn.
• Een eigenwaarde van een matrix T is een complex getal λ waarvoor er een vectorx 6= 0 is zodat Tx = λx.
• Een eigenvector behorend bij een eigenwaarde λ is een vector x 6= 0 waarvoor geldtdat Tx = λx.
43
• De waarde r(T ) is de spectrale straal van een matrix T en die is gelijk aan r(T ) = max1≤i≤m |λi|,waarbij λi de eigenwaarden van T zijn. Dit is altijd een positief getal.
Verder wordt Google bekeken vanuit de grafentheorie. Je kunt alle sites samen namelijkzien als een enorme gerichte graaf. Een gerichte graaf is een verzameling punten en pijlen,waarbij alle pijlen van een punt naar een ander punt wijzen.
Voorbeeld 5.8. Een voorbeeld van een gerichte graaf is het volgende plaatje:
1 2
34
De sites zijn dan de punten van de graaf en de links zijn de pijlen. Dus in het voorbeeldheeft site 1 een link naar site 2 en 3, site 3 een link naar site 2 en 4, en site 4 een linknaar site 2. Het stelsel lineaire vergelijkingen ziet er dan als volgt uit:
x1 = 0 x2 = 12x1 + 1
2x3 + x4.
x3 = 12x1 x4 = 1
2x3.
Nu kunnen we de matrix A opschrijven:
A =
0 0 0 012
0 12
112
0 0 0
0 0 12
0
.
We willen dat de matrix kolomstochastisch is, dat wil zeggen dat de som van iedere kolomgelijk is aan 1. Het is daarom niet fijn als er een kolom is waarvan de som niet gelijk is aan1. Daarom vervormt Google de matrix A. Als een webpagina zelf geen uitgaande linksheeft, dan ontstaat er een kolom met allemaal nullen. Om dit probleem te voorkomengeven we de webpagina zelf een waarde. Eerst veranderen we van alle kolommen diehelemaal gelijk zijn aan 0, dit doen we door in die kolommen alle getallen te veranderenin 1
n, waarbij n het aantal sites is. (Dat is dus de grootte van de matrix.)
00...0
1n1n
...1n
De nieuwe matrix die we op deze manier krijgen noemen ze S. Met behulp van deze Skrijgen ze uiteindelijk de Google-matrix G = αS + (1 − α)D. Hierbij geldt α ∈ (0, 1)en D is de n × n-matrix met alle waarden gelijk aan 1
n. We weten niet wat α precies
is, Google houdt dat geheim. Wel weten we dat α ongeveer gelijk is aan 0, 85. Door
44
de transformaties van A, weten we nu dat G irreducibel, positief en kolomstochastischis met dim(Ker(I − G)) = 1. Nu kunnen we een sterkere variant van de stelling vanPerron gebruiken en dan zien we dat de ranking vector als de unieke positieve eigenvectorwaarvan de som van de entries van de vector gelijk is aan 1 ten opzichte van de matrixG.
Stelling 5.9. Stel G is een strikt positieve, irreducibele matrix met r(G) = 1. Dan geldt
limk→∞
Gk = P,
waarbij alle kolommen van P gelijk zijn aan de unieke stochastische strikt positieveeigenvector van G behorend bij eigenwaarde 1.
Met behulp van deze stelling hebben we de unieke stochastische strikt positieve eigen-vector van G, de ranking vector, gevonden en weten we de waarden van de webpagina’s.Oftewel we weten welke pagina belangrijker is dan de andere pagina. Op deze manierkan de Google zoekmachine de juiste volgorde bepalen in de resultatenlijst.
45
Bibliografie
[1] Andras Batkai, Rainer Nagel en Ulf Schlotterbeck, An invitation to positive matrices,22 juni 2006.
[2] David C. Lay, Linear Algebra and Its Applications, derde editie, Pearson.
[3] Kurt Bryan en Tanya Leise, The $25,000,000,000 Eigenvector: The linear algebrabehind Google, SIAM Review, 3, 569–581, 2006.
[4] Abraham Berman en Robert J. Plemmons, Nonnegative Matrices in the mathematicalsciences, Academic Press, 1979.
[5] E. Seneta, Non-negative Matrices and Markov Chains, Springer-Verlag, 1973.
[6] Amy N. Langville en Carl D. Meyer, Google’s PageRank and Beyond: The Science ofSearch Engine Rankings, Princeton University Press, 2006.
[7] David A. Vise en Mark Malseed, The Google Story, Delacorte Press, 2005.
[8] Peter Lancaster en Miron Tismenetsky, The Theory of Matrices, tweede editie, Aca-demic Press, 1985.
[9] http://en.wikipedia.org
[10] http://nl.wikipedia.org/wiki/Google
46
