Twee technieken voor het oplossen van een stelsel niet-lineaire vergelijkingenCitation for published version (APA):Baaijens, F. P. T., & Brekelmans, W. A. M. (1985). Twee technieken voor het oplossen van een stelsel niet-lineaire vergelijkingen. (EUT report. WFW, vakgr. Fundamentele Werktuigbouwkunde; Vol. WFW-85.042).Technische Hogeschool Eindhoven.

Document status and date:Published: 01/01/1985

Document Version:Publisher’s PDF, also known as Version of Record (includes final page, issue and volume numbers)

Please check the document version of this publication:

• A submitted manuscript is the version of the article upon submission and before peer-review. There can beimportant differences between the submitted version and the official published version of record. Peopleinterested in the research are advised to contact the author for the final version of the publication, or visit theDOI to the publisher's website.• The final author version and the galley proof are versions of the publication after peer review.• The final published version features the final layout of the paper including the volume, issue and pagenumbers.Link to publication

General rightsCopyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright ownersand it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.

• Users may download and print one copy of any publication from the public portal for the purpose of private study or research. • You may not further distribute the material or use it for any profit-making activity or commercial gain • You may freely distribute the URL identifying the publication in the public portal.

If the publication is distributed under the terms of Article 25fa of the Dutch Copyright Act, indicated by the “Taverne” license above, pleasefollow below link for the End User Agreement:www.tue.nl/taverne

Take down policyIf you believe that this document breaches copyright please contact us at:openaccess@tue.nlproviding details and we will investigate your claim.

Download date: 29. Mar. 2021

https://research.tue.nl/en/publications/twee-technieken-voor-het-oplossen-van-een-stelsel-nietlineaire-vergelijkingen(dfcb388b-f209-4b13-b119-40469af66ec2).html

Twee technieken voor het oplos-

sen van een stelsel niet-lineaire

vergelijkingen.

Frank Baaijens. Marcel Brekelmans.

Aug. 1985.

WFW 85.042.

rep. WFW 85.042

ABSTRACT

Two solution procedures for a set of

non-linear equations

by F.P.T. Baaijens

W.A.M. Brekelmans

Two iterative procedures for the solution of a set of non-linear

normal equations are discussed. Both methods are based on the

successive determination and evaluation of improved estimate

solutions.

TIle Newton methods or modifications of them are first considered,

including the merits and limitations. For a number of non-linear

problems the quasi-Newton methods do clearly have advantages. The

fundamentals of these methods are explained and from a general frame

specific choices for updating formulas, the Huang-class and the

Broyden-class, are made. A special case of the latter results in the

well-known BFGS-method. Attention is paid to the numerical application

of this method.

O. Inleiding.

-2-

Twee technieken voor het oplossen van

een stelael niet-lineaire vergelijkingen.

In dit rapport bespreken we een tweetal iteratieve technieken waarmee

een oplossing van een stelsel niet-lineaire vergelijkingen van de vorm

f:DcRn~Rn; f(x)=O (0,1) ~ -v... ...

*' kan worden gevonden. Laat x een oplossing en ~k een schatting VOOI die oplossing aan het begin van de k-de iteratie zijn Seide technieken doen

een uitspraak over hoe bij een gegeven schatting ~k een richting bepaald kan *'. . . worden waarlangs mogelijk een betere schatting voor x te v1nden lS. Die

nieuwe schatting is te schrijven als

(0.2)

waarbij a k een stapgrootteparameter en ~k de zoekrichting is. Naast de ma-

nier waarop ~k te bepalen is willen we criteria formuleren op basis waarvan

we een uitspraak kunnen doen over de kwaliteit van ~k en over de grootte van

Ilk' Dit blijkt aIleen onder bepaalde omstandigheden mogelijk te zijn, Deze

omstandigheden hangen nauw samen met het a1 dan niet mogelijk zijn om de

kolom f(x) op te vatten als de gradi~nt kolom van een scalaire functie. De

mogelijkheden daartoe worden voor een belangrijk deel bepaald door een

stelling uit de minimaliseringstheorie.

Naast de klassieke Newton methoden bespreken we de BFGS methode die de

laatste jaren steeds veelvuldiger wordt toegepast bij het oplossen van stel-

sels niet-l.ineaire vergelijkingen. De belangrijkste redenen hiervoor zijn

dat deze techniek een groter convergentiedomein heeft dan de Newton methoden

(d.w.z. zij levert 'betere' zoekrichtingen af) en dat zij vaak aanz,ienlijk

-3-

effici~nter is. V~~r een goed begrip van de BFGS methode is het noodzake-

lijk een aantal teehnieken uit de minimaliseringstheorie te bespreken.

1. Stelling.

Onder bepaalde voorwaarden kan het oplossen van f(x)=O gezien worden a1s het

minimaliseren van een object funetie F(x). Een belangrijke situatie waarin '"

dit mogelijk is wordt besehreven door de volgende stelling (Orthega en

Rheinbolt (1910»

laat f:D C Rn"Rn met D een open convex gebied. Veronderstel dat f (x)

tenminste tweemaal continu diffentieerbaar is op D. Dan en sleehts dan

als VfT symmetrisch is voor aUe xeD, is f(x) gelijk aan de gradi~nt .... kolom g(x) . van een funetie F(x), waarbij f(x)=g(-x)=O een stationair

'" .. punt van F(x) beschrijft . ..

Veronderstel dat f voldoet aan de voorwaarden van deze stelling, dan

kan op basis van die stelling de funetie Fex) in het algemeen niet bepaald

worden. Dit is geen bezwaar omdat de in dit rapport te bespreken technieken

geen gebruik makenvan de funetie F(x) . .. In het algemeen za1 g(x)=O geen eenduidige oplossing hebben, noeh zal

de oplossing altijd een minimum van F beschdjven. Of een oplossing, zeg

een loeaal minimum van F vastlegt kan worden geeontroleerd met behulp * x , ... van de Hessiaan van F: G., deze moet, als G. regulier is, in een minimum positief definiet zijn

T * y Q(x )y>O (1. 1 )

Vaak voldoet een stelsel vergelijkingen niet aan de eisen van de

stelling. In dat geval kan het oplossen van f(x)=O toeh worden geformuleerd .. als een minimaliseringsprobleem door de funetie

-4-

(1.2)

te beschouwen. Eenvoudig kan worden nagegaan dat de globale minima van F(x)

samenvallen met de oplossingen van f(x)=O. Het probleem is echter dat er

locale minimaliseerders van F(x) bestaan die geen oplossing zijn van f(x)=O. ~ ~

Bovendien is het berekenen van de Hessiaan van F vaak uitermate

gecompliceerd omdat daarin tweede orde afgeleiden van f een rol spelen.

Deze problemen maken het onaantrekkelijk om het minimaliseren van F als al-

ternatief te gebruiken voor het oplossen van f(x)=O. ~

2. Minimaliseringstechnieken.

Het doel van dit hoofdstuk is de introductie van een tweetal iteratieve

technieken waarmee de positie van een Iocaal minimum (een minimaliseerder)

kan worden bepaald: de Newton method en en de BFGS methode. Deze laatste

methode val t binnen de klasse van de quasi -Newton' methoden, ook weI

variabele met.rische methoden genoemd.

Dit hoofdstuk is als voigt opgebouwd. Ais eerste worden een viertal

begrippen getntroduceerd die bij de toepassing van beide methoden een

belangrijke rol spelen: de dal.i.ngseigenschap en daarmee gekoppeld de

dalingsrichting, het lijnzoeken en de quadratische beeindiging. Daarna wor-

den de werking en de voor en nadelen van de Newton methode besproken. De

beperkingen van de Newton methode zijn aanleiding geweest andere mini-

maliseringstechnieken toe te passen. Een belangrijke klasse van

alternatieven wordt gevormd door de quasi-Newton methoden waarvan we in dit

rapport de BFGS methode bespreken.

Kenmerkend voor beide klassen van methoden is dat zij bij een gegeven

schatting van de minimaliseerder ~k een zoekrichting ~k bepalen waarmee een

nieuwe schatting van de minimaliseerder voIgt uit

.( 2. 1 )

-5-

daarbij treedt de constante ok op als stapgrootteparameter.

2.1 Palinqseiqenschap.

Bij voorkeur cre~ren we een rij van schattingen {~k} z.d.d.

(2.2)

pit wordt de dalingseigenschap genoemd. Een kolom ~k wordt een dalingsrich-

ting genoemd indien voor voldoende kleine uk>O ~k+1=~k+ok~k voldoet aan de

dalingseigenschap (2.2). Laat 0k~' dan voIgt uit de Taylorreeks ontwikkel-

ing van F(~k+1) rond ~k

(2.3)

dat bij 0k>O de kolom ~k een dalingsrichting is indien

(2.4)

Indien ~k=~ en ~k de functie F niet minimaliseert moeten hogere orde af-

geleiden van F bestudeerd worden, hierop gaan we niet in.

2.2 Lijnzoeken.

Als ~k een dalingsrichting is zal niet voor iedere 0k>O voldaan worden

aan de dalingseigenschap. Pit kan wel worden bewerkstelIigd door ok zodanig

te kiezen d!t F minimaal is lan~s ~k'. Laat deze waarde van ok aangegeven

worden door ok' dan moet voor Qk=ak gelden

(2.5)

-6-

* Het zoeken van ak noemt men exact lijnzoeken. Uitwerken van (2.5) levert * dat voor ak=ak moet gelden

T ~k+1~k=O (2.6)

In de praktijk wordt exact lijnzoeken zelden toegepast, meestal wordt ak zodanig gekozen dat

T T I ~k+1 ~k I (qll ~k~k I (2.7)

waarbij qlE;(O,1). Relatie (2.7) eist dat de helling van de kromme F(~k+ak~k)

in het punt ~k+1 voldoende moet zijn gedaald t.o.V. de helling in het punt

~k' zie figuur 2.1.

F

T T I ~k+1 ~k I (!pI ~k~k I

Figuur 2.1 Niet exact lijnzoeken.

2.3 Quadratische be~indiginq.

Indien tijdens een iteratief pruces een quadratische functie in een

eindig aantal stappen exact wOldt geminimaliseerd, dan noemen we dit quad-

ratische beMndiging. Dat een algoritme deze eigenschap heeft is van belang

omdat een te minimaliseren functie zich in de buurt van een locaal minimum

-7-

bij benadering quadratisch gedraagt. Dit is eenvoudig in te zien door de

Taylorreeks ontwikkeling na de quadratische term af te breken.

2.4 Newton methoden.

De Newton methoden bereiken quadratische be~indiging in een iteratie.

We maken onderscheid tussen de Newton methode (ook wel de full Newton-

Raphson methode genoemd) en de gemodificeerde Newton methoden.

Als uitgangspunt voor het bepalen van de zoekrichting ~k bij de Newton

methoden dient de Taylorreeks ontwikkeling van F(~k+~k) rond de laatst

berekende schatting ~k

(2.8)

Indien ~k regulier is wordt de zoekrichting bepaald door te eisen dat deze

quadratische benaded ng stationair is

(2.9)

De zoekrichting is een dalingsrichting indien

(2.10)

Hieraan wOldt zeker voldaan indien Q,k positief definiet is en 2kf~.

Er zijn een aantal nadelen aan de Newton methode verbonden. Ten eerste

zal Gx niet overal positief definiet zijn, zodat ~k niet altijd een dalingsrichting is. Verder kan de quadratische benadering zeer slecht zijn

omdat deze alleen het locale verloop van F(.) in rekening brengt. In beide

gevallen kan een stapgrootte Qk=1 slechte resultaten opleveren. Daarom

wordt de Newton methode vaak in combinatie met een lijnzoekalgoritme

toegepast. Daarbij moeten, indien ~k geen dalingsrichting is, n~gatieve

stapgrootten worden toegelaten. Overigens zal een lijnzoekalgoritme niet

-8-

T altijd toegepast kunnen worden: als ~k~k=O dan is F(.) stationair langs de

lijn ~k+ak~k voor ak=O. De Newton methode is verder een tamelijk dure methode. In iedere

iteratie slag moet opnieuw de Hessiaan Yk worden bepaald, hetgeen vooral bij

een groot aantal onbekenden veel tijd kost.

Om een aantal van de. nadelen te ondervangen zijn de gemodificeerde

Newton method en qelntroduceerd. Daarbij wordt Yk vervanqen door een

positief definiete matrix ak die op de een of andere manier een goede benadering is voor Yk; bijvoorbeeld ~k=Yj voor j

-9-

k=1 * Initialiseer bij een gegeven beginschatting :1 voor de minimaliseerder x de

matrix B1. Voor B1 kan men bijvoorbeeld I of ~;1 kiezen. while geen convergentie do

begin Stap 1: Bepaal een zoekrichting ~k volgens

(2.11)

b · . uT b d" -1 waar IJ ~k een ena erlng 15 van ~k .

Stap 2: De nieuwe schatting

(2.12)

wordt gevonden d.m.v. een lijnzoek algori.tme, waarbij ak zodanig wordt bepaald dat

T T I ~k+1 ~k I

-10-

2.6 Quasi-Newton conditie.

Veronderstel dat tot iteratie k aJle gegevens bekend Zl.JD. In

iteratiestap k wOldt ~k+1 berekend en vervolgens willen we dat Bk+1 waarmee de nieuwe zoekrichting Pk+1 wordt bepaald op de een of andere manier de

krommingseigenschappen van de. object functie F(.) representeert. Een manier

om dit te realiseren is door te voldoen aan de quasi-Newton conditie. Deze

is als voIgt gedefinieerd. I.aat

dan voldoet Bk+1 aan de Z.g. quasi-Newton conditie indien

(2.17)

Hx+1 bevat dezelfde krommingsinformatie als de quadratische benadering van

F ( .) 1angs Pk'

2.7 Gecon'juqeerdheidsconditielerfeHjkheidscondi tie.

Een set van kolommen ~i wordt onderling geconjugeerd genoemd met

betrekking tot een positief definiete matrix y dan en slechts dan a1s

T p.Q.p.=O ... 1 ... J

v ifj

Hierbij wordt verondersteld dat Pif~ voor alle i.

(2.18)

Bewezen kan worden dat bij het sequentieel toepassen van geconjugeerde

zoekrichtingen in combinatie met exact lijnzoeken, de minimaliseerder van

een quadratische functie met positief definiete Hessiaan y in ten hQogste n (n is het aantal onbekenden) stappen wordt gevonden. In dit bewijs wordt

-11-

ondermeer gebruik gemaakt van het feit dat geconjugeerde kolommen onder ling

onafhankelijk zijn. Het bewijs van deze eigenschappen wordt gegeven in ap-

pendix A.

Een belangrijk gevolg van het toepassen van geconjugeerde zoekrichtin-

gen in combinatie met exact lijnzoeken bij het minimaliseren van een

quadratische functie is dat .

v j

-12-

H."+ 1 Ag . =pAx . A .. J ",J

v j

-13-

Met 0=1 blijkt dat deze method en , bij het bepalen van een minimaliseer-

del van een quadratische functie,

quadratische object functie F(.)

juist de inverse van de Hessiaan van de

hebben berekend. Dit is een bijzonder

aantrekkelijke eigenschap van deze methoden omdat iedere functie F(.) zich

in de buurt van een minimum quadratisch gedraagt.

2.8 De Huang klasse van 'updating' formules.

De essenti~le stap bij de quasi-Newton methoden is het defini~ren van

de updating matrix Qk, Deze moet zodanig zijn dat Hk+1=Hk+Qk tenminste aan

de quasi-Newton conditie (Hx+1A2k=OkA2k) voldoet. Deze conditie legt echter

geen eenduidige eis op aan Qk' Bij de in deze paragraaf te bespreken Huang-

klasse van updating formules worden de matrices Qk zodanig gekozen dat:

a} Qk ten hoogsterang 2 heeft.

b) Bx+1(=Rx+Qk) voldoet aan de erfelijkheidsconditie. Hierdoor wordt be-

werkstelligd dat bij het minimaliseren van een quadratische functie

geconjugeerde zoekrichtingen worden gegenereerd indien exact lijnzoeken

wordt toegepast.

c) voor het bepalen van Qk aIleen schattingen van de minimaliseerder, de

gradienten in die schattingen en Hk nodig zijn.

d) Ox uitsluitend wordt bepaald met behulp van grootheden ult de vorige en de huidige iteratie.

Eigenschap b) is van groot belang omdat vrijwel iedere objectfunctie zich in

de buurt van een locaal minimum bij benadering quadratisch gedraagt.

De BFGS updating formules voor Qk kunnen uit de klasse van Huang updat-

ing formules worden afgeleid.

Toepassen van de quasi-Newton conditie op relatie (2.14) levert

(2.30)

-14-

Hierbij is verondersteld dat Qk gedurende het gehele iteratieproces constant

wordt gekozen, i.e. Qk=O. Aan (2.30) kan worden voldaan door Qk te kiezen

volgens

(2.31)

T T met !kA~k~O en :kA~k~O' In deze relatie spelen nog maar twee onbekende

kolommen een rol: !k en ~k' Door deze keuze wordt tevens voldaan aan er-

felijkheidsconditie voor j=k.

Relatie (2.31) vormt het uitgangspunt voor de Huang klasse van

'updating' formules. Door het in rekening brengen van de erfelijkheidscon-.

ditie en door gebruik te maken van het feit dat daardoor, onder bepaalde

voorwaarden, geconjugeerde zoekrichtingen worden gegenereerd kunnen een aan-

tal el.sen geformuleerd worden waaraan !k en ~k moe ten voldoen.

Opdat .Qk volgens (2.31) een zodanige vorm heeft dat Hk+1 voldoet aan de erfelijkheidsconditie (H:.'+1Ag'=QAX. voor alle j

-15-

met j(k+1 onder ling geconjugeerd zijn indien een quadratische functie met

Hessiaan ~ wordt geminimaliseerd waarbij exacte lijnminimalisering is T T toegepast, geldt a) ~kG~j=O voor aIle j

-16--

2.9 De Sroyden klasse van 'updating' formules.

Een probleem van de Huang klasse is dat de matrices B. niet nood-- ]

zakelijk symmetrisch zijn ook al is de initi~le matrix BO weI symmetrisch. Daarnaast zijn de matrices B. niet per definitie positief definiet. Deze

J twee eigenschappen zijn bijzonder prettig bij de numerieke toepassing van de

algoritmen. Vooral is te verwachten dat het positief definiet zijn van de

benadering van de Hessiaan, of de inverse ervan, prettig is, immers ter

plaatse van een minimum is Hessiaan positief definiet. Daarnaast levert een

positief definiete matrix een dalingsrichting als zoekrichting at, hetgeen

aangenaam is. Door een normalisering van de kolommen ~k en ~k kunnen twee

van de onbekenden CPk' wk' ~k en !lIk get!li~inieerd worden. Aan (2.31) is te

zien dat deze normaliser.ing het resultaat voor Q.k niet beinvloedt. Door een

keuze te maken t.a.v. de twee resterende onbekenden kan de Broyden klasse

van 'updating' formules worden afgeleid. Deze levert symmetrische

benaderingen voor de Hessiaan (of de inverse daarvan) af. Een bijzonder

geval van die klasse vormt de BFGS 'updating' tarmule. - Van deze kan onder

bepaalde omstandigheden bewezen worden dat zij positief definiete benaderin-

gen oplevert.

De procedure is als voIgt: normaliseer de kolommen !k en :k volgens

(2.40)

Dan kunnen CPk en wk get!limineerd worden volgens

(2.41)

(2.42)

-17-

Substitutie van de bovenstaande vergelijkingen in (2.39) levert met de keuze

J.ik=-"'k een symmetrische matrix op. De zo ontstane vergelijking vormt de

Broyden klasse. Als onbekende parameter komt nog "'k v~~r.

De BFGS 'updating' formu]e kan gevonden worden door "'k6~~62k=1 te kiezen. lndien lijnzoeken wordt toegepast volgens (2.17) en indien de

initi~le waarde van!ik posi~ief definiet is zal 6~~62k)O (zie appendix B). Dan kan bewezen worden dat deze keuze leidt tot positief definiete matrices

~, zie Scales [1] pp. 92-94. Na enig schrijfwerk is !ik+1 dan te schrijven

als

De voorwaarden waaronder !ik+1 definiete Hx worden ge,tllustreerd aan [2] beschreven equivalente formulering

met

v = _k

(2.43)

positief definiet is bij positief

de hand van de door 'Matthies en Strang

voor B.k+1, deze luidt

(2.44)

(2.45)

(2.46)

T Laat Ax.=(l.+~k~k)' dan is onmiddellijk in te zien dat B.k+1 semi-p,os.itief definiet is als !ik positief definiet is, immers

-18-

(2.47)

Indien Ak regulier is zal Hk+1 positief definiet zijn. We kunnen een uitspraak doen over de regulariteit door de eigenwaarden van Ak te

bestuderen. Het blijkt dat N-1 eigenwaarden 1 zijn en ~en eigenwaarde is

gelijk aan 1+!~~k wat uitgewe~kt

(2.48)

opleverl. Hieruit volgt direct dat Ak zeker regulier is als A~iA~k>O.

2.10 Numerieke qebruik van de BFGS methode.

De relaties (2.43) of (2.44) worden vrijwel nooit direct toegepast

voor het berekenen van lik+1. Met name bij toepassing in eindj.ge elementen

methode berekeningen zou dit een bijzonder onaantrekkelijke werkwijze zijn

omdat dan geen enkel gebruik van de structuur van de stijfheidsmatrix (die

een overeenkomstige rol speelt a15 ~) zou worden gemaakt. Deze zou immers

verloren gaan doordat b.v. de matrix A~kA~~ een volle matrix is. Daarom wordt over het algemeen voor een recursief schema gekozen waarmee een nieuwe

zoekrichting wordt bepaald.

We geven hier een recursief schema waarmee een zoekrichting bepaald kan

worden op basis van de updating formule van Matthies en Strang: relatie

(2.44).

Als eerste iteratie stap wordt vaak voar een standaard Newton stap -T gekozen. In essentie betekent dit dat als initi!le waarde van H1 de

Hessiaan Y1=Y(~1) genomen. De zoekrichting ~1 wordt bepaald d.;.v. het

oplossen van het stelsel Y1~1=-~1 via een directe methode (b.v. LDL decom-

positie met terugsubstit.utie). De gedecomponeerde van ~1 wOldt bewaard. De

-19-

zoekrichtingen voor k>1 worden daarna bepaald door ~k=-li~2k waarbij lik 'ge-update' wordt m.b.v. (2.44). Zo wordt bijvoorbeeld ~J als voIgt berekend

In een recursief schema levert dit

Bereken d.m.v. terugsubstitutie : uit ~1:=~ T T T"

(hiermee is :=R1(I+~1~1) (1+~2~2)23 bepaald)

T fl=v1T. ... r=r+w1fl ~ '" .. trw ...

T T T . T T (hiermee is :=(I+~2~2)(I+~1~1)R1(I+~1~1)(I+~2~2)23 bepaald)

Tenslotte volgt P3 uit P3=-!' Het algemene recursieve schema ziet er ais voIgt uit. Voor k=1 wordt

~1 b;rekend door ~'~1=-21 op te lossen. Voor k>1 wordt" ~k bepaald m.b.v.

~k=-Hk2k' volgens

Initialiseer q=gk .. .. for j=k-1 .§.lli -1 until 1 do J,.."" .... .;... T ~ a=~j~

q=q+av. .... ...J

end

bereken d. m . v. terugsubs ti tub e r uit 111 :=~

for j= 1 .§.lli 1 until k-1 do

-20-

b. T ~ fI=v.r

~) ~

r=r+f:Jw . .. "'W .. )

De zoekrichting ~k is dan ~k=-:

V~~r de updating formule (2.43) is een soortgelijk recursief schema te

formuleren.

3. ContinuOmsproblemen.

In dit hoofdstuk bespreken we de toepassingsmogelijkheden van de tech-

nieken uit het voorgaande bij het oplossen van een stelsel niet-lineaire

vergelijkingen dat afkomstig is van een bepaalde klasse van

continuOmsproblemen.

We beperken ons tot quasi-statische problemen die beschreven kunnen

worden door de volgende gewogen afwijkingen vergelijking

++ c ~ + + + I 0: (vw) dQ = Jr.w dO + Jq.w dr (3.1) Q Q r

Na een geschikte discretisatie kan hieruit een stelsel vergelijkingen worden

afgeleid van de vorm

waarbij Ei' Er belasting volume

T K =vf , a=i, f, q. ~ "" ... a

(3.2)

en f de bijdragen van resp. de inwendige spanningen, de .. q T

en de oppervlakte belasting representeren. Laat K=Vf en

De matrix K wordt vaak de stijfheidsmatrix genoemd. '* De oplossing x=x van (3.2) willen we via een iteratief proces vinden

dat een ana loge structuur heeft aan hetg~en in hoofdstuk 2 is gebruikt, dus: '* gegeven een zekere schatting ~k voor x willen we een zoekrichting ~k

'* bepalen waarlangs we een betere schatting voor x verwachten volgens

(3.3)

-21-

De vragen die we ons stellen Zl)n: wat is een geschikte zoekrichting en hoe . * bepalen we die, op grond waarvan vinden we de ene schatting voor x beter ...

dan de andere en, direct daarmee samenhangend, wat is een geschikte keuze

van uk' Ret zal blijken dat we in een aantal situaties nutt:ig gebruik kun-

nen maken van de kennis rondom de minimaliseringstechnieken. Daarbij zal de

stelling uit hoofdstuk 2 een.belangrijke rol spelen.

In het algemeen is ( niet symmetrisch en kan f dus niet gezien worden

als de gradi~nt van een scalaire functie. In dit geval kunnen we geen

gebruik maken van de stelling uit hoofdstuk 1: we kunnen het probleem f(x)=O ~

niet associ~ren met een minimaliseringsprobleem. Toch kunnen zowel de

Newton als de quasi-Newton methoden worden toegepast. In beide gevallen

wordt een nieuwe zoekrichting bepaald door f op de een of andere manier ... locaal door een lineair verband te benaderen: m.b.v. Newton wordt ~k bepaald

volgens Kk~k=-!k en via de quasi-Newton methode wordt ~k bepaald d.m.v. via Pk=-I!Tkfk . Bij toepassing van de BFGS methode wordt als ihitHHe waarde voor ~ ... 1 T Hx vaak H(t2"(Ko+Ko) genomen. Er bestaan echter geen criteria op basis waar-van we ~k een goede of slechte richting kunnen noemen; het begrip

dalingsrichting heeft hier b.v. geen enkele betekenis. Ook voor het kiezen

van de stapgrootte uk ontbreekt een criterium. Vaak wordt het lijnzoeken

toch toegepast met ais argument dat de component van !k+1 in de richting van

~k in absolute waarde voldoende gedaald moet zijn.

Echter, afhankelijk van de constitutieve vergelijking is Ie weI -1 symmetrisch. Oaarnaast zijn Kf=Q en Kq=Q indien de belastingen geen functie

van het verplaatsingsveld Zl)n. Als verwacht kan worden dat (=Ki positief * definiet is in de oplossing x=x dan kunnen de technieken uit het voorgaande

zondermeer worden toegepast.

Indien het niet symmetrisch Zl)n van ( volledig wordt bepaald door Kr en Kq (dus Ki is. weI symmetrisch) en verwacht kan worden dat .K positief definiet is voor x=x dan kunnen we het begrip dalingsrichting en lijnzoeken

ook met succes toepassen. Oit is als vo]gt in te zien. Vrijwel altijd

wordt de belasting incrementeel aangebracht. Oaarbij is de verandering van

de belasting als gevolg van de vormverandering van het lichaam gedur~nde een

increment gering; m.a.w. zij beinvloedt het probleem in een geringe mate.

-22-

Dit betekent dat het oorsponkelijke probleem redelijk goed benaderd kan wor-

den door het probleem waarbijde belasting· niet t.O.V. de huidige

configuratie maar t.o.v. de laatst geschatte configuratie wordt genomen.

Bij dit probleem behoort een symmetrische stijfheidsmatrix. ·Met behulp van

dit probleem kunnen we een uitspraak do en over de kwaliteit van de zoek-

richting en over de keuze van de stapgrootte. Omdat verwacht wordt dat K :t

positief definiet is voor x=x

als een minimaliseringsprobleem.

kunnen we dit aanverwante probleem opvatten

Het oorspronkeli jke probleem gedraag.t zich

naar verwachting op een analoge manier als dit minimaliseringsprobleem.

Daarom is het gerechtvaardigd te eisen dat een zoekrichting een

dalingsrichting is en tevens is het te rechtvaardigen dat lijnzoeken wordt

toegepast.

4. r.i teratuur.

[1] L. E. Scales. ' Introduction to nonlinear optimization I (1985) CYI,8SSCA

bsa.

[2] H. Matthies and G. Strang. 'The solution of nonlinear finite element

equations't Int. Jrnl. Num. Meth. Engn. 14 (1919) 1613-1626.

[3] K.J. Bathe and A.P. Cimento. 'Some practical procedures for the solution

of nonlinear finite element equations', Comp. Meth. Appl. Mech. Engn. 22

(1980) 59-85.

[4] H.Y. Huang. 'Unified aproach to quadratically convergent algori.thms for

function minimization', Jrn. Opt. Theory. Appl. 5 (1970) 405-423.

-23-

Appendix A.

In deze appendix bewijzen we dat het sequentieel toepassen van gecon-

jugeerde zoekrichtingen bij het minimaliseren van een quadratische functie

quadratische be~indiging tot gevolg heeft.

Beschouw de functie F(x)-..

F(x) 1 T T = ~ {i~+~ ~+c (A.1)

met positief definiete symmetrische {i. De gradient van F is gegeven door

g(x) = Qx+b (A.2)

IJaat ~k een zoekrichting.

optreedt vaar

schatting voor de minimaliseerder van F en zij ~k een

Eenvoud.ig kan worden nagegaan dat exacte lijnminimalisering

(A.3)

De gradienten in en een vorig punt x. zijn ais voIgt .. J

gerelateerd

k I: a..{ip.

. . 1 .. J. 1=J

v j(k+1 (A.4)

Vermenigvuldig het getransponeerde van (A.4) met p. dan voIgt .. J

lndien

(A.5)

p. met .. 1

i(k+1

k T r a.p.{ip.

. . 1 .. 1 .. J l=J

geconjugeerd

, V j(k+1 (A.5)

is met p. met j

T T T qk+1 P ·-q .P. = u.p.Qp. ~ .. J ~J .. J J .. ) .. )

-24-

v j(k+1

Met u j voIqens (A.3) (exact lijnzoeken) resulteert dan

v j

-25-

Appendix B.

In deze appendix bewijzen we dat lijnzoeken volgens (2.17) bij een

positief definiete Hessiaan !:ik oplevert dat 6~~62k>O. Irnmers "volgens (2.17) moet gelden dat

(B. 1 )

T T Er zijn twee gevallen de onderscheiden: 1) 2k+1~kO.

Geval 1: (B.1) Ievert dan

(B. 2)

Hieruit voIgt direct

(B. 3)

of weI

(B.4)

T Omdat ~e(O,1) en 2k~kO en ~~~kO. Omdat ak>O blijkt dat

Q.E.D.