Neurale Netwerken

33
Neurale Neurale Netwerken Netwerken Kunstmatige Intelligentie Kunstmatige Intelligentie Rijksuniversiteit Rijksuniversiteit Groningen Groningen Mei 2005

description

Neurale Netwerken. Kunstmatige Intelligentie Rijksuniversiteit Groningen. Mei 2005. practicum. deze week wel deels programmeren Hopfield volgende week geen programmeren Kohonen wachten op cijfers  excuses, maar er is een goede reden. doel van dit vak. - PowerPoint PPT Presentation

Transcript of Neurale Netwerken

Page 1: Neurale Netwerken

NeuraleNeurale NetwerkenNetwerkenKunstmatige IntelligentieKunstmatige Intelligentie

Rijksuniversiteit GroningenRijksuniversiteit Groningen

Mei 2005

Page 2: Neurale Netwerken

practicum

• deze week wel deels programmerenHopfield

• volgende week geen programmerenKohonen

• wachten op cijfers excuses, maar er is een goede reden

Page 3: Neurale Netwerken

doel van dit vak

inleiding NN literatuur onderzoek

eigen onderzoek

engineering wereld

vb. Elman – Finding structure in time

Page 4: Neurale Netwerken

hc 9hc 9

• ElmanElman

• stof: artikelstof: artikel

Page 5: Neurale Netwerken

overzichtoverzicht

• inleidinginleiding

• netwerknetwerk

• experimentenexperimenten

• conclusieconclusie

• andere bronnenandere bronnen

Page 6: Neurale Netwerken

inleiding

• classificeer input patronen over meerdere tijdstappen (spraak, bewegende beelden,...)

• tijd = belangrijk– onderzoek– engineering

• neurale netwerken: tijd = moelijk

• eenvoudigste oplossing: paralellizeren

Page 7: Neurale Netwerken

paralellizeren

• meerdere tijdstappen tegelijk aanbieden

• nadelen hiervan:– gebruik buffer niet biologisch plausibel– input moet steeds zelfde aantal tijdstappen zijn– inputs die hetzefde zijn, worden verschillend

geclassificeerd:(0, 1, 0, 1, 0, 0, 0, 0) = (0, 0, 0, 1, 0, 1, 0, 0) + Δt

– hogere plaats en tijd complexiteit

• oplossing: recurrente netwerken

Page 8: Neurale Netwerken

recurrente netwerken

• geheugen: vorige netwerk-toestand is deel van de input

• recursie

• natuurlijke taalverwerking

• Jordan (1986)

• Elman (1990)

Page 9: Neurale Netwerken

overzichtoverzicht

• inleidinginleiding

• netwerknetwerk

• experimentenexperimenten

• conclusieconclusie

• andere bronnenandere bronnen

Page 10: Neurale Netwerken

MLP

Jordan (1986)

output layer

hidden layer

context layer

Page 11: Neurale Netwerken

Elman (1990)

output layer

hidden layer

context layer

FIXED

backprop

backpropbackprop

Page 12: Neurale Netwerken

Jordan vs Elman

Jordan: hidden(t) = input(t) + output(t - 1)Elman: hidden(t) = input(t) + hidden(t – 1)

Waarom is Elman beter dan Jordan?• onderzoek: dichter bij de natuur• engineering: rijker geheugen

• voordeel Jordan: output → deel volgende inputbeter voor te stellen (minder black-box)

Page 13: Neurale Netwerken

• geheugen bestreikt meerdere tijdstappen door recursieve eigenschap

i(nput), h(idden), c(ontext), o(utput)

o(t) ← h(t)

h(t) ← i(t) + c(t)c(t) = h(t – 1)

h(t - 1) ← i(t - 1) + c(t - 1) c(t - 1) = h(t – 2)

h(t - 2) ← i(t - 2) + c(t - 2) c(t - 2) = h(t – 3)

h(t - 3) ← i(t - 3) + c(t - 3) c(t - 3) = h(t – 4)

h(t - 4) ← i(t - 4) + c(t - 4) c(t - 4) = h(t – 5)

h(t - 5) ← i(t - 5) + c(t - 5) c(t - 5) = h(t – 6)

...

Page 14: Neurale Netwerken

overzichtoverzicht

• inleidinginleiding

• netwerknetwerk

• experimentenexperimenten

• conclusieconclusie

• andere bronnenandere bronnen

Page 15: Neurale Netwerken

experiment 1:temporele XOR variant

• XOR triples• drie bits achter elkaar aanbieden• de derde wordt bepaald door de eerste twee• | 0, 0, 0 | 1, 0, 1 | 1, 1, 0 | 1, ... • getraind netwerk

– gemiddelde error op eerste twee 0,5– gemiddelde error op de derde 0,0

Page 16: Neurale Netwerken

experiment 2:diibaguuuguuubabadii...

• zinnen-generator: medeklinkers {b, d, g} in willekeurige volgorde met steeds een vast klinkerpatroon → woorden {ba, dii, guuu}

• elke letter is een vector met 6 binaire componenten: (consonant, vowel, interrupted, high, back, voiced)

• de letters worden één voor één aangeboden, het netwerk leert de volgende te voorspellen

• trainen: 200 keer dezelfde semi-willekeurige input sequentie van 1.000 letters

• testen: andere sequentie op dezelfde manier gegenereerd

Page 17: Neurale Netwerken

input #

RM

S e

rro

r

a

d

i i

g

uu

u

b

a

g

uu

u

d

i

i

zelfde gedrag als bij temporele XOR (medeklinker bepaalt rest woord)

in plaats van hele output vector, de error op de componenten analyseren(bijvoorbeeld consonant en voiced)

natuurgetrouwe error curve!

Page 18: Neurale Netwerken

experiment 3:manyyearsagoaboyandgirllivedbythesea...

• zinnen-generator:– lexicon: 15 Engelse woorden, 5-bits vectoren

– zinnen van 4 tot 9 woorden

– houdt zich aan Engelse woordvolgorde

– sequentie van 200 zinnen zonder “whitespace”

REDEN: in gesproken taal zitten geen pauzes

• trainen: 10 keer dezefde sequentie

• testen: op een andere sequentie die op dezelfde manier gegenereerd is

Page 19: Neurale Netwerken

input #

RM

S e

rro

r

m a n y y e a r s a g o a b o y a n d g i r l l i v e d b y t h e s e a t h e y p l a y e d h a p p i l y

de rest van een woord wordt niet deterministisch bepaald door eerste letter(lexicon met letter-overeenkomsten tussen de woorden)

voorspelbaarheid neemt toe met het aantal letters dat geweest is...natuurgetrouwe error curve!

Page 20: Neurale Netwerken

experiment 4:cat eat mouse man sleep ...

• woordvolgorde ipv. lettervolgorde• Chomsky (1957)• kan een PDP (parallel distributed processing) netwerk

een grammatica leren?

• zinnen-generator:– lexicon: 29 Engelse woorden in 13 klasses– elk woord is een 29-bits vector,

bv. woman = (00000000000000000000000000010)

geen correlaties tussen woorden vanwege orthogonale vectoren

Page 21: Neurale Netwerken

categorie voorbeeld

NOUN-HUM man, woman

NOUN-ANIM cat, mouse

NOUN-INANIM

book, rock

NOUN-AGRESS

dragon, monster

NOUN-FRAG glass, plate

NOUN-FOOD Cookie

VERB-INTRAN

think, sleep

VERB-TRAN see, chase

VERB-AGPAT

move, break

VERB-PERCEPT

smell, see

VERB-DESTROY

break, smash

VERB-EAT eat

WOORD 1 WOORD 2

WOORD 3

NOUN-HUM VERB-EAT NOUN-FOOD

NOUN-HUM VERB-PERCEPT NOUN-INANIM

NOUN-HUM VERB-DESTROY NOUN-FRAG

NOUN-HUM VERB-INTRAN

NOUN-HUM VERB-TRAN NOUN-HUM

NOUN-HUM VERB-AGPAT NOUN-INANIM

NOUN-HUM VERB-AGPAT

NOUN-ANIM VERB-EAT NOUN-FOOD

NOUN-ANIM VERB-TRAN NOUN-ANIM

NOUN-ANIM VERB-AGPAT NOUN-INANIM

NOUN-ANIM VERB-AGPAT

NOUN-INANIM VERB-AGPAT

NOUN-AGRESS VERB-DESTROY NOUN-FRAG

NOUN-AGRESS VERB-EAT NOUN-HUM

NOUN-AGRESS VERB-EAT NOUN-ANIM

NOUN-AGRESS VERB-EAT NOUN-FOOD

Page 22: Neurale Netwerken

• trainen: 6 maal door een sequentie van 10.000 zinnen

• testen: output vectoren vergelijken met training set statistiek

• verder: hidden layer activaties zijn hierarchisch gestructureerd →

Page 23: Neurale Netwerken
Page 24: Neurale Netwerken
Page 25: Neurale Netwerken

overzichtoverzicht

• inleidinginleiding

• netwerknetwerk

• experimentenexperimenten

• conclusieconclusie

• andere bronnenandere bronnen

Page 26: Neurale Netwerken

conclusie

• tijd paralellizeren is simpel, maar niet goed genoeg

• door gebruik context layer– geen buffer– inputs van variabele lengte– in tijd verschoven inputs zijn hetzelfde

Page 27: Neurale Netwerken

conclusies

• Elman net voorspelt klasse, niet instantie (natuurgetrouw)

• Elman netwerk vooral voor onderzoek interessant, voor engineers niet zo...HMM wint van NN op NLP

• sub-symbolische systemen kunnen hierarchische structuren en verwachtingspatronen leren uit temporele informatie

Page 28: Neurale Netwerken

overzichtoverzicht

• inleidinginleiding

• netwerknetwerk

• experimentenexperimenten

• conclusieconclusie

• andere bronnenandere bronnen

Page 29: Neurale Netwerken

engineering toepassingengeen tentamenstof

APPLICATION OF A RECURRENT NEURAL NETWORK IN ONLINE MODELLING OF REAL-TIME SYSTEMS

Keywords: Recurrent Elman networks; modelling; on-line learning; real-time systems.

modelling non-linear dynamical systems;fabrieks processen in de gaten houdenalarm (of ingrijpen) als metingen van de voorspelling afwijken

Considering the number of recurrent neural topologies and training algorithms available, the choice of an appropriate pair (architecture, learning) is intimately dependent on the purposes and can be decisive for its success, e.g. the non-linear control schemes with NN identification.

Incorporate available information from the approximate model into the NN initialisation, instead of choosing the weighting values randomly

Page 30: Neurale Netwerken

Detection of Transformer Winding Faults Using Wavelet Analysis and Neural Network

Keywords: Transformer internal fault, neural network, wavelet transform.

analyseer de elektrische signalen van de transformator met een Elman netwerk

verhoog betrouwbaarheid, spaar kosten

The simulation results of four cases: improved BP-NN with wavelet preprocessing, Elman network with wavelet preprocessing, improved BP-NN without preprocessing, and Elman network without preprocessing are compared and discussed.

feature extraction

input voor Elman net

Page 31: Neurale Netwerken

onderzoekstoepassing

COGNITIVE MODDELINGzoals ACT-R:

vergelijken model/proefpersoon →

resultaten zijn hetzelfde →

de theorie klopt

Page 32: Neurale Netwerken

een antwoord op de vraag: Wat kan een engineer met NN?

Therefore the primary focus of this report is to describe algorithms for ANNs which perform particularly strongly for processing the following commonly used applications: – Function approximation;– Time series processing; ELMAN– Classification;– Pattern recognition;

These are suggested because they are well established tasks for which ANNs are used extensively.

Page 33: Neurale Netwerken

volgende college (laatste)volgende college (laatste)

• Spiking NeuronsSpiking Neurons

• stof: artikelstof: artikel