Neurale netwerkenNeurale netwerkenOpdrachttaak kennissystemen:Opdrachttaak kennissystemen:

Door:Door:Jeroen Van den ElsenJeroen Van den ElsenPiet VermeirPiet VermeirKoen Van CampenhoutKoen Van Campenhout

InleidingInleiding

Geschiedenis Geschiedenis

Wat is een neuraal netwerk?Wat is een neuraal netwerk?

Biologisch NeuronBiologisch Neuron

Artificieel NeuronArtificieel Neuron

Artificieel Neuraal NetwerkArtificieel Neuraal Netwerk

Een eenvoudig voorbeeld van een artificieel neuraal netwerk met drie lagen.

Eigenschappen van Artificiële Eigenschappen van Artificiële Neurale NetwerkenNeurale Netwerken

Local processingLocal processing

Parallel processingParallel processing

LerenLeren

GeheugenGeheugen

Bestand tegen ruisBestand tegen ruis

Definitie van Artificiële Neurale Definitie van Artificiële Neurale NetwerkenNetwerken

Een ANN is een rekenmodel, gebaseerd op het Een ANN is een rekenmodel, gebaseerd op het dierlijk neuraal netwerk, waarbij een invoer verwerkt dierlijk neuraal netwerk, waarbij een invoer verwerkt wordt door een parallel netwerk van neuronen, de een wordt door een parallel netwerk van neuronen, de een al belangrijker dan de andere, en verbindingen om zo al belangrijker dan de andere, en verbindingen om zo tot een uitvoer te komen. Elk van die neuronen tot een uitvoer te komen. Elk van die neuronen verwerkt simpele functies en beschikken over een verwerkt simpele functies en beschikken over een geheugen waardoor ‘leren’ mogelijk wordt gemaakt. geheugen waardoor ‘leren’ mogelijk wordt gemaakt.

Mogelijkheden van een Artificiële Mogelijkheden van een Artificiële Neurale NetwerkenNeurale Netwerken

ClassificatieClassificatie

VoorspellenVoorspellen

Data associatieData associatie

Data conceptualisatieData conceptualisatie

Data filteringData filtering

Enkele toepassingenEnkele toepassingen

Muis en trackerballMuis en trackerball

Kunstmatige intelligentieKunstmatige intelligentie

Handschrift herkenningHandschrift herkenning

Eigenschappen van verschillende Eigenschappen van verschillende soorten ANNsoorten ANN

TypeType

NeuronlagenNeuronlagen

Soort invoerSoort invoer

Activatie functieActivatie functie

LeermethodeLeermethode

LeeralgoritmeLeeralgoritme

Eigenschap 1: het typeEigenschap 1: het type

Feedforward typeFeedforward type EenrichtingsinformatiestroomEenrichtingsinformatiestroom Alleen verbindingen met andere neuronlaagAlleen verbindingen met andere neuronlaag

Feedback typeFeedback type Ook verbindingen met eigenlaagOok verbindingen met eigenlaag

Eigenschap 2: de neuronlaagEigenschap 2: de neuronlaag

Input layerInput layer

Output layerOutput layer

Hidden layerHidden layer

Matrix layerMatrix layer

Map layerMap layer

Eigenschap 3: Soort invoerEigenschap 3: Soort invoer

Binaire waardeBinaire waarde

Reële waardeReële waarde

Eigenschap 4: activatie functieEigenschap 4: activatie functie

Verschillende types onderscheiden zich van Verschillende types onderscheiden zich van elkaar door het type output die ze gevenelkaar door het type output die ze geven

Eigenschap 5: LeermethodeEigenschap 5: Leermethode

Supervised learningSupervised learningMet antwoordboekjeMet antwoordboekjeGeneraliserend gedragGeneraliserend gedrag

Unsupervised learningUnsupervised learningZonder antwoordenZonder antwoordenGebruiken van patronenGebruiken van patronen

Reinforcement learningReinforcement learningMet een goed/fout signaalMet een goed/fout signaal

Eigenschap 6: leeralgoritmeEigenschap 6: leeralgoritme

Hebb learning ruleHebb learning ruleDelta learning ruleDelta learning ruleBackpropgationBackpropgationSimulated annealing: Simulated annealing: gebruikt bij feedback typesgebruikt bij feedback types

Self organization: Self organization: gebruikt bij kohonengebruikt bij kohonen

Maken gebruik van supervised learning

Enkele verschillende soorten:Enkele verschillende soorten:

PerceptronPerceptron

Multilayer perceptronMultilayer perceptron

Backpropagation netBackpropagation net

Hopfield netHopfield net

Kohonen KaartKohonen Kaart

Boltzmann MachineBoltzmann Machine

Het perceptronHet perceptron

Type Feedforward

Neuron Lagen 1 inputlaag 1 outputlaag

Input Waarde Types Binair

Activatie Functie Hard Limiter

Leermethode Supervised

Leeralgoritme Hebb Learnig Rule

Wordt vooral gebruikt bij

Simpele logische operaties patroon classificatie

Het multilayer perceptronHet multilayer perceptron

Type Feedforward

Neuron Lagen 1 inputlaag 1 of meer verborgen lagen 1 outputlaagInput Waarde Types Binair

Activatie Functie Hard Limiter / Sigmoid

Leermethode Supervised

Leeralgoritme Delta Learnig Rule Backpropagation (meest gebruikt)

Wordt vooral gebruikt bij

Complexe logische operaties patroon classificatie

BackpropagationBackpropagation

Topografische KaartenTopografische Kaarten

Een groep units heeft Een groep units heeft verbindingen naar elke unit in een verbindingen naar elke unit in een competitieve laag. competitieve laag.

De units zijn geordend De units zijn geordend

Dit wil zeggen de unit die het Dit wil zeggen de unit die het sterkst reageert op een invoer sterkst reageert op een invoer omringt wordt door de units die omringt wordt door de units die ook, maar minder sterk, reageren. ook, maar minder sterk, reageren. En hoe verder de units liggen hoe En hoe verder de units liggen hoe minder sterk deze reageren.minder sterk deze reageren.

Vervolg Vervolg

De topografische kaart ordent zichDe topografische kaart ordent zich

Leert reageren op een extern invoerLeert reageren op een extern invoer

Past zich aan de invoer aanPast zich aan de invoer aan Heeft geen hulp nodig van buiten afHeeft geen hulp nodig van buiten af

Wordt ook wel self organizing map Wordt ook wel self organizing map genoemdgenoemd

Leren in een competitieve mapLeren in een competitieve map

Definitie:Definitie: Wanneer een axon van cel A dicht genoeg staat om Wanneer een axon van cel A dicht genoeg staat om

een cel B te exciteren, en dit herhaaldelijk of een cel B te exciteren, en dit herhaaldelijk of continu activeert, dan ontstaat er een groeiproces continu activeert, dan ontstaat er een groeiproces of metabolische verandering in 1 of beide cellen. of metabolische verandering in 1 of beide cellen. Hierdoor stijgt A’s efficiëntie.Hierdoor stijgt A’s efficiëntie.

Minimale competitieve kaartMinimale competitieve kaart

Twee invoervectoren p1 en p2 en gewichten u1 voor Twee invoervectoren p1 en p2 en gewichten u1 voor unit 1 en u2 voor unit 2. unit 1 en u2 voor unit 2.

De bedoeling is dat tijdens het lerev de vectoren van De bedoeling is dat tijdens het lerev de vectoren van de gewichten zich verplaatsen naar de invoervectoren.de gewichten zich verplaatsen naar de invoervectoren.

Reactie van ongetrainde units Reactie van ongetrainde units

Training van minimale competitieve Training van minimale competitieve netwerkennetwerken

Reactie van getrainde unitsReactie van getrainde units

Vergelijking van reactie door Vergelijking van reactie door ongetrainde en getrainde unitsongetrainde en getrainde units

Analyse van complexe dataAnalyse van complexe data

Hoe kan data (items met een label en een reeks getallen Hoe kan data (items met een label en een reeks getallen die een statistische eigenschap van het item representeren) die een statistische eigenschap van het item representeren) in beeld gebracht worden zodat er verbanden kunnen in beeld gebracht worden zodat er verbanden kunnen gelegd worden tussen de items?gelegd worden tussen de items?

De meest simpele oplossing:De meest simpele oplossing:

Andere oplossingenAndere oplossingen

Een kohonen kaart met minimal spanning treeEen kohonen kaart met minimal spanning tree

Andere oplossingAndere oplossing

Merge clustering algoritmeMerge clustering algoritme

Enkele ToepassingenEnkele Toepassingen