BEELDVERWERKING VOOR HIGH-

THROUGHPUT BEELDANALYSE VAN

MULTI-WELL PLATEN

Joachim Savat Stamnummer: 01206593

Promotor(en): Prof. dr. Ir. Jan Verwaeren en dr. Ir. Maarten Ameye

Masterproef voorgelegd voor het behalen van de graad in Master of Science in de industriële

wetenschappen: biochemie

Academiejaar: 2018 - 2019

i

Abstract Ondanks een snelle evolutie van de plantengenomica is er nog steeds een gebrek aan ontwikkeling

voor plantfenotypering. High-throughput plantfenotyperingplatforms worden steeds vaker gebruikt

om deze problemen op te lossen. Verschillende beeldvormingstechnieken worden op deze platforms

gebruikt voor de visualisatie van de structurele en functionele eigenschappen van een plant. Eén van

deze platforms maakt deel uit van het laboratorium van toegepaste mycologie en phenomics aan de

UGent, namelijk de Pathoviewer. Het bevat een gerobotiseerde multispectraalcamera, die gebruikt

wordt om abiotische als biotische stress bij planten te detecteren onder gecontroleerde

omstandigheden. In deze thesis zal er een pipeline ontwikkeld worden om beeldmateriaal op een

robuuste manier te analyseren. Met een GUI kunnen plantfenotypische kenmerken zoals

bladoppervlakte, oppervlakte laesie, percentage laesie en het aantal laesie bepaald worden. Deze

kenmerken werden zowel handmatig met een open software programma berekend, als met de

zelfgeschreven software toepassing. Er werd een duidelijk lineair verband gevonden tussen beide

methoden. De gemiddelde correlatiecoëfficiënt bedroeg 0,9578 voor de bepaling van het gezonde

oppervlakgedeelte van bladeren in een multititerplaat. Voor de oppervlakte laesie op de bladeren

was dit 0,7903. Tijdens een tweede experiment werd de invloed van enzymen op de afremming van

de groei van laesies bepaald met behulp van de zelfgeschreven software toepassing. Als resultaat

werd een gelijkaardige conclusie getrokken als een medestudent die onderzoek verrichte naar

dezelfde studie, namelijk dat er weldegelijk een significante invloed terug te vinden is voor bepaalde

enzymen op de afremming van laesie.

Kernwoorden: Plantfenotypering - Planfenotyperingsplatforms – Pathoviewer – Software applicatie –

ImageJ - Laesie

ii

Voorwoord Bij de start van mijn thesis was ik zeer nieuwsgierig en benieuwd naar de rol, die geautomatiseerde

beeldverwerkingstechnieken bieden in het plantfenotyperingsproces. Dit was een vrij nieuw thema

voor mij en ik keek er naar uit om te ontrafelen wat deze nieuwe wereld allemaal in zijn mars had.

Niet alleen deze wereld van ‘phenomics’ en ‘genomics’ was nieuw, maar ook het programmeren in

Python had ik nog nooit gedaan. Gelukkig werd ik goed ondersteund door twee gedreven

begeleiders. Ze maakten dat ik al snel op weg raakte met de beginselen van het programmeren in

Python en legden me uit hoe de wereld rond plantfenotypering in zijn werk ging. Niet alleen tijdens

het praktische gedeelte kon ik altijd met mijn vragen bij hen terecht, maar ook voor het schrijven van

de literatuurstudie en de resultaten van de thesis kon ik op hun hulp rekenen. Vandaar een grote

dank naar mijn beide promotoren. Bedankt voor het vele verbeterwerk, de lange maar zeer nuttige

vergaderingen en de hulp waarop ik altijd kon rekenen gedurende mijn thesis.

Vervolgens wil ik graag ook mijn proffen bedanken die tijdens mijn opleiding ervoor gezorgd hebben

dat ik klaar ben om in het bedrijfsleven te stappen. De vele interessante lessen en ook soms wat

uitdagendere lessen zorgden voor de goede ontwikkeling van de student die ik nu geworden ben.

Tenslotte zou ik graag ook mijn zussen, ouders en vele vrienden willen bedanken die me altijd

gesteund hebben tijdens mijn opleiding en de vorming van deze thesis. Zij waren altijd klaar voor een

luisterend oor, een schouderklopje of een helpende hand tijdens deze, soms wat chaotische,

periode.

iii

Inhoud Abstract .................................................................................................................................................... i

Voorwoord ...............................................................................................................................................ii

Inhoud ..................................................................................................................................................... iii

1 Inleiding ........................................................................................................................................... 1

2 Beeldvorming voor plantfenotypering ............................................................................................ 2

2.1 Plantfenotypering door middel van beeldanalyse in hedendaags onderzoek ........................ 2

2.1.1 Genoom, omgeving, fenotype en (high-throughput) fenotypering ................................ 2

2.1.2 Gebruik van beeldvorming en –analyse voor fenotypering ............................................ 3

2.2 Beeldvormingstechnieken ....................................................................................................... 3

2.2.1 Absorptiespectra van (groene) planten .......................................................................... 4

2.2.2 Beeldvorming in het zichtbare spectrum ........................................................................ 5

2.2.3 Beeldvorming in het nabije infrarood spectrum en korte golf infrarood spectrum ....... 7

2.2.4 Thermische beeldvorming ............................................................................................... 9

2.2.5 Fluorescentie beeldvorming .......................................................................................... 10

2.2.6 Multispectrale en hyperspectrale beeldvorming .......................................................... 12

2.3 Beeldvormingsplatformen ..................................................................................................... 13

2.3.1 PathoViewer .................................................................................................................. 13

2.3.2 Beeldvormingsplatformen in Europa en internationaal ................................................ 16

3 Beeldanalyse voor plantfenotypering ........................................................................................... 19

3.1 Digitale beeldverwerking ....................................................................................................... 19

3.2 Belangrijke stappen in het beeldanalyseproces .................................................................... 19

3.2.1 Setup en beeldcaptatie.................................................................................................. 20

3.2.2 Preprocessing ................................................................................................................ 20

3.2.3 Segmentatie................................................................................................................... 24

3.2.4 Beeldfenotyperingsanalyse ........................................................................................... 27

4 Materiaal en methoden ................................................................................................................ 29

4.1 Inleiding ................................................................................................................................. 29

4.2 Materiaal ............................................................................................................................... 29

4.2.1 Beeldverwerking met behulp van ImageJ ..................................................................... 29

4.2.2 Beeldverwerking met behulp van software .................................................................. 30

4.3 Methoden .............................................................................................................................. 31

4.3.1 Setup en beeldcaptatie.................................................................................................. 31

4.3.2 Preprocessing ................................................................................................................ 31

iv

4.3.3 Segmentatie................................................................................................................... 33

4.3.4 Samenvoegen van de individuele segmenten in een welletje tot één segment .......... 37

4.3.5 Parameters bepalen ...................................................................................................... 37

4.3.6 Output ........................................................................................................................... 37

5 Resultaten...................................................................................................................................... 38

5.1 Inleiding ................................................................................................................................. 38

5.2 De zelfgemaakte software toepassing .................................................................................. 38

5.3 Beeldfenotyperingsanalyse ................................................................................................... 39

5.3.1 Beeldverwerking met behulp van software .................................................................. 40

5.3.2 Vergelijking resultaten beeldverwerking met behulp van ImageJ en met behulp van

software 41

6 Conclusie en discussie ................................................................................................................... 54

7 Bibliografie..................................................................................................................................... 56

1

1 Inleiding Sinds het begin van de jaren zestig is de populatie in deze wereld verdubbeld tot ongeveer 7,5

miljard mensen. Niettegenstaande de groeipercentages dalen, is de stijging nog steeds merkbaar.

Omwille van dit stijgend bevolkingsaantal, zal de voedselvraag blijven toenemen. Meer nog, in 2050

verwacht men dat de productie zou moeten verdubbelen om aan deze voedselvraag te kunnen

beantwoorden. Nu stijgt deze jaarlijkse opbrengst slechts met 1,3 % per jaar, terwijl dit verhoogd zou

moeten worden tot 2,4 % (FAO, 2018). Eén van de technologieën die een oplossing zou kunnen

bieden voor dit probleem, is biotechnologie. Dit is de technologie die gebruik maakt van de

biologische processen van organismen, voor commerciële doeleinden. Plant fenotypering is vaak een

onderdeel van de biotechnologische pipeline (Sai, Siva Kishore, Dattatreya, Anand, & Sridhari, 2011).

Plant fenotypering is een zeer nuttig hulpmiddel in de biotechnologie, waarbij op een kwantitatieve

manier een beschrijving wordt gegeven van de structurele en functionele eigenschappen van een

plant. High-throughput plant fenotypering is de laatste jaren een zeer belangrijk onderdeel geworden

in de plantenbiologie en landbouw; niet alleen als inbreng in de geavanceerde gewasveredeling maar

ook in de manier van beheren van verschillende planten. De laatste jaren is deze technologie een

ware evolutie ondergaan omwille van de snelle ontwikkelingen van niet-destructieve, beeldanalyses

bedoeld voor fenotypering. Met als gevolg dat via “high-throughput”, planten op een snelle en

efficiënte manier gekarakteriseerd kunnen worden. Niettegenstaande dat deze techniek al een grote

stap in de goede richting heeft gezet, blijft het een technologie die, in tegenstelling tot bijvoorbeeld

plantengenomica, nog niet op het punt staat waar het zou moeten staan. Vaak zijn de technieken

nog gelimiteerd om grote aantallen te behandelen of worden de analyses beperkt tot het bepalen

van de opbrengsten, metingen van planthoogtes of bovengrondse en ondergrondse biomassa (Li,

Zhang, & Huang, 2014).

Het hoofddoel van deze thesis is de ontwikkeling en implementatie van een pipeline om

beeldmateriaal op een robuuste manier te analyseren. Hier zal de focus gelegd worden op

beeldmateriaal van multititerplaten in de PathoViewer. Dit is een gerobotiseerde

multispectraalcamera die deel uitmaakt van het laboratorium voor toegepaste mycologie en

phenomics (LAMP) van de UGent.

Eerst zal er in de literatuurstudie nagegaan worden waarom beeldvorming een ideaal hulpmiddel kan

zijn voor plantfenotypering en welke onderzoeken gebruik maken van beeldanalyses om planten te

fenotyperen. Daarna wordt er een overzicht gegeven van de belangrijkste hedendaagse

beeldvormingstechnieken. Hierbij zal de nadruk opnieuw gelegd worden op

beeldvormingstechnieken op multiwell-schaal. Vervolgens worden enkele beeldvormingsplatformen

besproken, waaronder de Pathoviewer. Ten slotte wordt in de literatuurstudie ook onderzocht welke

beeldverwerkingstechnieken er beschikbaar zijn en welke belangrijk zijn in het beeldanalyseproces.

Voor het PathoViewer platform zal in het praktisch gedeelte software worden ontwikkeld, om de

beeldanalyse op een efficiënte en robuuste manier te laten verlopen.

Om uit ruw beeldmateriaal een kwantitatieve beschrijving van het fenotype van een plant te kunnen

extraheren, dienen een aantal stappen doorlopen te worden (de beeldverwerkingspipeline). Deze

stappen zullen samen met de software die hierbij gebruikt wordt, in de literatuurstudie nog verder

besproken worden. Ten slotte zal er nog onderzocht worden wat de nieuwe trends zijn en wat er nog

te verwachten valt de komende jaren in het onderdeel plant fenotypering.

2

2 Beeldvorming voor plantfenotypering

2.1 Plantfenotypering door middel van beeldanalyse in hedendaags

onderzoek

2.1.1 Genoom, omgeving, fenotype en (high-throughput) fenotypering Eén van de eerste personen die de term fenotype en genotype gebruikte was een Deense

wetenschapper Wilhelm Johannsen. Hij toonde aan dat er een aanzienlijke variatie in kwantitatieve

eigenschappen kan optreden bij genetisch identieke organismen. Deze eigenschappen benoemde hij

‘fenotypische eigenschappen’. Tijdens zijn onderzoek definieerde hij fenotypering als: “Fenotypering

is de beschrijving van alle soorten organismen, die onderscheiden kunnen worden door direct

onderzoek of met behulp van fijne meetmethoden.” (Johannsen, 1911).

In zijn studie verklaarde Johannsen dat fenotypering zowel voor planten, dieren, schimmels als

bacteriën gekenmerkt wordt door tal van processen, functies en structuren. Fenotypering is in dit

geval niet zo lineair als het bepalen van een genotype, maar is vaak een interactie tussen het

genotype, de omgeving en de behandelingen van de plant (Figuur 1).

Een belangrijke tak in het onderdeel van de biotechnologie is de ‘phenomics’. Vaak wordt deze term

verward met fenotypering. Beide begrippen duiden op observeerbare of meetbare eigenschappen

van een plant, maar hiernaast omvat men bij phenomics ook nog een evaluatie van de patronen en

relaties tussen genotype en fenotype en tussen individuen met een gelijkaardig fenotypen (Perez-

Sanz, Navarro, & Egea-Cortines, 2017). Anders gezegd, omvat dit het verzamelen van bepaalde

fenotypische gegevens op allerlei vlakken. Deze gegevens dragen bij tot een completere benadering

van een concrete fenotypische ruimte die bekomen wordt door een bepaald genoom of een set van

genomen. Niet alleen wil dit dus zeggen dat plant fenotypering afhankelijk is van allerlei

verschillende dimensies en resoluties, maar ook onder verschillende werkomgevingen moet het

effectief zijn. Zowel voor kleinschalige als grootschalige projecten (Lobos, et al., 2017).

Omwille van de snelle evolutie in de ontwikkeling van beeldanalysetechnieken, focust de plant

fenotypering zich steeds meer op high-throughput plant fenotypering. Plant fenotypering kan

gedefinieerd worden als de totale beschrijving van tal van cascades die plaatsvinden na de

transcriptie van DNA naar RNA voor de vorming van eiwitten. Deze eiwitten zorgen voor de

fenotypische kenmerken zoals morfologische en architecturale structuren, maar ook voor de

ontwikkeling van metabolieten en ionen (Walter, Liebisch, & Hund, 2015). Oorspronkelijk werden

deze kenmerken manueel opgemeten, maar met de ontwikkeling van professionele

beeldvormingstechnieken, kan dit nu op een veel snellere, goedkopere en meer effectieve wijze

bereikt worden.

De term high-throughput fenotypering bij planten wordt gebruikt voor technologieën die

gebruikmaken van geautomatiseerde, niet-destructieve, online gestuurde machines die meerdere

morfofysiologische planteigenschappen screent. Vaak kunnen deze metingen continu gemeten

worden over een bepaalde tijdslengte, wat gebruikt wordt voor het volgen van de voortgang van de

groei van een plant. Bovendien kan er ook gemeten worden hoe ze reageren op bepaalde

3

stresssituaties en wat de gegeven opbrengst is van een plant (Rouphael, Spíchal, Panzarová, Casa, &

Colla, Augustus).

Figuur 1: Invloed van genoom en de verschillende omgevingstoestanden op het fenotype. Ondanks een gelijkaardig genotype, beïnvloedt de omgeving het fenotype van de plant. Zo lijkt hier op figuur 1 de plant bij omgeving A minder toegang verkregen te hebben tot licht, water en/of nutriënten waardoor deze een kleinere structuur lijkt te bezitten

(Walter, Liebisch, & Hund, 2015).

2.1.2 Gebruik van beeldvorming en –analyse voor fenotypering Verschillende beeldvormingstechnieken beschikken sensoren, die gebruikt kunnen worden om

planten te fenotyperen. Tal van morfologisch kenmerken kunnen via twee- of driedimensionale

beeldvormingssystemen gemeten worden. Enkele voorbeelden zijn: kleur en grootte van zaden

(Dumont, et al., 2015), bladeren (Gao, Van der Heijden, Vos, Eveleens, & Marcelis, 2012), boomlaag

(Omasa, Hosoi, & Konishi, 2007), wortels (Zhu, Ingram, Benfey, & Elich, 2011), vruchten (Kumar,

Pratap, & Kumar, 2015) enzoverder.

Naast morfologische kenmerken kan het gebruik van beeldvorming en beeldvormingsanalyses een

nuttig hulpmiddel zijn om fysiologische kenmerken waar te nemen. Deze kenmerken kunnen

gerelateerd zijn aan plantorgaan functies of pathologische eigenschappen waarbij men bepaalde

ziektes snel en eenvoudig kan detecteren. Elke beeldvormingstechniek gebruikt hiervoor specifieke

sensoren, die verder in de literatuurstudie worden besproken.

2.2 Beeldvormingstechnieken Een groot verschil vergeleken met de eerste jaren waarin men fenotypische analyses maakte, is de

grote capaciteit en verscheidenheid aan technologieën waar men nu op kan terugvallen. In plaats van

parameters zoals gewicht, lengte en biomassa manueel op te meten, wordt steeds vaker gebruik

gemaakt van beeldanalyse om deze parameters te kwantificeren. Veel technieken en

methodologieën die worden gebruikt bij deze beeldanalyse, zijn afkomstig uit het domein van de

Computer Vision (PhenomUK, 2018). Computer Vision is een computerwetenschap die zich bezig

houdt met het ontwikkelen en toepassen van technologieën (vaak algoritmisch van aard) en op een

sterk geautomatiseerde manier informatie kunnen extraheren uit (sequenties van) beelden. Dit

houdt onder meer in dat een toestel, op basis van een afbeelding of een segment van een

afbeelding, een bepaalde visuele analyse kan maken, specifieke elementen kan detecteren en

4

onderscheiden van andere delen (BMVA, 2018). In de fenotypering zijn dit vaak onderdelen van een

plant (zoals bladeren of zaden). Het onderscheiden van deze onderdelen is vaak een eerste stap in

een groter fenotyperingsproces. Wanneer men deze analyses systematisch uitvoert op tijdsreeksen

van beelden, kan men bijvoorbeeld de groei van planten monitoren op een gedetailleerde en deels

geautomatiseerde manier. Een ander, meer geavanceerde toepassing, bestaat uit de opbouw van

3D-modellen en analyses van plantengroei.

In fenotyperingsplatformen die gebruik maken van beeldverwerking, worden vaak twee

componenten onderscheiden. Enerzijds is er de beeldcaptatiecomponent. Dit is de technologie die

de beelden genereert. Anderzijds is er de beeldanalysecomponent. Dit is de beeldanalysesoftware,

die uit de ruwe beelden het fenotype extraheert en kwantificeert. In de volgende sectie zal een

overzicht gegeven worden van de hedendaagse gebruikte beeldvormings- of captatietechnieken. De

fysische (en fysiologische) principes waarop de technieken berusten, worden besproken alsook de

voor- en nadelen van deze technieken. Veel van deze technieken maken gebruik van het

absorptiespectra van (groene) planten. Bij diverse golflengtes kunnen zeer uiteenlopende

eigenschappen opgemeten en geanalyseerd worden.

2.2.1 Absorptiespectra van (groene) planten Het absorptiespectrum van groene planten bestaat uit golflengtes die ontstaan door

elektromagnetische radiatie. Deze golflengtes worden geabsorbeerd door verschillende onderdelen

van groene planten wanneer het licht hierdoor passeert. Het absorptiespectrum toont aan in welke

mate het inkomend licht geabsorbeerd wordt door bepaalde moleculen in een plant. De twee grote

klassen van fotosynthetische pigmenten zijn chlorofyl en carotenoïden, die elk zelf enkele

verschillende types pigmentmoleculen bevatten. Elk van deze pigmenten zullen enkel golflengten

absorberen in een specifieke regio. Zoals weergegeven op Figuur 2, zijn de meest voorkomende

moleculen in planten die licht absorberen chlorofyl a, chlorofyl b, carotenoïden en anthocyanen.

Zowel chlorofyl a als b bevatten een hoog absorptiespectrum in de rode (430-460 nm) en blauwe

regio’s (640-660 nm). Toch zal ook een deel van het licht bij andere golflengtes geabsorbeerd

worden. Carotenoïden en anthocyanen zijn hierbij de meest voorkomende fotoreceptoren en dragen

tevens bij tot de fotosynthese bij planten (Hashimoto, Uragami, & Cogdell, 2016).

Figuur 2: Absorptie spectrum van enkele belangrijke plant pigmenten (Taiz, Zeiger, Møller, & Murphy, 2014)

5

De pigmenten zullen na het absorberen van het licht geëxciteerd worden, wat wil zeggen dat ze naar

een hogere energietoestand worden gebracht (Figuur 3). De energie kan dan doorgegeven worden

naar een molecule die instaat voor de start van de fotofosforylatie. Tijdens dit proces zal het licht

omgezet worden in chemische energie, ATP en NADPH (Easlon, 2015). Fotosynthese zelf is het

integreren van deze lichtreacties die zorgen voor de omzetting van CO2 tot suikers.

Vervolgens zal ook een deel van de geëxciteerde elektronen van chlorofyl terugvallen naar zijn

grondtoestand via vibrerende relaxatie. Het terugvallen naar zijn grondtoestand via fotonemissie

wordt ook wel fluorescentie-emissie genoemd. Dit fluorescentielicht kan met fluorescentiecamera’s

waargenomen worden. Tijdens het terugvallen van het elektron naar zijn grondtoestand zal

bovendien een deel van de energie als warmte-energie uitgezonden worden. Deze energie is met

thermische camera’s te detecteren (Misra, Misra, & Singh, 2012).

De drie processen die met andere woorden plaatsnemen wanneer licht energie geabsorbeerd wordt

door chlorofyl in een fotosynthetisch systeem zijn: a) gebruik van energie voor fotosynthese, b)

energie uitgezonden als warmte-energie en c) energie dat uitgestraald wordt als fluorescentie-

energie. Zo bekomt men drie processen die alle drie met elkaar in competitie treden, waarbij de ene

in efficiëntie zal afnemen wanneer de andere in efficiëntie zal toenemen (Misra, Misra, & Singh,

2012).

Figuur 3: Energie diagram van wat er gebeurt wanneer een pigmentmolecule een foton van het licht absorbeert (Easlon, 2015)

2.2.2 Beeldvorming in het zichtbare spectrum

2.2.2.1 Algemene beschrijving

Beelden die in het bereik van het zichtbaar spectrum genomen worden, worden gebruikt om een

weergave te creëren van planten die nauw aansluit bij de manier waarop ook de mens een plant

waarneemt. Met deze informatie kan men een plant fenotyperen op basis van zichtbare kenmerken

(Li, Zhang, & Huang, 2014). De meest gebruikte standaard camera’s hebben een bereik in het

zichtbaar spectrum (400-700 nm) en zorgen voor een twee dimensionaal beeld. De sensoren, die

deze camera gebruikt, maken gebruik van drie kleuren sensoren (rood, groen en blauw). Op die

6

manier kan elke pixel met elk zijn eigen kleur als een array van drie waarden worden opgeslagen.

Voor kleine planten wordt via een bovenaanzicht een foto genomen, zoals bijvoorbeeld bij

Arabidopsis thaliana. Terwijl voor grotere planten verschillende afbeeldingen genomen worden om

zo (door gebruik te maken van image-stitching) tot één complete afbeelding met hoge resolutie te

komen (Figuur 4) (Fahlgren, Gehan, & Baxter, 2015).

Figuur 4: Voorbeeld van een RGB camera met digitale fenotypering op basisch van het visueel spectrum (Jansen, 2016).

2.2.2.2 Belangrijke toepassingen en limitaties

Omwille van de vrij goedkope en makkelijk bruikbare camera’s, zijn high-throughput

fenotyperingsystemen de voorbije jaren zeer populair geworden (Fahlgren, Gehan, & Baxter, 2015).

Bovendien zijn verschillende van deze camera’s draagbaar en omwille van de grote kennis die

ondertussen ontwikkeld is rond de analyse van RGB-beelden, is er al talrijke vrije software

beschikbaar (Tabel 1) (Perez-Sanz, Navarro, & Egea-Cortines, 2017). Enkele van deze veel gebruikte

software toepassingen zijn Rosette Tracker (De Vylder, Vandenbussche, Hu, Philips, & Van Der

Straeten, 2012), Phenophyte (Green, et al., 2012), SmartRoot (Lobet, Pagès, & Draye, 2011) en

RootNav (Pound, et al., 2013).

Tabel 1: overzicht van vrije softwaretoepassingen die beschikbaar zijn voor de analyse van RGB-beelden

Rosette Tracker Een opensourcesoftware beeldanalyse hulpmiddel voor automatische kwantificatie van genotypen (De Vylder, Vandenbussche, Hu, Philips, & Van Der Straeten, 2012).

Phenophyte Een goedkope webapplicatie gebruikt voor semi-geautomatiseerde kwantificatie van eigenschappen die via tweedimensionale beelden zichtbaar zijn (Green, et al., 2012).

SmartRoot Een software toepassing die semi-geautomatiseerd beeldanalyses uitvoert voor kwantitatieve analyses van complexe wortelsystemen (Lobet, Pagès, & Draye, 2011).

RootNav Een beeldverwerkingssysteem met semi-geautomatiseerd kwantificatie van de architectuur van wortelsystemen (Pound, et al., 2013).

In een gecontroleerde omgeving zoals een groeikamer of serre heeft beeldanalyse met behulp van

zichtbaar licht tal van toepassingen. Vaak zijn deze toepassingen gerelateerd aan morfologische

7

eigenschappen zoals vorm, structuur, geometrische eigenschappen zoals lengte en oppervlak en

kleuren. De voornaamste zijn: meten van biomassa (Golzarian, et al., 2011), opbrengst (Duan, Yang,

Huang, & Liu, 2011), wortel structuren (Clark, et al., 2011), morfologie van zaden (Joosen, et al.,

2012), bladstructuur (Jansen, et al., 2009).

Het grootste voordeel aan beeldanalyse in het spectrum van het zichtbaar licht, is de eenvoud van de

technologie en de prijsvoordeligheid. Ondertussen zijn er al heel wat sensoren en camera’s

ontwikkeld die ervoor zorgen dat de kwaliteit van de beelden uitstekend zijn, voor een relatief lage

prijs. Het grote nadeel echter aan deze manier van beeldvorming, is dat deze afbeeldingen slechts

weinig informatie bevatten over de fysiologische toestand van de plant (Humplík, Lazár, Husičková, &

Spíchal, 2015). Bovendien zorgt het overlappen van bladeren vaak voor moeilijkheden in het exact

berekenen van de biomassa van een plant. Zowel de bepaling van het aantal bladeren als het

oppervlakte van de bladeren kunnen een probleem vormen. Dit is echter enkel wanneer er op grote

schaal gewerkt wordt. Op multiwell-schaal is dit probleem beperkt vanwege de geringe grootte van

de planten, zaden of wortels en de ontwikkeling van 3D-beeldverwerkingstechnieken (Li, Zhang, &

Huang, 2014).

2.2.3 Beeldvorming in het nabije infrarood spectrum en korte golf

infrarood spectrum

2.2.3.1 Algemene beschrijving

Zoals eerder werd weergegeven op onderstaande figuur (Figuur 2), is er een sterk

absorptievermogen van chlorofylmoleculen in de buurt van rood (430-460 nm) en blauw (640-660

nm) licht. Beide in het zichtbaar spectrum terug te vinden. Omwille van de grote hoeveelheid

absorptie is er maar een klein deel (vooral het groene gedeelte) van de plant dat gereflecteerd wordt

in het zichtbaar spectrum. Daarentegen is er in het nabij-infrarood spectrum een hoge reflectie

(Knipling, 1970).

Figuur 5: Grafiek met de reflectie in functie van de golflengte van een tabaksblad (Knipling, 1970)

Het infrarood spectrum kan onderverdeeld worden in drie groepen: het nabij infrarood spectrum

(700 nm - 1000 nm), het korte golf infrarood spectrum (900 nm – 2500 nm) en het lange golf

infrarood spectrum (2,5 µm – 13 µm). Het bereik van de sensoren van het korte golf infrarood

8

spectrum is echter van 900 nm - 1700 nm en dit van het lange golf infrarood spectrum van 7,5 µm –

13 µm (Fahlgren, Gehan, & Baxter, 2015). Het lange golf infrarood spectrum wordt ook wel het

thermisch infrarood spectrum genoemd en wordt specifiek verder in een apart deel besproken.

Wanneer een lichtstraal invalt op een blad, kan deze op drie verschillende wijzen zich doorheen het

blad bewegen. Een deel van de lichtstralen zal worden gereflecteerd, een ander deel wordt

geabsorbeerd en nog een ander deel zal via transmissie zich doorheen het blad begeven. In het

zichtbaar spectrum is er vooral een grote absorptie door chlorofylmoleculen, vanaf 1,3 µm is dit

vooral door de absorptie van water (Knipling, 1970). Zoals weergegeven op onderstaande figuur

(Figuur 5) zorgt dit voor een dal in de grafiek die de reflectie van het licht weergeeft van een

tabaksplant. In het gedeelte tussen 0,7 µm en 1,3 µm is de reflectie afkomstig van interne cellulaire

structuren. De buitenwand is zowel voor het infrarood als zichtbaar licht transparant zodat slechts

een klein deel van het zonlicht gereflecteerd wordt (Knipling, 1970). Het licht wordt echter wel

verstrooid wanneer het door de cuticula en epidermis gaat en verder tot in de mesofylcellen (Figuur

6). In deze regio zal er reflectie optreden met een index tussen deze van lucht (1,0) en deze van

water (1,4).

Een belangrijke factor is dus water, die ervoor zorgt dat een groot deel van het licht geabsorbeerd

wordt. Wanneer een plant veel water bevat zullen de kleine luchtkamertjes, aanwezig in de

plantencellen, gevuld worden met water. Dit zorgt ervoor dat het licht niet meer kan passeren en

geabsorbeerd zal worden (Knipling, 1970).

Figuur 6: Reflectie bij het invallen van licht op een plantencel zal vooral groen licht gereflecteerd worden in het zichtbaar spectrum en een sterke reflectie van IR-licht in het nabij infrarood spectrum (Carns, 2016)

.

2.2.3.2 Belangrijke toepassingen en limitaties

Door de toename van reflectie in het nabij infrarood spectrum van het mesofyl in de bladeren, wordt

deze beeldvorming vaak gebruikt voor de dikte van de bladeren te meten of bij grootschalige

onderzoeken om de structuur van de boomlaag te meten. Vanaf 1300 nm zal echter de reflectie

afnemen, dit komt omdat rond dit spectrum water de stralen absorbeert. Deze molecule heeft

9

namelijk drie verschillende absorptiebanden liggen tussen 1300 nm en 2500 nm (bij 1450 nm, 1930

nm en 2500 nm). Studies die onderzoek doen naar de water stress bij planten, gebruiken daarom

vaak nabij infrarood spectroscopie.

De grootste limitatie voor nabij infrarood beeldvorming is dat deze technologie afhankelijk is van

kalibratie modellen. Men moet op voorhand een kalibratie sample hebben, dat gebruikt kan worden

om een grote groep planten of plantendelen te kunnen fenotyperen. Aan de hand van

mathematische modellen en berekeningen kan het gemeten (infrarood) signaal vertaald worden in

een fysiologisch relevante eigenschap. Technieken die daarvoor gebruikt worden ,zijn ondermeer 2D

correlatie schetsen, principale componenten analyses, kleinste-kwadratenmethodes, support vector

machines en andere ‘machine learning’ methodes. Deze kalibratie modellen zorgen voor een hoge

kostprijs en bovendien in combinatie met high-throughput fenotypering zorgt dit voor een grote

kwantiteit aan afbeeldingen. De verwerking van deze beelden zijn dan vaak ook niet economisch

rendabel (Li, Zhang, & Huang, 2014).

Een limitatie die zich enkel voordoet bij grootschalige onderzoeken op grote velden, is de verstoring

van de reflectie van zonlicht door atmosferische waterdamp. Vandaar dat de waterstress van planten

vaak op golflengtes gemeten wordt tussen 970 nm en 1200 nm. Volgens verschillende studies

(Penuelas et al., 1993, 1997b; Babar et al., 2006; Seelig et al., 2008 ) wordt op deze golflengte echter

niet de absorptie van water gemeten, maar is dit eerder een reflectie van de algehele verandering in

de architectuur van een plant (Berger, Parent, & Tester, 2010).

2.2.4 Thermische beeldvorming

2.2.4.1 Algemene beschrijving

Thermische infrarood camera’s, ook wel warmtebeeldcamera’s genoemd, zijn camera’s die beelden

waarnemen in een bereik van 3 tot 14 µm in het elektromagnetisch spectrum. IR thermografie geeft

de temperatuurverdeling weer van een oppervlakte van een bepaald object (zoals de oppervlakte

van een blad). Verschillende andere functionele karakteristieken, zoals bladoriëntatie,

warmtecapaciteit, oppervlakte-eigenschappen, infraroodabsorptie en transpiratiesnelheden kunnen

gelinkt worden aan de temperatuur van een plant (Fiorani, Rascher, Jahnke, & Schurr, 2012).

De belangrijkste parameter die automatisch gecorreleerd wordt aan thermische beeldvorming, is de

stomatale geleiding (𝑔𝑠 =𝑚𝑚𝑜𝑙 𝐻2𝑂

𝑚² 𝑠) (Sirault , James , & Furbank , 2009). Dit is de passage snelheid

van waterdamp door de huidmondjes of kleine poriën van de plant. Dit verloopt evenredig met de

CO2-opname van een plant. Tijdens de transpiratie zal er namelijk CO2 opgenomen worden dat

gebruikt zal worden tijdens de fotosynthese in de chloroplasten. Op hetzelfde moment zal de plant

via de stomata water verliezen dat voor de afkoeling van de plant zorgt. Dit wil dus zeggen dat de

bladtemperatuur in relatie staat met de transpiratie snelheid als de geleiding van de stomata

(Damour, Simonneau, Cochard, & Urban, 2010).

De prestatie van de thermische camera’s zijn afhankelijk van drie componenten: de snelheid van

scannen, de resolutie en de gevoeligheid (Mahlein, Oerke, Steiner, & Dehne, 2012). Een groot

voordeel ten opzichte van de oorspronkelijke methodes, waarbij men apparatuur nodig had om de

stomatale geleiding te meten, is de niet-invasieve vorm van de analyse. Bovendien is deze

10

oorspronkelijke methode zeer tijdrovend en enkel bruikbaar voor kleinschalige onderzoeken, terwijl

thermische beeldvorming een snelle en attractieve manier is om planten te fenotyperen (Humplík,

Lazár, Husičková, & Spíchal, 2015).

2.2.4.2 Belangrijke toepassingen en limitaties

Thermische beeldvorming wordt gebruikt om de temperatuur van het oppervlak van bladeren op te

meten. Deze metingen kunnen in verband gebracht worden met de waterstresstoestand van de

plant, aangezien planten afkoelen wanneer ze transpireren. Meer bepaald is dit afhankelijk van de

geleiding van de stomata. Wanneer deze gesloten zijn zal de temperatuur van de plant stijgen

aangezien er geen transpiratie meer mogelijk is. Verschillende onderzoeken omtrent de water

stressbestendigheid van planten wordt daarom uitgevoerd met thermische beeldvorming (Humplík,

Lazár, Husičková, & Spíchal, 2015).

Het opmeten van abiotische en biotische stress kan tevens gebeuren met behulp van thermische

beeldvorming. Deze kunnen namelijk gelinkt worden aan de afname van fotosynthese en

transpiratie. Op grote schaal zijn al succesvolle experimenten uitgevoerd, zoals metingen van de

temperatuur van de boomlaag; alsook op multiwellschaal, waarbij men thermische beeldvorming

gebruikte tijdens de screening naar interessante mutanten (Zia, et al., 2012).

Een tweede veelgebruikte toepassing van thermische beeldvorming is het detecteren van lokale

ziektes. Omwille van een infectie van pathogenen of als respons van het immuunsysteem zal de plant

lokale temperatuursveranderingen ondergaan die gedetecteerd kunnen worden met deze

thermische beeldvorming (Mahlein, 2016).

Ondanks de snelle en gebruiksvriendelijke methode zijn er ook enkele limitaties. Zo is het van

cruciaal belang dat onderzoekers rekening moeten houden met de omgevingstoestand waarin een

experiment plaats vindt. Vele factoren kunnen namelijk een invloed hebben op de metingen zoals

lichtintensiteit, luchtvochtigheid, windsnelheden. Deze zijn echter voornamelijk van toepassing bij

fenotypering op grote schaal waardoor deze nadelen gelimiteerd zijn op laboniveau (Humplík, Lazár,

Husičková, & Spíchal, 2015).

2.2.5 Fluorescentie beeldvorming

2.2.5.1 Algemene beschrijving

Fluorescentie is de emissie van licht met een langere golflengte, nadat dit licht met een kortere

golflengte geabsorbeerd werd door dat object. In planten zijn fotosystemen de belangrijkste

fluorescentie complexen van een plant. Met als gevolg dat de metabolische status van een plant kan

onderzocht worden met behulp van artificiële excitatie van de fotosystemen van een plant en de

verschillende reacties hierop (Baker N. R., 2008). Beeldvorming met behulp van fluorescentie, is één

van de meeste relevante technieken die gebruikt wordt voor de beschrijving van deze processen (Li,

Zhang, & Huang, 2014). De moleculen die fluorescentie uitstralen, hebben de capaciteit om licht te

absorberen bij een bepaalde specifieke golflengte. De energie die deze moleculen hierbij ontvangen,

wordt gebruikt om valentie-elektronen naar een hogere energetische toestand te brengen; om dan

stelselmatig terug te vallen naar hun oorspronkelijke grondtoestand. De energie die hierbij vrijkomt

wordt geëmitteerd onder de vorm van fluorescerend licht (Haustein & Schwille, 2007).

11

Een vaak onderzocht deel van de plant dat fluorescentie bevat, is het chlorofyl complex. Een groene

plant wordt bestraald met hoog energetisch licht afkomstig van een lamp of laser. Een deel van het

terug gestraalde licht wordt opgevangen met een fluorescentie detectie camera (Figuur 7a). De

eigenschappen van het bestraalde licht en het terug gestraalde licht, zijn variabel en bovendien

afhankelijk van de capaciteit van de plant om licht te metaboliseren (Figuur 7b).

Volgens een studie van Buschmann en Lichtenthaler (Buschmann & Lichtenthaler, 1998) stralen

groene planten zowel blauwe, groene als rode en ver-rode elektromagnetische stralingen uit na een

UV-bestraling (Figuur 7b). De maxima zijn respectievelijk te vinden bij 440 nm (blauw), 520 nm

(groen), 690 nm (rood) en 740 nm (ver-rood). In de rode en ver-rode regio wordt dit veroorzaakt

door chlorofyl a en in de blauwe en groene regio is dit ten gevolge van ferulazuren die covalent

gebonden zijn met de celwanden (Buschmann, Langsdorf, & Lichtenthaler, 2000). Deze fenolen zijn

secundaire metabolieten die in het plantmetabolisme een belangrijke rol spelen, zoals onder andere

bij de synthese van lignine. Vandaar dat deze in de plant fenotypering vaak als indicator gebruikt

wordt, voor de bepaling van het plant metabolisme.

Figuur 7a: opstelling voor fluorescentie beeldverwerking, Figuur 7b: fluorescentieprincipe die van toepassing is bij fluorescentie beeldverwerking (Li, Zhang, & Huang, 2014)

2.2.5.2 Belangrijke toepassingen en limitaties

Verschillende studies die gebruik maken van fluorescentie beeldvorming, gebruiken de

fluorescentietechniek om vroegtijdig stress bij de plant te kunnen detecteren vooraleer er zichtbare

symptomen zijn (Baker, 2008; Jansen et al., 2009; Konishi et al., 2009; Munns et al., 2010; De Smet et

al., 2012; Chen et al., 2014b). Deze stress wordt veroorzaakt door biotische en abiotische

stressfactoren.

Een tweede belangrijk onderwerp waarbij men gebruik maakt van fluorescentie beeldvorming is bij

het scannen van een groot aantal mutanten en bij mutanten die elk verschillende pigmenten

bevatten (Rahaman, Chen, Gillani, Klukas, & Chen, 2015; Niyogi, Grossman, & Björkman, 1998; Lu,

Savage, & Last, 2011).

De grootste voordelen ten opzicht van andere beeldvormingstechnieken is de hoge selectiviteit en de

goede signaal-ruisverhouding. De reden hiervoor is de hoge selectiviteit van de transitie van een

molecule naar een hogere elektronische toestand, die enkel voorkomt bij bepaalde fotonen met een

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B7https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B57https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B69https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B77https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B28https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B28https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4530591/#B18

12

hoge energie. Daarentegen lijkt de FV/FM verhouding bij ernstige waterbeperkingen, nauwelijks

gevoelig bij de metingen, waardoor de plant niet op waterstress situaties kan getest worden (Jansen,

et al., 2009).

2.2.6 Multispectrale en hyperspectrale beeldvorming

2.2.6.1 Algemene beschrijving

Multispectrale en hyperspectrale beeldvormingstechnieken maken gebruik van multispectrale en

hyperspectrale sensoren, die de reflectie signalen opvangen van complexe foton-vegetatie

interacties; de multispectrale sensoren fixeren zich op de reflectie van een select aantal banden,

terwijl hyperspectrale sensoren de reflectie meten op een breed bereik van golflengtes (400-2000

nm) (Mishra, Mishra, Klem, & Govindjee, 2016). Zowel multispectrale als hyperspectrale

beeldvorming functioneren op een gelijkaardige manier. Er worden verschillende afbeeldingen

geconstrueerd, die allemaal gevormd worden bij een verschillende golflengte. Deze sets van

afbeeldingen worden dan via image-stitching samengebracht tot één geografische mozaïek. Via

wiskundige berekeningen kan men voor deze beelden vervolgens vegetatieve-indexen berekenen.

Verschillende van deze indexen kunnen gebruikt worden om het chlorofyl-gehalte te bepalen of om

het bladoppervlak per eenheid grondoppervlak te bepalen. Een derde belangrijke index is de

Normalized Difference Vegetation Index (NDVI). Deze index kwantificeert de hoeveelheid vegetatie

van een gebied of de gezondheid van een bepaalde plant (Taipale, 2018). Het berekent het verschil

tussen de intensiteit van dichtbij infrarood en rood licht. Het infrarood licht wordt sterk gereflecteerd

door de vegetatie en gezonde groene planten, terwijl rood licht geabsorbeerd zal worden door de

vegetatie en gezonde groene planten (Figuur 8). Dit gebeurt volgens de vergelijking: 𝑁𝐷𝑉𝐼 =

(𝑁𝐼𝑅−𝑅𝐸𝐷)

(𝑁𝐼𝑅+𝑅𝐸𝐷).

Figuur 8: het verschil in Normalized Difference Vegetation Index (NDVI) tussen een boom met gezonde bladeren (linkse) en een boom met bladeren met een slechtere gezondheid. De linkse gezonde vegetatie zal meer near-infrared (NIR) en

groen licht reflecteren vergeleken met andere golflengtes en absorbeert zo ook meer blauw en rood licht (GisGeography, 2018).

13

Het grote verschil tussen eenvoudige digitale RGB-beeldvorming en multispectrale/hyperspectrale

beeldvorming, is dat bij RGB-beeldvorming een beeld opgemaakt wordt met licht verspreid over het

zichtbaar spectrum. Bij multispectrale en hyperspectrale beeldvorming daarentegen ligt het bereik

zowel in het niet-zichtbaar spectrum als zichtbaar spectrum. Multispectrale beeldvorming zal enkel

een klein aantal spectrale banden gebruiken, terwijl hyperspectrale beeldvorming een compleet

spectrum gebruikt per pixel.

Zowel multispectrale als hyperspectrale beeldvorming maken gebruik van verschillende camera’s die

elk een eigen optische filter bevatten, waarmee men bij een aantal specifieke golflengtes een

afbeelding kan nemen (MicaSense, 2016). Elk oppervlak, van zowel plant als blad, reflecteert een

bepaalde hoeveelheid van het licht dat het ontvangt. Omwille van ieders eigen specifiek oppervlak,

zal de radiatie van het zonlicht op een eigen unieke manier geabsorbeerd worden. Via de

verschillende sensoren, die zowel bij multispectrale als hyperspectrale beeldvorming aanwezig is, kan

deze reflectie gemeten en verwerkt worden tot verschillende afbeeldingen (Corrigan, 2018).

2.3 Beeldvormingsplatformen

2.3.1 PathoViewer

Figuur 9: Voorstelling van de PathoViewer

2.3.1.1 Algemene beschrijving

De PathoViewer (Figuur 9) is een beeldvormingsplatform dat met behulp van hoge resolutiebeelden

planten kan fenotyperen onder gecontroleerde omstandigheden. Het bevat een 6 MP – 16 bit

camera uitgerust met verschillende optische filters die toegepast kunnen worden voor talloze

toepassingen zoals het meten van chlorofyl fluorescentie, Red Fluorescent Protein (RFP), Green

Fluorescent Protein (GFP), auto-fluorescentie, RGB, gemodificeerde anthocyaanreflectie-index en

chlorofylindex. Het is een geautomatiseerd systeem, dat ingezet wordt om biotische als abiotisch

stress na te gaan van planten of plantendelen (Phenovation Life Science, 2016).

2.3.1.2 Specificaties van de Pathoviewer

De Pathoviewer maakt gebruik van een combinatie van RGB, chlorofylfluorescentie, anthocyaan, NIR

en GFP/RFP beeldverwerking om de impact van abiotische en biotische stress te visualiseren. Met

behulp van deze camera’s kunnen onderzoekers bovendien wetenschappelijke relevante informatie

14

verzamelen van planten, naast de visualisatie van de fenotypische kenmerken. In de volgende sectie

worden de belangrijkste parameters die gemeten worden besproken.

FV/FM

Een eerste belangrijke parameter die gemeten kan worden met de Pathoviewer is de Fv/FM-waarde.

Deze parameter bekomt men door gebruik te maken van chlorofyl fluorescentie, die een maatstaf is

voor het bepalen van de fotosynthetische prestaties van een plant. Met behulp van fluorescentie

kunnen verschillende parameters berekend worden zoals lineaire elektronenstroom, CO2-assimilatie

en veranderingen in fotosysteem II (PSII) fotochemie (Baker N. R., 2008).

Figuur 10: Fluorescentie-quenching-analyse bepaald door gemoduleerde fluorescentie. FO = minimaal fluorescentielevel, FM = maximaal fluorescentielevel en Fv = variabel fluorescentielevel (Baker N. R., 2008)

De Fv/FM -waarde bepaalt de maximum kwantumefficiëntie van de fotochemie van PSII. Eerst zal het

minimaal fluorescentielevel F0 bepaald worden (Figuur 10). Door een kleine hoeveelheid (0,1 µmol

fotonen m-1 s-1) niet-actinisch licht vrij te stellen aan het blad van een plant. Actinisch licht, is licht dat

geabsorbeerd wordt door fotosynthetische apparaten, dat fotochemische effecten veroorzaakt en

zorgt voor een elektronentransport (Baker N. R., 2008).Vervolgens wordt een korte actinische puls

met hoge foton flux densiteit (685 µmol fotonen m-1 s-1) aan het blad vrijgeste,ld zodat er een

maximaal fluorescentielevel bereikt wordt (FM). Dit zorgt ervoor dat de reactiecentra met primaire

chinonenacceptoren van het PSII (QA) zich in een gesloten status zullen bevinden. Het verschil tussen

FM en F0 wordt de variabele fluorescentie Fv genoemd. Het quotiënt van Fv/FM, is een maat voor de

stresssituatie van een plant. Hoe lager deze waarde, hoe lager het aantal bruikbare open reactie

centra en dus hoe hoger de stresssituatie van de plant (Baker & Rosenqvist, 2004).

15

Figuur 11: Voorbeeld van een Fv/FM - meting toegepast op tarwe geïnfecteerd met Zymoseptoria tritici

Anthocyanine

Een tweede belangrijke parameter die gemeten kan worden met de Pathoviewer, is de Ant-index.

Deze index correleert met de hoeveelheid anthocyanine die zich in een blad bevindt. Athocyanen zijn

pigmenten die verantwoordelijk zijn voor de vermiljoen verkleuring. Deze pigmenten zouden een

invloed hebben op de manier van reageren op bepaalde stresssituaties zoals: droogte, UV-B, zware

metalen, bepaalde herbivoren en pathogenen. Dit doen ze door hoogenergetische kwantumdeeltjes

te absorberen en zo chloroplasten te beschermen van foto-inhiberende en foto-oxidatieve effecten

als van het metaboliseren van fotolabiele verdedigingscomponenten (Gould, 2004).

Groen Fluorescentie proteïne (GFP) en rood fluorescentie proteïne (RFP) beeldvorming:

De laatste beeldvormingen die vaak toegepast wordt bij metingen van de Pathoviewer, zijn de

visualisatie van groen en rode fluorescentie proteïnen (GFP en RFP). Deze proteïnen zijn in staat om

proteïnen in vivo te detecteren en zo nieuwe inzichten te verschaffen over welbepaalde

celstructuren. Bovendien kunnen deze beeldvormingsprincipes ingezet worden voor het identificeren

van genfuncties en regulatorische netwerken.

Figuur 12: een voorbeeld van spectrale karakteristieken van GFP. Hierbij stelt de stippenlijn het exitatiespectrum voor en de volle lijn het emissiespectrum. De emissiefilter wordt met een dikke zwarte streep weergegeven.

16

Fluorescentie proteïnen werken op dezelfde werkwijze als andere fluorescentie labels (Figuur 12).

Ten eerste is er een bron noodzakelijk, die zorgt voor de excitatie. LED-lampen zorgen voor deze bron

bij de Pathoviewer. Hiernaast bevat de Pathoviewer een dichroïde, die ervoor zorgt dat de

excitatiewegen en emissiewegen van elkaar gescheiden blijven. Als derde element bevat het een

filter, die nodig is om het emissiegolflengtebereik te verzenden terwijl het excitatiegolflengtebereik

geblokkeerd wordt. Enkele voorbeeld waarbij GFP proteïnen toegepast worden, zijn hieronder

weergegeven (Figuur 13,Figuur 14).

Figuur 13: Voorbeeld van een plant dat een GFP-proteïne bevat, weergegeven links met en RGB camera en rechts met de multispectrale camera's van de Pathoviewer.

Figuur 14: Voorbeeld van een GFP geïnjecteerde tarwe plant weergegeven links met een RGB-camera en rechts met een multispectrale camera van de Pathoviewer

2.3.2 Beeldvormingsplatformen in Europa en internationaal Binnen Europa bestaan verschillende initiatieven, met als doel de mensen te ondersteunen in het

onderzoek naar plantfenotypering. Deze organisaties doen dit door het bezorgen van faciliteiten die

gebruikt kunnen worden over de gehele fenotyperingspijplijn zoals onder andere sensoren,

verschillende beeldvormingstechnieken, specifieke data-analyses in relatie met

omgevingsomstandigheden, opslagplaatsen… (Coppens, Wuyts, Inzé, & Dhondt, 2017).

2.3.2.1 EMPHASIS en IPPN

De European Infrastructure for Multi-scale Plant Phenomics and Simulation (EMPHASIS) is een

organisatie die zich inzet voor de ontwikkeling van grootschalige projecten voor fenotypering van

planten. Ze voorziet en ontwikkelt faciliteiten en diensten om in verschillende agrarische

omstandigheden factoren te kwantificeren zoals: plantenstructuur en -architectuur, fysiologische

functies en output, opbrengsten en de kwaliteit van planten. EMPHASIS heeft als doel om de

limitaties zowel op technologisch als organisatorisch vlak in Europa aan te pakken om tot

gewasverbeteringen te komen die nodig zijn om gewassen aan te passen aan de veranderende

klimaatomstandigheden (EMPHASIS, 2019).

17

Het International Plant Phenotyping Network (IPPN) is een tweede grote organisatie die zich inzet

voor de verbetering van fenotyperingbeeldvormingplatforms in de wereld. Het representeert het

grootste plant fenotyperingcentra in de wereld. Het heeft als doel een wereldwijd netwerk op te

richten van instellingen om de synergie tussen verschillende platforms te maximaliseren; en hierbij

de knelpunten zo goed mogelijk in kaart te brengen, om deze zo minimaal mogelijk te houden.

Vervolgens zorgt het ook voor een goede communicatie tussen zowel de academische wereld,

industriële wereld als de globale populatie zowel in als uit hun eigen onderzoeksgemeenschap. Ten

slotte zorgt deze associatie voor opleidingen en trainingen die nodig zijn om planten correct en op

een effectieve manier te fenotyperen.

Om te voldoen aan deze doelen organiseert de organisatie: workshops, summer schools, en symposia

met als doel de kennis die aanwezig is bij verschillende onderzoeksgroepen te verspreiden en

samenwerking tussen groepen te stimuleren. Daarnaast werden werkgroepen samengesteld, die zich

focussen op verschillende onderwerpen om nieuwe ideeën te ontwikkelen en tekortkomingen weg te

werken. Het zorgt voor de opstart van verschillende nieuwe research projecten vooral in gebieden

waar men nog niet aan plant fenotypering doet. Tot slot zorgt de organisatie ook voor geavanceerde

trainingsactiviteiten (IPPN, 2019).

2.3.2.2 Beeldvormingsplatformen in de wereld

Volgens de database van EMPHASIS zijn er momenteel 116 plant fenotyperingsinstallaties aanwezig

in Europa, waaronder de Pathoviewer. De meeste installaties zijn te vinden in Duitsland (22), België

(20), Frankrijk en het Verenigd Koninkrijk (beide 14).

Grafiek 1: Aantal plantfenotyperingplatformen in Europa (EMPHASIS & EPPN, 2018)

De fenotyperinginstallaties worden volgens EMPHASIS onderverdeeld in vijf verschillende

categorieën: de gecontroleerde velden, deep phenotyping, e-infrastructure, highly equiped fields en

network of lean fields. De meeste installaties (68 %) zijn installaties die functioneren in (semi-)

gecontroleerde omstandigheden voor hoge-resolutie en high-throughput fenotypering. Net zoals de

Pathoviewer, worden deze fenotyperinginstallaties gebruikt voor onderzoek naar de kenmerken van

0

5

10

15

20

25

Aan

tal

Landen in Europa met plant fenotyperingsplatforms

Fenotyperingsplatforms

18

planten in gecontroleerde omstandigheden, zoals in een abiotische of biotische toestand. De

capaciteit om het aantal planten tegelijk te fenotyperen is beperkt tot een 100-1000 tal (EMPHASIS,

2019). Sommige van deze platforms specialiseren zich in deep phenotyping; deze vorm van

fenotypering gebeurt ook onder gecontroleerde omstandigheden, maar er is een lagere high-

throughput. Bovendien zal er een uitgebreidere en preciezere analyse uitgevoerd worden van een

afzonderlijke fenotypische component (Robinson, 2012).

De tweede grootste categorie waarvoor fenotyperingplatforms gebruikt worden zijn highly equiped

fields of ook wel intensive fields genaamd. Intensive fields zijn installaties die in detail een veld onder

natuurlijke condities onderzoekt, voor verschillende kenmerken. Deze installaties bevatten

verschillende camera’s en toestellen om zowel de planten te fenotyperen als de omgeving te

controleren. Er wordt constant data verzameld, die de verschillende toestellen gebruiken om de

omgeving aan te passen naar de voorkeuren van de plant. Deze vorm van fenotypering laat de studie

toe om de interacties tussen verschillende genotypische variaties en de omgeving op te meten

(EMPHASIS, 2018).

Grafiek 2: Onderverdeling van de verschillende plant fenotyperingplatforms volgens de database van EMPHASIS

De derde grootste categorie zijn netwerken van velden, met een minimum maar efficiënt

plantfenotypering. Er worden in deze categorie niet-invasieve sensoren gebruikt om onder

veldomstandigheden via minimale inspanning, analyses af te nemen en plantkenmerken op te meten

(IPPN, 2019).

Ten slotte zijn er nog de kleinere categorieën deep phenotyping en e-infrastructure. Deep

phenotyping is een vorm van gecontroleerde conditie, waarbij zeer nauwkeurige precisie platforms

gebruikt worden om zeer gedetailleerde analyses uit te voeren op planten. De e-infrastructure

categorie omvat alle plantfenotyperingplatforms die in bezit zijn van informatiesystemen die

methoden en interfaces voor verschillende datasets aanbieden. Ze kunnen gebruikt worden door

verschillende platformen. Dit zowel voor het beheren, delen, hergebruiken als visualiseren van high-

throughput fenotyperinggegevens (EMPHASIS, 2019).

68% 3%

3%

14%

12%

Gecontroleerde condities

Deep phenotyping

e-infrastructure

highly equipped fields

(network of) lean field(s)

19

3 Beeldanalyse voor plantfenotypering

3.1 Digitale beeldverwerking Om het genoom van een plant te kunnen linken aan de omgevingstoestanden en fenotypische

kenmerken, moeten er vaak drie cruciale stappen ondernomen worden vooraleer er een exacte

analyse opgemaakt kan worden. Eerst moet er een experiment opgesteld worden. Daaropvolgend

moeten er kwantitatieve metingen uitgevoerd worden om dan tenslotte de resultaten op een

correcte wijze te interpreteren. Digitale beeldverwerking is een nuttig hulpmiddel, dat gebruikt kan

worden om op een vlotte efficiënte manier metingen uit te voeren. Vele kenmerken (zoals

planthoogte, bladoppervlak of stikstofinhoud) werden oorspronkelijk manueel of op een destructieve

manier opgemeten. Onder invloed van technologische vooruitgangen in de digitale beeldvorming en

-analyse, wordt steeds vaker gebruikgemaakt van beeldmateriaal om het fenotyperen te

automatiseren (Li, Zhang, & Huang, 2014).

Er moeten enkele cruciale stappen doorlopen worden om met behulp van beelden bepaalde

fenotypische eigenschappen van een plant te bepalen. Deze stappen vormen samen een

beeldanalysepipeline, die een beeld als input vraagt en als output een meting teruggeeft. Hoe

complex deze pipeline is, hangt af van het beeldmateriaal dat verkregen wordt, maar ook van de

eigenschap van de plant die men wenst op te meten. In deze thesis wordt de nadruk gelegd op top-

view beelden van kleine (dicotyle) planten. Wanneer men als voorbeeld het geprojecteerde

bladoppervlak van de plant wenst te meten, dan herleidt de beeldanalyse zich tot het detecteren en

tellen van de pixels die tot de plant behoren. Eventueel gevolgd door een herschaling met een vooraf

bepaalde schaalfactor. Wenst men daarentegen vormeigenschappen van de bladeren van deze plant,

zoals de circulariteit te meten, dan dient de pipeline ook technieken te bevatten die bladeren kunnen

herkennen en onderscheiden (Lee, Chang, Putra, Kim, & Kim, 2018).

3.2 Belangrijke stappen in het beeldanalyseproces Niettegenstaande de grote variatie aan technieken om beelden te analyseren, starten de meeste

pipelines met een segmentatiestap. Het belangrijkste doel hierbij is de plant in een beeld te

onderscheiden van de achtergrond. Voor eenvoudige planten op een homogene achtergrond

volstaat soms een eenvoudig kleurcriterium om pixels die tot de plant behoren te onderscheiden van

achtergrondpixels. Voor meer complexe achtergronden, waarbij veel componenten op één beeld

aanwezig zijn, zijn vaak bijkomende filterstappen of meer complexere segmentatietechnieken nodig.

Andere voorbeelden waarbij extra stappen noodzakelijk zijn, is bij planten die bijvoorbeeld

geelverkleuring vertonen waardoor de kleur binnen de plant varieert, of beelden die veel

onzuiverheden bevatten. In de volgende secties wordt er een overzicht gegeven van de belangrijkste

stappen die zich in een image processing pipeline bevinden en wordt er nagegaan welke technieken

frequent gebruikt worden tijdens dit proces. Een schematisch overzicht wordt weergegeven op de

onderstaande figuur (Figuur 15) en is gebaseerd op een studie van Lee, Chang, Putra, Kim & Kim in

2018 (Lee, Chang, Putra, Kim, & Kim, 2018).

20

Figuur 15: Stappenplan in het ondernemen van een beeldanalyseproces gelijkaardig aan studie van Lee, Chang, Putra, Kim & Kim in 2018

3.2.1 Setup en beeldcaptatie Voor elk onderzoek wordt er eerst een setup gemaakt van alle beeldcaptatie instrumenten,

omgevingssensoren en andere systemen die paramaters controleren zoals irrigatie en licht. Al deze

instrumenten zijn afhankelijk van de omgeving waar het beeldanalyseproces verloopt (Lee, Chang,

Putra, Kim, & Kim, 2018). Beeldcaptatie is het proces waarin een digitale representatie van een

bepaalde scene wordt vastgelegd. Deze representatie wordt opgeslagen onder de vorm van een

afbeelding, die pixels bevat. De instrumenten die zorgen voor deze captatie, worden

beeldverwerkingssensoren genoemd. Met behulp van allerlei optische filters worden vervolgens

verschillende beelden vastgelegd van planten (Perez-Sanz, Navarro, & Egea-Cortines, 2017).

3.2.2 Preprocessing Een eerste stap die noodzakelijk is, na de opzet en vastlegging van deze foto’s, is het preprocessing

proces van een afbeelding. Bij preprocessing worden er algoritmen gebruikt om ruis en allerhande

perspectiefvervormingen uit een afbeelding te verwijderen. Deze onregelmatigheden zijn vaak te

linken aan de geometrie van de afbeelding of de helderheid van pixels en kunnen worden

gecorrigeerd via mathematische modellen. Deze fouten in de afbeelding zijn te wijten aan het feit dat

enerzijds het beeldvlak van de camera niet parallel staat met de tafel waarop de planten zich

bevinden of in het bijzonder geval van multiterplaten een inclinatie t.o.v. de platen (Chitradevi &

Srimathi, 2014; Klukas, Chen, & Pape, 2014; Lee, Chang, Putra, Kim, & Kim, 2018).

3.2.2.1 Distortie

Elke afbeelding van een plant moet voor een accurate analyse op een gelijkaardige manier

vastgelegd worden. Een eerste belangrijke stap om dit te bewerkstellen, is het corrigeren van de

vervormingen die mogelijk hebben plaatsgenomen bij het nemen van de foto. Een vaak gebruikte

methode om alle planten op een gelijkaardige manier te fotograferen is, door gebruik te maken van

vier verschillende gekleurde markeerpunten op de well-platen of het rooster waarin de planten zich

bevinden. Met behulp van de coördinaten van deze markeerpunten, kan men voor alle afbeeldingen

een gelijke weergave terugvinden (Lee, Chang, Putra, Kim, & Kim, 2018). Een groot voordeel dat de

21

Pathoviewer heeft ten opzichte van andere systemen is dat dit platform onder gecontroleerde

lichtomstandigheden te werk gaat en lenzen bevat die minimale distortie bevatten. Met andere

woorden het werkt altijd onder dezelfde gecontroleerde (licht)omstandigheden.

3.2.2.2 Kleurconversie

Het begrip kleur is een ingewikkeld concept, aangezien het een reactie van het brein is op een

specifieke visuele prikkel. Ondanks dat kleur beschreven kan worden met bepaalde golflengtes zoals

Figuur 2 weergaf, wordt het signaal voor iedereen toch op een eigen manier opgenomen. Het signaal

dat wordt opgevangen, is immers afhankelijk van bepaalde componenten van kleur zoals: de

helderheid, de tint, de volheid, licht, chroma en verzadiging (Ford & Roberts, 1998). Bij

beeldverwerking van planten kan kleur aanzien worden als de manier waarop detectoren zoals een

camera, computer of het menselijk brein, licht waarnemen dat gereflecteerd wordt door bepaalde

objecten. In dit geval zullen deze objecten de planten zijn met de bijhorende achtergrond (Hill, Roger,

& Vorhagen, 1997).

Er bestaan verschillende manieren om kleuren te beschrijven. Kleuren worden vaak voorgesteld in

een kleurruimte. Een kleurruimte is een methode waarbij kleur gespecifieerd, gecreëerd en

gevisualiseerd worden (Ford & Roberts, 1998). De keuze van een kleurruimte is belangrijk in het

beeldanalyseproces omdat ze bepaalt welke kleuren eenvoudig van elkaar te onderscheiden zijn (Hill,

Roger, & Vorhagen, 1997).

Grayscale:

De meest eenvoudige beelden zijn grijswaardebeelden. Deze beelden bevatten geen kleurinformatie,

maar geven de totale intensiteit weer van het deel van het spectrum, waarvoor de camera gevoelig

is. Hoe hoger de waarde van een pixel, hoe hoger de intensiteit zal zijn. Vaak worden deze

intensiteiten bewaard als 8-bit unsigned integers, zodat de intensiteiten variëren van 0 tot 255. Een

afbeelding kan in dit geval voorgesteld worden door een afbeelding als een twee-dimensionele array

(Sinha U. , 2011).

Rood, Groen, Blauw (RGB):

De meest gebruikte kleurenruimte, die toegepast wordt voor de analyse van beelden voor plant

fenotypering, is de RGB-ruimte. De RGB (rood, groen blauw) kleurruimte zal een kleur voorstellen

door ze te ontbinden in de intensiteiten van rood, groen en blauw die men additief moet mengen om

de oorspronkelijke kleur te benaderen (Pascale, 2003). Zoals de naam van de ruimte ook zegt, zullen

deze afbeeldingen opgeslagen worden als een array van drie verschillende waarden. Waarbij de

eerste waarde voor de hoeveelheid rood van een pixel staat, de tweede voor de hoeveelheid groen

en de derde voor de hoeveelheid blauw in een pixel.

Hue, Saturation, Value (HSV):

Een derde frequent gebruikte kleurenruimte is de HSV kleurenruimte die, zoals op de volgende figuur

(Figuur 16) weergegeven is, bepaald wordt door drie componenten van de afbeelding: de tint, de

waarde en verzadigingsfactor. Bij dit systeem worden de RGB waarden geprojecteerd op een kegel of

cilinder (Erdogan & Yilmaz, 2014).

22

Figuur 16: Hue, Saturation, Value kleurenruimte (Erdogan & Yilmaz, 2014)

Deze vorm zorgt ervoor dat je in plaats van bij de oorspronkelijke RGB kleurenruimte op een

willekeurige manier een kleur kan aanduiden. Aangezien je voor één tint nog heel wat verschillende

verzadigingswaarden kan terugvinden en bovendien ook nog een bepaalde helderheidswaarde kan

toewijzen (Erdogan & Yilmaz, 2014). De HSV kleurenruimte is een veelgebruikte ruimte voor

plantfenotypering omwille van het eenvoudig concept en de toepassing op afbeeldingen van digitale

camera’s (Pan, Li, & Sun, 2007).

3.2.2.3 Filtreren

Het filtreren van een afbeelding is het veranderen van een afbeelding door de waarde van de pixels

aan te passen. De pixels worden vaak onderverdeeld in de cijfers één en nul, waarbij één de

voorgrond van de afbeelding voorstelt en nul de achtergrond. Met voorgrond bedoelt men dan de

pixels van de afbeelding die voor de gebruiker interessant zijn. In ons voorbeeld zullen dit de pixels

zijn die de bladeren van een plant voorstellen en de achtergrond zal dan de multiwellplaat

voorstellen.

In de meeste gevallen zal het filtreren zich focussen op alle naburige pixels om zo tot een bepaalde

waarde te komen. Meestal zal er een gewogen gemiddelde genomen worden van de naburige pixels

om onzuiverheden weg te werken of om bepaalde effecten te creëren. Er zijn tal van filters

beschikbaar, maar veel voorkomende filters bij beeldverwerkingssystemen zijn: Gaussian blur,

Mediaan filter, dilatatie en erosie (Kapur, 2017).

Gaussian blur

De Gaussian blur is een klassiek en veel gebruikte methode voor de convolutie van afbeeldingen. De

methode is vernoemd naar de Duitse wiskundige en wetenschapper Carl Friedrich Gauss (van Almsick

& ter Haar Romeny, 2008). De grijswaarden van een afbeelding worden hierbij geconvolueerd met

een Gauss-kernel, om op die manier een vervaagde gewijzigde versie van het beeld te bekomen

waarin intensiteiten lokaal worden uitgemiddeld. Een voorbeeld van deze filter is weergegeven op de

linkerzijde van (Figuur 17).

Mediaan filter

De mediaan filter is waarschijnlijk de meest gekende en meest gebruikte filter in het

beeldverwerkingsproces. Het vervangt een pixel door de mediaan van de grijswaarden van de

23

aangrenzende pixels. Bovendien wordt de oorspronkelijke waarde van de pixel ook opgenomen in de

berekening van deze mediaan. Deze filter leent zich uitstekend om ‘defectieve pixels’ uit een beeld te

elimineren (Gupta, 2011). Op onderstaande figuur (Figuur 17,) is aan de rechterzijde een voorbeeld

weergegeven van een toepassing van een mediaan filter.

Figuur 17: twee filteringsmethodes met aan de linkerzijde Gaussian blur en aan de rechterzijde een voorbeeld van een mediaan filter (Kapur, 2017; Pantech Solutions, 2003)

Dilatatie en erosie

Dilatatie en erosie zijn twee voorbeelden van morfologische filters, die beide op een gelijkaardige

maar tegengestelde manier opereren. Beide filters zijn toepassingen die gebruikt worden bij binaire

afbeeldingen. Bij dilatatie (Figuur 19a) zullen kleine regio’s van een afbeelding opgevuld worden met

de achtergrondkleur van de aanliggende pixel, zodat er vaak een meer egaal beeld gevormd wordt. In

binaire afbeelding zullen alle pixels grenzend aan een pixel met waarde één eveneens een waarde

van één toegewezen worden (Kapur, 2017).

Om precies te bepalen welke pixel een meetwaarde nul of één moet krijgen, wordt er gebruik

gemaakt van een structuurelement (Figuur 18). Dit is een belangrijk element in het ontwerp van een

morfologisch beeldverwerkingsproces. De kenmerken van een afbeelding worden namelijk vaak

betwist door deze factor. Voor dilatatie zal het structuurelement doorheen de afbeelding scannen

(van links naar rechts) en zoeken naar pixels met waarde één. Wanneer er zo’n pixel gevonden

wordt, zullen alle pixels rondom deze centrale pixel een waarde één toegewezen worden in de vorm

van het structuurelement. Zo zal voor dilatatie de voorgrond groter worden, terwijl voor erosie de

voorgrond van de afbeelding zal verminderen (Said, Jambek, & Sulaiman, 2016).

Figuur 18: voorbeeld van een structuurelement met een straal van acht pixels (Said, Jambek, & Sulaiman, 2016)

Erosie filters zullen bijgevolg net het tegengestelde doen als dilatatie filters; de kleine deeltjes tussen

verschillende regio’s in zullen vergroten en de kleine details in de afbeelding zullen verwijderd

worden. Opnieuw zal dit op zijn eigen manier voor een beter contrast en voor een duidelijker beeld

24

zorgen. In dit geval zullen enkel de pixels met waarde één, die in alle richtingen omringd zijn met een

gelijkaardige pixel, hun pixelwaarde behouden (Figuur 19b) (Kapur, 2017).

Figuur 19: a) voorbeeld van dilatatie filter, b) voorbeeld van een erosie filter (Bhuvaneswari & Keerthana, 2016)

3.2.3 Segmentatie De voorgaande filterstappen, opschalingen en bepaalde keuzes voor kleurenconversies, staan vaak in

het teken van de daarna volgende segmentatiestappen. Segmentatie heeft als doel het definiëren

van regio’s met interne gelijkenissen op vlak van zowel textuur als statistisch vlak. Elk van deze

segmenten kan dan verder geanalyseerd worden, om uiteindelijk een totale beeldanalyse te vormen

van een afbeelding. De segmentatiemethodes kunnen onderverdeeld worden in vier verschillende

categorieën, die zich baseren op ofwel: een bepaalde threshold, een watershed transformatie,

randherkenning of een clustering methode (Perez-Sanz, Navarro, & Egea-Cortines, 2017).

De eerste methode is gebaseerd op threshold waarbij een onderscheid tussen segmenten zal

gemaakt worden met de technieken die aangehaald worden bij threshold methodes. De regio’s

zullen gesplitst worden op basis van hun intensiteit.

De watershed transformatie is een veelgebruikt algoritme, dat gebruikt wordt voor segmentatie. De

afbeelding wordt als het ware voorgesteld als een geografisch landschap dat overspoeld wordt, maar

dan op basis van pixelintensiteit. Dit zorgt ervoor dat de afbeelding heel wat hoogtes en laagtes

bevat. De toppen komen overeen met grenzen en zorgen ervoor dat de segmentatie op deze plaats

stopt. Alle delen (pixels) binnen deze grenzen worden dan als één geheel gezien (Vincent & Soille,

1991).

Regio-gebaseerde methoden leggen de nadruk op de eigenschappen van de pixels in relatie tot hun

buren. Wanneer verschillende pixels gelijkaardige eigenschappen hebben, zullen deze in dezelfde

regio ondergebracht worden. Deze techniek wordt vaak gebruikt bij wazige afbeeldingen. De meeste

methodes die hiervoor gebruikt worden zijn gebaseerd op edge detection, die bepalen waar de

randen van gelijkaardige regio’s gesitueerd worden (Shrivakshan & Chandrasekar, 2012).

Canny edge detection is een populaire vorm van edge detection en wordt vaak als eerste stap in

regio-gebaseerde methodes als segmentatie methode gebruikt. John F. Canny heeft een multistage

algoritme ontwikkeld, dat ervoor zorgt dat bepaalde randen nauwkeurig opgespoord kunnen

worden. Bij canny edge detection moeten verschillende stappen ondergaan worden vooraleer men

tot een correcte segmentatie komt.

Clusteringmethoden vormen de vierde en laatste methode. Deze methodes zijn processen waarbij

objecten met gelijkaardige eigenschappen gegroepeerd worden in clusters. Bijgevolg zullen deze

a b

25

objecten gescheiden worden van objecten met verscheidene eigenschappen van verschillende

clusters. Eén van de meest gebruikte methodes hierbij is K-means Clustering (Kuruvilla, Sukumaran,

Sankar, & Joy, 2016).

3.2.3.1 Thresholding

Thresholding is dikwijls een onvermijdelijke stap in het beeldverwerkingsproces; het is het aanpassen

van een kleurwaarde van een pixel naar ofwel een wit- of zwartwaarde. Wanneer een pixel een

bepaalde grens (threshold) overschrijdt, zal deze omgezet worden naar een witte of zwarte pixel; of

net omgekeerd zoals bij inverse thresholding. De onderverdeling van lichte en donkere regio’s zorgt

ervoor dat verschillende delen van een afbeelding vrij eenvoudig van elkaar gescheiden kunnen

worden. Het resultaat is een binair beeld waarbij een duidelijk onderscheid gemaakt wordt tussen

verschillende pixels.

Er zijn heel wat verschillende vormen van thresholding, er kan een onderscheid gemaakt worden in

vier groepen: gemiddelde thresholding, Otsu’s threshold, histogram gebaseerde thresholding en

locale thresholding (Morse, 2000).

Gemiddelde thresholding:

De eenvoudigste vorm van thresholding is deze met behulp van een gemiddelde threshold waarde.

Bij deze methode wordt er een gemiddelde intensiteit berekend voor zowel de voorgrond als de

achtergrond. Vervolgens berekent men het gemiddelde van deze twee waarden en deze waarde

wordt dan als threshold ingesteld om het verschil vast te leggen tussen voor- en achtergrond (Srisha

& Khan, 2017).

Otsu’s threshold:

De Otsu’s threshold methode is vernoemd naar zijn uitvinder Nobuyuki Otsu. In 1979 publiceerde hij

een thresholdmethode, die gebaseerd is op een clusteringsmethode. De clusters, bestaande uit

pixels die tot de voor- of achtergrond behoren, worden zo klein mogelijk gemaakt om de overlap

tussen beide te minimaliseren. Meer bepaald zal er een tresholdwaarde gezocht worden die de intra-

class variantie, de variantie in de klasse zelf, zo minimaal mogelijk houdt. Dit wordt ook wel

gedefinieerd als een gewogen som van varianties van twee klassen. De Otsu methode zal de

thresholdwaarde iteratief aanpassen om deze varianties zo klein mogelijk te maken (Otsu , 1979).

Wanneer de thresholdwaarde aangepast wordt, zal voor de ene cluster de spreiding groter worden

terwijl dit bij de andere zal verkleinen; de Otsu threshold methode zorgt ervoor dat de som van deze

twee spreidingen zo laag mogelijk is (Otsu , 1979). Bij afbeeldingen waar het verschil tussen voor- en

achtergrond nauwelijks zichtbaar is, levert dit extra voordelen op. Omwille van het feit dat er een

optimale waarde gezocht wordt om het contrast tussen voor- en achtergrond duidelijk te maken

(Morse, 2000).

Lokale thresholding

Een groot probleem bij het gebruik van een globale threshold (zoals bv. bepaald door Otsu’s

methode) is dat de belichting in een afbeelding kan variëren, waardoor bij sommige delen van de

afbeelding de helderheid hoger of net lager is, zonder dat het afhankelijk is van het object. Hierdoor

26

dreigen objecten niet altijd correct onderverdeeld te worden. Bij lokale thresholding worden kleine

onderverdelingen gemaakt van de afbeelding en als deelafbeelding behandeld. Zo zullen er telkens

voor een klein deel van het totale aantal pixels een lokale waarde gezocht worden, die als threshold

wordt gebruikt om het onderscheid te maken tussen voor- en achtergrond. Dusdanig zal de

thresholdwaarde variabele veranderen voor elk deel van de afbeelding (dilip & Sahu, 2017).

3.2.3.2 Watershed

Watershed transformaties, zijn transformaties die hun oorsprong hebben in de topografische sector.

In dit vakgebied worden er twee delen van elkaar gescheiden door een grens die bepaalt of

bijvoorbeeld een waterstroom naar links of naar rechts zal stromen. Beeldverwerkingsmethoden

maken gebruik van hetzelfde principe. Foto’s met grijswaarden kunnen voorgesteld worden als

landschappen. De numerieke schaal van de intensiteit van een grijswaarde stelt de hellinghoogte

voor op dat bepaald punt. Een segment wordt bepaald door gebieden op hun minimum te laten

vollopen (inkleuren) tot deze gebieden met elkaar in contact komen. De contactlijn vormt vervolgens

een grens tussen twee gebieden (Vincent & Soille, 1991).

3.2.3.3 Edge detection

Het doel bij edge detection is het produceren van lijnen op een afbeelding die een lokale verandering

van een intensiteit aanduiden. Deze intensiteitsveranderingen merken typisch een lokale regio en

zorgen voor een scheiding van bepaalde compartimenten in een afbeelding. Op die manier kunnen

bepaalde vormen, hoeken of randen herkend worden (Kapur, 2017).

Er zijn zeer verschillende vormen van edge detection (Sponton & Cardelino, 2015), maar drie meest

voorkomende werkwijzen die gebruikt worden bij edge detection zijn gradiënt gebaseerde edge

detection, Laplaciaan gebaseerde edge detection en canny edge detection (Mutneja & Mutneja,

2015). De eerste methode zal zich focussen op het punt waar de eerste afgeleide van de intensiteit

groter is dan een bepaalde grootte. Terwijl de tweede methode zal zoeken naar het punt waar de

tweede afgeleide van de functie van de intensiteit gelijk is aan nul (Figuur 20a).

Gradiënt gebaseerde edge detection:

Deze detectie zal randen construeren op de locatie van de pixels waar er abrupt een groot verschil is

in grijswaarden. Een moeilijkheid stelt zich voor bij continue afbeeldingen (waarbij de waarden

continue overlopen); daarom wordt er bij een gradiënt gebaseerde edge detection de eerste

afgeleide berekend van de intensiteit van de afbeelding. Zodat deze afgeleiden lokale maxima

voorstellen die de richting van een rand voorstellen (Figuur 20b) (Savant, 2014).

Laplaciaan gebaseerde edge detection:

Gradiënt gebaseerde edge detection wordt vooral gebruikt bij afbeeldingen die grote contrasten in

hun grijswaarden bezitten. Voor afbeeldingen waar de overgangen minder duidelijk zijn, is het aan te

raden om een Laplaciaan gebaseerde edge detection methode te gebruiken. Deze methode is

afhankelijk van de tweede afgeleide van de intensiteitscurve van de afbeelding. Wanneer deze

functie een nulpunt bereikt, zal dit corresponderen met een lokaal maximum in de afbeelding. Dit

maximum is de pixellocatie, die als rand aanzien wordt (Figuur 20c) (Savant, 2014).

27

Figuur 20: a) een voorbeeld van een intensiteitscurve, b) de eerste afgeleide van de intensiteitscurve (gradiënt gebaseerde edge detection), c) tweede afgeleide van de intensiteitscurve (Laplaciaan gebaseerde edge detectie) (Sinha U.

, 2010)

3.2.3.4 Canny edge detection

De canny edge detection, vernoemd naar John F. Canny, is een algoritme dat ontworpen is om

scherpe randen te detecteren (Canny, 1986). Het is een ingewikkeld algoritme, maar één van de

meest gebruikte algoritmes voor het herkennen van randen in een afbeelding. Het maakt gebruik van

drie hoofddoelen namelijk: een zo laag mogelijk foutenmarge creëren, de randen moeten zo duidelijk

mogelijk weergegeven worden en als derde mag er maar één punt per randdetectiepunt aanwezig

zijn.

Het principe van deze methode is onderverdeeld in zes belangrijke stappen. Het proces zal starten

met het filtreren van de afbeelding; waarin alle ruis en onregelmatigheden geëlimineerd worden.

Vervolgens zal er een gradiënt operator gebruikt worden, die de richting van de rand zal aangeven.

Daaropvolgend zullen de rand verdund worden met een functie ‘Non Maxima’ genoemd. Hierna

volgt er een thresholding die onnauwkeurigheden in de verfijning verwijdert. Uiteindelijk volgt er een

scheiding tussen hoge en lage intensiteit, die zorgt voor een duidelijke randdetectie (Ilkin, Hangisi,

Tafralı, & Sahin, 2017).

3.2.3.5 K-means clustering

K-means clustering is een algoritme, die een afbeelding in meestal twee of meerdere groepen pixels

onderverdeeld. Een cluster bevat punten met gelijkaardige intensiteiten. Hoe gelijkaardig de

intensiteiten binnen een cluster zijn, wordt bepaald door het bepalen van de afstand tot het centrum

van deze clusters en vervolgens deze afstanden te sommeren. Het K-means algoritme zal de centra

iteratief gaan wijzigen en de som van deze afstanden zo klein mogelijk maken. De segmentatie

bekomt men door tenslotte elke pixel toe te kennen aan het dichtst bijliggende clustercentrum.

(Morse, 2000).

3.2.4 Beeldfenotyperingsanalyse Na het hele fenotyperingsproces ontstaat er een grote hoeveelheid aan data, die vlot verwerkt en

geanalyseerd moet worden. In vele gevallen zullen de gesegmenteerde afbeeldingen nog objecten of

onregelmatigheden bevatten die niet bij het gesegmenteerde gedeelte horen. Dit kan bijvoorbeeld

mos zijn op de achtergrond dat als blad wordt beschouwd, of een deel van een blad van een andere

plant die overlapt met het gesegmenteerde blad. Wanneer deze laatste problemen opgelost worden,

door vaak opnieuw gebruik te maken van erosie technieken die bij de filteringtechnieken

voorkwamen, kan men de uiteindelijke analyses uitvoeren. Tijdens deze analyses kunnen parameters

a b c

28

zoals bladoppervlakte, hoeveelheid laesie, NDVI-index, FV/FM ratio... bepaald worden. Een handig

hulpmiddel bij deze analyses voor high-throughput plantfenotypering is Machine learning (Lee,

Chang, Putra, Kim, & Kim, 2018; Perez-Sanz, Navarro, & Egea-Cortines, 2017).

29

4 Materiaal en methoden

4.1 Inleiding Het doel van de thesis is het ontwikkelen van een software applicatie om afbeeldingen gemaakt door

de Pathoviewer op een efficiënte en vlotte manier te analyseren. De nadruk wordt gelegd op het

herkennen van leasis in bladschijfjes die in een multi-wellplaat liggen. Laesie is schade of een

afwijkende structuur aan het weefsel van een organisme. Deze aantasting kan het gevolg zijn van

fysiologische stress, verwonding of ziekte (Walbot, Hoisington, & Neuffer, 1983). In het eerste deel

van de proef, worden enkele fenotypische kenmerken handmatig gemeten. Nadien zal dit proces

geautomatiseerd worden door analysescripts te schrijven in Python en deze scripts te koppelen aan

een ‘graphical user interface’ (GUI).

4.2 Materiaal

4.2.1 Beeldverwerking met behulp van ImageJ Voor de handmatige bepaling werd er gebruik gemaakt van ImageJ, een Java-gebaseerd

beeldprocessing programma dat toelaat om wetenschappelijke multidimensionale afbeeldingen te

verwerken (LOCI, 2018). Met dit programma kan er handmatig een schatting gemaakt worden van

totale bladoppervlakte, het aantal laesies en de percentuele oppervlakte van de laesies (Figuur 21).

De afbeeldingen die afkomstig zijn van de Pathoviewer worden opgeslagen als PNG-file, zodat deze

bewerkt kunnen worden in ImageJ. Dit beeldverwerkingsprogramma geeft de mogelijkheid om een

bepaalde regio aan te duiden en hiervan de oppervlakte te bereken. Deze oppervlakte wordt

uitgedrukt in aantal pixels. Met behulp van deze tool kan men zo op een eenvoudige manier de

totale oppervlakte van een blad bepalen.

De oppervlakte van de laesie worden op analoge manier berekend. Het verschil tussen de totale

oppervlakte en de oppervlakte laesie is gelijk aan de totale gezonde oppervlakte van een gezond

blad. Het percentage laesie is bijgevolg de hoeveelheid oppervlakte laesie gedeeld door het totale

blad oppervlak.