Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome)...

9
Imec ontwikkelde een oplossing om silicium-gebaseerde CMOS-beeldsensoren te laten ‘zien’ in het kortegolf-infraroodspectrum (short-wave infrared; SWIR): golflengtes waar ze normaal gezien vanwege hun optische eigenschappen ongevoelig voor zijn. Hierdoor kunnen smartphones en andere kleine camera’s straks verder en ook in suboptimale lichtcondities objecten detecteren. Dit maakt belangrijke prestatieverbeteringen mogelijk voor domeinen als augmented reality, computervisie en zelfrijdende voertuigen. Dankzij gebundelde kennis, gaande van materialen over procestechnologie tot systeemintegratie, heeft imec belangrijke doorbraken gerealiseerd in de mogelijkheden van silicium-gebaseerde CMOS- beeldsensoren om kortegolf-infraroodstraling te detecteren met golflengtes boven een micrometer. Deze golflengtes (bv. de 1450nm- en 1550nm-frequenties) zijn belangrijk voor toepassingen zoals computervisie in smartphonecamera’s. Maar vanwege hun optische beperkingen zijn deze golflengtes normaal gezien onzichtbaar voor dergelijke CMOS-camera’s. Een gangbare manier om dit op te lossen, is om gebruik te maken van andere materialen dan silicium (bijvoorbeeld InGaAs). Maar dergelijke oplossingen zijn te duur voor massaproductie in consumentenapparaten. Dankzij dunnefilm-fotodetectortechnologie (thin-film photodetector; TFPD) is imec er toch in geslaagd om silicium-gebaseerde CMOS-infraroodsensoren te maken aan een kostprijs vergelijkbaar met conventionele CMOS-beeldsensoren. Als resultaat van meerdere jaren onderzoek over verschillende departementen heen demonstreert imec de technologie nu in een werkende camera. Imec-onderzoekers Pawel Malinowski, program manager user interfaces & imagers, Pierre Boulenc, team leader pixel devices, en David Cheyns, team leader thin-film technologies geven meer inzicht in het onderzoek, de resultaten en de geplande ontwikkelingen. Editie | november 2019 Automotive, Heterogeneous integration, Image sensors and vision systems, Quantum computing, Semiconductor technology & processing, Sensor solutions for IoT, System and IC design Ze zien, ze zien wat jij niet ziet: smartphones en zelfrijdende voertuigen 1/9

Transcript of Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome)...

Page 1: Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de 1450nm-band) en ook in slechte

Imec ontwikkelde een oplossing om silicium-gebaseerde CMOS-beeldsensoren te laten ‘zien’in het kortegolf-infraroodspectrum (short-wave infrared; SWIR): golflengtes waar zenormaal gezien vanwege hun optische eigenschappen ongevoelig voor zijn. Hierdoor kunnensmartphones en andere kleine camera’s straks verder en ook in suboptimale lichtconditiesobjecten detecteren. Dit maakt belangrijke prestatieverbeteringen mogelijk voor domeinenals augmented reality, computervisie en zelfrijdende voertuigen.

Dankzij gebundelde kennis, gaande van materialen over procestechnologie tot systeemintegratie,heeft imec belangrijke doorbraken gerealiseerd in de mogelijkheden van silicium-gebaseerde CMOS-beeldsensoren om kortegolf-infraroodstraling te detecteren met golflengtes boven een micrometer.Deze golflengtes (bv. de 1450nm- en 1550nm-frequenties) zijn belangrijk voor toepassingen zoalscomputervisie in smartphonecamera’s. Maar vanwege hun optische beperkingen zijn dezegolflengtes normaal gezien onzichtbaar voor dergelijke CMOS-camera’s. Een gangbare manier om ditop te lossen, is om gebruik te maken van andere materialen dan silicium (bijvoorbeeld InGaAs). Maardergelijke oplossingen zijn te duur voor massaproductie in consumentenapparaten. Dankzijdunnefilm-fotodetectortechnologie (thin-film photodetector; TFPD) is imec er toch in geslaagd omsilicium-gebaseerde CMOS-infraroodsensoren te maken aan een kostprijs vergelijkbaar metconventionele CMOS-beeldsensoren. Als resultaat van meerdere jaren onderzoek oververschillende departementen heen demonstreert imec de technologie nu in een werkende camera.Imec-onderzoekers Pawel Malinowski, program manager user interfaces & imagers, Pierre Boulenc,team leader pixel devices, en David Cheyns, team leader thin-film technologies geven meer inzichtin het onderzoek, de resultaten en de geplande ontwikkelingen.

Editie | november 2019

Automotive, Heterogeneous integration, Image sensors and vision systems, Quantumcomputing, Semiconductor technology & processing, Sensor solutions for IoT, Systemand IC design

Ze zien, ze zien wat jij nietziet: smartphones enzelfrijdende voertuigen

1/9

Page 2: Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de 1450nm-band) en ook in slechte

De camera van je smartphone is ook een projector

Alvorens in de technische details te duiken is het misschien nuttig om even wat basiskennis mee tegeven van hoe een smartphonecamera werkt. Voor iedereen vanzelfsprekend, is dat deze zichtbaarlicht kan detecteren en uitzenden (dankzij de flitslamp).

Voor sommigen mogelijk minder vanzelfsprekend, is dat je smartphone-camera ook actief is in hetniet-zichtbare lichtspectrum. En niet alleen als detector, maar ook als projector. Voor toepassingenzoals gezichtsherkenning projecteert je smartphone een raster van infraroodpunten en detecteertde weerkaatsing ervan op je gezicht. Wie bewijs wil van deze infraroodwerking, kan aan de slag metde afstandsbediening van bijvoorbeeld de tv. Richt de afstandsbediening op je smartphonecameraterwijl je op een van de knoppen duwt en je zal merken dat je camera licht detecteert wat je met jeeigen ogen niet kan zien. Dit is het infraroodsignaal van je afstandsbediening. En meteen een handigtrucje om te controleren of de batterijen ervan niet leeg zijn…

De meest gangbare frequentie voor mobiele toepassingen zoals gezichtsherkenning bevindt zich inhet nabij infrarood (near infrared; NIR), meer specifiek op 940nm. Deze golflengte wordtgeabsorbeerd door water, bijvoorbeeld in de atmosfeer, waardoor je weinig ruis of interferentiehebt van infraroodstraling afkomstig van de zon. Belangrijk is wel dat het menselijk oog wel degelijkeen bepaalde gevoeligheid heeft voor deze straling. Ook al kan je ze niet bewust waarnemen zoalszichtbaar licht. Dit legt dan ook beperkingen op aan de toepassingen ervan. Omdat je maar eenbepaalde sterkte kan uitzenden, kan je maar over een beperkte afstand detecteren en ook mindergoed opboksen tegen fel daglicht. Gezichtsherkenning werkt daarom bij maximaal een armlengte enook meer geavanceerde toepassingen zoals het 3D-scannen van objecten en ruimtes werken nietoptimaal bij grotere afstanden.

Standaard silicium CMOS-sensoren zijn ‘blind’ boven 1 micrometer

Een idealere frequentieband voor deze toepassingen zou kortegolf-infrarood zijn (SWIR). In dezeband heeft de 1450nm-frequentie namelijk dezelfde eigenschap als 940nm (= ze wordt door watergeabsorbeerd), maar zonder de beperkingen. Het menselijk oog is namelijk enkele grootteordesminder gevoelig voor 1450nm dan voor 940nm. Ook in het SWIR-spectrum ligt de 1550nm-band. Integenstelling tot 940nm en 1450nm wordt deze dan weer helemaal niet geabsorbeerd door water.Dus door gebruik te maken van deze frequentie kan je doorheen wolken, mist, rook en waterdampkijken. Door de combinatie van deze frequenties kan je dus apparaten maken die verder kunnenkijken en extra functionaliteiten hebben: bijvoorbeeld in (autonome) voertuigen die door wolkenmoeten vliegen of in slechte weersomstandigheden moeten rijden.

2/9

Page 3: Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de 1450nm-band) en ook in slechte

Jammer genoeg kunnen silicium fotodiodes geen golflengtes detecteren boven een micrometer.Omdat silicium transparant is voor fotonen in dit spectrum zijn standaard CMOS-beeldsensoren dusblind voor SWIR-straling. Een gangbare oplossing hiervoor is om halfgeleiders te gebruiken waarvande elektronen wel kunnen aangeslagen worden door deze fotonen met een lagere energie.Bijvoorbeeld sensoren gebaseerd op InGaAs of andere III-V-materialen. Deze technologie is alrelatief goed ontwikkeld, maar haalt niet de snelheid die vereist is voor massaproductie. En ook deintegratie op systeemniveau is niet zo eenvoudig. Met als gevolg dat deze oplossing te duur is voorconsumententoepassingen.

Dunnefilmtechnologie maakt kortegolf-infrarooddetectie mogelijk aanaanvaardbare kostprijs

Imec heeft daarom een oplossing gevonden om CMOS-gebaseerde SWIR-detectie te kunnen doenaan het prijsniveau van siliciumprocessing. Een sleutelrol daarin is weggelegd voor dunnefilm-fotodetectoren (TFPD): een constructie van in totaal enkele honderden nanometer dik; bestaandeuit meerdere lagen, waaronder een die gevoelig is voor infrarood. Door deze IR-gevoelige dunnefilm aan te brengen bovenop een CMOS-uitleescircuit combineert imec het beste van de tweewerelden: infrarood-detectie via een productieproces dat compatibel is met massaproductie.

Rechts: Dunne film, bestaande uit meerdere lagen, waaronder een die gevoelig is voor infrarood.Links: Integratie van deze dunne film in een CMOS-gebaseerde beeldsensor maakt massaproductievan SWIR-sensoren mogelijk.

3/9

Page 4: Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de 1450nm-band) en ook in slechte

Op het vlak van materialen voor deze dunne films onderzoekt imec meerdere opties, gaande vanorganische materialen (polymeren en kleine molecules) tot lagen van anorganische colloïdalequantum-dots (kleine halfgeleiderdeeltjes van enkele nanometers groot, die optische enelektronische eigenschappen hebben die door kwantummechanica verschillen van grotere deeltjes).Deze laatste zijn momenteel meest veelbelovend omdat de optische eigenschappen van quantumdots sowieso gunstig zijn voor fotonen met lagere energie en daarenboven kunnen aangepastworden aan de specifieke frequentie die je wil detecteren. Momenteel bouwde imec de meesteprototypes en demonstrators op basis van PbS-gebaseerde quantum-dot materialen. Waarbij dehoeveelheden lood ruim binnen de grenzen blijven van de Europese ROHS-richtlijn en gelijkaardigewetgevingen en de ontwikkelde technologie dus zonder probleem op de markt gebracht kanworden. Wat niet wegneemt dat imec ook volledig loodvrije alternatieven onderzoekt.

Stapsgewijs naar meer uitgebreide toepassingen

Schematisch overzicht van de ontwerpkeuzes in imecs stapsgewijze doorontwikkeling. Links:eenvoudige IR-detector. Midden: IR-detector geïntegreerd in zichtbaar-licht sensor. Rechts:multispectrale IR-detectie dankzij aangepaste dunnefilm-fotodetectoren.

Met het oog op toekomstige toepassingen volgt imec een stapsgewijze doorontwikkeling. In eersteinstantie maakt imec monochrome infrarood beeldsensoren op basis van een TFPD-multilaag overhet gehele CMOS-uitleescircuit. Dit is de meest eenvoudige implementatie, omdat je geen patronendient aan te brengen. In deze opzet krijg je een sensor die gevoelig is voor de specifieke frequentiedie wordt geabsorbeerd door de dunnefilm-laag, tenzij je gebruik maakt van extra filters. Mogelijketoepassing voor dergelijke sensoren is het uitbreiden van de gevoeligheid van smartphonecamera’svoor de 1450nm-frequentie zonder teveel extra kost of complexiteit op systeemniveau. Met namevoor augmented reality kan dit al een waardevolle oplossing zijn voor toepassingen die een geheleruimte willen scannen.

4/9

Page 5: Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de 1450nm-band) en ook in slechte

Augmented reality kan onmiddellijk voordeel halen uit 1450nm-gevoelige IR-sensoren voor deverbetering van toepassingen op grotere afstand, zoals het scannen van een gehele ruimte.

In een tweede scenario richt imec zich op een monolitische integratie van IR-gevoelige TFPD-lagenin de normale RGB-gevoelige pixelopbouw van de CMOS-sensor. In dit ontwerp voeg je eeninfrarood subpixel toe naast de rode, groene en blauwe fotodiodes. Op systeemniveau heb je dandus geen extra chip meer nodig in je smartphone (of ander apparaat), waardoor je plaats bespaart enook minder energie vraagt van de batterij. Ook krijg je hierdoor extra functionaliteit in je camera enzou je bijvoorbeeld diepte-informatie (perspectief) kunnen toevoegen aan 2D-beelden.

Het derde ontwerp bouwt voort op dit principe en combineert meerdere IR-pixels op basis vanTFPD-materialen met een verschillende gevoeligheid. In deze opzet kan je sterk geminiaturiseerdeen betaalbare multispectrale sensoren maken die zowel gevoelig zijn voor NIR als voor SWIR. Metmogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de1450nm-band) en ook in slechte omstandigheden kunnen kijken (via de 1550nm-band). Een anderemogelijke toepassing is kwaliteitscontrole en sorteren van voedsel of andere materialen enproducten, omdat je dankzij de keuze van de TFPD-materialen sensoren kan maken met eengevoeligheid voor een specifiek materiaal (bv. onderscheid maken tussen vegetatie en gebouwen oftussen echte en namaakplanten).

Camera toont expertise van materiaal- tot systeemniveau

Met dit onderzoekt loopt imec voorop in het verbinden van de werelden van IR- en beeldsensoren:twee werelden die elkaar op het vlak van wetenschappelijke conferenties en publicatiesbijvoorbeeld nog eerder uitzonderlijk ontmoeten. Ook ligt de sterkte van imec in de breedtewaarmee het dit onderzoek kan aanpakken: met expertise die begint bij de materialen en de heleweg overbrugt tot systeemintegratie.

5/9

Page 6: Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de 1450nm-band) en ook in slechte

Imecs camera-geïntegreerde demonstratieopstelling van een SWIR-beeldsensor bestaande uit eendunnefilm-fotodetector aangebracht op een Si-CMOS-uitleescircuit.

Voor het eerste ontwerp – de monochrome IR-sensor – heeft imec al een werkende integratiegebouwd in een camera. Vertrekkende van een uitleescircuit gemaakt op 200mm-wafers in eenindustriële foundry. Het nadien aanbrengen van de TFPD-lagen (op chip- of waferniveau), dechipverpakking en de opbouw van de cameramodule gebeurde in imecs eigen fabs.

De twee andere concepten zijn nog in een vroeger stadium van ontwikkeling, maar ook daar is deambitie gelijkaardig: om te komen tot een demonstratie op systeemniveau.

Klaar voor overdracht naar de industrie

De huidige status van het onderzoek volgt uit meerdere jaren onderzoek en ontwikkeling vanmeerdere teams en partners binnen en buiten imec. Zo werd een deel van het onderzoekondersteund door het VLAIO SBO-project “MIRIS” en gebeuren de ontwikkelingen in nauwesamenwerking met de beeldsensorindustrie.

6/9

Page 7: Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de 1450nm-band) en ook in slechte

Imec heeft de ambitie om een dunnefilm-beeldsensorplatform op te bouwen als enkelvoudigaanspreekpunt voor de volledige overdracht van deze technologie naar industriële toepassingen.Imec wil hierin ook een verscheidenheid aan industriële partners betrekken om samen te werkenmet de interne teams.

Meer weten?

• Meer info over dit onderzoek vind je terug op deze webpagina

• Het persbericht "Imec reports monolithic thin-film image sensor for the SWIR range with recordpixel density” vind je terug via de directe link of via deze pagina.

Over Pawel Malinowski

Paweł E. Malinowski is geboren in Lodz,Polen. Hij behaalde in 2006 de M.Sc.Eng. graadin elektronica en telecommunicatie (scriptieover het ontwerp van stralingsbestendigegeïntegreerde schakelingen) aan de LodzUniversity of Technology, Polen. In 2011promoveerde hij in de elektrotechniek aan deKU Leuven (proefschrift over III-nitride-gebaseerde imagers voor ruimtetoepassingen).Paweł werkt sinds 2005 bij imec en sinds 2011bij de afdeling Large Area Electronics.Momenteel is hij programmamanager "UserInterfaces & Imagers" en richt hij zich op dunne-film beeldsensoren en hoge resolutie OLEDdisplays. Hij coördineert activiteiten metbetrekking tot toepassingen van dunnefilm-elektronica, bereidt scenario's voor die op demarkt worden gebracht en werkt detechnologische roadmaps uit. Paweł ismedeauteur van meer dan 40 publicaties enheeft 4 octrooiaanvragen ingediend. Hij ontvingde International Display Workshops Best PaperAward in 2014 en de SID Display WeekDistinguished Paper Award in 2018. Paweł is lidvan IEEE, SID en SPIE en zetelt sinds 2018 in hetODI-comité voor IEDM.

7/9

Page 8: Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de 1450nm-band) en ook in slechte

Over David Cheyns

David Cheyns behaalde zijn master en Ph.D. inelektrotechniek in 2003 en 2008,respectievelijk, aan de KU Leuven, België. Hijheeft meer dan 15 jaar ervaring in dunne-film,large area technologieën, en was co-auteur vanmeer dan 60 publicaties en 5 patenten. Hij wasmede-organisator van SPIE Europe, eMRS en lidvan de wetenschappelijke adviesraad vanEUPV-SEC. Hij begeleidde meer dan 20 master-en doctoraatsstudenten en is assessor van 5doctoraatsonderwerpen. Hij was pionier op hetgebied van organische tandemzonnecellen,perovskietmaterialen, OLED's en dunne-filmfotovoltaïsche modules bij imec. Momenteel ishij principal scientist en teamleider "FutureInteractive Thin-film Technology". In deze rol ishij verantwoordelijk voor de ontwikkeling vande volgende generatie sensoren en actuatorenvoor grote oppervlakken voor toepassingenzoals infraroodbeeldvorming,gebarenherkenning, medische beeldvorming,haptische feedback en microfluïdica.

8/9

Page 9: Ze zien, ze zien wat jij niet ziet: smartphones en ... · mogelijke toepassing in (autonome) voertuigen die over lange afstanden moeten scannen (via de 1450nm-band) en ook in slechte

Over Pierre Boulenc

Pierre Boulenc werd geboren in Grenoble(Frankrijk) op 20 september 1978. Hij behaaldeeen master in solid-state fysica aan de"Université Paris VII" (2003) en een doctoraat inde materiaalwetenschappen aan de "Universitédes Sciences et Technologies de Lille" (2007) inFrankrijk. Van 2006 tot 2013 was hijverantwoordelijk voor TCAD-simulaties in hetkader van CMOS Image Sensors, bipolairetransistors, proces- en devicemodelleringskalibratie bij STMicroelectronicsCrolles (Frankrijk). In 2013 vervoegde Pierre imecin Leuven (België) als R&D-ingenieur. Zijn werkwas gericht op CCD-in-CMOS pixelontwerp entesting en de verkenning van nieuwepixelarchitecturen door middel van TCAD-simulaties. Hij leidt nu het Pixel Devices teambij Imec.

9/9