Technieken voor ruisonderdrukking en dereverberatie in spraaktoepassingen met behulp van meerdere...

22

OverzichtOverzicht

• Inleiding

• Basisprincipes

• Robuuste breedband-bundelvorming

• Meerkanaals optimale filtering

• Akoestische-kanaalschatting en dereverberatie

• Besluit en verder onderzoek

33

OverzichtOverzicht

• Inleiding

� Situering en toepassingen

� Probleemstelling

� Bijdragen

• Basisprincipes





44

• Opname van spraak in ongunstige akoestische omgeving

SitueringSituering

• Spraakcommunicatietoepassingen: handenvrije mobieletelefonie, spraakgestuurde systemen, hoorapparaten

Achtergrondlawaai:- ventilator, radio- andere personen- meestal ongekend

Reverberatie (nagalm)- reflecties van signaal tegen muur, objecten

• Lage signaalkwaliteit• Spraakverstaanbaarheid en spraakherkenning

Inleiding -Situering -Probleemstelling -Bijdragen

Basisprincipes

Bundelvorming

Meerkanaalsoptimale filtering

Kanaalschattingen dereverberatie

Besluit

55

Signaalverbetering

DoelstellingDoelstelling

• Signaalverbeteringstechnieken:� Ruisonderdrukking : verminderen van

achtergrondlawaai zonder spraak te vervormen� Dereverberatie : effect van nagalm verminderen� Gecombineerde ruisonderdrukking en dereverberatie

• Akoestische bronlokalisatie: camera of volgspot


Basisprincipes

Bundelvorming



Besluit

66

• Video-conferencing:� Microfoonrooster voor bronlokalisatie :

– richten van camera op actieve spreker– signaalverbetering door sturen van microfoonrooster

ToepassingenToepassingen

• Handenvrije mobiele telefonie:

� Belangrijkste toepassing vanuit economisch standpunt

� Handenvrije kit in wagen verplicht

� Meeste huidige systemen: 1 directionele microfoon


Basisprincipes

Bundelvorming



Besluit

77

• Hoorapparaten en cochleaire implantaten:� meeste slechthorenden lijden aan perceptueel

gehoorverlies versterking

verzwakking van ruis tov gewenst signaal

ToepassingenToepassingen

• Spraakgestuurde systemen:� consumentenelektronica (HiFi, PC software)� voordeel wanneer spraakherkenning betrouwbaar werkt in

alle omstandigheden � signaalverbetering als voorverwerking

� meerdere microfoons + DSP in hoorapparaat� huidige systemen: eenvoudige bundelvorming � robuustheid zeer belangrijk wegens kleine afstand microfoons


Basisprincipes

Bundelvorming



Besluit

88

Algoritmische vereistenAlgoritmische vereisten

• ‘Blinde’ technieken: ongekende ruisbronnen en omgeving

• Adaptief: tijdsvariante signalen en akoestische omgeving

• Robuustheid:

� Microfoonkarakteristieken (versterking, fase, positie)

� Andere afwijkingen van veronderstelde

signaalmodel

• Integratie van verschillende technieken

• Berekeningscomplexiteit


Basisprincipes

Bundelvorming



Besluit

Probleemstelling en bijdragenProbleemstelling en bijdragen

99

Eénkanaals-technieken

– spectrale subtractie [Boll 79, Ephraim 85, Xie 96]

•Signaalonafhankelijke transformatie

•Problemen met residuele ruis

– deelruimte-gebaseerd [Dendrinos 91, Ephraim 95, Jensen 95]

•Signaalafhankelijke transformatie

•signaalruimte + ruisdeelruimte

2. Meerkanaals optimale filtering

spatiale informatie

robuustheid

3. Blinde kanaalschatti

ng dereverberati

e

1. Robuuste breedband- bundelvormi

ng

Meerkanaals-technieken

– vaste bundelvorming [Dolph 46, Cox 86, Ward 95, Elko 00]

•Vast directiviteitspatroon

– adaptieve bundelvorming [Frost 72, Griffiths 82, Gannot 01]

•aanpassen aan verschillende omgevingen performantie

•`Generalised Sidelobe Canceller’ (GSC)

– inverse, ‘matched’ filtering [Myoshi 88, Flanagan 93, Affes 97]

enkel spectrale informatie

a-priori veronderstellingen

1010

OverzichtOverzicht

• Inleiding

• Basisprincipes

� Signaalmodel

� Karakteristieken van signalen en akoestische omgeving





1111

SignaalmodelSignaalmodel

• Model voor microfoonsignalen in tijdsdomein: gefilterde versie van zuiver spraaksignaal + additieve gekleurde ruis

][0 ky

][1 ky

][1 kyN

][][][ kvkxky nnn ][kvn][khn ][ks

Akoestischeimpulsresponsie

][ks

Spraak-signaal

Additieveruis

Inleiding

Basisprincipes -Signaalmodel -Karakteristieken

Bundelvorming



Besluit

1212

SignaalmodelSignaalmodel

• Meerkanaals-signaalverbetering: microfoonsignalen worden gefilterd met filters wn[k] en gesommeerd

� f [k] = totale transferfunctie voor spraakcomponent

� zv[k] = residuele ruiscomponent

][0 ky

][1 ky

][1 kyN

][ks

][0 kw

][1 kw

][1 kwN

][kz

][

][][][

][

][][][][][1

0

1

0

1

0

kz

kvkwks

kf

khkwkykwkz

v

N

nnn

N

nnn

N

nnn

• Technieken verschillen in berekening van filters:

� Ruisonderdrukking : minimaliseer residuele ruis zv[k] en

beperk spraakvervorming

� Dereverberatie : f [k]=δ [k] door schatten van akoestische impulsresponsies hn[k]

� Gecombineerde ruisonderdrukking en dereverberatie

Inleiding


Bundelvorming



Besluit

1313

Karakteristieken van signalenKarakteristieken van signalen

• Spraak:

� Breedbandig (300-8000 Hz)

� Aan/uit-karakteristiek

Spraakdetectie-algoritme (VAD)

� Lineair lage-rangmodel: lineairecombinatie van basisfuncties

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

Am

plit

ud

e

Tijd (sec)

][][1

kak i

R

ii

ss (R=12…20)

• Ruis:

� ongekende signalen zonder referentie

� traag-variërend (ventilator) niet-stationair (radio, spraak)

Inleiding


Bundelvorming



Besluit

1414

Akoestische omgevingAkoestische omgeving

• Reverberatietijd T60 : globale karakteristiek

• Akoestische impulsresponsies:

� Akoestische filtering tussenspreker en microfoons

� FIR-filter (K=1000…2000 taps)

� Niet-minimum-fasesysteem geen stabiele inverse

• Microfoonrooster:

� Veronderstelling: puntsensoren met ideale karakteristiek

� Afwijkingen: versterking, fase, positie

Auto Kamer Kerk

70 ms 250 ms 1500 ms

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

Tijd (sec)

Am

plit

ud

e

Impulsresponsie PSK rij 9

Inleiding


Bundelvorming



Besluit

1515

OverzichtOverzicht

• Inleiding

• Basisprincipes


� Nieuwe ontwerpprocedures voor breedband-bundelvorming

� Robuuste bundelvorming tegen afwijkingen inversterking en fase




1616

Vaste bundelvormingVaste bundelvorming

• Ruis- en spraakbronnen met zelfde spectrum op verschillende posities

Benut spatiale diversiteit door meerdere microfoons

• Originele techniek uit radartoepassingen:

� Smallband : compensatie van vertraging breedband

� ‘Far-field’ : vlakke golven ‘near-field’ : sferische golven

� Gekende karakteristieken van sensoren afwijkingen

- Lage complexiteit- Robuustheid bij lage signaal-ruisverhouding

- A-priori kennis over posities en microfoonkarakteristieken- Signaal-onafhankelijk

FIR ‘filter-and-sum’ structuur: willekeurig directiviteits-patroon voor willekeurige microfoonconfiguratie

Onderdrukken ruis en reverberatie uit bepaalde richtingen

Inleiding

Basisprincipes Bundelvorming -Ontwerp -Robuust



Besluit

1717

‘‘Filter-and-sum’ configuratie Filter-and-sum’ configuratie

• Doelstelling: bereken filters wn[k] zodat bundelvormer

gewenste vaste spatiale en spectrale filtering uitvoert

Far-field: - vlakke golven- gelijke verzwakking

2D-filterontwerp in hoek en frequentie

Directiviteitspatroon:

),()(

),(),(

gwT

S

ZH

Gewenst directiviteitspatroon:

),( D

Inleiding




Besluit

1818

OntwerpproceduresOntwerpprocedures

• Ontwerp filter w zodat directiviteitspatroon zo dicht mogelijk benadert over volledig frequentie-hoek- gebied minimalisatie van kostfunctie

� Niet-lineare kostfunctie iteratieve optimalisatie = complex!

� Gewogen-kleinste-kwadraten kwadratische functie

� Eigenfilter gebaseerd op TLS-criterium GEVD

• Besluit: TLS-eigenfilter beste niet-iteratieve procedure

),( H),( D

ddDHFJ LS

2),(),(),()(w

ddDHFJ NL

222),(),(),()(w

ddDH

FJTTLS 1

),(),(),()(

2

www

Inleiding




Besluit

1919

Niet-lineaire procedure TLS-Eigenfilter

SimulatiesSimulaties

Angle (deg) Freq (Hz)

dB


dB

Parameters:-N=5, d=4cm-L=20, fs=8kHz-Pass: 40o-80o

-Stop: 0o-30o + 90o-180o

Delay-and-sum


dB

2020

• Kleine afwijkingen van veronderstelde karakteristieken (versterking, fase, positie) grote afwijkingen in directiviteits-patroon, zeker voor microfoonroosters met kleine afmeting

• In de praktijk zijn microfoonkarakteristieken nooit exact gekend

• Beschouw alle mogelijke microfoonkarakteristieken en optimaliseer

� gemiddelde performantie met waarschijnlijkheid als gewicht

� ‘worst-case’ performantie minimax-optimalisatieprobleem

Robuuste breedband Robuuste breedband bundelvormingbundelvorming

101010 )()(),,(0 1

NNN

A A

mean dAdAAfAfAAJJN

Breng specifieke (willekeurige) afwijkingen in rekening

positie

/cos

fase

),(

gversterkin

),(),( cfjjnn

snn eeaA

Meet- of kalibratieprocedure

Inleiding




Besluit

2121


• Niet-lineaire ontwerpprocedure

• N=3, posities: [-0.01 0 0.015] m, L=20, fs=8 kHz

• Passband = 0o-60o, 300-4000 Hz (endfire)Stopband = 80o-180o, 300-4000 Hz

• Robuust ontwerp voor gemiddelde performantie:Uniforme pdf = (0.85-1.15) en (-5o-10o)

• Afwijking = [0.9 1.1 1.05] en [5o -2o 5o]

Ontwerp J Jdev

Niet-robuust 0.1585 87.131

Gemiddelde kost

0.2196 0.2219

Maximumkost

0.1707 0.1990

Inleiding




Besluit

2222

Niet-robuust ontwerp Robuust ontwerp

Geen a

fwijkin

gen

Afw

ijkingen

(verste

rking/fa

se)


Angle (deg)

Frequency (Hz)

dB

Angle (deg)

Frequency (Hz)

dB

Angle (deg)

Frequency (Hz)

dB

Angle (deg)

Frequency (Hz)

dB

Inleiding




Besluit

2323

OverzichtOverzicht

• Inleiding

• Basisprincipes



� GSVD-gebaseerde optimaal-filtertechniek

� Verminderen van berekeningscomplexiteit

� Simulaties



2424

Meerkanaals optimale filteringMeerkanaals optimale filtering

Doel: optimale schatting van spraakcomponenten in microfoonsignalen

Minimaliseer MSE 2][][ kzkxE n

Vertraagde spraakcomponent

in microfoonsignaal

Uitgangssignaal

Geen veronderstellingen

Standaard (adaptieve) bundelvorming: LCMV bCw tosubject,][2 kzE Lineaire beperkingen:

a-priori veronderstellingenover microfoon + positie

2

][

2

][][][][min][][min kkkEkkE T

kkyWxzx

WW

][][][ 1 kkk yxyyWF RRW

Meer-kanaals Wiener Filter

][][][][ 1 kkkk vvyyyyWF RRRW

-Spraak en ruis onafhankelijk-2e orde statistiek ruis stationair schatten tijdens ruisperiodes (VAD)

Meerkanaals Signaal-afhankelijk

Robuustheid

Inleiding

Basisprincipes Bundelvorming Meerkanaalsoptimale filtering

-Optimale filtering

-Complexiteit -Simulaties


Besluit

2525

Meerkanaals optimale filteringMeerkanaals optimale filtering

• Implementatietechniek:

� gebaseerd op Veralgemeende-Singuliere-Waarde-Ontbinding (GSVD)

– in rekening brengen van lage-rangmodel spraak

– afweging tussen ruisonderdrukking en spraakvervorming

� QRD [Rombouts 2002] , subband [Spriet 2001] lagere complexiteit

• Spraakdetectie-mechanisme is enige a-priori veronderstelling: nodig voor schatting van correlatiematrices

- =1 : MMSE (gelijk belang)

- <1 : minder spraakvervorming, minder ruisonderdrukking

- >1 : meer spraakvervorming, meer ruisonderdrukking

][][)1(][

][][diag][][

22

22

kkηk

kηkkk T

ii

iiTWF QQW

Inleiding


-Optimale filtering



Besluit

2626

• Opsplitsing in spatiaal en spectraal gedeelte

• Gewenst directiviteitspatroon voor eenvoudige scenario’s

Analyse in het frequentiedomeinAnalyse in het frequentiedomein

WFW

vx

x

PP

P

1

11 eΓΓ xy

spectrale filtering(PSD)

spatiale filtering

(coherentie)

Inleiding


-Optimale filtering



Besluit

Spraak Ruis

2727

Verminderen van complexiteitVerminderen van complexiteit

• Recursieve versie: elke tijdsstap berekening GSVD + filter

• Complexiteitsreductie door:

� Recursieve technieken voor herberekening GSVD [Moonen 90]

� Sub-bemonstering (stationaire akoestische omgevingen)

Hoge berekeningscomplexiteit

‘Batch’ Recursief QRD [Rombouts]

sub = 1 7504 Gflops 2.1 Gflops 358 Mflops

sub = 20 375 Gflops 105 Mflops 18 Mflops

(N = 4, L = 20, M=80, fs = 16 kHz, P = 4000, Q = 20000)

)(316 23 QPMM 25.20 M 25.3 M

Real-time implementatie mogelijk

Inleiding


-Optimale filtering



Besluit

2828

Verminderen van complexiteitVerminderen van complexiteit

• Integratie in ‘Generalised Sidelobe Canceller’ (GSC) structuur: adaptieve bundelvorming

� Creatie van ‘spraakreferentie’ en ‘ruisreferentie’

� Standaard meerkanaals adaptief filter (LMS, APA)

][0 ky

][1 ky

][1 kyN

Spraak-referenti

e

][0 kw

][1 kw

][1 kwN

Optimaalfilter

Ruis-referentie(

s) +

–

][0 kwa

Adaptief filter

delay

Blocking matrix

Ruis-referenties

][0 ky

][1 ky

][1 kyN

Spraak-referenti

ef [k]

0

1

1N

Delay-sum bundelvorm

er

][1 kwa

][2 kwa

][1 kw Na

Meer-kanaals adaptief

filter

Verhogen van performantie

Verminderen van complexiteit door korte filters

Inleiding


-Optimale filtering



Besluit

2929


• N=4, SNR=0 dB, 3 ruisbronnen (wit, spraak, muziek), fs=16 kHz

• Performantie: verbetering van signaal-ruisverhouding (SNR)

0 500 1000 15000

5

10

15

Reverberatietijd (msec)

Unb

iase

d S

NR

(dB

)Delay-and-sum bundelvormerrGSC (LANC=400, ruisref=Griffiths-Jim)

Recursieve GSVD (L=20, LANC=400, alle nref)Recursieve GSVD (L=20, geen ANC)

Inleiding


-Optimale filtering



Besluit

3030

ConclusiesConclusies

• GSVD-gebaseerde optimaal-filtertechniek:

� Meerkanaals-uitbreiding van éénkanaals deelruimte-gebaseerde technieken

� Signaal-afhankelijk lage-rangmodel spraak

� Geen a-priori veronderstellingen over sprekerpositie en microfoons

• SNR-verbetering beter dan GSC voor alle reverberatietijden en beschouwde akoestische scenario’s

• Grotere robuustheid tegen afwijkingen in signaalmodel:

� Microfoonkarakteristieken

� Sprekerpositie

� VAD: enige a-prori informatie!

– Geen effect op SNR-verbetering

– Beperkt effect op spraakvervorming

Inleiding


-Optimale filtering



Besluit

3131

OverzichtOverzicht

• Inleiding

• Basisprincipes




� Technieken in tijdsdomein

� Technieken in frequentiedomein

� Gecombineerde ruisonderdrukking en dereverberatie


3232

DoelstellingDoelstelling

][0 ky

][1 ky

][1 kyN

][1 kh

][0 kw

][1 kw

][1 kwN

][kz

Blinde schatting van akoestische impulsresponsies

Tijdsdomein

Frequentiedomein

Ruisonderdrukking en dereverberatie

Dereverberatie

Bronlokalisatie

Inleiding Basisprincipes Bundelvorming Meerkanaalsoptimale filtering


-Tijdsdomein -Frequentiedomein

-Dereverberatie Besluit

3333

• Signaalmodel voor N=2 en geen achtergrondruis

• Deelruimte-gebaseerde techniek: impulsresponsies kunnen berekend uit nulruimte van spraakcorrelatiematrix � (Veralgemeende) eigenvector behorend bij kleinste

(veralgemeende) eigenwaarde� Problemen van techniek in tijdsdomein:

– gevoeligheid aan onderschatting van kanaallengte – lage-rangmodel in combinatie met achtergrondruis

Technieken in tijdsdomeinTechnieken in tijdsdomein

S(z)

H0(z)

H1(z) Y1(z)

Y0(z)

Signalen

][kyyR

-H1(z)

H0(z)

Nulruimte

0

±α

±α

E(z)

E(z)





3434

• Niet-adaptieve techniek vormt basis voor afleiding van adaptief stochastich-gradiëntalgoritme

• Gebruik : schatting van gedeeltelijke impulsresponsies schatting van tijdsvertraging voor bronlokalisatie

Stochastisch-gradiëntalgoritmeStochastisch-gradiëntalgoritme

1][ subject to,][min uRuuRuu

kk vvT

yyT

]1[][]1[

]1[]1[

][][][][][][]1[

][][][

kkk

kk

kkkekkekk

kkke

vvT

vv

T

uRu

uu

uRyuu

yu





3535

Technieken in frequentiedomeinTechnieken in frequentiedomein

)(

1

1

0

)(

1

1

0

1

1

0

)(

)(

)(

)(

)(

)(

)(

)(

)(

)(

)(

VH

Y

NNN V

V

V

S

H

H

H

Y

Y

Y

)(yyR )(vvR

)(H

• Problemen technieken in tijdsdomein frequentiedomein

• Signaalmodel:

• Schatting van akoestische transferfunctievector H() uit GEVD van correlatiematrices en

� Behorend bij grootste veralgemeende eigenwaarde geen stochastisch-gradiëntalgoritme beschikbaar

� Onbekende schaleringsfactor in elke frequentiebin:

kan bepaald worden indien norm gekend is

enkel toepasbaar wanneer positie van bron vrij vast is (bv. desktop, wagen)





3636

• Filteroperatie in frequentiedomein:

• Dereverberatie: genormaliseerd ‘matched filter’

• Gecombineerde ruisonderdrukking en dereverberatie:Z() is optimale schatting van S()

� integratie van meer-kanaals Wiener-filter met genormaliseerd ‘matched filter’

� Afweging tussen beide doelstellingen

Gecombineerde Gecombineerde ruisonderdrukking ruisonderdrukking en dereverberatieen dereverberatie

)()()()()()()()()(

VWHWYW H

F

HH SZ

1)( F

Residuele ruis





3737


• N=4, d=2 cm, fs=16 kHz, SNR=0 dB, T60=400 msec

• FFT-grootte L=1024, overlap R=16

• Performantiecriteria:

� Signaal-ruisverhouding (SNR)

� Dereverberatie-index (DI) :

SNR (dB) DI (dB)

Origineel microfoonsignaal 2.88 4.74

Ruisonderdrukking 16.82 4.73

Dereverberatie 2.30 0.86

Gecombineerde ruisonderdrukkingen dereverberatie

10.12 1.35

dH )()(log20

2

110 HW





3838

BesluitBesluit

• Lage signaalkwaliteit door achtergrondruis en reverberatie signaalverbetering om spraakverstaanbaarheid en

performantie te verhogenEénkanaals-technieken: spectrale informatie

Standaard bundelvorming: a-priori veronderstellingen

Geen a-priori veronderstelling

en

Meerkanaals Signaal-afhankelijk

Blinde kanaalschatti

ng dereverberati

e

Robuuste breedband- bundelvormi

ng

Meerkanaals optimale filtering



Besluit

3939

BijdragenBijdragen

• Robuuste breedband-bundelvorming:� nieuwe kostfuncties voor breedband ‘far-field’-ontwerp

(niet-lineair, eigenfilter)

� uitbreiding naar ‘near-field’ en ‘mixed near-far field’

� 2 procedures voor robuust ontwerp tegen afwijkingen in versterking en fase

• GSVD-gebaseerde optimaal-filtertechniek voor meerkanaals-ruisonderdrukking:� uitbreiding éénkanaals deelruimte-gebaseerde

technieken meerdere microfoons

� integratie in GSC-structuur

� betere performantie en robuustheid dan bundelvorming

• Akoestische-kanaalschatting en dereverberatie:� stochastisch-gradiëntalgoritme voor schatten van

tijdsvertraging en bronlokalisatie (gekleurde ruis)

� gecombineerde ruisonderdrukking en dereverberatiein frequentiedomein



Besluit

4040

Verder onderzoekVerder onderzoek

• Combinatie van meerkanaals Wiener-filter en vaste bundelvorming:

� Lage SNR: VAD faalt lage performantie Wiener-filter

� Gecombineerde techniek: robuuster wanneer VAD faalt, betere performantie dan vaste bundelvorming in andere scenario’s

• Akoestische-kanaalschatting en dereverberatie:

� Tijdsdomein: onderliggende reden gevoeligheid

� Frequentiedomein: onbekende schalingsfactor BSS ?

� andere blinde identificatietechnieken (LP, NL Kalman-filtering)

• Verdere vermindering van complexiteit van meerkanaals optimaal-filtertechniek:

� Stochastische-gradiëntalgoritmes

� Subband/frequentie-domein



Besluit

4141

Publicaties en projectenPublicaties en projecten

• Publicaties:

� Journals: 1 gepubliceerd, 4 aanvaard

� Conferenties: 11 artikels voorgesteld

� Hoofdstuk in Boek ‘Microphone Arrays: Signal Processing Techniques and Applications’ (Eds. M. Brandstein, D. Ward)

� Best Student Paper Award IWAENC-2001

• Financiering:

� IWT (Instituut voor de aanmoediging van Innovatie door Wetenschap en Technologie in Vlaanderen) : 1998-2002

• Industriële projecten:

� Philips-ITCL: ‘Multi-microphone signal enhancement techniques for hands-free telephony and voice-controlled systems’ (MUSETTE I-II)

� Cochlear CTCE: `Performance improvement of cochlear implants by innovative speech processing algorithms’



Besluit

Technieken voor ruisonderdrukking en dereverberatie in spraaktoepassingen met behulp van meerdere...

Documents

Transcript of Technieken voor ruisonderdrukking en dereverberatie in spraaktoepassingen met behulp van meerdere...