8/2/2019 Javier Lab

1/5

U N I V E R S I T Y O F E A S T A N G L I A

S c h o o l o f C o m p u t i n g S c i e n c e s

C M P C 3 I 1 6 | C o m p u t e r V i s i o n

L A B O R A T O R Y S H E E T 2 | I m a g e P r e - p r o c e s s i n g f o r C o m p u t e r V i s i o n

T h e a i m o f t h i s l a b o r a t o r y s e s s i o n i s t o g i v e y o u e x p e r i e n c e o f b a s i c i m a g e p r o c e s s i n g

o p e r a t i o n s , a n d i n p a r t i c u l a r i m a g e p r o c e s s i n g i n t h e M a t l a b w o r k i n g e n v i r o n m e n t . M a n y

h i g h - l e v e l c o m p u t e r v i s i o n a l g o r i t h m s r e q u i r e s o m e f o r m o f p r e - p r o c e s s i n g o f t h e i m a g e ( s ) t o

e n s u r e r o b u s t a n d r e l i a b l e o p e r a t i o n . T o r e e n f o r c e t h e m a t e r i a l c o v e r e d i n t h e l e c t u r e s , d u r i n g

t h i s l a b o r a t o r y s e s s i o n w e w i l l u s e s o m e o f t h e b u i l t - i n M a t l a b f u n c t i o n s f o r i m a g e p r o c e s s i n g .

T h e g o a l i s t o u n d e r s t a n d b a s i c i m a g e p r o c e s s i n g o p e r a t i o n s , a n d t o s e e t h e e e c t o f c h a n g i n g

t h e l t e r p r o p e r t i e s .

1 G e t t i n g S t a r t e d

M a t l a b i s s t a r t e d b y d o u b l e - c l i c k i n g t h e d e s k t o p i c o n , i f i t i s a v a i l a b l e , o r b y s e l e c t i n g t h e

i c o n f r o m r e l e v a n t p r o g r a m - g r o u p i n t h e s t a r t m e n u . M a t l a b m a y t a k e s e v e r a l m o m e n t s t o

f u l l y i n i t i a l i s e . I n i t i a l i s a t i o n i s c o m p l e t e w h e n a b l i n k i n g c u r s o r i s p r e s e n t e d a t t h e c o m m a n d

p r o m p t , o r ` R e a d y ' i s d i s p l a y e d i n t h e b o t t o m l e f t - h a n d c o r n e r o f t h e M a t l a b w i n d o w .

U s e t h e a v a i l a b l e h e l p i f y o u a r e h a v i n g p r o b l e m s . I f y o u w a n t t o l o c a t e a c o m m a n d , b u t

a r e n o t s u r e o f t h e e x a c t n a m e , u s e t h e l o o k f o r c o m m a n d .

> > l o o k f o r k e y w o r d

w i l l s e a r c h t h e h e l p a n d r e t u r n a l i s t o f f u n c t i o n s t h a t c o n t a i n a g i v e n k e y w o r d , a n d

> > h e l p c o m m a n d

d i s p l a y s t h e h e l p f o r t h e n a m e d c o m m a n d .

2 R e a d i n g a n d D i s p l a y i n g I m a g e s

A n i m a g e c a n b e r e a d f r o m a l e a n d i n t o t h e M a t l a b w o r k s p a c e a s a v a r i a b l e , w h i c h c a n t h e n

b e d i s p l a y e d i n a g u r e w i n d o w u s i n g :

> > i m g = i m r e a d ( ` c a m e r a m a n . t i f f ' ) ; % R e a d s t h e i m a g e f r o m f i l e .

> > i m s h o w ( i m g ) ; % D i s p l a y s t h e i m a g e i n a f i g u r e w i n d o w .

T h e s t r i n g a r g u m e n t t o i m r e a d i s t h e n a m e o f a n i m a g e | i n t h i s c a s e i t i s a n i m a g e i n s t a l l e d

w i t h M a t l a b . T h i s c a n b e r e p l a c e d w i t h a n y l e n a m e ( a n d w h e r e a p p r o p r i a t e l e p a t h ) .

L o o k i n g a t t h e t o p l e f t r e g i o n o f t h e C a m e r a M a n i m a g e ( i n t h e s k y ) , t h e i m a g e a p p e a r s

r e a s o n a b l y a t ( a p p r o x i m a t e l y t h e s a m e i n t e n s i t y ) . C o n s e q u e n t l y , i f w e w e r e t o s a m p l e t h e

i m a g e a l o n g a p r o l e v e r t i c a l l y t h r o u g h t h e i m a g e , w e m i g h t e x p e c t o n l y a r e l a t i v e l y s m a l l i n

i n t e n s i t y . H o w e v e r , i f w e w e r e t o d o t h e f o l l o w i n g :

C M P C 3 I 1 6 L a b o r a t o r y S h e e t 2 S p r i n g 2 0 1 0

1

8/2/2019 Javier Lab

2/5

> > x = i m p r o f i l e ; % S a m p l e i n t e n s i t i e s a l o n g a p r o f i l e i n t h e i m a g e .

> > f i g u r e ; p l o t ( x , ` k ' ) ; % P l o t t h e i n t e n s i t i e s i n a n e w f i g u r e w i n d o w .

W e c a n s e e t h e i n t e n s i t i e s a s r a w n u m b e r s t o g e t a n i d e a o f h o w m u c h v a r i a t i o n t h e r e i s t h e s e

r e l a t i v e l y a t r e g i o n s . T h e p r o l e a n d t h e s a m p l e d i n t e n s i t i e s a r e s h o w n i n F i g u r e 1 .

F i g u r e 1 : C a m e r a m a n i m a g e ( l e f t ) , w i t h a v e r t i c a l p r o l e m a r k e d i n r e d , a n d t h e c o r r e s p o n d i n g

i m a g e s i n t e n s i t i e s s a m p l e d a l o n g t h a t p r o l e p l o t t e d a s n u m b e r s ( r i g h t ) .

A l t h o u g h w e p e r c e i v e t h e r e g i o n t o b e a t , t h e i m a g e i n t e n s i t i e s v a r y u p t o a l m o s t o n e t e n t h

t h e e n t i r e r a n g e ( 0 { 2 5 5 ) a l o n g t h e p r o l e . T h e p e r f o r m a n c e o f a u t o m a t e d v i s i o n s y s t e m s c a n

d e g r a d e d u e t o n o i s e s u c h a s t h i s .

3 L i n e a r I m a g e F i l t e r s

R e c a l l , t h e o p e r a t i o n o f a 2 D i m a g e l t e r i s g i v e n b y t h e d i s c r e t e c o n v o l u t i o n :

G ( x ; y ) =

a

X

m = a

b

X

n = b

f ( x

m ; y

n ) h ( m ; n ) ; ( 1 )

w h e r e t h e s i z e o f t h e k e r n e l i s 2 a + 1

2 b + 1 . T h e k e r n e l i s c e n t r e d a t a p i x e l , t h e s u m -

o f - p r o d u c t s b e t w e e n t h e k e r n e l c o e c i e n t s a n d t h e i m a g e i n t e n s i t i e s b e n e a t h i t i s c o m p u t e d ,

a n d t h e r e s u l t i n g v a l u e i s c o p i e d t o t h e p i x e l l o c a t i o n i n t h e o u t p u t i m a g e . T h e k e r n e l i s t h e n

c e n t r e d o v e r t h e n e x t p i x e l a n d t h e p r o c e s s r e p e a t e d f o r a l l p i x e l s i n t h e i m a g e . T h i s d e n e s

t h e b e h a v i o u r o f a l l o f t h e l i n e a r l t e r s w e w i l l l o o k a t , w h a t d i e r s i s t h e c o e c i e n t s ( v a l u e s )

i n t h e k e r n e l | t h e s e d e n e t h e t y p e / o p e r a t i o n o f t h e l t e r , t h e l t e r i n g p r o c e s s i t s e l f i s t h e

s a m e . T o c o n v i n c e y o u o f t h i s , y o u c o u l d w r i t e y o u r o w n f u n c t i o n t h a t i m p l e m e n t s t h e a b o v e

a n d s e e t h a t t h e s a m e u n d e r l y i n g l t e r i n g c o d e p r o d u c e s a d i e r e n t o p e r a t i o n d e p e n d i n g o n

t h e k e r n e l .

M a t l a b , i n c o n j u n c t i o n w i t h t h e I m a g e P r o c e s s i n g T o o l b o x h a s m a n y f u n c t i o n s t o s u p p o r t

b o t h l i n e a r a n d n o n - l i n e a r i m a g e p r o c e s s i n g o p e r a t i o n s . T w o f u n c t i o n s w e a r e p a r t i c u l a r l y

i n t e r e s t e d i n h e r e a r e f s p e c i a l , w h i c h c r e a t e s a l t e r k e r n e l f o r a n a m e d l t e r t y p e w i t h t h e

s p e c i e d p r o p e r t i e s , a n d i m f i l t e r , w h i c h l t e r s a n i m a g e u s i n g a g i v e n k e r n e l .

C M P C 3 I 1 6 L a b o r a t o r y S h e e t 2 S p r i n g 2 0 1 0

2

8/2/2019 Javier Lab

3/5

B o x F i l t e r s

A b o x l t e r i s a c r u d e l t e r u s e d f o r s m o o t h i n g a n i m a g e | t h e p i x e l i n t e n s i t i e s i n t h e n e i g h -

b o u r h o o d ( b e n e a t h t h e k e r n e l ) a r e a v e r a g e d , a n d t h e m e a n v a l u e u s e d t o r e p r e s e n t t h e p i x e l i n

t h e l t e r e d i m a g e . I n t h i s i n s t a n c e a l l k e r n e l c o e c i e n t s a r e t h e s a m e ( e q u a l t o t h e r e c i p r o c a l

o f t h e n u m b e r o f c o e c i e n t s i n t h e l t e r ) . F o r e x a m p l e , t o c o n s t r u c t t h e k e r n e l f o r a 3

3 b o x

l t e r w e c o u l d d o :

> > h = ( 1 / 9 ) * o n e s ( 3 , 3 ) ;

o r w e c o u l d u s e d t h e s u p p l i e d f s p e c i a l f u n c t i o n , a s f o l l o w s

1

:

> > h = f s p e c i a l ( ` a v e r a g e ' ) ;

I m p l e m e n t b o t h o f t h e s e o p e r a t i o n s t o c o n v i n c e y o u t h e y a r e t h e s a m e .

G i v e n t h e c a m e r a m a n i m a g e a n d t h e l t e r k e r n e l , t h e n e x t s t e p i s t o a p p l y t h e l t e r . T h i s

c a n b e d o n e u s i n g t h e i m f i l t e r c o m m a n d , a s f o l l o w s :

> > i m g _ b o x = i m f i l t e r ( i m g , h ) ;

> > i m s h o w ( i m g _ b o x ) ;

W h a t i s t h e e e c t o f a v e r a g i n g t h e p i x e l i n t e n s i t i e s i n t h e i m a g e ? W h a t w o u l d b e t h e e e c t o f

i n c r e a s i n g t h e l t e r s i z e ? T r y i t a n d s e e .

T h e d e f a u l t b e h a v i o u r o f i m f i l t e r i s t o a s s u m e p i x e l s o u t s i d e o f t h e i m a g e a r e b l a c k ( 0 ) .

Y o u s h o u l d n o t i c e a n o f e e c t o f i n c r e a s i n g t h e s i z e o f t h e l t e r k e r n e l i s s t r a n g e b o r d e r a r t e f a c t s

a t t h e e d g e o f t h e i m a g e . T h e b l a c k b o r d e r a p p e a r s t o i n c r e a s e w i t h t h e s i z e o f t h e k e r n e l . H o w

m i g h t y o u o v e r c o m e t h i s p r o b l e m o f t h e b l a c k b o r d e r ? L o o k a t t h e i n p u t p a r a m e t e r s f o r

i m f i l t e r a n d t r y t h e m o u t .

G a u s s i a n F i l t e r s

A l i n e a r l t e r w i t h a G a u s s i a n s h a p e d k e r n e l i s g e n e r a l l y a b e t t e r o p t i o n t h a n a b o x l t e r .

R a t h e r t h a n a l l p i x e l s h a v i n g e q u a l w e i g h t i n c o m p u t i n g t h e a v e r a g e , a G a u s s i a n d o w n - w e i g h t s

t h e i n u e n c e o f p i x e l s p r o p o r t i o n a l l y w i t h d i s t a n c e f r o m t h e c e n t r e p i x e l .

T h e r e a r e t w o p r o p e r t i e s o f t h e G a u s s i a n k e r n e l t h a t m u s t b e d e n e d . T h e r s t i s t h e s i z e

o f t h e k e r n e l i t s e l f a n d t h e s e c o n d i s t h e s t a n d a r d d e v i a t i o n ( w i d t h o f t h e G a u s s i a n ) . R e c a l l

t h e a r e a u n d e r G a u s s i a n c u r v e i s x e d , t h e r e f o r e a l t e r w i t h a l a r g e r w i d t h h a s a l o w e r o v e r a l l

h e i g h t a t t h e c e n t r e . Y o u c a n e a s i l y v e r i f y t h i s l o o k i n g a t t h e s h a p e o f t h e l t e r s y o u c r e a t e .

F o r e x a m p l e :

> > h 1 = f s p e c i a l ( ` g a u s s i a n ' , [ 1 7 1 7 ] , 0 . 5 ) ;

> > h 2 = f s p e c i a l ( ` g a u s s i a n ' , [ 1 7 1 7 ] , 2 ) ;

> > [ X , Y ] = m e s h g r i d ( 1 : s i z e ( h 1 , 1 ) ) ;

> > f i g u r e ; s u r f ( X , Y , h 1 ) ;

> > f i g u r e ; s u r f ( X , Y , h 2 ) ;

1

f s p e c i a l w i l l c o m p u t e t h e k e r n e l f o r a h o s t o f l t e r t y p e s | s e e t h e d o c u m e n t a t i o n f o r m o r e i n f o r m a t i o n

o n t h e t y p e s o f l t e r a n d t h e p a r t i c u l a r p a r a m e t e r s f o r e a c h .

C M P C 3 I 1 6 L a b o r a t o r y S h e e t 2 S p r i n g 2 0 1 0

3

8/2/2019 Javier Lab

4/5

a n d n o t i c e t h e h e i g h t o f t h e p e a k i n b o t h c a s e s . C o n s t r u c t a n u m b e r o f l t e r s , c h a n g i n g b o t h

t h e s i z e o f t h e k e r n e l a n d t h e w i d t h o f t h e G a u s s i a n , a n d n o t i c e t h e e e c t o f t h e l t e r t h a t

r e s u l t s f r o m c h a n g i n g t h e p a r a m e t e r s .

3 . 1 L a p l a c i a n I m a g e s

I n t h e l e c t u r e s w e s a w t h a t t h e L a p l a c i a n ( m a g n i t u d e o f t h e s e c o n d d e r i v a t i v e i n o n e d i r e c t i o n )

o f a n i m a g e c a n b e c o m p u t e d u s i n g t h e f o l l o w i n g k e r n e l :

0 1 0

1 - 4 1

0 1 0

U s i n g

d I

x

d x

= I ( x + 1 )

I ( x ) a s a n a p p r o x i m a t i o n o f t h e r s t d e r i v a t i v e , s h o w t h e a b o v e k e r n e l

i s c o r r e c t .

C o m p u t e t h e L a p l a c i a n o f t h e c a m e r a m a n i m a g e ( i f y o u u s e f s p e c i a l , b e s u r e y o u h a v e

g e n e r a t e d t h e k e r n e l a b o v e ! ) , a n d n o t i c e t h e m a n y f a l s e e d g e s i n t h e r e s u l t

2

. I t w a s p r o p o s e d

i n t h e l e c t u r e s t h a t c o m b i n g b o t h s m o o t h i n g a n d g r a d i e n t b a s e d a p p r o a c h e s c a n m a k e e d g e

d e t e c t o r s m o r e r o b u s t t o n o i s e , e v e n t h o u g h t h e e e c t o f s m o o t h i n g i s t o r e d u c e t h e s t r e n g t h

o f e d g e s i n t h e i m a g e . V e r i f y t h i s u s i n g t h e l t e r s y o u h a v e l o o k e d a t i n t h i s s e s s i o n | d o e s

s m o o t h i n g t h e o r i g i n a l i m a g e , t h e n c o m p u t i n g t h e L a p l a c i a n o f t h e s m o o t h e d i m a g e g i v e m o r e

r e l i a b l e e d g e s ?

4 N o n - l i n e a r F i l t e r s

T h e r e a r e n u m e r o u s n o n - l i n e a r l t e r s w e m i g h t a p p l y t o a n i m a g e | m a x , m i n , a n d m e d i a n

l t e r s f o r l o c a l b r i g h t e n i n g , d a r k e n i n g a n d s m o o t h i n g r e s p e c t i v e l y , a n d t h e e r o s i o n , d i l a t i o n ,

o p e n i n g , a n d c l o s i n g o p e r a t o r s t o s m o o t h c o n t o u r s i n t h e i m a g e s , t o n a m e b u t a f e w .

4 . 1 N o i s e R e m o v a l

F o r c e r t a i n t y p e s o f n o i s e , n o n - l i n e a r l t e r s a r e m u c h m o r e s e n s i b l e t h a n l i n e a r l t e r s . T h i s c a n

e a s i l y b e d e m o n s t r a t e d w i t h a s i m p l e e x a m p l e . F i r s t l y , l o a d t h e c o i n s i m a g e :

> > i m g = i m r e a d ( ` c o i n s . p n g ' ) ;

N e x t a d d n o i s e t o t h e i m a g e . F o r t h i s e x a m p l e w e w i l l u s e t h e s a l t a n d p e p p e r n o i s e m o d e l . S e e

t h e h e l p f o r t h e i m n o i s e f u n c t i o n f o r a l t e r n a t i v e s .

> > i m g n = i m n o i s e ( i m g , ` s a l t & p e p p e r ' , 0 . 1 ) ;

> > f i g u r e ; i m s h o w ( i m g n ) ;

2

T h e s e s p u r i o u s e d g e s m i g h t b e m o r e o b v i o u s i f y o u t h r e s h o l d t h e l t e r e d i m a g e , e . g . ,

i m s h o w ( i m f i l t e r ( i m g , h ) > 2 5 ) ; .

C M P C 3 I 1 6 L a b o r a t o r y S h e e t 2 S p r i n g 2 0 1 0

4

8/2/2019 Javier Lab

5/5

W h a t d o e s t h e p a r a m e t e r 0 . 1 s p e c i f y i n t h e e x a m p l e a b o v e ?

F i r s t l y a t t e m p t t o r e s t o r e t h e i m a g e u s i n g a l o w - p a s s ( G u a s s i a n ) l t e r . D o e s t h i s w o r k ? T o

r e s t o r e t h e g r e y b a c k g r o u n d , w h a t c a n y o u d e d u c e a b o u t t h e r e q u i r e d k e r n e l s i z e ? W h a t d o e s

t h i s d o t o t h e f o r e g r o u n d o b j e c t s ? I s t h i s a p p r o a c h s u i t a b l e ?

R a t h e r t h a n a l i n e a r l t e r , u s e a 2 - d i m e n s i o n a l m e d i a n l t e r t o a t t e n u a t e t h e n o i s e ( m e d f i l t 2 ) .

T r y w i t h d i e r e n t s i z e l t e r s | d o e s t h i s w o r k b e t t e r ? W h a t h a p p e n s a s t h e l t e r s i z e i n c r e a s e s ?

F o r t h e l t e r s i z e y o u d e d u c e a s o p t i m a l , i s t h e r e s t o r e d i m a g e e x a c t l y t h e s a m e a s t h e o r i g i n a l ?

I f n o t , c a n y o u d e t e r m i n e h o w c l o s e t h e y a r e ?

4 . 2 M o r p h o l o g i c a l F i l t e r s

M o r p h o l o g i c a l l t e r s a r e u s e f u l f o r s m o o t h i n g c o n t o u r s a n d r e m o v i n g a r t e f a c t s i n b i n a r y , g r e y -

s c a l e , a n d c o l o u r i m a g e s | w e w i l l c o n s i d e r o n l y b i n a r y i m a g e s . W e m i g h t w i s h t o d o t h i s , f o r

e x a m p l e , t o c l e a n u p a c r u d e i m a g e s e g m e n t a t i o n .

F r o m t h e c o i n s i m a g e u s e d p r e v i o u s l y , w e c a n s e e t h e i n t e n s i t y o f t h e p i x e l s r e p r e s e n t i n g

t h e c o i n s a r e r e l a t i v e l y b r i g h t c o m p a r e d w i t h t h o s e r e p r e s e n t i n g t h e b a c k g r o u n d . A s i m p l e

s e g m e n t a t i o n o f t h e i m a g e m i g h t t h e n j u s t l o o k f o r b r i g h t p i x e l s :

> > M = i m g > 1 2 8 ;

> > f i g u r e ; i m s h o w ( M ) ;

T h i s , m o s t l y , d o e s a r e a s o n a b l e j o b o f s e g m e n t i n g t h e c o i n s f r o m t h e b a c k g r o u n d . H o w e v e r , i t

i s n ' t p e r f e c t . S o m e o f t h e f o r e g r o u n d p i x e l i n t e n s i t i e s f a l l b e l o w t h e d e c i s i o n t h r e s h o l d ( 1 2 8 ) ,

a n d t h u s a r e c l a s s i e d a s b e l o n g i n g t o t h e b a c k g r o u n d . A m e d i a n l t e r w i l l d o a r e a s o n a b l e j o b

i n m o s t o f t h e c a s e s , b u t o n e c o i n i n p a r t i c u l a r i s p r o b l e m a t i c . F o u r m o r p h o l o g i c a l o p e r a t o r s

w e r e i n t r o d u c e d i n t h e l e c t u r e s : n a m e l y e r o s i o n , d i l a t i o n , o p e n i n g a n d c l o s i n g . T h e s e a r e

i m p l e m e n t e d i n M a t l a b a s i m e r o d e , i m d i l a t e , i m o p e n a n d i m c l o s e , r e s p e c t i v e l y . I n c o n j u n c -

t i o n w i t h t h e s e a s t r u c t u r i n g e l e m e n t m u s t b e d e n e d , w h i c h i s d o n e u s i n g t h e s t r e l f u n c t i o n .

F i l t e r t h e b i n a r y m a s k c o m p u t e d f r o m t h e c o i n s i m a g e w i t h t h e v a r i o u s m o r p h o l o g i c a l o p e r a -

t o r s t o i n v e s t i g a t e w h i c h i s b e s t s u i t e d f o r t h i s p a r t i c u l a r c a s e . A l s o , w h i c h s h a p e o f s t r u c t u r i n g

e l e m e n t w o r k s b e s t h e r e ? ( h i n t : t h i n k o f t h e s h a p e o f t h e o b j e c t y o u a r e a t t e m p t i n g t o c l e a n ) .

W h a t h a p p e n s a s t h e s t r u c t u r i n g e l e m e n t i n c r e a s e s / d e s c r e a s e s i n s i z e ?

D r B . J . T h e o b a l d & D r M . M a c k i e w i c z

J a n . 2 0 1 0

C M P C 3 I 1 6 L a b o r a t o r y S h e e t 2 S p r i n g 2 0 1 0

5