�I HÅC QUÈC GIA H NËITR×ÍNG �I HÅC KHOA HÅC TÜ NHIN

� o Thanh Tòng

LÜA CHÅN BIN BNG PH×ÌNG PHPBAYES BIN PHN VÎI DÚ LIU LÎN

Chuy¶n ng nh : Lþ thuy¸t X¡c su§t v  Thèng k¶ To¡n håc

M¢ sè: 62.46.01.06

DÜ THO TÂM TT LUN N TIN S TON HÅC

H NËI � 2018

Cæng tr¼nh �÷ñc ho n th nh t¤i: Tr÷íng �¤i håc Khoa håc Tü nhi¶n

- �¤i håc Quèc gia H  Nëi

Ng÷íi h÷îng d¨n khoa håc: -PGS.TS. TRN MINH NGÅC-TS. TRN MNH C×ÍNG

Ph£n bi»n 1:....................................................................................................

Ph£n bi»n 2:....................................................................................................

Ph£n bi»n 3:....................................................................................................

Luªn ¡n s³ �÷ñc b£o v» tr÷îc Hëi �çng c§p �¤i håc Quèc gia ch§mluªn ¡n ti¸n s¾ håp t¤i Tr÷íng �¤i håc Khoa håc Tü nhi¶n, �¤i håcQuèc gia H  Nëi v o hçi ..... gií ..... ng y ..... th¡ng ..... n«m 20 ...

Câ thº t¼m hiºu luªn ¡n t¤i:- Th÷ vi»n Quèc gia Vi»t Nam- Trung t¥m Thæng tin - Th÷ vi»n, �¤i håc Quèc gia H  Nëi

MÐ �U

Lüa chån mæ h¼nh l  mët b i to¡n cì b£n trong thèng k¶ công nh÷ trong nhi·u

l¾nh vüc khoa håc kh¡c. Gi£ sû r¬ng chóng ta �÷ñc cho mët tªp hñp c¡c mæ h¼nh

ph£n ¡nh mët lo¤t c¡c c§u tróc ti·m n«ng trong dú li»u v  nhi»m vö l  chån

trong sè �â mët mæ h¼nh gi£i th½ch tèt nh§t ho°c phò hñp nh§t vîi dú li»u. Câ

r§t nhi·u ph÷ìng ph¡p lüa chån mæ h¼nh nêi ti¸ng nh÷ ph÷ìng ph¡p hñp lþ cüc

�¤i ph¤t, ph÷ìng ph¡p Bayes, ph÷ìng ph¡p thüc nghi»m.

Còng vîi sü ph¡t triºn cõa khoa håc v  cæng ngh», nhu c¦u thüc hi»n c¡c b i

to¡n lîn v  phùc t¤p ng y c ng �÷ñc n¥ng cao, �ái häi c¦n ph£i ph¡t triºn nhúng

thuªt to¡n nhanh phò hñp vîi c¡c b i to¡n �â. Ph÷ìng ph¡p Bayes bi¸n ph¥n

(Variational Bayes: VB) ra �íi nh¬m gi£i quy¸t nhu c¦u thi¸t y¸u �â, �÷ñc ph¡t

triºn v  ùng döng rëng r¢i tø giúa nhúng n«m 1990.

Trong nhi·u tr÷íng hñp ta �¢ bi¸t d¤ng mæ h¼nh ho°c �¢ x¡c �ành �÷ñc c§u

tróc cõa mæ h¼nh. Khi �â v§n �· c¦n quan t¥m l  chån bi¸n cho mæ h¼nh. Nâ l 

tr÷íng hñp �°c bi»t (nh÷ng thæng döng nh§t) cõa b i to¡n lüa chån mæ h¼nh. Gi£

sû Y l  bi¸n �÷ñc quan t¥m v  X1, X2, ..., Xp l  tªp c¡c bi¸n �ëc lªp câ thº gi£i

th½ch hay dü �o¡n Y . V§n �· �°t ra l  c¦n chån lüa c¡c bi¸n quan trång, tùc l 

lüa chån mët tªp con tø p bi¸n �â, câ £nh h÷ðng nh§t �¸n Y �º �÷a ra mæ h¼nh

biºu di¹n tèt nh§t mèi quan h» giúa Y v  c¡c bi¸n �÷ñc chån.

Möc ti¶u 1.

Mæ h¼nh hçi quy tuy¸n t½nh hén hñp têng qu¡t (Generalized Linear Mixed

Models: GLMMs) câ nhi·u ùng döng rëng r¢i trong thüc t¸ nh÷ng lüa chån bi¸n

cho GLMMs trong tr÷íng hñp nhi·u bi¸n �÷ñc xem l  mët b i to¡n khâ. C¡c

ph÷ìng ph¡p lüa chån bi¸n cê �iºn th¼ bà h¤n ch¸ bði mët sè ½t bi¸n, ph÷ìng

1

ph¡p cõa Groll et al [29] v  Schelldorfer et al [45] câ thº thüc hi»n lüa chån

bi¸n cho GLMMs trong tr÷ìng hñp nhi·u bi¸n. Tuy nhi¶n, v¨n cán nhi·u v§n �·

�º c£i ti¸n trong c¡ch ti¸p cªn cõa Groll et al [29] v  Schelldorfer et al [45]. Do�â möc ti¶u thù nh§t cõa chóng tæi l  �· xu§t ph÷ìng ph¡p mîi khcphöc nhúng h¤n ch¸ n y, düa tr¶n ph÷ìng ph¡p Bayes bi¸n ph¥n th½chnghi vîi mët ph¤t d¤ng l1-norm.

Möc ti¶u 2.

Trong thüc t¸, h¦u h¸t dú li»u �÷ñc ph¡t sinh tø têng thº khæng �çng nh§t. �º

mæ h¼nh hâa dú li»u nh÷ vªy th¼ mæ h¼nh hçi quy hén hñp (Mixtures Regression

Models: MRMs) �÷ñc cho l  phò hñp nh§t v¼ nâ cho ph²p mæ t£ chi ti¸t ph¥n

phèi cõa tøng cöm dú li»u. Câ hai v§n �· c¦n gi£i quy¸t trong b i to¡n lüa chån

mæ h¼nh ð �¥y, thù nh§t l  x¡c �ành sè th nh ph¦n hay sè cöm dú li»u v  thù hai

l  chån bi¸n cho mæ h¼nh. C¡c ph÷ìng ph¡p cê �iºn th÷íng thüc hi»n ri¶ng r³ hai

v§n �· n y v  �ë ch½nh x¡c ch÷a cao. �º t«ng t½nh linh �ëng, t½nh m·m d´o cho

mæ h¼nh, ng÷íi ta cán nghi¶n cùu c£ c¡c tr÷íng hñp m  ph¥n phèi cõa tøng cöm

dú li»u l  h m cõa c¡c bi¸n hçi quy z, tr÷ìng hñp n y gåi l  mæ h¼nh hçi quy

�ìn bi¸n linh �ëng �¢ �÷ñc �¢ �÷ñc xem x²t trong Tran et al [50] , Nott et al [38]

v  Villani et al [52], trong �â mªt �ë câ �i·u ki»n p(y|z) cõa bi¸n �¡p ùng y mëtchi·u �÷ñc mæ h¼nh hâa theo mªt �ë cõa mët hén hñp c¡c ph¥n phèi chu©n vîi t§t

c£ c¡c th nh ph¦n trung b¼nh, ph÷ìng sai v  x¡c su§t trën l  c¡c h m tuy¸n t½nh

cõa c¡c hi»p bi¸n z. Tran et al [50] �¢ nghi¶n cùu mæ h¼nh ÷îc l÷ñng mªt �ë hçi

quy vîi c¡c hén hñp cõa k ph¥n phèi chu©n câ ph÷ìng sai phö thuëc (Regression

Density Estimation with Mixtures of k Heteroscedastic Normals: RDE-MHN(k))

p(y|z) =k∑j=1

πj(z)N (y|µj(z), σ2j (z))

trong �â x¡c xu§t trën πj(z), trung b¼nh µj(z) v  ph÷ìng sai σ2j (z) l  c¡c h mcõa c¡c tê hñp tuy¸n t½nh cõa z, c¡c πj(z) ≥ 0 v 

∑kj=1 πj(z) = 1. Tran et al [50]

29Groll, Andreas and Tutz, Gerhard (2012), Variable selection for generalized linear mixed models

by L1-penalized estimation, Springer US, 1 - 18.45Schelldorfer, J�urg and Meier, Lukas and B�uhlmann, Peter (2013), GLMMLasso: An Algorithm for

High-Dimensional Generalized Linear Mixed Models Using l1-Penalization, Journal of Computational

and Graphical Statistics.50Tran, Minh-Ngoc and Nott, David J. and Leng, Chenlei. (2012), The predictive Lasso, Statistics

and Computing, 22, 1069 - 1084.

2

�· xu§t mët thuªt to¡n nhanh düa tr¶n ph÷ìng ph¡p Bayes bi¸n ph¥n cho ph²p

thüc hi»n �çng thíi lüa chån c¡c bi¸n, lüa chån sè th nh ph¦n k v  ÷îc l÷ñng

tham sè. Ph÷ìng ph¡p cõa Tran et al [50] câ thº gi£i quy¸t v§n �· cüc �¤i �àa

ph÷ìng trong vi»c lüa chån k, v  câ thº ¡p döng cho tr÷íng hñp nhi·u bi¸n (sè

l÷ñng bi¸n câ thº lîn hìn k½ch th÷îc m¨u). Tuy nhi¶n, Tran et al [50], Nott et al

[38] v  Villani et al [52] ch¿ mîi nghi¶n cùu tr¶n mæ h¼nh n y vîi y l  �ìn bi¸n,

tr÷íng hñp y l  �a bi¸n ch÷a �÷ñc nghi¶n cùu thüc hi»n. Do �â möc ti¶u thùhai cõa chóng tæi l  nghi¶n cùu mð rëng mæ h¼nh n y cho tr÷íng hñpy l  �a bi¸n.

Tø nhúng lþ do tr¶n, chóng tæi x¡c �ành �èi t÷ñng nghi¶n cùu cõa luªn ¡n

l  chån bi¸n c¡c cho mæ h¼nh hçi quy tuy¸n t½nh hén hñp têng qu¡t (General-

ized Linear Mixed Models: GLMMs) v  c¡c mæ h¼nh hçi quy mªt �ë nhi·u bi¸n

linh �ëng (Multivariate Regression Density Estimation with Mixtures of Normals

model: MRDE-MN). Luªn ¡n sû döng ph÷ìng ph¡p Bayes bi¸n ph¥n �º x¥y düng

thuªt to¡n lüa chån bi¸n nhanh �çng thíi ÷îc l÷ñng tham sè mæ h¼nh.

Cö thº luªn ¡n �¢ �¤t �÷ñc nhúng k¸t qu£ nh÷ sau:

1. Chóng tæi �¢ x¥y düng mët thuªt to¡n Bayes bi¸n ph¥n �º thüc

hi»n �çng thíi lüa chån bi¸n v  ÷îc l÷ñng tham sè trong GLMM,

kþ hi»u l  VBGLMM. Thuªt to¡n �÷ñc �· xu§t düa tr¶n ph÷ìng

ph¡p Bayes bi¸n ph¥n �º ÷îc l÷ñng mët mode hªu nghi»m k¸t

hñp vîi ph÷ìng ph¡p Bayes th½ch nghi Lasso. Ph÷ìng ph¡p VB

mode hªu nghi»m cõa chóng tæi câ thº �÷ñc ¡p döng cho vi»c

lüa chån bi¸n trong c¡c ùng döng kh¡c, ch¯ng h¤n nh÷ lüa chån

hi»p ph÷ìng sai. Ph÷ìng ph¡p VBGLMM �÷ñc �· xu§t công câ

thº �÷ñc mð rëng th nh (i) lüa chån nhâm bi¸n trong GLMMs

b¬ng c¡ch sû döng Lasso ph¤t nhâm (Yuan and Lin [53] ); (ii)

lüa chån bi¸n �÷ñc sp x¸p trong GLMMs b¬ng ph¤t tuy»t �èi38Nott, D. J. and Tan, S. L. and Villani, M. and Kohn, R. (2011), Regression density estimation with

variational methods and stochastic approximation, Journal of Computational and Graphical Statistics.52Villani, M. and Kohn, R. and Giordani, P. (2009), Regression density estimation using smooth

adaptive Gaussian mixtures, Journal of Econometrics, 153, 155 - 173.53Yuan, M. and Lin, Y. (2006), Model selection and estimation in regression with grouped variables,

Journal of the Royal Statistical Society, Series B, 68, 49 - 67.

3

têng hñp (Zhao et al [54] ).

2. Chóng tæi �· xu§t mæ h¼nh hçi quy mªt �ë nhi·u bi¸n linh �ëng vîi

vi»c trën c¡c ph¥n phèi chu©n câ ph÷ìng sai phö thuëc (MRDE-

MN), x¥y düng thuªt to¡n Bayes bi¸n ph¥n thüc hi»n �çng thíi

chån bi¸n, ÷îc l÷ñng tham sè v  x¡c �ành sè th nh ph¦n cõa mæ

h¼nh.

Nëi dung cõa luªn ¡n gçm ba ch÷ìng:

Ch÷ìng 1: Mët sè kh¡i ni»m v  k¸t qu£ cì b£n

Ch÷ìng 2: Chån bi¸n cho mæ h¼nh hçi quy tuy¸n t½nh hên hñp têng qu¡t

Ch÷ìng 3: Mæ h¼nh hçi quy mªt �ë nhi·u bi¸n linh �ëng

Ch÷ìng 1: Ki¸n thùc chu©n bà

1.1 Mët sè ph¥n phèi th÷íng g°p

Mët sè ph¥n phèi th÷íng g°p nh÷ ph¥n phèi Beta, Gamma, Gamma ng÷ñc,

chu©n mët chi·u, chu©n nhi·u chi·u v  ph¥n phèi Wishart l  nhúng ph¥n phèi

quan trång �÷ñc �· cªp �¸n trong luªn ¡n.

1.2 Hå mô v  Mæ h¼nh hçi quy tuy¸n t½nh têng qu¡t

1.2.1 Hå mô

Gi£ sû bi¸n ng¨u nhi¶n Y câ ph¥n phèi x¡c su§t phö thuëc v o tham sè η,

�÷ñc gåi l  thuëc hå mô n¸u h m mªt �ë câ d¤ng

f(y|η) = exp(yη − ζ(η)

φ+ c(y, φ)

),

54Zhao, P., Rocha, G. and Yu, B. (2009), The composite absolute penalties family for grouped and

hierarchical variable selection. The Annals of Statistics, 37, 3468 - 3497.

4

trong �â η �÷ñc gåi l  tham sè ch½nh tc cõa hå mô, φ l  tham sè t� l», ζ(·) v c(·) l  c¡c h m �¢ bi¸t. C¡c ph¥n phèi chu©n mët chi·u, nhà thùc v  Poisson �·uthuëc hå mô.

1.2.2 Mæ h¼nh hçi quy tuy¸n t½nh têng qu¡t

Chóng ta th÷íng quen thuëc vîi mæ h¼nh hçi quy tuy¸n t½nh thæng th÷íng (khi

bi¸n phö thuëc y l  bi¸n li¶n töc), hay mæ h¼nh hçi quy logistic (khi y l  bi¸n nhà

ph¥n). GLMs (Generalized linear models) l  mët lîp c¡c mæ h¼nh hçi quy tuy¸n

t½nh têng qu¡t cho nhi·u kiºu dú li»u cõa bi¸n phö thuëc y câ ph¥n phèi thuëc

hå mô, �÷ñc tr¼nh b y trong Nelder and Wederburn [37] v  Annette and Adrian

[12] .

Gi£ sû y=(y1,y2,...,yn)′, mæ h¼nh hçi quy tuy¸n t½nh têng qu¡t �÷ñc x¡c �ành

bði ba th nh ph¦n:

- H m mªt �ë thuëc hå mô

f(yi|β)=exp(yiηi−ζ(ηi)

φ+c(yi,φ)

),

trong �â ηi,i=1,2,...,n l  tham sè ch½nh tc cõa hå mô; tham sè t� l» φ câ thº �¢

bi¸t ho°c ch÷a bi¸t, ζ(·) v  c(·) l  c¡c h m �¢ bi¸t.

- Th nh ph¦n tuy¸n t½nh

η=Xβ

trong �â η=(η1,η2,...,ηn)′; β l  p-vector h» sè £nh h÷ðng cè �ành; X l  n×p matrªn thi¸t k¸ ùng vîi y¸u tè £nh h÷ðng cè �ành.

- H m li¶n k¸t

Tham sè ch½nh tc ηi li¶n h» �ìn trà vîi ký vång câ �i·u ki»n µi=E(yi|β) thængqua h m li¶n k¸t g(·); g(µi)=ηi vîi i=1,2,...,n. H m li¶n k¸t �÷ñc x¡c �ành tòythuëc v o d¤ng hçi quy.

37Nelder J.A. and Wederburn R. W. M. (1972), Generalized linear models, Journal of the Royal

Statistical Society Series A 135, 370 - 384.12Annette J. Dobson and Adrian G B£nett (2008), An Introduction to Generalized Linear Models,

Taylor Francis Group Boca Raton London New York.

5

1.3 Mæ h¼nh hçi quy trën

Trong tr÷íng hñp mæ h¼nh dú li»u �÷ñc ph¡t sinh tø mët qu¦n thº khæng �çng

nh§t th¼ mæ h¼nh hçi quy trën l  phò hñp nh§t (Mixture of Regression Models:

MRMs).

Cho Y l  mët bi¸n �¡p ùng �÷ñc quan t¥m v  z= (z1,z2,...,zn)′ l  vector c¡c

hi»p bi¸n �÷ñc cho l  câ £nh h÷ðng �¸n Y . Ta nâi (z,Y ) tu¥n theo MRMs n¸u

h m mªt �ë câ �i·u ki»n cõa Y �÷ñc cho bði z câ d¤ng

p(y|z,Ψ)=K∑k=1

πkf(y|θk(z),φk),

trong �â f(y|θ,φ) thuëc mët hå c¡c h m mªt �ë cõa Y , K l  sè th nh ph¦n,θk(z)=g(x

′βk) vîi k=1,2,...,K �÷ñc cho bði h m li¶n k¸t g(·), Ψ=(β1,...,βK ,Φ,π)vîi βk=(βk1,βk2,...,βkp)

′, Φ=(φ1,φ2,...,φK)′ v  π=(π1,π2,...,πK−1)′ sao cho πk>0

v ∑K

k=1πk=1. C¡c πk, k=1,2,...,K �÷ñc gåi l  x¡c su§t trën. H m li¶n k¸t g(·)�÷ñc x¡c �ành theo d¤ng cõa f(y|θ,φ) l  Chu©n, Nhà thùc hay Poisson.

1.4 Ph÷ìng ph¡p bi¸n ph¥n Bayes

Suy luªn Bayes v· p(θ|y) �÷ñc düa v o �ành lþ Bayes �i·u ch¿nh

p(θ|y)= p(θ)p(y|θ)p(y)

.

�i·u quan trång l  ph¥n phèi h¥u nghi»m p(θ|y) th÷íng l  ph¥n phèi khængbi¸t m  ph£i sû döng mët ph÷ìng ph¡p x§p x¿ �º x§p x¿ nâ. Ph÷ìng ph¡p Bayes

bi¸n ph¥n (Variational Bayesian: VB) l  c¡c kÿ thuªt x§p x¿ ph¥n phèi hªu nghi»m

trong suy luªn Bayes (xem Ormerod and Wand [40] , Ch÷ìng 10 Christopher M.

Bishop [17] ).40Ormerod, J. T. and Wand, M. P. (2010), Explaining Variational Approximations, Journal of the

American Statistical Association, 64, 140 - 153.17Christopher M. Bishop. (2006) , Pattern Recognition and Machine Learning, Springer Science +

Business Media, LLC..

6

1.4.1 Cì sð to¡n håc

Gi£ sû câ dú li»u y vîi h m hñp lþ p(y|θ) trong �â θ∈Rd l  tham sè ch÷a bi¸tv  ph¥n phèi ti¶n nghi»m cõa θ l  p(θ). Ph÷ìng ph¡p VB x§p x¿ ph¥n phèi hªu

nghi»m p(θ|y)∝p(θ)p(y|θ) bði mët h m mªt �ë q(θ) cõa θ trong mët lîp ph¥nphèi d¹ xû lþ, q(θ) �÷ñc chån sao cho cüc tiºu kho£ng c¡ch Kullback-Leibler giúa

q(θ) v  p(θ|y):

KL(q‖p) =∫q(θ) log

q(θ)

p(θ|y)dθ, (1.1)

t÷ìng �÷ìng vîi cüc �¤i

L(q) =

∫q(θ) log

p(y, θ)

q(θ)dθ. (1.2)

Gi£ sû q(θ) �÷ñc khai triºn th nh K khèi q(θ)= q1(θ1)×...×qK(θK). Ph÷ìngph¡p Bayes bi¸n ph¥n s³ cho ta cæng thùc x§p x¿ c¡c qτ∗i (θi) vîi i=1,...,K l 

qτ∗i (θi) ≈ p̃i(θi|y) =p̃i(y, θi)∫p̃i(y, θi)dθi

∝ exp(E−θi(log p(y, θ))

). (1.9)

Qu¡ tr¼nh cªp nhªt c¡c tham sè cõa qτ∗i (θi) theo cæng thùc 1.9 s³ l m t«ng gi¡ trà

cõa L(q). Tø �â câ thuªt to¡n VB têng qu¡t câ d¤ng:

1. Khði trà τi vîi i=1,...,K.

2. L¦n l÷ñt cªp nhªt c¡c τi theo k¸t qu£ nhªn �÷ñc tø (1.9).

3. L°p l¤i b÷îc 2 cho �¸n khi hëi tö.

�i·u ki»n døng câ thº düa v o sü c£i thi»n L(q) ho°c düa v o sü hëi tö cõa

tham sè ch½nh n o �â qua c¡c váng l°p. Tuy thuëc v o ph¥n phèi qτ∗i (θi) câ thuëc

c¡c ph¥n phèi �¢ bi¸t hay khæng m  ta câ hai d¤ng Bayes bi¸n ph¥n l  MFVB

v  FFVB.

1.4.2 Tr÷íng hñp MFVB

Tr÷íng hñp n y p̃i(θi|y) thuëc mët hå ph¥n phèi câ thº nhªn bi¸t �÷ñc n¶nthæng qua (1.9) s³ cho ta d¤ng h m mªt �ë cõa θi thuëc mët lîp ph¥n phèi n o

�â �¢ bi¸t, ta câ thº d¹ d ng x¡c �ành tham sè τ ∗i cõa qτ∗i (θi) ch½nh l  c¡c tham

sè �°c tr÷ng cõa ph¥n phèi n y.

7

1.4.3 Tr÷íng hñp FFVB

Tr÷íng hñp nay p̃i(θi|y) khæng thuëc mët hå ph¥n phèi câ thº nhªn bi¸t �÷ñcn¶n thæng qua (1.9) d¤ng h m mªt �ë cõa θi s³ khæng thuëc mët lîp ph¥n phèi

n o �â �¢ bi¸t n¶n ta khæng x¡c �ành tham sè τ ∗i cõa qτ∗i (θi) nh÷ trong tr÷íng

hñp MFVB m  c¦n chån cho qτ∗i (θi) mët d¤ng ph¥n phèi cè �ành rçi ¡p döng mët

kÿ thuªt gi£i b i to¡n tèi ÷u (1.1) ho°c (1.2).

1.5 Mët sè thuªt to¡n tèi ÷u sû döng trong luªn ¡n

Trong luªn ¡n n y �¢ sû döng thuªt to¡n Newton - Raphson, thuªt to¡n x§p

x¿ ng¨u nhi¶n v  thuªt to¡n �¤o h m theo h÷îng.

1.5.1 Thuªt to¡n Newton - Raphson

Thuªt to¡n Newton - Raphson �÷ñc sû döng �º t¼m nghi»m x§p x¿ cõa ph÷ìng

tr¼nh f(x)=0.

1.5.2 Thuªt to¡n x§p x¿ ng¨u nhi¶n cho FFVB

Salimans and Knowles [43] �¢ �· xu§t ph÷ìng ph¡p x§p x¿ hªu nghi»m tèi ÷u

VB tr÷íng hñp FFVB. �°t C= Eq[T̃ (θ)′T̃ (θ)] v  g= Eq[T̃ (θ)′logp(θ,y)]. Khi �â

η̃=C−1g. Salimans and Knowles [43] cªp nhªt C v  g theo trång sè Monte Carlo,

t¤o m¨u �ìn θ∗t tø ph¥n phèi x§p x¿ hªu nghi»m qηt(θ) t¤i méi váng l°p t, v  sû

döng c¡c cæng thùc cªp nhªt

gt+1=(1−w)gt+wĝtCt+1=(1−w)Ct+wĈt (1.23)

�èi vîi mët sè w∈ [0;1] trong �â ĝt=T̃ (θ∗t )′logp(θ∗t ,y) v  Ĉt=T̃ (θ∗t )′T̃ (θ∗t ). w �÷ñcchån �õ b² sao cho �£m b£o sü hëi tö cõa thuªt to¡n.

43Salimans, T. and Knowles, D. A. (2013), Fixed-form variational posterior approximation through

stochastic linear regression. Erasmus University Rotterdam.

8

1.5.3 Thuªt to¡n �¤o h m theo h÷îng

Ph÷ìng ph¡p �¤o h m theo h÷îng (Coordinate Gradient Descent: CGD) �÷ñc

giîi thi»u trong Tseng et al [51] tø n«m 2006 nh¬m gi£i b i to¡n tèi ÷u cüc tiºu

cho h m khæng trìn t¡ch �÷ñc câ d¤ng

minxFc(x)=min

x

(f(x)+cP (x)

)trong �â c>0, P :Rn→(−∞;∞] l  h m ch½nh quy, lçi, núa li¶n töc d÷îi v  f l h m trìn tr¶n mët tªp con mð cõa Rn.

Ch÷ìng 2: Chån bi¸n cho mæ h¼nh hçi quy tuy¸n t½nh

hén hñp têng qu¡t

2.1 Giîi thi»u chung

Mæ h¼nh hçi quy tuy¸n t½nh hén hñp têng qu¡t (Generalized linear mixed

models: GLMMs) cán gåi l  mæ h¼nh hçi quy tuy¸n t½nh têng qu¡t vîi y¸u tè £nh

h÷ðng ng¨u nhi¶n ho°c mæ h¼nh dú li»u dåc. Mæ h¼nh GLMMs công l  mët mð

rëng tø mæ h¼nh tuy¸n t½nh têng qu¡t, ngh¾a l  th nh ph¦n tuy¸n t½nh câ d¤ng

η=Xβ+Zb. Nâ �÷ñc ùng döng rëng r£i �º thi¸t lªp mæ h¼nh dú li»u cöm phö

thuëc.

2.2 C§u tróc ph¥n c§p cõa GLMMs

Gi£ sû trong mæ h¼nh hçi quy tuy¸n t½nh hén hñp têng qu¡t câ yi=(yi1,...,yini)′

l  vector �¡p ùng cõa �èi t÷ñng thù i, i= 1,...,m. Cho y¸u tè £nh h÷ðng ng¨u

nhi¶n bi, c¡c yij câ ph¥n phèi �ëc lªp vîi h m mªt �ë

f(yij|β, bi) = exp(yijηij − ζ(ηij)

φ+ c(yij, φ)

),

51Tseng, Paul and Yun, Sangwoon (2009), A coordinate gradient descent method for nonsmooth

separable minimization. Springer-Verlag, 137, 387 - 423.

9

trong �â ηij l  tham sè ch½nh tc li¶n h» �ìn trà vîi ký vång câ �i·u ki»n µij =

E(yij|β,bi) thæng qua h m li¶n k¸t g(·), g(µij) = ηij. Vector h» sè £nh h÷ðng cè�ành l  β=(β0,β′1:p)

′ vîi β0 l  h» sè ch°n v  β1:p=(β1,...,βp)′. Tham sè t� l» φ câ

thº �¢ bi¸t ho°c ch÷a bi¸t, ζ(·) v  c(·) l  c¡c h m �¢ bi¸t. Vector ηi=(ηi1,...,ηini)′

�÷ñc mæ h¼nh l  ηi=β01ni+X iβ1:p+Zibi, trong �â 1ni l  vector gçm to n 1, X il  mët ni×p ma trªn thi¸t k¸ �èi vîi y¸u tè £nh h÷ðng cè �ành v  Zi l  mëtni×u ma trªn thi¸t k¸ �èi vîi y¸u tè £nh h÷ðng ng¨u nhi¶n (trong �â u l  k½chth÷îc cõa bi).

H m hñp lþ câ �i·u ki»n câ y¸u tè £nh h÷ðng ng¨u nhi¶n b l 

p(y|β, b, φ) =m∏i=1

ni∏j=1

f(yij|β, bi) = exp(

1

φ(y′η − 1′ζ(η)) + c(y, φ)

),

trong �â ζ(η) �÷ñc hiºu l  h m t¡c �ëng tr¶n tøng th nh ph¦n. Chóng tæi xem

x²t suy luªn Bayes vîi mæ h¼nh ph¥n c§p nh÷ sau:

y|β,b,φ∼p(y|β,b,φ), (2.1)b|Q∼N (0,Q−1b ),Q∼Wishart(S0,ν0),

p(β0)∼1,

βj|λj∼DE(λj)=λj2

exp(−λj|βj|), j=1,...,p,

λj∼Gamma(r,s)=sr

Γ(r)(λj)

r−1exp(−sλj),

2.3 Ph÷ìng ph¡p VB ÷îc l÷ñng mode hªu nghi»m

Gi£ sû θ=(θ1,θ2), trong �â θ1 l  vector cõa c¡c tham sè m  mode hªu nghi»m

cõa chóng �ang �÷ñc quan t¥m , v  θ2 l  mët vector cõa c¡c tham sè kh¡c. Khi

�â ph¥n phèi hªu nghi»m VB câ d¤ng

q(θ) = δτ1(θ1)qτ2(θ2), (2.3)

vîi δτ1(θ1) l  mët mªt �ë khèi tªp trung t¤i τ1 v  τ1 s³ l  ÷îc l÷ñng cõa mode

hªu nghi»m cõa θ1.

Cæng thùc cªp nhªt τ ∗1 v  τ∗2 s³ l 

10

τ ∗1 (τ2) = arg maxτ1

∫qτ2(θ2) log p(y, τ1, θ2)dθ2, (1.4')

v 

τ ∗2 (τ1) = arg maxτ2

{∫qτ2(θ2) log

p(y, τ1, θ2)

qτ2(θ2)dθ2

}. (1.6')

2.4 Ph÷ìng ph¡p VB �º chån bi¸n v  ÷îc l÷ñng tham

sè cho GLMMs

Vi»c chån bi¸n v  ÷îc l÷ñng tham sè s³ �÷ñc thüc hi»n �çng thíi b¬ng thuªt

to¡n VB.

q(θ) = q(β)q(Q)q(φ)q(b)

p∏j=1

q(λj), (2.4)

trong �â chóng tæi chån q(β)=δβq(β) v  q(b) l  ph¥n phèi chu©n vîi trung b¼nh

µqb v  ma trªn hi»p ph÷ìng sai Σqb.

2.4.1 Ph¥n phèi hªu nghi»m tèi ÷u VB cho β

Tø cæng thùc (1.4'), ÷îc l÷ñng mode βq �÷ñc cªp nhªt bði

βq=argmaxβ

[ 1φ ]∫ (

y′η−1′ζ(η)))q(b)db−

p∑j=1

[λj]|βj|

, (2.5)trong �â [.] l  kþ hi»u ký vång vîi hªu nghi»m VB t÷ìng ùng. �°t

f(β) = [1

φ]

∫ (1′ζ(η))− y′η

)q(b)db. (2.6)

khi �â (2.5) t÷ìng �÷ìng vîi

βq = arg minβ

F (β) = f(β) +p∑j=1

[λj]|βj|

. (2.7)Chóng tæi ¡p döng ph÷ìng ph¡p �¤o h m theo h÷îng (Coordinate Gradient

Descent: CGD) cõa Tseng et al [51] (xem Schelldorfer et al [45]) �º gi£i quy¸t b i

to¡n (2.7).

11

2.4.2 Ph¥n phèi hªu nghi»m tèi ÷u VB cho b

Tr÷íng hñp hçi quy chu©n.

Tø cæng thùc (1.9) nhªn �÷ñc q(b)∼N (µqb,Σqb) vîi

Σqb =(

[Qb] + [1

σ2]Z ′Z

)−1,

µqb = [1

σ2](y′Z − β′X ′Z

)Σqb,

Tr÷íng hñp hçi quy kh¡c.

�°t

h(b)=−12b′[Qb]b+[

1

φ](y′η−1′ζ(η)),

khi �â q(b)∝ eh(b), chóng tæi sû döng ph÷ìng ph¡p x§p x¿ Gauss �º x§p x¿ q(b)b¬ng ph¥n phèi chu©n vîi trung b¼nh µqb v  ma trªn hi»p ph÷ìng sai Σ

qb �÷ñc cªp

nhªt theo cæng thùc

µqb = b∗, Σqb =

([1

φ]Z ′diag

(ζ̈(η∗)

)Z + [Qb]

)−1. (2.9)

trong �â η∗=Xβq+Zb∗ v  b∗ �÷ñc x¡c �ành b¬ng ph÷ìng ph¡p Newton-Raphson

vîi �¤o h m bªc nh§t v  bªc hai cõa h(b) l  u(b) v  H(b).

2.4.3 Ph¥n phèi hªu nghi»m tèi ÷u VB cho Q

Tø cæng thùc (1.9) nhªn �÷ñc q(Q)∼Wishart(Sq,νq) vîi νq v  Sq �÷ñc cªpnhªt theo cæng thùc

νq = ν0 +m, Sq =

(S−10 +

m∑i=1

(µqbiµqbi

′+ Σqbi)

)−1, (2.10)

2.4.4 Ph¥n phèi hªu nghi»m tèi ÷u VB cho λ

Tø cæng thùc (1.9) nhªn �÷ñc q(λj)∼Gamma(αqλj ,βqλj

) vîi αqλj v  βqλj�÷ñc cªp

nhªt theo cæng thùc

αqλj = r + 1, βqλj

= |βqj |+ s, (2.11)

12

2.4.5 Ph¥n phèi hªu nghi»m tèi ÷u VB cho φ

Trong nhi·u tr÷íng hñp nh÷ hçi quy Poisson v  hçi quy logic th¼ φ l  mët h¬ng

sè �¢ bi¸t. Trong nhúng tr÷íng hñp kh¡c, chóng ta câ thº �°t mët ph¥n phèi ti¶n

nghi»m th½ch hñp tr¶n φ �º hªu nghi»m tèi ÷u VB

q(φ) ∝ exp(E−φ(log p(y, θ))

), (2.12)

thuëc hå ph¥n phèi câ thº nhªn bi¸t �÷ñc.

2.4.6 Lüa chån c¡c si¶u tham sè

�èi vîi ti¶n nghi»m cho λj, ng÷íi ta câ thº sû döng ti¶n nghi»m p(λj)∝1/λj,ngh¾a l  r=s=0. Trong luªn ¡n n y, chóng tæi sû döng ph÷ìng ph¡p thüc nghi»m

Bayes nh÷ trong Park and Casella [41] v  Leng et al [34] �º chån r. Vi»c cªp

nhªt tham sè s câ ph¦n d¹ hìn, câ thº �°t mët ph¥n phèi ti¶n nghi»m Gamma

tr¶n s, khi �â ph¥n phèi hªu nghi»m tèi ÷u VB cõa s công l  mët ph¥n phèi

Gamma. Tuy nhi¶n, chóng tæi nh¥n th§y r¬ng �èi vîi b i to¡n cao chi·u th¼ cè

�ành s nhúng gi¡ trà r§t b² s³ cho k¸t qu£ tèt hìn.

2.4.7 Thuªt to¡n VB

Sau khi x¥y düng �÷ñc c¡c cæng thùc �º cªp nhªt c¡c tham sè nh÷ tr¶n, chóng

tæi câ thuªt to¡n VB �º thüc hi»n �çng thíi vi»c chån bi¸n v  ÷îc l÷ñng tham sè

cho mæ h¼nh GLMMs.

Thuªt to¡n VBGLMM.

1. Khði trà βq v  Sq (v  q(φ) n¸u câ ¡p döng).

2. Cªp nhªt αqλj v  βqλj

theo (2.11).

3. Cªp nhªt µqb v  Σqb theo (2.9)

41Park, T. and Casella, G. (2008), The Bayesian Lasso, Journal of the American Statistical Associa-

tion, 103, 681 - 686.41Leng, C. and Tran, M.-N. and Nott, D. J. (2013), Bayesian adaptive Lasso, The Annals of the

Institute of Statistical Mathematics.

13

4. Cªp nhªt Sq theo (2.10).

5. Cªp nhªt βq theo (2.5).

6. Cªp nhªt q(φ) (n¸u câ ¡p döng).

7. L°p l¤i c¡c b÷îc 2-6 cho �¸n khi hëi tö.

2.5 Ùng döng

2.5.1 Nghi¶n cùu mæ phäng

Trong ph¦n n y, chóng tæi mæ phäng c¡c bë dú li»u tø mæ h¼nh hçi quy Poisson

v  tø mæ h¼nh hèi quy logic câ £nh h÷ðng hén hñp. K¸t qu£ cho th§y ph÷ìng

ph¡p ti¸p cªn VBGLMM cõa chóng tæi tèt hìn r§t nhi·u so vîi ph÷ìng ph¡p

GLMMLASSO cõa Groll et al [29] v· t§t c£ c¡c ch¿ ti¶u �÷ñc �¡nh gi¡, �°c bi»t

l  CFR v  CPU.

2.5.2 Ùng döng tr¶n dú li»u thüc

Chóng tæi �¢ ch¤y thû nghi»m tr¶n bë dú li»u ung th÷ da (Skin scaner dataset)

cõa Greenberg et al [27] l  mët thû nghi»m l¥m s ng �÷ñc ti¸n h nh �º kiºm tra

hi»u qu£ cõa beta-carotene trong vi»c ng«n ngøa ung th÷ da khæng ¡c t½nh v  bë

dú li»u s¡u th nh phè (six cities dataset) trong Fitzmaurice and Laird [25] . K¸t

qu£ cõa ph÷ìng ph¡p VBGLMM cõa chóng tæi công r§t tèt, ho n to n phò hñp

vîi nhúng �¡nh gi¡ cõa hå.27Greenberg, E. R. and Baron, J. A. and Stevens, M. M. and Stukel, T. A. and Mandel, J. S. and

Spencer, S. K. and Elias, P. M. and Lowe, N. and Nierenberg, D. N. and Bayrd G. and Vance, J. C.

(1989), The skin cancer prevention study: design of a clinical trial of beta-carotene among persons at

high risk for nonmelanoma skin cancer, Controlled Clinical Trials, 10, 153 - 166.25Fitzmaurice, G. and Laird, N. (1993) , A likelihood-based method for analysing longitudinal binary

responses, Biometrika, 80, 141 - 151.

14

2.6 K¸t luªn ch÷ìng 2

Chóng tæi �¢ mæ t£ mët thuªt to¡n VB nhanh thüc hi»n �çng thíi lüa chån bi¸n

v  ÷îc l÷ñng tham sè trong GLMM. Thuªt to¡n �÷ñc �· xu§t düa tr¶n ph÷ìng

ph¡p VB �º ÷îc l÷ñng mët mode hªu nghi»m k¸t hñp vîi Bayes th½ch nghi Lasso.

Ph÷ìng ph¡p VBGLMM �÷ñc �· xu§t công câ thº �÷ñc mð rëng th nh:

1. Lüa chån nhâm bi¸n trong GLMM b¬ng c¡ch sû döng Lasso ph¤t nhâm (Yuan

and Lin [53]).

2. Lüa chån bi¸n �÷ñc sp x¸p trong GLMM b¬ng c¡ch sû döng ph¤t tuy»t �èi

têng hñp (Zhao et al [54]).

Ch÷ìng 3: ×îc l÷ñng v  lüa chån mæ h¼nh cho mæ

h¼nh hçi quy mªt �ë nhi·u bi¸n linh �ëng

3.1 Giîi thi»u chung

Gi£ sû y l  mët vector d-chi·u c¡c bi¸n �¡p ùng li¶n töc v  z l  mët vector

p-chi·u c¡c hi»p bi¸n ti·m n«ng. Trong ch÷ìng n y chóng tæi quan t¥m �¸n v§n

�· ph¥n t½ch mæ h¼nh hçi quy mªt �ë f(y|z) b¬ng c¡ch sû döng hén hñp c¡c ph¥nphèi chu©n �a chi·u. ×îc l÷ñng mªt �ë hçi quy �ìn bi¸n linh �ëng �¢ �÷ñc xem

x²t trong c¡c cæng tr¼nh cõa Tran et al [50], Nott et al [38] v  Villani et al [52].

Chóng tæi mð rëng mæ h¼nh �ìn bi¸n n y th nh mæ h¼nh câ y l  �a bi¸n �÷ñc gåi

l  mæ h¼nh ÷îc l÷ñng mªt �ë hçi quy �a bi¸n vîi hén hñp c¡c ph¥n phèi chu©n

(Multivariate Regression Density Estimation with Mixtures of Normals model:

MRDE-MN). Chóng tæi ph¡t triºn mët thuªt to¡n Bayes bi¸n ph¥n nhanh �º

thüc hi»n mët c¡ch �çng thíi vi»c ÷ìc l÷ñng c¡c tham sè, lüa chån c¡c bi¸n câ þ

ngh¾a v  x¡c �ành sè th nh ph¦n cõa mæ h¼nh. Ph÷ìng ph¡p cõa chóng tæi x¥y

düng düa tr¶n ph÷ìng ph¡p cõa Tran et al [50].

15

3.2 Mæ h¼nh MRDE-MN

Gi£ sû D = {(y(i),z(i)),i = 1,...,n} l  tªp c¡c quan s¡t cõa (y,z). Mæ h¼nhMRDE-MN câ thº vi¸t th nh

y(i)|δ(i) = k,T = {T1, ...,TK} ∼Nd(y(i)|µ(i)k ,T−1k ), i= 1, ...,n; k = 1, ...,K, (3.2)

trong �â δ(i) l  mët bi¸n ng¨u nhi¶n ti·m ©n �÷ñc dòng �º x¡c �ành th nh ph¦n

cõa y(i), δ(i)∈{1,...,K}. v  Tk=Σ−1k . Vector trung b¼nh µ(i)k �÷ñc mæ h¼nh bði

µ(i)k = (β

′k1v

(i)1 , ...,β

′kdv

(i)d )′,

trong �â v(i)j l  mët tªp con cõa z(i) v  βkj∈Rpj .

C¡c x¡c su§t trën �÷ñc mæ h¼nh bði

πk(w(i)) = P (δ(i) = k|γ) = exp(γ

′kw

(i))∑Kg=1 exp(γ

′gw

(i)),

trong �â w(i), l  mët tªp con cõa z(i).

Chóng tæi x²t c¡c ph¥n phèi ti·n nghi»m tr¶n β, T v  γ

βkj ∼ Npj(0, β−10 I), j = 1, ..., d, k = 1, ..., K,Tk ∼ Wishart(ν0, V0−1), k = 1, ..., K,γ ∼ Ns(0, γ−10 I),

3.2.1 Ph¥n phèi hªu nghi»m tèi ÷u VB cho β

Ph¥n phèi hªu nghi»m tèi ÷u VB cho βkj l  q(βkj) = Npj(µβkj ,Σβkj), k =

1,...,K;j=1,...,d, trong �â

Σβkj =

(β0I+

n∑i=1

qik[Tk]j,jv(i)j (v

(i)j )′

)−1, (3.7)

µβkj =Σβkj

(n∑i=1

qik(

[Tk]j,jy(i)j +[Tk]j,−j[s

(i)k,−j]

)v(i)j

), (3.8)

16

3.2.2 Ph¥n phèi hªu nghi»m tèi ÷u VB cho T k

Ph¥n phèi hªu nghi»m tèi ÷u VB cõa Tk l  q(Tk)=Wishart(νk,V −1k ) trong �â

hai tham sè νk v  Vk �÷ñc cªp nhªt theo cæng thùc

νk=ν0+n∑i=1

qik, Vk=V0+n∑i=1

qik(

[s(i)k ][s

(i)k ]′+Varq(s

(i)k )), (3.9)

3.2.3 Ph¥n phèi hªu nghi»m tèi ÷u VB cho qik

T÷ìng tü nh÷ tr¶n, tø cæng thùc (1.9) ta câ

qik ∝ exp{

log pik(µγ) +1

2[log |Tk|]−

1

2[s

(i)k ]′[Tk][s

(i)k ]−

1

2tr(

[Tk]Varq(s(i)k ))},

(3.10)

trong �â [log|Tk|]=∑d

h=1Ψ((νk+1−h)/2

)+dlog2−log|Vk| vîi Ψ(x)=∂Γ(x)/Γ(x)

l  h m diagamma.

3.2.4 Ph¥n phèi hªu nghi»m tèi ÷u VB cõa γ

Tø cæng thùc (1.9) ta câ

q(γ) ∝ exp{− 1

2γ−10 γ

′γ +n∑i=1

K∑k=1

qik log pik(γ))}. (3.11)

Ph¥n phèi n y khæng câ d¤ng ch½nh tc, theo Tran et al [50], chóng tæi sû döng

mët ph¥n phèi Dirac delta q(γ) = δµγ(γ) tªp trung t¤i �iºm µγ �èi vîi x§p x¿

VB tr¶n γ, ngh¾a l , ch¿ quan t¥m �¸n ÷îc l÷ñng �iºm cho γ. Tham sè µγ �÷ñc

÷îc l÷ñng b¬ng mode cõa (3.11). T¤i �iºm hëi tö, chóng tæi sû döng ph÷ìng ph¡p

x§p x¿ Gauss �º x§p x¿ q(γ) b«ng mët ph¥n phèi x§p x¿ chu©n qopt(γ) vîi trung

b¼nh µγ v  ma trªn hi»p ph÷ìng sai Σγ l  ma trªn Hessian �÷ñc t½nh t¤i mode

cõa ph¥n phèi hªu nghi»m ð tr¶n.

3.2.5 Cªn d÷îi L(q)

Theo cæng thùc (1.2) cªn d÷îi cõa logp(y|θ) l 

L(q) = [log p(y,θ)]− [log q(θ)] = [log p(θ)] + [log p(y|θ)]− [log q(θ)]. (3.12)

17

3.2.5 Thuªt to¡n VB cho mæ h¼nh MRDE-MN

Sau khi �¢ x¥y düng �÷ñc c¡c cæng thùc �º cªp nhªt c¡c tham sè cõa mæ h¼nh

theo ph÷ìng ph¡p Bayes bi¸n ph¥n, chóng tæi �i �¸n thuªt to¡n VB cho mæ h¼nh

MRDE-MN nh÷ sau:

Thuªt to¡n 1.

1. Cªp nhªt Σβkj v  µβkj , j=1,...,d, k=1,...,K nh÷ trong (3.7) v  (3.8).

2. Cªp nhªt νk v  Vk, k=1,...,K nh÷ trong (3.9).

3. Cªp nhªt qik, i=1,...,n, k=1,...,K nh÷ trong (3.10).

4. Cªp nhªt µγ l  mode cõa ph¥n phèi (3.11).

5. L°p l¤i c¡c b÷îc 1-4 cho �¸n khi døng.

3.3 Lüa chån sè th nh ph¦n

Ph¦n n y �· cªp �¸n v§n �· cüc �¤i �àa ph÷ìng v  chån sè l÷ñng th nh ph¦n

b¬ng c¡ch �i·u ch¿nh thuªt to¡n t¡ch v  hñp nh§t. �¦u ti¶n chóng tæi khði t¤o

sè th nh ph¦n K sû döng ph÷ìng ph¡p Calinski and Harabasz [16] �º chån sè

cöm. Vîi K ban �¦u, sau khi thuªt to¡n 1 �¢ hëi tö, chóng tæi xem x²t hñp nh§t

hai th nh ph¦n ho°c t¡ch mët th nh ph¦n cho �¸n khi giîi h¤n d÷îi khæng �÷ñc

c£i thi»n th¶m núa. Kþ hi»u θ∗ v  L∗ biºu thà ÷îc l÷ñng tham sè v  giîi h¤n d÷îi

tèi �a sau khi thuªt to¡n 1 �¢ hëi tö.

Hñp nh§t hai th nh ph¦n. Hai th nh ph¦n �÷ñc coi l  hñp lþ nh§t cho vi»chñp nh§t n¸u chóng g¦n nhau theo mët ngh¾a n o �â. Ð �¥y chóng tæi sû döng

sü sai kh¡c Kullback-Leibler (KL) �º �o l÷íng sü t÷ìng �çng. Þ t÷ðng l  cè gng

k¸t hñp c¡c c°p th nh ph¦n hñp lþ nh§t cho �¸n khi giîi h¤n d÷îi �÷ñc c£i thi»n

ho°c sè ho¤t �ëng hñp nh§t v÷ñt qu¡ sè �÷ñc ch¿ �ành tr÷îc Mmaxmerge.

16Calinski, R. B. and Harabasz, J. (1974) , A dendrite method for cluster analysis, Communications

in Statistics, 3, 1 - 27.

18

T¡ch mët th nh ph¦n. Mët th nh ph¦n �÷ñc coi l  khæng �¡ng tin cªy v  l mët ùng cû vi¶n ch½nh �¡ng cho vi»c chia t¡ch n¸u nâ câ gi¡ trà hñp lþ nhä, tùc l 

nâ k²m phò hñp v  ph£i �÷ñc t¡ch ra. Chóng tæi chia c¡c th nh ph¦n hñp lþ nh§t

cho �¸n khi giîi h¤n d÷îi �÷ñc c£i thi»n ho°c sè l¦n thüc hi»n chia t¡ch v÷ñt qu¡

sè �÷ñc ch¿ �ành tr÷îc Mmaxsplit .

Tr¶n cì sð xem x²t vi»c t¡ch hay hñp nh§t c¡c th nh ph¦n, chóng ta câ thuªt

to¡n 2: T¡ch v  hñp nh§t c¡c th nh ph¦n.

3.4 Lüa chån bi¸n

Gi£ sû r¬ng C={1,...,p} l  tªp hñp ch¿ sè cõa c¡c bi¸n ti·m n«ng z1,...,zp. Kþhi»u Cmj l  tªp hñp ch¿ sè cõa c¡c bi¸n hi»n t¤i v  zCmj =vj l  c¡c bi¸n hi»n t¤i

trong mean model cõa bi¶n j. T÷ìng tü kþ hi»u Cg l  tªp hñp ch¿ sè cõa c¡c bi¸n

hi»n t¤i v  zCg =w l  c¡c bi¸n hi»n t¤i trong gating model.

3.4.1 Mæ h¼nh ti·n nghi»m

�°t M l  mæ h¼nh MRDE-MN vîi Cm1:d = {Cmj , j = 1,...,d} l  c¡c tªp ch¿ sècõa c¡c hi»p bi¸n trong mean model v  Cg l  tªp ch¿ sè c¡c hi»p bi¸n trong

gating model. Theo Tran et al [50], x¡c su§t ti·n nghi»m tr¶n mæ h¼nh M l p(M)=p(Cm1:d,Cg)=p(Cg)

∏dj=1p(C

mj ).

3.4.2 Lüa chån bi¸n cho mean model

�èi vîi bi¶n j ∈{1,...,d} cè �ành, chóng tæi quan t¥m vi»c bê sung mët bi¸nmîi zl, l∈C\Cmj v o mean model cõa bi¶n j. Ta vi¸t βCkj cho vector h» sè hi»nt¤i v  βNkj cho h» sè mîi t÷ìng ùng vîi bi¸n mîi zl th¼ ph¥n phèi hªu nghi»m tèi

÷u VB cõa βNkj l  q(βNkj)∼N1(µβNkj ,σ

2βNkj

), k=1,...,K trong �â

σ2βNkj=

(β0 +

n∑i=1

qik[Tk]j,j(z(i)l )

2

)−1,

19

µβNkj = σ2βNkj

(n∑i=1

qik(

[Tk]j,j(y(i)j − µ′βCkjz

(i)Cmj

) + [Tk]j,−j[s(i)k,−j]

)z(i)l

).

Kþ hi»u Lnewj (zl), βnewkj v  L

oldj , β

oldkj t÷ìng ùng l  c¦n d÷îi v  tham sè cõa hai mæ

h¼nh câ v  khæng câ bi¸n mîi zl trong bi¶n j cõa mean model. Ta câ Lnewj (zl)=

Loldj +Aj(zl), bi¸n hñp lþ nh§t �º �÷a v o bi¶n j cõa mean model l  bi¸n câ ch¿

sè l̂=argmaxl∈C\Cmj Aj(zl). Chóng ta bê sung zl̂ v o mean model cõa bi¶n j n¸u

sü câ m°t cõa nâ c£i thi»n �÷ñc cªn d÷îi L(q).

3.4.3 Lüa chån bi¸n cho gating model

Chóng tæi thüc hi»n quy tr¼nh x¸p h¤ng c¡c bi¸n �º �÷a v o gating model nh÷

trong Tran et al [50]. Gi£ sû zl̂ l  bi¸n câ t÷ìng quan kho£ng c¡ch m¨u cao nh§t

vîi y trong sè c¡c zl, l∈C\Cg.

- N¸u zl̂ ch÷a câ trong mean model, ngh¾a l  l̂ 6∈∪dj=1C

mj , th¼ zl̂ s³ �÷ñc bê sung

v o gating model n¸u sü câ m°t cõa nâ c£i thi»n �÷ñc cªn d÷îi L(q).

- N¸u zl̂ �¢ câ m°t trong mean model. Bi¸n n y s³ �÷ñc bê sung v o gating

model n¸u sü câ m°t cõa nâ c£i thi»n �÷ñc cªn d÷îi L(q). Ng÷ñc l¤i, xem x²t

vi»c �÷a v o bi¸n zl′ câ t÷ìng quan kho£ng c¡ch vîi y cao thù hai trong sè c¡c

bi¸n trong C\Cg. Sü xem x²t vi»c �÷a bi¸n v o gating model �÷ñc thüc hi»n l°pl¤i cho �¸n khi mët bi¸n �÷ñc chån ho°c khæng cán zl′ n o núa.

3.4.4 Thuªt to¡n �¦y �õ

K¸t hñp vîi thu§t to¡n 1 v  thuªt to¡n 2, chóng ta câ thuªt to¡n 3 l  thuªt

to¡n �¦y �õ nh¬m thüc hi»n �çng thíi lüa chån sè th nh ph¦n, lüa chån bi¸n v 

÷îc l÷ñng tham sè cho mæ h¼nh MRDE-MN.

3.5 Ùng döng

C¡c k¸t qu£ nghi¶n cùu tr¶n, chóng tæi �¢ lªp tr¼nh tr¶n ngæn ngú R. �º minh

håa v  �¡nh gi¡ t½nh ÷u vi»t cõa ph÷ìng ph¡p n y, chung tæi �¢ thû nghi»m tr¶n

20

β11 β21 β31 β12 β22 β32 β13 β23 β33 γ1 γ2 γ3

1.0 1.0 -3.0 -2.0 2.0 4.0 6.0 -3.0 4.0 0.0 1.5 1.0

0.0 -2.0 1.0 0.0 5.0 -1.0 0.0 -5.0 7.0 0.0 1.0 -3.5

2.0 0.0 0.0 3.0 0.0 0.0 5.0 0.0 0.0 0.0 0.0 0.0

0.0 -4.0 0.0 0.0 2.5 0.0 0.0 -3.5 0.0 0.0 0.0 0.0

5.0 0.0 6.5 1.0 0.0 -5.0 -2.0 0.0 1.5 0.0 -4.0 1.5

0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0

. . . . . . . . . . . .

0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0

B£ng 3.1: B£ng gi¡ trà �óng cõa c¡c tham sè β v  γ.

dú li»u mæ phäng v  dú li»u thüc. K¸t qu£ �·u cho th§y hi»u qu£ tèt cõa thuªt

to¡n.

3.5.1 Nghi¶n cùu mæ phäng

Chóng tæi mæ phäng dú li»u tø mæ h¼nh

p(y|z) =K∑k=1

πk(z)Nd(y|µk(z),Σk),

vîi K=3, d=3 v  gi¡ trà �óng cõa c¡c tham sè β v  γ �÷ñc tr¼nh b y trong b£ng

3.1, trong �â méi cët, p−5 ph¦n tû cuèi �·u l  0. Chóng tæi �°t Σ1=Σ2=Σ3=I.

Ph÷ìng ph¡p cõa chóng tæi �÷ñc �¡nh gi¡ tr¶n c¡c ch¿ ti¶u t� l» (%) chån �óng

bi¸n cho mean model, gating model, t� l» (%) chån �óng sè th nh ph¦n v  t� l»

(%) chån �óng c£ ba möc ti¶u tr¶n. �çng thíi chóng tæi công t½nh c¡c sai sè b¼nh

ph÷ìng trung b¼nh (MSE) giúa c¡c gi¡ trà ÷îc t½nh vîi gi¡ trà �óng cõa c¡c tham

sè. C¡c gi¡ trà thèng k¶ tr¶n �÷ñc t½nh tr¶n 20 m¨u. K¸t qu£ cho th§y ph÷ìng

ph¡p �÷ñc �· xu§t câ thº x¡c �ành ch½nh x¡c c£ c¡c bi¸n quan trång v  sè th nh

ph¦n vîi tèc �ë cao nhí thuªt to¡n VB. �°c bi¶t, theo nh÷ ký vång, t� l» chån

�óng t«ng l¶n còng vîi k½ch th÷îc m¨u n v  gi£m khi sè bi¸n ti·m n«ng p t«ng.

21

3.5.2 Ùng döng tr¶n dú li»u thüc HILDA

Dú li»u �÷ñc tr½ch xu§t tø Trung t¥m nghi¶n cùu v· hë gia �¼nh, thu nhªp v  lao

�ëng t¤i Óc (the Household, Income and Labour Dynamics survey in Australia:

HILDA) v o n«m 2013. C¡c bi¸n bao gçm mët lo¤t c¡c �°c t½nh v· sùc khäe, thu

nhªp, gi¡o döc, sü h i láng cuëc sèng, ... T§t c£ câ 44 bi¸n vîi 17,512 quan s¡t,

tø �â chóng tæi chån ng¨u nhi¶n mët m¨u gçm 3000 quan s¡t �º l m bë dú li»u

÷îc l÷ñng mæ h¼nh (training data) v  ph¦n cán l¤i �÷ñc dòng �º kiºm tra (test

data). Chóng tæi sû döng nghpf (physical health status score) v  nghmh (mental

health status score) l  vector ph£n hçi 2 chi·u y, v  c¡c bi¸n cán l¤i z.

Chóng tæi quan t¥m �¸n vi»c mæ h¼nh hâa linh ho¤t mªt �ë hçi quy cõa c¡c ch¿

sè v· sùc khäe b¬ng c¡ch sû döng mæ h¼nh MRDE-MN. Sû döng ph÷ìng ph¡p ÷îc

l÷ñng mæ h¼nh v  lüa chån mæ h¼nh VB cõa chóng tæi, mët mæ h¼nh MRDE-MN

câ ba th nh ph¦n �¢ �÷ñc chån vîi c¡c bi¸n �÷ñc chån v  c¡c h» sè ÷ñc l÷ñng

cho mean mdel v  gating model.

Chóng tæi so s¡nh ph÷ìng ph¡p MRDE-MN vîi mæ h¼nh hçi quy tuy¸n t½nh �a

bi¸n thæng th÷íng (Multivariate Linear Regression: MLR) vîi hai phi¶n b£n cõa

mæ h¼nh MLR: mæ h¼nh MLR1, v  mæ h¼nh MLR2. Chóng tæi �¡nh gi¡ hi»u su§t

b¬ng c¡ch sû döng �iºm dü b¡o (Partial Predictive Score: PPS) cõa logp(y|z) vîic¡c �iºm dú li»u (y,z) trong bë dú li»u kiºm tra, v  p(y|z) l  h m mªt �ë cõa mæh¼nh �ang �÷ñc xem x²t. Mæ h¼nh câ PPS c ng nhä th¼ hi»u su§t dü b¡o c ng tèt.

Thüc hi»n �¡nh gi¡ c¡c mæ h¼nh tr¶n bë dú li»u kiºm tra, PPS cõa MLR1, MLR2

v  MRDE-MN t÷ìng ùng l  1.5212 (0.0076), 1.5526 (0.0071) v  0.8949 (0.0095).

K¸t qu£ n y cho th§y mæ h¼nh MRDE-MN câ hi»u su§t dü b¡o r§t tèt.

3.6 K¸t luªn ch÷ìng 3

Trong ch÷ìng n y, chóng tæi �¢ tr¼nh b y mët thuªt to¡n VB nhanh �º thüc

hi»n �çng thíi vi»c lüa chån bi¸n, lüa chån th nh ph¦n v  ÷îc l÷ñng tham sè

trong mæ h¼nh mªt �ë hçi quy �a bi¸n b¬ng c¡ch sû döng c¡c hén hñp cõa c¡c

ph¥n phèi chu©n. Mët h÷îng nghi¶n cùu câ thº câ trong t÷ìng lai l  mð rëng

ph÷ìng ph¡p cho lüa chån bi¸n v  lüa chån th nh ph¦n trong hén hñp c¡c mæ

22

h¼nh chuy¶n gia vîi méi th nh ph¦n l  mët m¤ng nìron.

K¸t luªn

So vîi c¡c cæng tr¼nh tr÷îc, nhúng �âng gâp mîi cõa lu¥n ¡n gçm nhúng k¸t

qõa ch½nh l 

• �¢ x¥y düng �÷ñc thuªt to¡n bi¸n ph¥n Bayes �º thüc hi»n �çng thíi b ito¡n chån bi¸n v  ÷îc l÷ñng tham sè cho mæ h¼nh GLMM trong tr÷íng hñp

nhi·u bi¸n. Thuªt to¡n �¢ thº hi»n rã t½nh ÷u vi»t hìn so vîi ph÷ìng ph¡p

cõa Groll et al [29] v  Schelldorfer et al [45] c£ v· m°t thíi gian l¨n kh£ n«ng

chån �÷ñc c¡c bi¸n quan trång v  �ë ch½nh x¡c cõa ÷îc l÷ñng thæng qua c¡c

�¡nh gi¡ trong nghi¶n cùu mæ phäng.

• �¢ nghi¶n cùu mæ h¼nh MRDE-MN v  x¥y düng �÷ñc thuªt to¡n nhanh thüchi»n �çng thíi nhi·u möc ti¶u: (1) x¡c �ành sè th nh ph¦n; (2) lüa chån bi¸n

v  ÷îc l÷ñng tham sè cho mean model; (3) lüa chån bi¸n v  ÷îc l÷ñng tham

sè cho gating model. Thuªt to¡n �÷ñc x¥y düng công thº hi»n hi»u su§t ho¤t

�ëng tèt, �÷ñc �¡nh gi¡ tr¶n dú li»u mæ phäng v  dú li»u thüc.

Ki¸n nghà v· nhúng nghi¶n cùu ti¸p theo

H÷îng nghi¶n cùu cõa luªn ¡n cán nhi·u b i to¡n mð sau �¥y:

1. Lüa chån nhâm bi¸n trong GLMM b¬ng c¡ch sû döng Lasso ph¤t nhâm (Yuan

and Lin [53]).

2. Lüa chån bi¸n �÷ñc sp x¸p trong GLMM b¬ng c¡ch sû döng ph¤t tuy»t �èi

têng hñp (Zhao et al [54]).

3. Mð rëng ph÷ìng ph¡p cho lüa chån bi¸n v  lüa chån th nh ph¦n trong hén

hñp c¡c mæ h¼nh chuy¶n gia vîi méi th nh ph¦n l  mët m¤ng nìron.

Tuy nhi¶n, v¼ �i·u ki»n thíi gian v  n«ng lüc n¶n t¡c gi£ ch÷a gi£i quy¸t �÷ñc

c¡c v§n �· tr¶n. T¡c gi£ hy vång nhúng v§n �· n y s³ sîm �÷ñc gi£i quy¸t.

23

Danh möc c¡c cæng tr¼nh khoa håc cõa t¡c gi£ li¶n quan �¸n

luªn ¡n

[1] Dao Thanh Tung, Minh-Ngoc Tran, Tran Manh Cuong, Bayesian Adaptive

Lasso with Variational Bayes forVariable Selection in High-dimensional Gen-

eralizedLinear Mixed Models, Communications in Statistics - Simulations and

Computations, 0, 1 - 14, 2018. 10.1080/03610918.2017.1387663.

[2] Dao Thanh Tung, Minh-Ngoc Tran, Flexible Multivariate Regression Den-

sity Estimation, Communications in Statistics - Theory and Methods, 2018

(submited).

24