Ranking binaire, agrégation multiclasses

Intro Ranking binaire Ranking multi-classes Conclusion References

Ranking binaire et agregation pour le casmulti-classes

Sylvain Robbiano

4 novembre 2011

Sylvain Robbiano Ranking binaire et agregation pour le cas multi-classes

Intro Ranking binaire Ranking multi-classes Conclusion ReferencesExemple illustratif Notations

Base de donnees UCI : Cardiotocography

Environ 1000 individus

20 caracteristiques

Un label (Normal ; Suspect ; Pathologique)

Apprendre de facon automatique a ordonner les patients

Utilisation de fonction de scoring (s : X → R)

x′2 x′7 x′n−1 x′1 x′4 . . .P S P P N . . .

Nombreux domaines d’application :

finance (credit-scoring), medecine (diagnostic medical),

recherche de documents (moteurs de recherche), automobile,etc.



t ∈ R 7→ (P {s(X) > t | Y = 0} ,P {s(X) > t | Y = 1}) .

ROCF0,F1(s, α) = 1− Fs,1 ◦ F−1s,0 (1− α)

Figure: Courbe ROC



Optimalite

Pour tout s ∈ S,∀α ∈ [0, 1] ROCF0,F1(s, α) ≤ ROCF0,F1(Φ10, α).Donc

S∗F0,F1= {s ∈ S telles que : ∀(x, x′) ∈ X 2 :

ΦF1,F0(x) < ΦF1,F0(x′)⇒ s(x) < s(x′)}

AUC

Definition, AUCF0,F1(s) =∫α∈[0,1] ROCF0,F1(s, α)dα

AUCF0,F1(s) = P{

s(X) < s(X′)|Y = 0,Y′ = 1}

+1

2P{s(X) = s(X ′)|Y = 0, Y ′ = 1

}.



Notations

X l’espace des caracteristiques (souvent ⊂ Rd)

Y l’ensemble des classes

µ loi marginale de X

ηi(x) = P (Y = i|X = x)

η(x) = E[Y |X = x] la fonction de regression

En binaire

Y = {0, 1}p = P{Y = 1}η1(x) = η(x)



1 Introduction

2 Ranking binaire

3 Ranking multi-classes

4 Conclusion


Intro Ranking binaire Ranking multi-classes Conclusion ReferencesOptimisation de l’AUC La methode TreeRank

RLSrank et SVMrank

f(x) =∑n

i=1 βik(x, xi)

SVMrank

arg minf∈H

n1∑i=1

n0∑j=1

I{f(xi)− f(xj) < 0}+ λ‖f‖2k

RLSrank

arg minf∈H

n1∑i=1

n0∑j=1

(1− (f(xi)− f(xj)))2 + λ‖f‖2k



RankBoost

Entree. D = {(xi, yi)}, w1(i, j) = 1/(n1n0) .

Pour t=1,..,T

1 Trouver le classifieur ht qui maximise le score enfonction des wt

rt = maxht∈H

n1∑i=1

n0∑j=1

wt(i, j)(ht(xi)− ht(xj))

2 Choix du poids du classifieur αt = 12 ln 1+rt

1−rt

3 MAJ des poidswt+1(i, j) ∝ wt(i, j) exp(αt(ht(xi)− ht(xj)))

Sortie. H(x) =∑T

t=1 αtht(x).



Utilisation des rangs

Idee

Trouver s ∈ S qui minimise

Wn(s) =1

n1

n∑i=1

I{Yi = 1}φ(Rank(s(Xi))

n+ 1

)

φ(u) = u (AUC)

φ(u) = uI{u ≥ u0} ([CV07])

φ(u) = up ([Rud06])

φ(u) = c((n+ 1)u)I{u ≥ k/(n+ 1)} (DCG)

Proposition ([CV09a])

Sous de bonnes conditions Wn(s) converge versE[φ(Fs(s(X))|Y = 1]



Methodes plug-in

Idee

Estimer directement η(x) = P{Y = 1|X = x} et s’en servircomme fonction de scoring.

Inconvenient

Difficultes liees a la dimension des donnees.

Resultat theorique

Sous de bonnes conditions l’estimateur plug-in atteint la vitesseminimax [CR11].



Arbres d’ordonnancement

Arbre binaire oriente T , deracine l’espace d’entree X

Chaque noeud est scinde endeux selon une regle departitionnement portee par lesbranches de T , de sorte amaximiser l’AUC

La fonction de score sT est constante par morceaux, caracteriseepar la partition ordonnee de X definie par les feuilles de T



Approximation affine par morceaux de la courbe ROC optimale

Procedure d’approximation adaptative et iterative de la courbe ROC∗

par une fonction affine par morceaux, ROC∗.

Initialisation : X

ROC∗

: diagonale principale del’espace ROC

Premiere iteration : X = C+ ∪ C−

ROC∗

: ligne brisee a 2segments d’AUC maximale

Iterations sur les nouveaux

segments de ROC∗



Un probleme de classification binaire ponderee

Iteration : introduction d’un point dans la courbe ROC∗

Le noeud C est scinde en deux C = C+ ∪ C−...

...de sorte a maximiser l’AUC.

On obtient la courbe ROC∗ de s : x→ 2 · I{x ∈ C+} − 1...

...associee a C+ = {x ∈ X : η(x) ≥ p}, ou p = PC{Y = 1},...

...qui est solution du probleme de classification binaireponderee :

minC+⊂C 2p(1− p) · P{X /∈ C+, Y = +1}+ 2p(1− p) · P{X ∈ C+, Y =−1}



Conclusion sur TreeRank

Convergence asymptotique en norme L1 et L∞ souscertaines hypotheses de regularite sur la courbe ROC∗

([CV09b])

Un empilement de problemes de classification

Le probleme d’ordonnancement binaire peut etre vu comme uncontinuum de problemes de classification binaire ponderee, quiconsiste a estimer la collection Cη = {x ∈ X : η(x) ≥ u}u∈(0,1) desensembles de niveaux de la probabilite a posteriori.

N’importe quel algorithme de classification...

...arbres de classification, SVM...

...selon les contraintes du probleme pose :

Flexibilite, interpretabilite du modele, temps de calcul, etc.

http ://treerank.sourceforge.net/Sylvain Robbiano Ranking binaire et agregation pour le cas multi-classes

Intro Ranking binaire Ranking multi-classes Conclusion ReferencesNotations Optimalite Agregation Simulations

Y = {1, 2, 3}.Fi la fonction de repartition de X sachant que la classe Y = i.

φi(x) = Fi(dx)/µ(dx) la densite conditionnelle de X|Y = i.

Φi,j = φi/φj

S = {s : X → R}S∗i,j l’ensemble des fonctions optimales pour la tache i contrej.

Fs,k designe la fonction de repartition de s(X) sachant queY = k.



Definition

S∗ = ∩k>lSk,l

Hypothese

( MLR ) Pour tout (k, l) ∈ {1, 2}2, pour tout (x, x′) ∈ X 2, on a :Φk+1,k(x) < Φk+1,k(x

′)⇒ Φl+1,l(x) ≤ Φl+1,l(x′).

Proposition

S∗ est non vide ssi l’hypothese MLR est verifiee. En particulier,η ∈ S∗.



Surface ROC

Cs,t(x) =

3∑k=1

k · I{tk−1 < s(x) ≤ tk}

ou −∞ = t0 < t1 ≤ t2 < t3 =∞.

Definition

M(t) = (Fs,1(t1), Fs,2(t2)− Fs,2(t1), 1− Fs,3(t2)) ,

ou t1 ≤ t2

∀(α, γ) ∈ [0, 1]2, ROC(s, α, γ) =(

Fs,2 ◦ F−1s,3 (1− γ)− Fs,2 ◦ F−1

s,1 (α))

+



Proprietes de la surface ROC

Pour toutes distributions F1(dx), F2(dx) et F3(dx) sur X et pourtoute fonction de scoring s ∈ S, on a les proprietes suivantes.

Intersections avec une face de l’espace ROC.

Invariance. pour toute fonction strictement croissante T ,

ROC(T ◦ s, α, γ) = ROC(s, α, γ).

Concavite. Si l’hypothese (MLR) est verifiee, la surfaceROC∗ est concave.

Differentiabilite.

∂

∂αROC(s, α, γ) = −fs,2

fs,1

(F−1s,1 (α)

)quand fs,1(F−1

s,1 (α)) > 0,

∂

∂γROC(s, α, γ) = −fs,2

fs,3

(F−1s,3 (1− γ)

)quand fs,3(F−1

s,3 (1− γ)) > 0.



Volume sous la surface ROC

Proposition

VUS(s) = P {s(X1) < s(X2) < s(X3)|Y1 = 1,Y2 = 2,Y3 = 3}

+1

2P {s(X1) = s(X2) < s(X3)|Y1 = 1, Y2 = 2, Y3 = 3}

+1

2P {s(X1) < s(X2) = s(X3)|Y1 = 1, Y2 = 2, Y3 = 3}

+1

6P {s(X1) = s(X2) = s(X3)|Y1 = 1, Y2 = 2, Y3 = 3} ,



Critere pour le ranking

Proposition

Si l’hypothese (MLR) est verifiee alors ∀(α, γ) ∈ [0, 1]2 on a

ROC(s, α, γ) ≤ ROC∗(α, γ).

Proposition

Si il existe s∗ telle que pour toute s ∈ S, on ait : ∀(α, γ) ∈ [0, 1]2

ROC(s, α, γ) ≤ ROC(s∗, α, γ).

Alors S∗ est non vide et s∗ est dans S∗.



Borne ponctuelle pour la surface ROC

R(i)s,α = {x ∈ X |s(x) > Q(i)(s, α)}

ou Q(i)(s, α) est le quantile d’ordre α de Fs,i.

Theoreme

Supposons que l’hypothese MLR soit verifiee et que s∗ et s ont deslois continues. On a : ∀(α, γ) ∈ [0, 1]2

ROC∗(α, γ)− ROC(s, α, γ)

≤ 1

p2E[|η1(x)−Q(1)(η1, α)|I

R∗(1)α ∆R

(1)s,α

]

+1

p2E[|η3(X)−Q(3)(η3, 1− γ)|I

R∗(3)1−γ∆R

(3)s,1−γ

]



Deficit de VUS

Theoreme

Supposons que l’hypothese MLR soit verifiee. Alors, pour toutefonction s ∈ S, on a

VUS∗ −VUS(s) ≤(AUC∗F1,F2

−AUCF1,F2(s))

+(AUC∗F2,F3

−AUCF2,F3(s)).

Theoreme

Sous l’hypothese MLR, on a :

VUS∗ −VUS(η) ≤ p1 + p3

p1p2p3E[|η(X)− η(X)|]



AUCF0,F1(s) = P{

s(X) < s(X′)|Y = 0,Y′ = 1}

+1

2P{s(X) = s(X ′)|Y = 0, Y ′ = 1

}.

τ de Kendall

τ (V,W ) = P{(V − V ′

)·(W −W ′

)> 0}

+1

2P{V 6= V ′, W = W ′

}+

1

2P{V = V ′, W 6= W ′

}.

Proposition

|AUCF1,F2(s1)−AUCF1,F2(s2)| ≤ 1− τν (s1, s2)

4p(1− p)=

dτν (s1, s2)

2p(1− p).



Agregation via le τ de Kendall pour l’ordonnancementmulti-classes

Entree. Echantillons de donnees D et D′, unalgorithme d’ordonnancement A, sous ensemble S1 defonctions de scoring.

1 Apprentissage des fonctions de scoring pourchaque paire.

2 Agregation des regles de scoring. Calculer s(x) dansS1 ⊂ S

K−1∑k=1

τµ

(s, s(k)

)= max

s∈S1

K−1∑k=1

τµ

(s, s(k)

),



Resultat theorique

Proposition

Sous de bonnes conditions,

dτν (s∗, s) ≤ C ·(AUC∗F1,F2

−AUCF1,F2(s))a/(1+a)

,

Proposition

Sous de bonnes conditions, si sn(x)(resp s′n(x)) estAUC-consistante pour la tache 1 contre 2 (resp 2 contre 3) alorsla procedure d’agregation est VUS-consistante.



s∗ s∗1,2 s∗2,3 η1 η2 η3

0.2 0.2 0.2 0.7692 0.2000 0.03080.4 0.4 0.2 0.6250 0.3250 0.05000.6 0.8 0.6 0.3968 0.4127 0.19050.8 0.8 0.8 0.3731 0.3881 0.23881 1 1 0.3030 0.3939 0.30301.25 1.25 1 0.2581 0.4194 0.32261.66 1.66 1.66 0.1682 0.3645 0.46732.5 2.5 2.5 0.0952 0.3095 0.59525 2.5 5 0.0597 0.1940 0.7463

a.Echantillon simule.

b.Ensembles de

niveaux optimaux.



Table: Comparaison des VUS : VUS∗ = 0.3855

Method VUS(σ)

TreeRank 1v2 0.3681 (±0.0060)TreeRank 2v3 0.3611 (±0.0056)TreeRank 1v3 0.3774 (±0.0037)TreeRank Agg 0.3818 (±0.0027)RankBoostVUS 0.3681 (±0.0013)RankBoost Agg 0.3687 (±0.0013)SVMrank lin 0.3557 (±0.0008)SVMrank gauss 0.3734 (±0.0008)RLScore lin 0.3554 (±0.0005)RLScore gauss 0.3742 (±0.0007)



Table: Comparaison des VUS test - ”Cardiotocography”

Method VUS test

TreeRank 1v2 0.2357TreeRank 2v3 0.3314TreeRank 1v3 0.6932TreeRank Agg 0.8141RankBoostVUS 0.8346RankBoost Agg 0.8959SVMrank lin 0.7202SVMrank gauss 0.7856RLScore lin 0.7652RLScore gauss 0.7829



Tour d’horizon du cas binaire

Ranking multi-classes : hypothese MLR et surface ROC

Procedure d’agregation et comparaison empirique avec l’etatde l’art

Algorithme de ranking multi-classes ayant pour objectif le VUS



[CR11] S. Clemencon and S. Robbiano. Minimax learning ratesfor bipartite ranking and plug-in rules. In Procedings ofICML, 2011.

[CV07] S. Clemencon and N. Vayatis. Ranking the bestinstances. Journal of Machine Learning Research,8 :2671–2699, 2007.

[CV09a] S. Clemencon and N. Vayatis. Empirical performancemaximization based on linear rank statistics. In NIPS,volume 3559 of Lecture Notes in Computer Science,pages 1–15. Springer, 2009.

[CV09b] S. Clemencon and N. Vayatis. Tree-based rankingmethods. IEEE Transactions on Information Theory,55(9) :4316–4336, 2009.

[Rud06] C. Rudin. Ranking with a P-Norm Push. In Proceedingsof COLT, 2006.


Ranking binaire, agrégation multiclasses

Documents

Transcript of Ranking binaire, agrégation multiclasses

Ranking Van Drugs

PIPA IATP 2018 Overall Ranking

Ranking the Classics

Backlinks • Verhoog uw ranking • Meer Pagerank • Meer Trustranking Mits u het goed doet!

RELACIÓN DE RANKING - TERCIO SUPERIOR - UNJBG › pdf › 20170410-PadronPregradoTR.pdf · 2017-04-18 · relaciÓn de ranking - tercio superior universidad nacional jorge basadre

Top 25 Nederlandse Recyclingbedrijven - Aeternus · 2019. 11. 19. · Top 25 Nederlandse Recyclingbedrijven 7 Overall Ranking Naam Ontwikkeling 2013*-2016 Ontwikkeling Ranking Productiviteit

Ik reken verder na leerjaar 5....Computers rekenen maar met twee cijfers: 1 en 0. Dat noemen we ‘binaire getallen’. Zet deze binaire getallen om door de getallen in de bovenste

30 RNNER TRACKS SEPTEMBER 2015 2016 IDNIYRA RANKING …€¦ · RNNER TRACKS32 SEPTEMBER 2015 BY RANK 2016 IDNIYRA RANKING LIST Rank Name Sail 39 Bogdan Eder P 51 39 Joonas Lindhal

Informatica HOC 8 - parallel.vub.ac.beparallel.vub.ac.be/education/java/theorie/javaHOC2020-8.pdf · Informatica 2e semester: HOC 8 Informatica 2e semester: les 8 Binaire bomen &

Sparse Real Estate Ranking with Online User Reviews and ...€¦ · Sparse Real Estate Ranking with Online User Reviews and Ofﬂine Moving Behaviors ... ranking objective and sparsity

Ranking Duurzaam Assortiment Top 15 …...1 Ranking Duurzaam Assortiment Top 15 Bedrijfscateraars Nederland 29 oktober 2013 In opdracht van Stichting Max Havelaar In het kader van

Ranking fanfare concert divisie Ranking fanfare concert division · 2015-03-29 · Ranking fanfare concert divisie Ranking fanfare concert division Naam orkest / Name orchestra Verplicht

Selectie en ranking voor studentenmobiliteit Erasmusdag EPOS vzw, Leuven, 23 mei 2013.

STATEMENT RANKING AS ON 12.08.2021 (JUNIORS & YOUTH) …

Ranking the Roads

Toàn ¾ u¸] Bí u¨ Æ Facebook ranking factorsdaotaoseo.com/wp-content/uploads/2015/12/Bi-mat-cua...Toàn ¾ u¸] Bí u¨ Æ Facebook ranking factors 40 Zµ¨ toán vP Z¢vP và

Ranking U-Sapiens 2014-2 · Boletín Científico Sapiens Research Vol. 5(2) -2015 / pp: 73 -84 / ISSN -e: 2215 -9312 Sapiens Research Group RANKING U-SAPIENS 2014-2, POR SAPIENS RESEARCH

Presentatie Retail Ranking Q&A

New RANKING 2017 B1N-Anestesiología - Buenos Aires · 2017. 4. 28. · RANKING PosN.I. Apellido y Nombres DocumentoPrmPtsTotal 2017B1N-Anestesiología 1 1 152FICCADENTI, SANTIAGO

Binaire Puzzels 14x14 Gemakkelijk