Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) )...

34
Evalua&ng Malware Mi&ga&on by Android Market Operators Yosuke KIKUCHI*, Hiroshi MORI *, Hiroki NAKANO*, Katsunari YOSHIOKA*, Tsutomu MATSUMOTO*, Michel VAN EETEN** *Yokohama Na&onal University **DelI University of Technology 9th USENIX Workshop on Cyber Security Experimenta&on and Test

Transcript of Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) )...

Page 1: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Evalua&ng  Malware  Mi&ga&on  by  Android  Market  Operators  

 Yosuke  KIKUCHI*,  Hiroshi  MORI*,  Hiroki  NAKANO*,  

 Katsunari  YOSHIOKA*,  Tsutomu  MATSUMOTO*,  Michel  VAN  EETEN**    

*Yokohama  Na&onal  University  **DelI  University  of  Technology  

 9th  USENIX  Workshop  on  Cyber  Security  Experimenta&on  and  Test  

Page 2: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Mo&va&on •  The  number  of  Android  apps  is  con&nuously  increasing  •  There  are  many  third  party  app  markets(e.g.  Amazon  App  Store)  •  At  the  same  &me,  the  number  of  Android  malware  are  increasing[1]  •  In  this  situa&on,  we  are  interested  in  whether  these  market  operators  

make  effort  for  mi&ga&ng  malware  and  if  yes,  how  well  they  do  

2

APK APK APK APK APK APK

APK APK

APK APK APK APK APK APK APK App  Market

APK APK APK APK APK APK APK

App  Market

Operator Operator

I  cannot  afford  to  take  malware  mi&ga&on

I  remove  malware  to  protect  users

Page 3: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Agenda •  Mo&va&on  •  Agenda  •  Method  •  Result  of  Evalua&on  •  Conclusion  •  Limita&ons

3

Page 4: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Method

4

App  Market

APK APK APK

App  Market

APK APK APK

1.  Download  apps  and  meta-­‐data    (#  of  downloads  and    date  of  last  update)    

App  Market

APK APK APK

Page 5: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

What  markets  we  have  selected? •  We  measured  five  markets  •  Why  did  we  select  these  markets?  

–   We  wanted  to  track  survival  period  of  apps,  so  we  selected  popular  (at  least  once)  and  not  too  new  markets  

5

Market Collected Apps Collection Period

Google Play(GP_PO)

12280 2015/09/21 - 2015/09/28

Goolgle Play(GP_PD)

8966 2014/08/07 - 2014/11/03

Mumayi(MY)

19794 2015/07/14 - 2015/08/09

Liqucn(LQ)

6844 2015/09/02 - 2015/09/04

eoeMarket(EM)

10203 2015/09/15 - 2015/09/19

Freeware Lovers(FL)

3652 2015/06/20 - 2015/06/23

Page 6: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Data  Collec&on  -­‐  Google  Play  -­‐

•  We  collected  apps  from  Google  Play  in  two  ways  

1.  Top  popular  apps  for  each  categories(GP_PO)  –  e.g.  games,  tools  and  etc...  –  We  could  collect    12,280  apps  –  Note:  There  is  a  bias,  because  these  apps  are  popular  and  could  have  been  more  closely  

examined  by  market  operator  

2.  We  also  use  PlayDrone  DataSet[3]  (over  1.4M  apps)  that  were  collected  for  research  purpose.  And  we  used  8,966  apps  finally(GP_PD)  

–  We  selected  15,000  free  apps  from  the  dataset  at  random  –  Since  Play  Drone  was  collected  in  2014,  we  then  checked  whether  these  apps  s&ll  exist  in  the  

Play  store  at  the  &me  of  the  study  –  We  picked  up  8,966  apps  that  are  s&ll  in  Google  Play  –  Note:  Collec&on  period  of  this  dataset  is  older  than  our  other  app  dataset  

6 [3]JAKEJ.  Playdrone  apk’s.  hjps://archive.org/details/  playdrone-­‐  apks/  

Page 7: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Data  Colec&on  -­‐  Other  Markets    -­‐

•  We  could  collect  apps  by  crawling  web  pages  of  apps  in  other  markets  – Mumayi(EM):  19,794  apps  –  eoeMarket(EM):  10,203  apps  –  Liqucn(LQ):  6,884  apps  –  Freeware  Lovers(FL):  3,652  apps  

7

Page 8: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Method

8

App  Market

APK APK APK

App  Market

APK APK APK

1.  Download  apps  and  meta-­‐data  (#  of  downloads  and    date  of  last  update)    

App  Market

APK APK APK

Page 9: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Method

9

App  Market

APK APK APK

App  Market

APK APK APK

1.  Download  apps  and  meta-­‐data  (#  of  downloads  and    date  of  last  update)    

2.  Submit  the  apps  to  VirusTotal  and  log  results  -­‐  Detec&on  Ra&o  -­‐  Labels  App  Market

APK APK APK

Page 10: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Method

10

App  Market

APK APK APK

App  Market

APK APK APK

App  Market

APK APK APK

1.  Download  apps  and  meta-­‐data  (#  of  download  and    date  of  last  update)    

2.  Submit  the  apps  to  VirusTotal  and  log  results  -­‐  Detec&on  Ra&o  -­‐  Labels  

3.  Evaluate  with  three  metrics  

Detec&on  Ra&o:  How  many  AV  vendors  flag  the  app  as  malicious?  

Label:  What  kinds  of  malware(Note:  some&mes  adware  is  included)  

Page 11: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Method

11

App  Market

APK APK APK

App  Market

APK APK APK

1.  Download  apps  and  meta-­‐data  (#  of  downloads  and    date  of  last  update)    

2.  Submit  the  apps  to  VirusTotal  and  log  results  -­‐  Detec&on  Ra&o  -­‐  Labels  

3.  Evaluate  with  three  metrics  

App  Market

APK APK APK

Page 12: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Method  -­‐  Metrics  for  Evalua&on  -­‐

•  We  calculate  three  security  metrics  for  each  market  for  evalua&on:    –  the  malware  presence  raBo  (MPR)  

•  percentage  of  all  collected  apps  that  are  detected  as  malware  

–  the  malware  download  raBo  (MDR)  •  percentage  of  all  downloads  of  all  collected  apps  that  are  detected  as  malware  

–  the  survival  period  of  malware  •  how  long  apps  detected  as  malware  remain  in  the  app  store

12

Page 13: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Posi&ve  Detec&on  Ra&o

•  We  defined  Posi&ve  Detec&on  Ra&o  (PDR)  –  Ra&o  of  number  of  AV  products  that  flag  the  app  “malicious”    (=Detec&on  Ra&o)  

13

a  :  Android  App  av:  An&  Virus  Product  S  :  Set  of  AV  products  with  which  VirusTotal  used  to  scan  the  app

Page 14: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Posi&ve  Detec&on  Ra&o

•  We  defined  Posi&ve  Detec&on  Ra&o(PDR)  –  Ra&o  of  AV  products  say  “malicious”  for  an  app  (=Detec&on  Ra&o)  

14

a  :  Android  App  av:  An&  Virus  Product  S  :  Set  of  av  VirusTotal  used  to  scan

Detec&on  Ra&o:  How  many  AV  vendors  flag  the  app  as  malicious?  

Label:  What  kinds  of  malware  (Note:  some&mes  adware  is  included)  

PDR  =  78[%]

Page 15: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Malware  Presence  Ra&o •  We  define  Malware  Presence  Ra&o  (MPR)  

–  This  means  percentage  of  all  collected  apps  that  are  detected  as  malware  

•  How  to  judge  malware  or  not?  –  We  judge  an  app  as  malware  if  PDR  of  the  app  above  m[%]  

15

a  :  Android  App  av:  An&  Virus  Product  S  :  Set  of  AV  products  with  which    VirusTotal  used  to  scan  the  app

M:  Set  of  Apps  in  a  market  m:  Threshold  

Page 16: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Malware  Presence  Ra&o

16

Page 17: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Malware  Presence  Ra&o  -­‐  What  is  a  reasonable  value  of  “m”?  -­‐

17

MPR  depend  on  “m”  (Posi&ve  Detec&on  Threshold),  so  this  value  is  important.  If  we  set  m  to  too  high  value  (e.g.  m=  70[%]),  almost  all  apps  are  counted  as  not  malware.  In  this  study,  we  decided  m  =  30[%]  is  reasonable  value  according  to  other  studies[4][5]  

[4]  F-­‐SECURE.  Threat  report  h2  2013.  hjps://www.f-­‐secure.  com/documents/996508/1030743/Threat_Report_H2_  2013.pdf.  [5]  ZHOU,  Y.,  WANG,  Z.,  ZHOU,  W.,  AND  JIANG,  X.  Hey,  you,  get  off  of  my  market:  Detec&ng  malicious  apps  in  official  and  alterna&ve  android  markets.  In  NDSS  (2012).

Page 18: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Google  Play  is  Really  Safe?  -­‐  MPR  for  Google  Play  via  Keyword  Search  -­‐

•  The  MPR  for  GP_PO  is  low,  but  we  have  explored  whether  this  risk  was  perhaps  concentrated,  and  thus  higher,  in  certain  areas  of  the  market.  

•  For  this  purpose,  we  collected  another  sample  of  apps,  via  keyword  searches.  

18

Page 19: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Google  Play  is  Really  Safe?  -­‐  MPR  for  Google  Play  via  Keyword  Search  -­‐

•  We  used  155  popular  keywords  listed  on  the  keyword  ranking  sites  [6-­‐8],  and  11  keywords  in  the  security  report  by  Symantec  [9]  

•  We  then  collected  the  40  apps  that  are  shown  on  the  first  page  of  search  results  

•  Keywords  like  ”sms”  and  ”adult”  lead  users  to  apps  with  an  MPR  that  is  more  than    50  &mes  higher  than  the  rate  for  GP_PO.    

19

[6]  The  most  popular  app  store  keywords  from  chomp  &  google  play.  hjp://searchengineland.com/the-­‐most-­‐popular-­‐app-­‐store-­‐keywords-­‐from-­‐chomp-­‐google-­‐play-­‐135744  [7]  SIMILARWEBPRO.  Google  play  top  20  popular  keywords  in  apr  2015.  hjp://www.similar-­‐  web.jp/blog/archives/1004  [8]  App  annie  app  store  stats  google  play  top  app  charts  united  states  overall.  hjps://www.appannie.com/apps/google-­‐  play/top/  [9]  SYMANTEC.  Malicious  websites  by  search  term.  hjp://securityresponse.symantec.com/threatreport/topic.jsp?id=threat_ac&vity_trends&aid=  malicious_websites_by_search_term.

Page 20: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

MPR  for  Google  Play  via  Keyword  Search

20 (m  =  30[%])

Page 21: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Google  Play  is  Really  Safe?  -­‐  MPR  for  Google  Play  via  Keyword  Search  -­‐

•  We  used  155  popular  keywords  listed  on  the  keyword  ranking  sites  [6-­‐8],  and  11  keywords  in  the  security  report  by  Symantec  [9]  

•  We  then  collected  the  40  apps  that  are  shown  on  the  first  page  of  search  results  

•  Keywords  like  ”sms”  and  ”adult”  lead  users  to  apps  with  an  MPR  that  is  more  than  50  &mes  higher  than  the  rate  for  GP_PO.    

21

Page 22: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Malware  Download  Ra&o

•  We  define  Malware  Download  Ra&o(MDR)  – This  means  percentage  of  all  downloads  of  the  collected  apps  that  are  detected  as  malware  

22

m:  Threshold  S  :  Set  of  AV  products  VirusTotal            used  to  scan  M:  Set  of  Apps  in  a  market  M’:  Set  of  Malware  in  M  a  :  Android  App  

Total  download  number  of  all  apps

Total  download  number  of  all  malware

Page 23: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Malware  Download  Ra&o

23

*

*In  FL,  the  number  of  downloads  is  unpublished.  For  reference,  we  calculated  the  index  on  the  assump&on  that  each  app  was  downloaded  same  &mes.  

 

Page 24: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Malware  Survival  Period •  We  measure  malware  survival  period  

 –  The  survival  period  of  an  app  is  the  &me  that  an  app  has  been  present  in  an  

app  store.    

•  To  calculate  a  survival  period,  we  count  the  number  of  days  between  the  date  when  we  downloaded  the  app  and  the  date  when  it  was  last  updated  

•  We  expected  that  if  market  operators  make  effort  to  mi&gate  malware,  high  posi&ve  detec&on  ra&o  (PDR)  apps  cannot  live  a  long  &me

24

Page 25: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

25

Google  Play  Popular(GP_PO)

Page 26: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

26

Google  Play  Popular(GP_PO)

Detected  with  no  “Adware”  labels

Detected  with  some  “Adware”  labels

Detected  with  many  “Adware”  labels

Color  of  Dots

Page 27: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

27

Google  Play  Play  Drone(GP_PD)

Page 28: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Mumayi(MY)

28

Page 29: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Liqucn(LQ)

29

Page 30: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

eoeMarket(EM)

30

Page 31: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Freeware  Lovers(FL)

31

No  app  submission  was  accepted  in  this  period

Page 32: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Conclusion •  At  a  PDR  of  30%,  around  one  in  five  apps  are  flagged  as  malicious  in  EM,  MY  and  

LQ  

•  MPR,  MDR  are  rela&vely  low  for  GP  and  FL  but  when  users  of  Google  Play  search  with  specific  keywords,  they  may  have  a  50  &mes  higher  probability  of  encountering  malware  that  when  selec&ng  from  the  popular  app  list  

•  EM,  MY,  LQ  and  FL  do  not  seem  to  act  against  malware  even  when  PDRs  are  very  high  

•  Google  Play  is  the  only  market  that  seems  to  conduct  ac&ve  malware  removal  

32

Page 33: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Limita&ons •  Our  results  depend  on  VirusTotal  (An&  Virus  products)  

•  We  simply  count  numbers  of  detec&on.  We  did  not  delve  deeply  into  the  labels  

•  There  are  some  markets  becoming  popular  in  last  few  years  that  we  didn’t  evaluate.  (e.g.  Baidu)

33

Page 34: Evaluang)Malware)Mi&gaon)by) …...Evaluang)Malware)Mi&gaon)by) Android)MarketOperators) ) Yosuke)KIKUCHI*,)Hiroshi’MORI*,)Hiroki)NAKANO*,))Katsunari)YOSHIOKA*,)Tsutomu)MATSUMOTO*,)Michel)VAN)EETEN

Thank  You  for  Your  Ajen&on!

34


Mi ENVIRONMENTAL LICHENOLOGY: BIOMONITORING …

Mi ENVIRONMENTAL LICHENOLOGY: BIOMONITORING …

Mi pagina Web

Mi pagina Web

Mi Bandera

Mi Bandera

Mi Futuro Profesional

Mi Futuro Profesional

¡Mi Madre!.pdf

¡Mi Madre!.pdf

Mi vida loca

Mi vida loca

˘#2˚(’˚ Wand Mi er

˘#2˚(’˚ Wand Mi er

Luis Lopez - Mi Casa

Luis Lopez - Mi Casa

C.V. de Kieveloeët uit Meijel. Alles over de ...goo) menier. mi de Kieveloeét, mi de Prins. de Voorst on de Rò van Eliot. mi 't Comité en mi de muziek van ver. siillønde kepÓIIe.

C.V. de Kieveloeët uit Meijel. Alles over de ...goo) menier. mi de Kieveloeét, mi de Prins. de Voorst on de Rò van Eliot. mi 't Comité en mi de muziek van ver. siillønde kepÓIIe.

Indy Sonate en Mi

Indy Sonate en Mi

Malware Houdiny

Malware Houdiny

Mi Smart Sensor Set · 2019-08-02 · Werkt ook met andere Mi smart-apparaten in de Xiaomi Home-app, waardoor u de functionaliteiten kunt uitbreiden. Mi Motion Sensor ×2 Mi Window

Mi Smart Sensor Set · 2019-08-02 · Werkt ook met andere Mi smart-apparaten in de Xiaomi Home-app, waardoor u de functionaliteiten kunt uitbreiden. Mi Motion Sensor ×2 Mi Window

Mi practica

Mi practica

na na re re ko mi- mi- na mi- na na na na na na mi- mi- na na na pre … · 2019. 2. 10. · na na re re ko mi- mi- na mi- na na na na na na mi- mi- na na na pre- pre_ pre- na na

na na re re ko mi- mi- na mi- na na na na na na mi- mi- na na na pre … · 2019. 2. 10. · na na re re ko mi- mi- na mi- na na na na na na mi- mi- na na na pre- pre_ pre- na na

#3 Laser G-mi

#3 Laser G-mi

Mi adolescencia

Mi adolescencia

Mi primera Web

Mi primera Web

Afwijkende schermen bij virussen (malware) · Als uw computer besmet is met malware kunt u tijdens het internet- bankieren een afwijkend scherm zien. Hieronder ziet u wat voorbeelden.

Afwijkende schermen bij virussen (malware) · Als uw computer besmet is met malware kunt u tijdens het internet- bankieren een afwijkend scherm zien. Hieronder ziet u wat voorbeelden.

Epidemie G-mi

Epidemie G-mi

Mi profesion

Mi profesion