2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo...

33
2016/2017 MIEGI Turma 2, Grupo 3 Bernardo Macieira up201606913 Catarina Heitor up201606916 Diogo Costa up201606919 Francisco Xavier up201606922 DATA MINING: PREDICTING CONSUMER BEHAVIOUR Supervisor: Armando Leitão Monitor: Luís Dias Coordenador Projeto FEUP MIEGI: Luís Guimarães

Transcript of 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo...

Page 1: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017

MIEGI Turma 2, Grupo 3 Bernardo Macieira up201606913

Catarina Heitor up201606916

Diogo Costa up201606919

Francisco Xavier up201606922

DATA MINING:

PREDICTING CONSUMER

BEHAVIOUR

Supervisor: Armando Leitão

Monitor: Luís Dias

Coordenador Projeto FEUP MIEGI: Luís Guimarães

Page 2: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

1 Universidade do Porto- Faculdade de Engenharia

Resumo

O presente documento visa explicar o conceito de data mining, que consiste no

processo computacional de analisar grandes bases de dados e obter daí informação útil,

através da descoberta de padrões.

Este software analisa dados de diferentes dimensões e encontra relações entre

estes, fornecendo informações que podem ser convertidas em conhecimento sobre

padrões históricos e tendências no futuro.

Uma das suas maiores aplicações é a sua utilização como forma de prever o

comportamento dos mercados, permitindo às empresas conhecer melhor os seus clientes

e as suas preferências. São várias as empresas que recorrem a este software, sendo a

SONAE um exemplo que vamos aprofundar e que nos permite contextualizar o data

mining a nível nacional.

O data mining permite a elaboração de previsões de grande credibilidade,

assumindo um papel preponderante em meio empresarial. É esse papel que é pretendido

mostrar com este documento.

Page 3: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

2 Universidade do Porto- Faculdade de Engenharia

Agradecimentos

Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e

desafios, pelo que não podemos deixar de agradecer a todos aqueles que nos ajudaram a

ultrapassar cada uma das nossas dificuldades. Gostaríamos, então, de agradecer

vivamente ao nosso supervisor Armando Leitão, ao nosso excelente monitor Luís Dias e

ao coordenador do projeto FEUP do Mestrado Integrado em Engenharia e Gestão

Industrial, Luís Guimarães. Também consideramos importante mencionar o papel que

vários funcionários da empresa portuguesa Sonae, em particular o engenheiro

informático Tiago Carvalho, desempenharam para facilitar e enriquecer o nosso

relatório, bem como agradecer à própria empresa.

Gostaríamos também de deixar o nosso agradecimento a todos os professores e

formadores que foram responsáveis pelas palestras a que assistimos. Estas revelaram ser

de imensa utilidade para o desenvolvimento deste trabalho ser possível.

Page 4: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

3 Universidade do Porto- Faculdade de Engenharia

Índice

Índice de figuras ............................................................................................................................ 4

Introdução ..................................................................................................................................... 7

Caracterização do data mining ..................................................................................................... 9

O que é? .................................................................................................................................... 9

Data warehouse ...................................................................................................................... 10

Aplicações do data mining ...................................................................................................... 10

Como é que o data mining funciona? ..................................................................................... 11

DM como forma de prever tendências de mercado ................................................................... 15

Exemplos da utilização do DM .................................................................................................... 18

Conclusão .................................................................................................................................... 29

Bibliografia e Netgrafia ............................................................................................................... 30

Anexos ......................................................................................................................................... 32

Page 5: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

4 Universidade do Porto- Faculdade de Engenharia

Índice de figuras

Figura 1 - Data mining como um passo na descoberta do conhecimento

Page 6: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

5 Universidade do Porto- Faculdade de Engenharia

Figura 2 - Descrição do data mining

Figura 3 - Variação de visitas entre entrada nova/principal no shopping de Matosinhos

Page 7: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

6 Universidade do Porto- Faculdade de Engenharia

Figura 4 - Conversão de visita em compra

Figura 5 - Imagens de cupões

Page 8: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

7 Universidade do Porto- Faculdade de Engenharia

Introdução

No âmbito da unidade curricular Projeto FEUP, do 1.º ano do Mestrado

Integrado em Engenharia e Gestão Industrial da Faculdade de Engenharia da

Universidade do Porto, foi-nos proposta a realização de um relatório com o propósito de

abordar a questão do data mining, mais especificamente a sua utilização como modelo

de previsão do comportamento dos consumidores.

Dentro das principais metas estabelecidas para este trabalho temos a realçar a

aplicação dos conhecimentos adquiridos ao longo das ações de formação do Projeto

FEUP, bem como o incremento de conhecimentos relativos a um tema extremamente

atual e relevante a nível mundial.

Esta questão tem grande utilidade no estudo de mercado realizado por empresas

com grande representatividade global. Através desta ferramenta é possível otimizar o

rendimento no mercado, tornando as empresas mais competitivas e eficientes, reduzindo

custos e aumentando lucros.

Em primeiro lugar irá ser exposto o conceito de data mining de um modo mais

abrangente, seguindo-se um foco na sua aplicação para o estudo das preferências dos

consumidores.

Page 9: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

8 Universidade do Porto- Faculdade de Engenharia

Ao longo deste relatório será abordado o seu impacto, nomeadamente os seus

benefícios e desvantagens em meio empresarial. Para uma melhor compreensão dos

seus efeitos recorreu-se a exemplos de empresas que beneficiam significativamente com

o uso desta técnica, sendo de notar o caso da Sonae que surge como referência a nível

nacional da aplicação do data mining.

Page 10: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

9 Universidade do Porto- Faculdade de Engenharia

Caracterização do data mining

O que é?

Data mining é o nome dado ao processo de analisar dados de diferentes

perspectivas e obter daí informação útil, que pode ser utilizada para aumentar lucros ou

reduzir custos. É uma das várias ferramentas analíticas existentes para analisar dados.

Permite aos utilizadores examinar dados de diferentes dimensões, organizá-los em

categorias e resumir as relações identificadas. [4]

É, então, o processo de encontrar relações ou padrões entre campos em bases de

dados relacionáveis. Corresponde a um conceito relativamente recente, que ainda se

encontra em evolução.

Data (dados) - designação dada a qualquer facto, número ou texto que pode ser

processado por um computador. Hoje em dia, as organizações acumulam grandes

quantidades de data em diferentes formatos e bases de dados. Isto inclui:

● dados operacionais como vendas, custos, inventários, folha de pagamentos e

contabilidade;

● dados não operacionais como vendas industriais, previsões de dados e dados

macroeconómicos;

Page 11: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

10 Universidade do Porto- Faculdade de Engenharia

● “meta data”: dados sobre os próprios dados, como dicionários de definição de

dados.

Os padrões, associações ou relações entre estes dados podem fornecer

informações. A análise dos dados de vendas pode indicar-nos que produtos vão ser

vendidos e quando, ou seja, esta informação pode ser convertida em conhecimento

sobre tendências no futuro. Por exemplo, informações sobre as vendas num

supermercado podem ser analisadas para fornecer conhecimento acerca do

comportamento de compra do consumidor. Desta maneira, um fabricante ou revendedor

pode determinar quais itens mais vale a pena promover. [1]

Data warehouse

Os avanços tecnológicos estão a permitir que as empresas guardem as suas bases

de dados em data warehouses (armazéns de dados). Estes servidores permitem manter

um armazém central de todos os dados e, consequentemente, uma melhor análise destes.

O processo de data mining é suportado pela existência de softwares de análise de dados.

Aplicações do data mining

Este processo é principalmente utilizado por empresas financeiras, de retalho, de

comunicação e de marketing, permitindo que estas determinem relações entre factores

Page 12: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

11 Universidade do Porto- Faculdade de Engenharia

internos como o preço, seleção de produtos, posicionamento destes e características do

staff e fatores externos como indicadores económicos, competição e demografia. Além

disso, as empresas têm acesso a informação resumida sobre os dados de transações.

Um vendedor a retalho pode utilizar esta tecnologia para descobrir os produtos

que vendem mais e dirigir as suas promoções a esse produto, apelando a segmentos

específicos de clientes.

Como é que o data mining funciona?

Os sistemas de transações e os sistemas analíticos têm vindo a evoluir graças ao

desenvolvimento da tecnologia de informação em larga escala, mas de forma separada.

O data mining permite a ligação entre estes dois sistemas. Este software analisa as

relações e padrões em dados de transações. Estão disponíveis vários tipos de software

analíticos. Normalmente, as relações procuradas são:

● Classes: dados armazenados são usados para localizar outros dados em grupos

pré-determinados. Por exemplo, um restaurante pode aceder aos dados de

compra de um cliente para obter informações sobre quando é que ele costuma lá

ir e o que é que normalmente pede.

Page 13: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

12 Universidade do Porto- Faculdade de Engenharia

● Clusters: Os dados são agrupados de acordo com relações lógicas ou

preferências do consumidor. Por exemplo, os dados podem ser extraídos para

identificar segmentos de mercado ou afinidades de consumo.

● Associações: Os dados podem ser extraídos para identificar associações. A

associação fraldas-cervejas é um exemplo disso:

○ Há um tempo atrás, o Walmart decidiu juntar os seus dados sobre as

vendas com os dados relativos ao sistema de cartões que utilizam. Esta

combinação forneceu dados demográficos a esta multinacional, que

obteve informação sobre onde, quando e o quê é que os seus clientes

compravam. Quando estudados, os dados revelaram imensas relações.

Muitas delas óbvias; as pessoas que compravam gin normalmente

também compravam água tónica e limões. Houve uma relação que se

destacou por ser tão inesperada: durante as sextas à tarde, os jovens

americanos que compravam fraldas costumavam comprar também

cervejas. Ninguém poderia ter previsto esta associação, nem nunca

ninguém se perguntaria acerca dela, sendo este um excelente exemplo da

diferença entre data mining e querying. Enquanto o data mining processa

todos os dados disponíveis, o querying refere-se apenas àqueles sobre os

quais nos questionamos.

Page 14: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

13 Universidade do Porto- Faculdade de Engenharia

● Padrões sequenciais: Os dados são extraídos para antecipar os padrões de

comportamento e tendências. Por exemplo, um vendedor de equipamentos ao ar

livre poderia prever a probabilidade de o consumidor comprar uma mochila com

base na sua compra de sacos-cama e sapatos de caminhada.

Em síntese, o data mining consiste em cinco elementos fundamentais:

● Extrair, transformar e carregar dados de transações para os armazéns de dados

(data warehouse).

● Armazenar e gerenciar os dados num banco de dados multidimensional.

● Fornecer acesso a estes dados a analistas e profissionais de tecnologia da

informação.

● Analisar os dados aplicando o software.

● Apresentar os dados num formato útil, como um gráfico ou tabela.

Page 15: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

14 Universidade do Porto- Faculdade de Engenharia

Ligação entre data mining e business intelligence

Para compreendermos o processo de data mining, em que consiste e as suas

aplicações, é também necessário entender o conceito de business intelligence.

Business Intelligence é um processo pelo qual, com recurso à tecnologia, se

analisam determinados dados e informação de modo a que esta se torne relevante e com

significado para ajudar os executivos de determinadas corporações ou os gerentes das

companhias a tomarem decisões mais informadas.

Uma analogia que facilita a compreensão do Business Intelligence é a

comparação que se estabelece entre este conjunto de processos e o conjunto de

processos inerentes à Military Intelligence. Desde antes da idade média que o Homem

se apercebeu que conhecimento é poder e, desde então, de cada vez que decorria um

confronto entre dois exércitos, por exemplo, ambas as facções preocupavam-se em

saber o máximo de informação sobre a batalha que iria decorrer. Ponderavam-se assim

todas as variáveis possíveis, de modo a aumentar as chances de vitória. Algumas das

variáveis mais relevantes eram: o tamanho do exército inimigo, o seu armamento, as

condições meteorológicas, as condições geofísicas do terreno, etc.

Page 16: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

15 Universidade do Porto- Faculdade de Engenharia

Da mesma forma, no mundo empresarial, antes de uma empresa tomar uma

decisão de introduzir ou não uma nova gama de produtos, por exemplo, esta terá de

tomar as devidas precauções, como: saber o tamanho do mercado em que estão prestes a

entrar, saber se existe ou não procura do novo produto, saber os preços da concorrência,

etc.

Esta busca constante por informação no sentido de orientar e facilitar a tomada

de decisões levou inevitavelmente ao desenvolvimento e incorporação de técnicas de

análise avançada, como é o caso do data mining, predictive analytics, text mining,

statistical analysis e big data analytics. [2]

Data mining como forma de prever tendências de

mercado

Uma das várias aplicações do data mining é , tal como dissemos antes, a sua

utilização como modo de prever o comportamento dos mercados. Este sistema permite

às empresas armazenar informação sobre os seus clientes, que mais tarde será

exaustivamente estudada de modo a permitir elaborar padrões comportamentais dos

consumidores.

Page 17: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

16 Universidade do Porto- Faculdade de Engenharia

Estes dados não são tratados individualmente, mas sim através de um processo

coletivo de estabelecimento de padrões. Com isto, é possível determinar quais foram, no

passado, as preferências da maioria do horizonte abrangido pela empresa.

No entanto, esta ferramenta não se fica por aqui. Ao recorrer a este tipo de

estudo, as empresas podem elaborar conjeturas sobre quais virão a ser as atitudes dos

seus clientes em situações futuras, partindo do princípio que existirá a tendência para

repetir os comportamentos face a situações idênticas.

Atualmente, várias são as empresas que recorrem ao data mining, pois esta é

uma ferramenta muito útil para efetuar estudos de mercado. Por exemplo, ao elaborar

projetos de futuros investimentos é necessário determinar qual a área que mais tem

agradado aos consumidores e consequentemente mais receitas tem gerado.

Ao longo das últimas décadas, a compreensão do cliente tem ganho cada vez

maior importância, não sendo necessário perceber a razão das opções do consumidor,

mas sim conhecer estas opções. Este aumento de conhecimento permite às empresas

atingir uma maior eficácia em decisões futuras.

Por outro lado, nos dias de hoje, vivem-se um pouco por todo o mundo tempos

de incerteza, o que tem sido um obstáculo ao surgimento de grandes investimentos. No

entanto, o estudo dos consumidores permite diminuir o risco inerente à tomada de

Page 18: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

17 Universidade do Porto- Faculdade de Engenharia

decisões de enorme relevância, algo que favorece pequenas empresas e startups que

estejam a iniciar a sua atividade no mercado. Deste modo, existe um maior incentivo à

atividade económica.

Uma outra vantagem do uso do data mining é permitir às empresas estudar

aquilo que fazem de um modo menos eficaz face aos maiores concorrentes, para que

estes sirvam de exemplo a seguir, tornando-se por isso cada vez mais difícil oferecer um

produto ou um serviço único.

Apesar da sua elevada fiabilidade, este método não nos oferece garantias

absolutas, apenas nos indica o que é extremamente provável que venha a acontecer no

futuro, sendo esta uma grande desvantagem do data mining. Além disso, para aplicar a

ferramenta de data mining precisamos de possuir um banco de dados de tamanho

considerável, o que muitas vezes é difícil, uma vez que as empresas dificultam a partilha

destas informações. [8]

Ver anexos : imagem explicativa do data mining como um passo na descoberta

do conhecimento.

Page 19: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

18 Universidade do Porto- Faculdade de Engenharia

Exemplos da utilização do data mining

O data mining surge então como resposta a uma necessidade crescente das

empresas de sofisticarem e personalizarem o serviço que oferecem aos seus

consumidores. Um exemplo bastante prático é o das compras realizadas online. Ao fazer

um clique num determinado produto de certa categoria e ao adicionar produtos à nossa

“lista de desejos”, é nos recomendada a visualização de produtos relacionados. Através

de cookies, estes websites guardam um perfil de utilizador, tentando fazer com que

compremos sempre mais, mostrando-nos outros produtos em que podemos ter interesse.

Isto é possível graças ao cruzamento de informação do nosso perfil com o de

utilizadores parecidos connosco.

Uma das empresas pioneiras nesta técnica é a Amazon, mas também a Netflix,

que com base num histórico de visualizações e comparando o nosso perfil com o de

outros utilizadores de interesses idênticos, é capaz de sugerir produtos novos que

possivelmente sejam do nosso interesse.

Também a Google e o Facebook usam este tipo de análise para nos

proporcionarem publicidade personalizada de acordo com os nossos gostos, sendo este

método vantajoso para o consumidor, pois este recebe publicidade que tem maior

Page 20: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

19 Universidade do Porto- Faculdade de Engenharia

probabilidade de ser do seu interesse. O método é também vantajoso para o prestador

de serviços, pois tem maior probabilidade de vender a um certo público alvo. O

Facebook também nos sugere páginas relacionadas com aquelas em que colocamos

“gosto”, cruzando a informação dos nossos gostos com a de utilizadores com um perfil

semelhante ao nosso.

O Walmart também é famoso pela utilização da ferramenta de data mining,

utilizando a informação que possui no seu banco de dados sobre os seus clientes, para

identificar padrões de compra. Alguns dos objetivos da utilização desta ferramenta são a

gestão de inventário local e a identificação de novas oportunidades de marketing,

posicionando produtos específicos em certos locais da loja, ou colocando produtos que

os clientes comprem ao mesmo tempo em promoção alternadamente caso estes sejam

adquiridos em simultâneo, como é o caso do champô e do condicionador. [3]

Um excelente exemplo de uma empresa portuguesa que também usa esta técnica

e contribuiu para a realização deste trabalho é a SONAE. A SONAE é uma empresa de

retalho, com parcerias nas áreas de centros comerciais e de software e sistemas de

informação, media e telecomunicações. É a maior empregadora privada em Portugal. É

com dados fornecidas por esta empresa que prosseguimos o nosso relatório.

Page 21: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

20 Universidade do Porto- Faculdade de Engenharia

Figura 2 - Descrição do data mining

Ainda que se tenha tornado óbvio o valor inerente a dados para o apoio ao

processo de decisão, os dados no seu formato mais crú impossibilitam a identificação de

padrões, generalização destes em modelos e geração de insights (uma espécie de

introspecção para a empresa ter acesso a um diferente ponto de vista).

Business Intelligence resume-se ao processo de transformação de dados base em

informação relevante para o processo de decisão. A literatura sobre este tema categoriza

BI em 4 níveis de progressivo aumento de maturidade/complexidade da informação

disponibilizada ao decisor:

Page 22: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

21 Universidade do Porto- Faculdade de Engenharia

1. Descriptiva (p. ex.: Relatório com somatório de vendas por dia, loja, categoria)

Consiste em levantamento e processamento factual de dados. Pode implicar

desafios complexos de processamento (em particular para elevados volumes de

informação), mas toda a componente de interpretação da informação que

permita tomar uma decisão é deixada a cargo do consumidor de informação.

2. Diagnóstica (p. ex.: Análise de uplift (aumento) de vendas provocado por

atividade promocional)

Semelhante ao processo descritivo na medida em produz relatórios que

implicam interpretação no consumo da informação.

No entanto análises diagnósticas não se limitam a reportar factos agregados,

incluindo também análises de causalidade nas métricas apresentadas. O processo

diagnóstico já implica a construção de modelos de interpretação dos dados e

inevitável erro associado. No exemplo dado, não é possível aferir com total

assertividade as implicações de um evento promocional.

3. Predictiva (p. ex.: Forecast (previsão) de vendas em função de variações de

preço interno e preço da concorrência).

Consiste da projecção de modelos diagnósticos a universos não incluídos nos

dados históricos (como o futuro, no exemplo dado).

Page 23: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

22 Universidade do Porto- Faculdade de Engenharia

A construção de modelos preditivos permite a implementação de “what-if”

analysis, e comparação das diferentes alternativas disponíveis ao decisor.

4. Prescritiva (p. ex.: Gestão automática de preço de forma a maximizar vendas ou

margem futuras)

O último estágio de complexidade de BI consiste em eliminar por completo o

processo de decisão (e o consumidor de informação), automatizando a gestão de

negócio com base em feeds de dados.

Processos de prescrição de ações com base em dados são relativamente raras e

dependem de uma forte confiança no modelo de predição que lhe é inerente.

Inevitavelmente a supervisão do processo mantém-se, de forma a garantir que o

modelo se mantém válido ou é corrigido à medida que as restrições e heurísticas

subjacentes variam.

Tipicamente os processos de data mining são associados aos processo de BI de

maior complexidade. Ainda assim, mesmo análises puramente descritivas podem

implicar algoritmos de data mining, tipicamente para “feature extraction”.

Imagine-se que uma empresa analisa periodicamente um “report” de gestão de

marca que inclua o twitter buzz relacionado com uma determinada insígnia interna.

Imagine-se também que é pretendido agregar o tweets em “Buzz positivo” e “Buzz

Page 24: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

23 Universidade do Porto- Faculdade de Engenharia

negativo”, de forma a actuar perante má publicidade que surja por este canal. O

algoritmo de “Sentiment Analysis” a aplicar neste caso é um exemplo de data mining

(mais concretamente text mining) aplicado a um contexto descritivo.

Figura 3 - Variação de visitas entre entrada nova/principal no shopping de Matosinhos

Aqui temos uma representação gráfica dos resultados da abertura de uma nova

porta ( a porta da charcutaria) no Continente de Matosinhos. Trata se de uma análise

pontual de cariz diagnóstico.

Page 25: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

24 Universidade do Porto- Faculdade de Engenharia

Os quadrados mostram as categorias de produtos em cima do layout da loja. As

cores são vermelho para variações positivas e azul para variações negativas. Variações

estas da compra média por cliente que entra na porta 2 (a nova), face aos clientes que

entram na porta 1.

Concluímos assim que, com a abertura da nova porta, as vendas na maioria das

categorias subiram. Contudo, algumas categorias de produtos saíram prejudicadas,

nomeadamente a secção dos produtos têxteis. Estes produtos estão maioritariamente

situados junto à entrada 1, o que nos leva a colocar a hipótese de que a abertura de uma

nova porta pode ter prejudicado de facto a venda dos têxteis. Uma possível conclusão da

análise destes dados é que, apesar de os clientes muitas vezes não entrarem na loja por

causa dos produtos têxteis, casos estes sejam colocados num local mais visível, as suas

vendas aumentam.

Page 26: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

25 Universidade do Porto- Faculdade de Engenharia

Figura 4 - Percentagem de vendas em função da percentagem das visitas

Este exemplo trata-se de um caso de BI descritivo que deixa o consumidor dos

dados encarregue de os interpretar e tirar conclusões.

A partir da análise do gráfico é óbvio que existem produtos mais atrativos, que

tem muitos visitantes e uma grande taxa de compra (como é o caso dos laticínios), e

produtos com um volume de visitantes relativamente baixo e, mesmo quando visitados,

não obtêm grande conversão em vendas ( nomeadamente os artigos de lazer, os têxteis

para criança,etc.).

Page 27: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

26 Universidade do Porto- Faculdade de Engenharia

Existem ainda secções com muitos visitantes mas nas quais é muito rara a venda

de algum artigo, como podemos verificar no caso da secção de cultura. Estas categorias

são especialmente importantes pois, apesar de não terem como consequência direta o

aumento dos lucros pelo seu volume das suas vendas, são responsáveis pela captação de

possíveis clientes, ou seja, muitas pessoas entram na loja para consultar uma revista, por

exemplo, mas acabam por comprar outro produto de outra categoria que não a de

cultura.

Assim, os responsáveis pela análise destes dados podem tomar variadíssimas

decisões para aumentar as vendas alterando, por exemplo, a disposição dos produtos nos

supermercados, removendo determinadas categorias para dar lugar a novas,etc.

Page 28: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

27 Universidade do Porto- Faculdade de Engenharia

Figura 5 - Imagens de cupões

O sistema de atribuição de cupões de desconto do Continente recorre a um BI

prescritivo. O seu modelo prevê a taxa de rebate de um determinado cupão X que seja

oferecido ao cliente Y.

Olhando para 12 meses de histórico e vendo o que o cliente compra ficamos

com uma noção clara de produtos para o qual já está predisposto. Cupões sobre esses

artigos funcionarão sempre bem.

O grande interesse do uso desta técnica reside na angariação de novos produtos

para o cliente. Resume-se à comparação de clientes com perfis semelhantes e

identificação de lacunas (produtos que não são comprados) do cliente em questão face à

norma.

Page 29: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

28 Universidade do Porto- Faculdade de Engenharia

Por exemplo: se eu compro cerveja e tremoços, e toda a gente que compra

cerveja e tremoços também compra amendoins (ainda que eu não compre), então um

cupão de desconto de amendoins para mim é uma boa aposta.

A aplicação do BI prescritivo pode ser tão rebuscada quanto queiramos. Se

clientes do sexo feminino que deixam de comprar álcool e passam a comprar cremes

anti-estrias passados cerca de 9 meses compram carrinhos de bebé, posso enviar-lhe um

cupão para carrinhos de bebé perto da data do parto, com probabilidade de sucesso bem

melhor do que se enviasse o cupão para toda a gente. [7]

Inicialmente os cupões eram genéricos (marketing one-to-many), iguais para

todos os clientes. No início do programa de fidelização Continente (2007), a alocação

de cupões a clientes era manual. Montou-se um modelo inicialmente preditivo do

sucesso de um determinado cupão. Depois de dado como funcional, o próprio modelo

passou a ser a base de atribuição de cupões a clientes.

Page 30: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

29 Universidade do Porto- Faculdade de Engenharia

Conclusão

Após a realização deste relatório, e cumpridos todos os objetivos estabelecidos

inicialmente, afigura-se legítimo afirmar que o tema abordado, o data mining, assume

um papel preponderante na sociedade atual.

Ao longo deste relatório, foi exposta a necessidade de, em meio empresarial,

prever o comportamento tanto dos mercados, como dos consumidores.

A exploração aprofundada do exemplo da Sonae, empresa portuguesa onde o

data mining é de aplicação recorrente, permitiu fazer uma contextualização a nível

nacional sobre as enormes vantagens proporcionadas pela utilização deste processo.

Em suma, foi possível verificar que a ferramenta analisada fornece às empresas

um maior conhecimento sobre os consumidores e sobre as sua decisões passadas através

do estudo dos seus padrões, informações que mais tarde poderão ser utilizadas de modo

a poder prever o comportamento dos mercados e descobrir tendências com elevada

fiabilidade.

Page 31: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

30 Universidade do Porto- Faculdade de Engenharia

Bibliografia

1. http://www.anderson.ucla.edu/faculty/jason.frand/teacher/technologies/palace/da

tamining.htm

2. http://searchdatamanagement.techtarget.com/definition/business-intelligence

3. https://www.youtube.com/watch?v=Zr02fMBfuRA

4. https://books.google.pt/books?hl=pt-

PT&lr=&id=pQws07tdpjoC&oi=fnd&pg=PP1&dq=data+mining+concepts+and

+techniques&ots=tyKv-SrD2-

&sig=HurUoVdPmU3GxWHgl66XwIn0FZ0&redir_esc=y#v=onepage&q=data

%20mining%20concepts%20and%20tehniques&f=false

5. https://books.google.pt/books?hl=pt-

PT&lr=&id=QTnOcZJzlUoC&oi=fnd&pg=PR17&dq=data+mining+practical+

machine+learning+tools+and+techniques&ots=3hnBctXiTb&sig=ZBIMS0flqdt

QfC5PhqQEGdQj6V0&redir_esc=y#v=onepage&q=data%20mining%20practic

al%20machine%20learning%20tools%20and%20techniques&f=false

Page 32: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

31 Universidade do Porto- Faculdade de Engenharia

6. http://www.kdnuggets.com/2013/10/7-steps-learning-data-mining-data-

science.html

7. http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-

teen-girl-was-pregnant-before- her-father-did/#40dfa27d34c6

8. http://www.thearling.com/text/dmwhite/dmwhite.htm

Page 33: 2016/2017 - FEUPprojfeup/submit_16_17/uploads/relat_1MIE… · Ao longo desta tarefa o nosso grupo deparou-se com vários obstáculos e desafios, pelo que não podemos deixar de agradecer

2016/2017 DATA MINING: PREDICTING CONSUMER BEHAVIOUR

32 Universidade do Porto- Faculdade de Engenharia

Anexos