Romy Rautenstrauch, Marian Gunkel

Seminar Statistische Forschungsmethoden 16. April 2003

Multiple Regressionsanalyse

Prof. B. Krause

Inhalt

I. Einleitung – was ist das?

II. Problemstellung – wozu braucht man

das?

III. Voraussetzungen – was braucht man?

IV. Vorgehensweise – wie macht man es?

Einleitung

• Regressionsanalyse:– Analyse von Zusammenhängen zwischen Variablen (X,Y)– Vorhersage der Y-Werte aus X-Werten– Versuch, die Y-Werte auf die X-Werte „zurückzuführen“

• Einfache lineare RA:– Betrachtung einer Zielgröße Y und einer Einflußgröße X

• Multiple lineare RA:– Betrachtung einer Zielgröße Y und mehr als einer

Einflussgröße X– kann daher mehr Varianz aufklären

X1

X2

Y

Problemstellung

• Ziel: Analyse des stochastischen Zusammenhangs zwischen einer Zielgröße Y und mehreren Einflussgrößen Xi bei verbundenen Stichproben.

(Variabilität von Y durch die Variabilitäten der Xi erklären) - stochastisch – gegenseitige Abhängigkeit

•  Anwendungen– Ursachenanalysen: Wie stark ist der Einfluss von X auf Y?– Wirkungsanalysen: Wie verändert sich Y bei Veränderung

von X?– Zeitreihenanalysen: Wie verändert sich Y im Zeitverlauf?

Prognose! – Testkonstruktion: Auswahl der Items für Test

Problemstellung

• Vorteile: – Lineare Ansätze liefern eine hinreichend gute Anpassung

an die Daten (vernünftig interpretierbar) – Lineare Ansätze sind i.d.R. mit geringem Rechenaufwand

verbunden.– für die mehrfache Regressionsanalyse ist keine

Varianzhomogenität gefordert. » die einzelnen Regressoren weisen unterschiedliche

Variabilitäten auf.» die Varianz der Zielgröße wird nicht gleichmäßig durch die

einzelnen Regressoren beeinflusst. » Um das zu vermeiden wird häufig eine Normierung der

Zufallsgrößen durchgeführt, meist durch die Transformation in eine Standardnormalverteilung.

» Entspricht einer Standard-RA (alle Varianzen=1).

Voraussetzungen

• Prämissen des linearen Regressionsmodells sollten erfüllt sein– lineare Beziehung zwischen Regressand und Regressor

(d.h. Veränderung in konstanten Relationen)– metrisches Datenniveau der Ziel- und der Einflussgrößen

» wenn Zielgröße ordinal skaliert: Rangregressionsanalyse» wenn Zielgröße nominal skaliert: pro-bit-Analyse

– Xm, Y und R normalverteilt– E (R) = 0; D² (R) minimal (Modellvollständigkeit)– D² (R) konst. (Homoskedastizität)– Cov (Xi; Ri) = 0

Vorgehensweise

1. Bestimmung des Ursache-Wirkungs-Modells

2. Regressionsfunktion schätzen3. Gilt die Regressionsfunktion auch für

die Grundgesamtheit? / Wie gut ist mein Modell (wieviel Varianz kann ich erklären)?

Vorgehensweise

• RegressionsfunktionY=b0+b1X

– b0: absolutes Glied, das den Y-Wert für X=0 angibt

– b1=ΔY/ΔX: Steigungsmaß b1, das die Neigung der Geraden bestimmt

– Abweichungen durch Meßfehler, Beobachtungsfehler, andere Einflußgrößen...

Vorgehensweise

• Beispiel: Welche Faktoren können unsere Prüfungsnote Y beeinflussen?

• Modell: – konsumierter Wein und Mokka in der Lernzeit

beeinflussen die Note– je mehr Wein und Mokka, desto bessere Note

» X1: Menge der konsumierten Tassen Mokka in der Lernzeit

» X2: Menge der konsumierten Gläser Wein in der Lernzeit Mokka=

X1 Y= Note

Wein=X2

Vorgehensweise

• Formulierung des Ursache-Wirkungs-ModellsTheoretisch:

Empirisch:

Beispiel: Note = b0 + b1 * Mokka + b2 * Wein

β0 ist das konstante Glied (= nix trinken)βm partielle Regressionskoeffizienten (Einflußgewicht)X wird als fehlerfrei und additiv wirkend angenommenY ist fehlerbehaftetR ist Vorhersagefehler, ist der Anteil an Y, der nicht durch die Regressionsgerade erklärt wird

mm

mm

xbxbby

RXXY

...ˆ

...

110

110

X1

X2

Y

b2

b1

Vorgehensweise

• 2. Schätzen der Regressionsfunktion– Ziel: Modell bestmöglich an Daten

anzupassen– Fehler R dabei möglichst minimal– Vorgehen: Methode der kleinsten

quadratischen Abweichungen– Regressionsgerade soll in Punktwolke so

liegen, dass Summe der quadrierten Abweichungen aller Werte von der Geraden so klein wie möglich ist.

Vorgehensweise

• 2. Schätzen der Regressionsfunktion

Formel:

zur Minimierung werden die partiellen Ableitungen nach den einzelnen unbekannten Parametern gebildet

- Einzelne Ableitungen werden gleich 0 gesetzt -> Gleichungssystem entsteht

- Lösung des Gleichungssystems führt zu einzelnen bm

Minyyxbxbbyn

i

iii

)²ˆ()²(1

22110

n

1i

Vorgehensweise

Beispiel: Nicht standardisiert: Note Y = 0,465 + 0,27 * Mokka + 0,617 *

WeinStandardisiert: Note Y = 0,518 * Mokka + 0,781 * Wein

a. Abhängige Variable: Note

Modell

Nicht standardisierte Koeffizienten

Standardisierte Koeffizienten

TSignifikanzB

Standard-fehler Beta

1 (Konstante)MokkaWein

,465,270,617

,191,045,069

,518,781

2,4335,9508,975

,072,004,001

Vorgehensweise

• Prüfung der Regressionsfunktion durch– das Bestimmtheitsmaß

– Prüfung der Regressionskoeffizienten bm

– Prüfung auf Verletzung der Prämissen

Vorgehensweise

• Prüfung der Regressionsfunktion durch das Bestimmtheitsmaß = prozentualer Anteil der Varianz der Y-Werte, der aufgrund der X-Werte erklärbar ist– Sagt aus, wie gut sich die Regressionsfunktion an die empirische Punktverteilung

anpasst (bzw. wieviel Restschwankung übrigbleibt)

Beispiel:

Einflußvariablen: (Konstante), Wein, Mokka

Modell R R-Quadrat

Korrigiertes R-Quadrat

Standardfehler des Schätzers

1 ,985 ,970 ,955 ,297

n

j

i

n

j

i

yy

yy

YDgrD

RB

1

1

)²(

)²ˆ(

)²()²(Re

²

Vorgehensweise

• Prüfung der Regressionsfunktion durch das Bestimmtheitsmaß Signifikanzprüfung:– 1. Nullhypothese H0: B=0

- n= Anzahl der Beobachtungsdaten- m= Anzahl der βm

– 2. Nullhypothese H0: βm1=β2 =...=0

- Werte von TG sind F-verteilt mit df1=m und df2= n-m-1- H0 wird abgelehnt, falls TG>F(1- , df1, df2)- ist das Modell insgesamt unbrauchbar, erübrigen sich die restlichen

Überprüfungen!

mmn

BB

TG1

*1

²

),(1

R

m

j

jj

ms

YXSPb

TG

Vorgehensweise

• Prüfung der Regressionskoeffizienten bm – Prüfung, ob und wie gut einzelne Variablen des

Regressionsmodells zur Erklärung der abhängigen Variablen Y beitragen

– Maße: T-Wert und Konfidenzintervall der Regressionskoeffizienten

– T-Wert:Nullhypothese H0: βm=0

bei Gültigkeit von H0 wird βm=0

– Werte von TG sind t-verteilt mit df= n-m-1- H0 wird abgelehnt, falls TG>t(1- , df)- Aussage: ist der Einfluss der einzelnen Regressoren

Xm signifikant?

bm

mm

sb

TG

Vorgehensweise

• Prüfung der Regressionskoeffizienten bm – Konfidenzintervall:– gibt an, in welchem Bereich der wahre

Regressionskoeffizient mit einer bestimmten festgelegten Vertrauenswahrscheinlichkeit liegt

Beispiel:

Modell

Nicht standardisierte Koeffizienten

Standardisierte Koeffizienten

TSignifikanz

95% Konfidenzintervall für B

Untergrenze ObergrenzeB

Standard-fehler Beta

1 (Konstante)MokkaWein

,465,270,617

,191,045,069

,518,781

2,433

5,950

8,975

,072,004,001

-0,66,426,144

,997,808,396

Prüfung auf Verletzung der PrämissenPrämisse Prämissen-

verletzungKonsequenz Aufdeckung Ausweg

Linearität in den Parametern

Nichtlinearität

Verzerrung der Schätzwerte

über statistische Tests durch Transformation der Variablen

Vollständigkeit des Modells

Unvollständig-keit

Verzerrung der Schätzwerte

Homoskedastizität/ Unabhängigkeit der Störgrößen (Residuen) von den UVs

Hetero-skedastizität

Ineffizienz

Unabhängigkeit der Störgrößen untereinander

Auto-korrelation

Ineffizienz Residuen optisch auf Regelmäßigkeiten hin überprüfen

Regressoren müssen voneinander unabhängig sein

Multi-kollinearität

Ineffizienz 1. durch hohe Korrelationskoeffizienten zwischen den Regressoren (> .85); 2. Alternativrechnungen mit verschiedenen Variablenkombinationen

1. Entfernung einer/ mehrerer Variablen aus der Regressions-gleichung;2. Stichprobe vergrößern

Normalverteilung der Störgrößen

Nicht normalverteilt

Ungültigkeit der Signifikanztests

Zusätzliches

• Nichtlineare RA, Quasilineare RA– Ziel: nicht lineare Zusammenhänge

bestimmen

Beispiel: die Reproduzierbarkeit von Gedächtnisinhalten nimmt im Verlauf der Zeit nicht linear, sondern exponentiell ab

Zusätzliches

Alternative Bezeichnungen der Variable

Y X

Zielgröße Einflussgröße

Regressand Regressor

Abhängige Variable Unabhängige Variable

Kriterium Prädiktor

Endogene Variable Exogene Variable

Erklärte Variable Erklärende Variable

Literatur

• Krause, B. / Metzler, P. (1988). Angewandte Statistik (2. Auflage) Berlin: VEB Deutscher Verlag der Wissenschaften

• Backhaus, K. et al. (1987). Multivariate Analysemethoden. Berlin: Springer

• Schilling, O. (1998). Grundkurs Statistik für Psychologen. München: Fink