Get these flashcards, study & pass exams. For free! Even on iPhone/Android!

Externe Validität -> Generalisierbarkeit der U'ergebnisse

Mangelnde instrumentelle Validität	Untersuchungsinstrument erfasst nicht das was es messen soll;(auch epochaler & sozialer Kontext)
Stichprobenfehler	U'Ergebnisse dürfen nicht auf Grundgesamtheiten verallgemeinert werden,für die die Stichprobe nicht repräsentativ ist.
Experimentelle Reaktivität	Laboruntersuchungen gelten nur für diese Bedingungen!
Pretest-Effekte	Veränderung der Sensitivität, Problembewusstsein durch Vortest
Hawthorne-Effekt	Bewußtsein, Tln einer Untersuchung zu sein wirkt verhaltensändernd

                           
           

Die interne Validität -> Eindeutigkeit der Untersuchungsergebnisse
Externe zeitliche Einflüsse
Reifungsprozesse

Testübung	Untersuchungsinstrument beeinflusst das zu Messende
Mangelnde instrumentelle Reliabilität	Untersuchungsinstrument erfasst das zu Messende nur ungenau und fehlerhaft
Statistische Regressionseffekte	statistisch bedingte Veränderungen bei nicht zufällig ausgewählten Stichproben
Selektionseffekte	Gefahr bei quasi-experimentellen Untersuchungen; fehlende Randomisierung, Bsp.Flötenunterricht
Experimentelle Mortalität	unterschiedliche Bereitschaft Untersuchung aufgrund des Treatments komplett durchzuführen

(1)  VL variiert systematisch nur eine Variable (unabhängige Variable)
Veränderungseffekt in Bezug auf abhängige Variable in  einer /mehreren Experimentalgruppen  im Vergleich zur Kontrollgruppe


(2)  Parallel Ausschaltung der Wirkung weiterer Variablen- 
       Ausschaltung von Störvariablen

Untersuchung der Auswirkungen der unabhängigen Variable auf die abhängige Variable

Klärung von Ursache-Wirkungs-Zusammenhängen

Ceteris paribus
Annahme: alle Randbedingungen sind gleich


Kontrafaktische Aussage
"wenn U Ursache von V ist impliziert das:
  WENN U nicht eingetreten wäre,
  DANN wäre auch die Wirkung V nicht eingetreten."

" wenn sich Variable X um ∆ X ändert, dann verändert sich auch die von X abhängige Variable Y um einen bestimmten Betrag ∆Y"

Bsp: Physik -> Thermodynamik

-> erlaubt die exakte Prognose bei Veränderungen


Bsp. Fechners Gesetz
         Psychophysik
        Behaltensrate (Gedächtnisforschung)

> Wahrscheinlichkeitsaussagen
als Teil wissenschaftlicher  Theorien über Zustände von oder Zusammenhänge zwischen Objekten

> Analyseebenen
   Differenzierung  (a) aussagen über einzelne Objekte
                                (b) Aussagen über ein Kollektiv

> Genauigkeit des Messens
   für jede quantitative Analyse von Zusammenhängen zwischen
   Variablen (bes. für Prognosezwecke)
   Bsp:           (a) Aussagen über einzelne Personen
                              wahrscheinlich
                      (b) quantitative Aussagen
                           neigen ; tendieren; überwiegend

Ein Ereignis U ist Ursache für das Ereignis V als Teil einer Gesamtsituation S unter den Randbedingungen R, wenn folgendes gilt:

U ist notwendig aber nicht hinreichend für das Eintreten von V

U+R gemeinsam sind hinreichend aber nicht notwendig für V

R allein ist nicht hinreichend für das Eintreten von V

U tritt zeitlich vor V ein
Bsp: Brand durch Kurzschluss

Nachweis der Kausalität:
          wenn U+R gemeinsam realisiert werden trifft V ein
UND wenn nur R vorliegt, V nicht-> kein Eintreten von V

Ursache U	qualitative AVariable Y	quantitative AVariable Y
qualitative
UVariable X	EreignisX-> Ereignis Y	EreignisX -> ∆Y
quantitative
UVariable X	∆X-> Ereignis Y	∆ X -> ∆Y

Wie viel Änderung in der Variablen X führt zum Ereignis Y?

qualitative V: Kategorisierung/ Gleichheit/Ungleichheit von Merkmalsausprägungen

quantitative V: Maßeinheit gibt
Gleichheit von Differenzen  (Intervallskala)              IQ
Gleichheit von Verhältnissen  (Verhältnisskala) an        cm

wenn:
Variable x um Betrag ∆X geändert wird, dann ändert sich die Variable Y um den Betrag ∆Y   = f (∆X)

Funktion f (∆X) beschreibt den quantitativen Zusammenhang zwischen den Variablen X und Y

erlaubt Abschätzung:
wie stark muss X beeinflusst werden um bestimmte Änderung ∆Y in der kausal abhängigen Variable herbeizuführen?

Prinzipien
ceteris paribus Klausel ( Konstanz der Randbedingungen)

zeitliche Reihenfolge von Ursache und Wirkung


Grundbegriffe/Fundamentale Frage

Gibt es Störfaktoren (1 o. mehrer Drittvariablen) die mit X eng zusammenhängen und an Stelle von X / gemeinsam mit  X für den Zusammenhang XY verantwortlich sind?

Empirischer Nachweis der Kausalbeziehung  (U->V)
durch Nachweis zweier konträrer Phänomene

          wenn U+R gemeinsam realisiert werden trifft V ein
      beschreibt welche Gesamtsituation S in der EG /KG hergestellt werden muss
   
UND wenn nur R vorliegt, V nicht-> kein Eintreten von V
          beschreibt Gesamtsituation in der Kontrollgruppe

Notwendigkeit gleicher Rahmenbedingungen von EG und KG

Auschließliche Unterscheidung durch Element U!!

Vermischung von Drittvariablen
mit der systematisch variierten unabhängigen Variable


Bsp: experimenteller Dropout
Probandenschwund kann mit wichtigen Bedingungsfaktoren gekoppelt / konfundiert sein!                Interpretationsproblem!

Gruppierungsverfahren
konstitutiver Bestandteil eines Experimentes
zufällige Zuordnung der VP zu EG o. KG bei hinreichend großen Gruppen                                                                         Ni> 100


bei kleineren Gruppen                                                  Ni<25
keine Randomisierung mgl.!
erfolgt Parallelisierung aller Untersuchungsgruppen
Kontrolle der Personenmerkmale durch Quasi-Experiment:

Erfassung der Personenmerkmale & statistische Kontrolle
Parallelisierung aller Untersuchungsgruppen in Hinblick auf mehrere Merkmale der Vpn

Herstellung möglichst hoher Vergleichbarkeit EG -  KG

Vortest:   Erhebung der Variablen, nach denen paralellisiert
                 werden soll

Basis    für Gruppenbildung   * Paare von Personen(matched pairs)
                                                   * Blöcke von Probanden
zufällige Zuordnung zur EG oder KG


Vorteil    :     Ausschaltung der im Vortest erhobenen Variablen
                      Erhöhung der internen Validität in quasi- 
                      experimentellen Untersuchungen
Nachteil:      bei xx-Kontrollvariablen   unhandlich!

Rahmenbedingungen bzw. Untersuchungssettings
müssen in EG  & KG identisch sein

VP der EG & KG müssen aus derselben Grundgesamtheit stammen und exakt vergleichbar sein

EG & KG unterscheiden sich
nur durch das Treatment das in der EG realisiert wird

Anordnung

R  O1       X      O2        EG
R  O3                  O4      KG
R               X       O 5     EG
R                         O6     KG

ermöglicht weitgehende Kontrolle der wichtigsten Störfaktoren
Vortest Effekte können so ausgeschlossen werden

Placebo- Effekt beide Gruppen erhalten ein Treatment

Hawthorne-Effekt    
Bewußtsein einer Vpn an einer Untersuchung teilzunehmen hat Auswirkungen auf  ihr Verhalten (Anstrengungsbereitschaft;Selbstdarstellung)

Alternative:
Verhalten VL standardisieren
bes. wenn große Differenzen in EG und KG erwartet werden

Doppelblindversuch  
                      VL1/ VL2     EG /KG          Anordnung unbekannt

Liegen zwei potentielle Einflußfaktoren auf die abhängige Variable vor, A & B,     ->                     Analyse der Stufen A1 /A2; B1/ B2

werden beim vollständigen zweifaktoriellen Design
jede Stufe der beiden Faktoren mit den beiden Stufen des anderen Faktors kombiniert - > 4 Treatments

X1       A1 + B1	X3        A2 + B1
X2       A1 + B2	X4       A2 +  B2

Bei 2-faktoriellen Treatments kann jeder der beiden Faktoren einen (signifikanten) Effekt auf die abhängige Variable zeigen
-> Haupteffekte

Der Gesamtmittelwert entspricht nicht
                                     dem Mittelwert aller Untersuchungsgruppen
"überzufällige Abweichungen von der Additivität"




Bedeutung:einer der beiden Faktoren hat bei einer Faktorenstufe des anderen Faktors einen über- oder unterdurchschnittlichen starken Effekt.

Cave:
Merkmale der Vpn pro Gruppe dokumentieren
Dokumentation der situativen Bedingungen
hilfreich zur Interpretation von Differenzen bei Re-Test/ ähnlichen Untersuchungen

zählt zu den quasi-experimentellen Designs

Effekt wird nicht primär über Gruppenvergleich sondern durch Vergleiche der Durchschnittswerte der AV über mehrere Meßzeitpunkte der Person i  vor & nach dem Treatment erhoben


O1 O2 O3 X O4 O5 O6 O7     Versuchsgruppe

O1 O2 O3    O4 O5 O6 O7       Kontrollgruppe



kann auch als Längsschnittdesign bzw. Panelstudie klassifiziert werden

Gruppe statistischer Verfahren zur Auswertung von vielfach wiederholten Messungen (n> 9)

Focus liegt auf intraindividuellen Unterschieden,
Schwankungen der Messwerte bei einer Person




Klärung: zeitversetzte  Korrelation zweier Variablen y1 y2
               Besteht signifikanter Zusammenhang zwischen
               den Daten aus zwei Zeitreihenmessungen?

Die interne Validität -> Eindeutigkeit der Untersuchungsergebnisse
Externe zeitliche Einflüsse
Reifungsprozesse

Testübung	Untersuchungsinstrument beeinflusst das zu Messende
Mangelnde instrumentelle Reliabilität	Untersuchungsinstrument erfasst das zu Messende nur ungenau und fehlerhaft
Statistische Regressionseffekte	statistisch bedingte Veränderungen bei nicht zufällig ausgewählten Stichproben
Selektionseffekte	Gefahr bei quasi-experimentellen Untersuchungen; fehlende Randomisierung, Bsp.Flötenunterricht
Experimentelle Mortalität	unterschiedliche Bereitschaft Untersuchung aufgrund des Treatments komplett durchzuführen

(2002) Standards der dt. Gesellschaft für Evaluation:
incl. Qualitätssicherung Markt-und Meinungsforschung, ISO 20252

Nützlichkeit
Rechtzeitigkeit/ Glaubwürdigkeit/Auswahl& Umfang der Informationen/Transparenz von Werten

Durchführbarkeit
Angemessene Verfahren/ Diplomatisches Vorgehen/Effizienz von EVA

Fairness
Schutz individ. Rechte/unparteiische Durchführung/Offenlegung der Ergebnisse

Genauigkeit
Angabe d. Informationsquellen/systematische Fehlerprüfung/Analyse quantitativer & qualitativer Infos/ Begründete Schlussfolgerung

Auswahl- Dilemma
Welche Programme angesichts limitierter Mittel?Aspekte: Kosten, Nachhaltigkeit, Breitenwirkung, Anzahl der betroffenen, beteiligten Personen, unerwünschte Effekte?

Dilemma der Wissenschaftlichkeit
wissenschaftl. Vorgehen Bedingung für objektive Bewertung, Systematische Planung & Dokumentation, mgl. Randomisierung; Schulung

Dilemma der Allgemeinheit und Konkretheit
methodologisches Dilemma, Konzeption & Evaluation einer Interventionsmaßnahme, Konkretisierung/ Operationalisierung von Handlungsanweisungen ->Verallgemeinerbarkeit, Notwendigkeit der Dokumentation des Vorgehens

Kontroll - Dilemma
Störfaktoren? Aufwand-Nutzen; Einzelfallentscheidung

Evaluation

ist jede systematische Beurteilung eines Objektes oder Vorgangs, besonders jede Qualitätsbeurteilung im technischen , sozialen, wirtschaftlichen Bereich.

Momentaufnahmen

beruflicher Handlungsbereich für Psychologen

Verantwortung für Konzeption & Evaluation von Interventionsmaßnahmen

kausale Schlußfolgerungen sind "schönes Ziel"
erlauben die Rahmenbedingungen nicht; quasi-experimentelle & ex-post-facto-Untersuchungen haben nur begrenzte interne Validität.

Unterschiede im Auge behalten
(a) zwischen den Gruppen (VG/KG)-> Generalisierbarkeit
(b) interindividuelle Unterschiede innerhalb der Gruppen
-> beeinträchtigen Signifikanz der Effekte des Treatments
-> bei wdh. Messungen Eleminierung aus d. Fehlervarianz

verfügbare Daten werden erst nachträglich für eine bestimmte Fragestellung ausgewertet!
unklare Datenausgangslage, fehlende Dokumentation,  führen zu deutlichen Interpretationsproblemen

zeigt die praktische Relevanz interner Validität!
(R) im Falle der Selbstzuordnung nicht anwendbar

Problematik bei fehlender Standardisierung der Treatments
(A)     (a) Beschreibung/Vergleichbarkeit individueller Aktivitäten/    
                 Treatments
          (b)  Interpretation der Treatmenteffekte/
                Worauf zurückzuführen?
(B)  Je komplexer ein Treatment ist (Komponenten!), desto weniger
       kann festgestellt werden auf welche der einzelnen
       Komponenten die Effekte zurückzuführen sind !

1.Auswahlverfahren der U'          Auswahl d. VP (externe Validität)
                                                      Aufteilung in KG/VG (interne Validität)
2.experimenteller Dropout           Ausfall d. VP (externe & interne Validität)
3.Testeffekte                                   Einflüsse des Vortests
4.Veränderung der verwendeten Hilfsmittel
Veränderung der Handhabung von Kategoriesystemen, Methodenunterschiede (Fragebogen- Interview)
5.reaktive Effekte in der Untersuchung
Bewußtsein als TLN, Hawthorne -Effekt, Placebo.Effekt
6.zwischenzeitliches Geschehen äußere Einflüsse, Politik, Institution

7."natürliche" Änderungsprozesse biologische & physiologische

8.Statistische Regresion
statistisch zu erwartende Veränderung (Extremgruppen) d. individuellen Meßwertes

Evaluationsforschung
untersucht Zusammenhänge zwischen bestimmten Maßnahmen und Effekten!
setzt voraus, dass Maßnahmen durchgeführt worden sind, die zur Veränderung von Organisationsstrukturen oder Abläufen, etc führten.



Welche Effekte hat die Maßnahme für Betrieb, Personen?

Durch welches Design kann im Einzelfall eine valide Prüfung kausaler Effekte der Interventionsmaßnahme erfolgen?

Ziel:
Ausschluss unterschiedlicher Kausalmodelle in
korrelativen Längsschnittstudien

Erhebung  von mind. 2 Variablen zu 2 verschiedenen Messzeitpunkten

Berechnung:
A  zwei synchroner Korrelationen
B   zwei Autokorrelationen
C  zwei zeitverzögerte Kreuzkorrelationen

X	B	X
A	C                      C	A
Y	B	Y
t1		t2

Berechnung:
A  zwei synchroner Korrelationen
B   zwei Autokorrelationen
C  zwei zeitverzögerte Kreuzkorrelationen

X	- B -	X
A	C	C	A
Y	- B -	Y

Berechnung:
A  zwei synchroner Korrelationen
B   zwei Autokorrelationen
C  zwei zeitverzögerte Kreuzkorrelationen

X	- B -	X
A	C	C	A
Y	- B -	Y

Ein Strukturgleichungsmodell ist ein Pfadmodell,
das ein Messmodell enthält.


Pfadmodell: weiter gefasst als Pfadanalyse, (basiert ausschliesslich auf manifesten,d.h. beobachtbaren Variablen;enthält kein Modell zur Messung von latenten Variablen); schliesst grafische Darstellungen von Strukturgleichungsmodellen (v.a. Faktorenanalysen) mit ein.

Messmodell: spezifiziert die Beziehungen zwischen beobachteten Variablen und hypothetischen Konstrukten.

Vorteil: Fehler bei der Messung beobachteter Variablen können explizit berücksichtigt werden & Zusammenhänge zwischen den latenten Variablen können deshalb genauer geschätzt werden

Messmodell: spezifiziert die Beziehungen zwischen beobachteten Variablen und hypothetischen Konstrukten.

Vorteil: Fehler bei der Messung beobachteter Variablen können explizit berücksichtigt werden & Zusammenhänge zwischen den latenten Variablen können deshalb genauer geschätzt werden

Ein Strukturgleichungsmodell ist ein Pfadmodell, das ein Messmodell enthält.

Das Messmodell spezifiziert die Beziehungen zwischen beobachteten Variablen & hypothetischen Konstrukten.

Das Strukturmodell beschreibt Zusammenhänge zwischen den theoretischen Konstrukten

eine Pfadanalyse ist eine Erweiterung
der multiplen Korrelations- und Regressionsrechnung

über:
Berücksichtigung der Zusammenhänge zwischen mehreren unabhängigen und abhängigen Variablen gleichzeitig

besonders bei:
* Postulaten/ Hypothesen in denen Zusammenhänge zwischen
   mehr als 2 o.3 Variablen vermutet werden.
* Annahmen über Kausalbeziehungen zwischen den Variablen
  im theoretischen Modell; wenn theoretische Annahme
  vermutet, dass unabhängige Variable "kausal" mediierende
  Variable z beeinflusst
Mediatorkonzept: drei Regressionsgleichungen notwendig
                                 um Mediatorenrolle von z zu prüfen

Bivariater positiver Zusammenhang (Positive Korrelation)

hohe Ausprägungen auf dem einen Merkmal gehen mit hohen Ausprägungen auf dem anderen Merkmal einher.
(je mehr - desto mehr)


Bivariater negativer Zusammenhang (negative Korrelation)

Hohe Ausprägungen auf dem einen Merkmal gehen mit niedrigen Ausprägungen auf dem anderen Merkmal einher.
(Je mehr - desto weniger)

Die Personen der Versuchs-und Kontrollgruppe müssen aus derselben Grundgesamtheit stammen

Die Rahmenbedingungen müssen in der Versuchs-und Kontrollgruppe identisch sein


Versuchs und Kontrollgruppe unterscheiden sich nur durch das Treatment, das in der VG realisiert wird.

In einer Faktorenanalyse werden viele miteinander korrelierende Variablen auf wenige, in der Regel von einander unabhängige Faktoren reduziert

Ladungen geben an wie gut eine Variable zu einem Faktor passt

Markiervariablen werden zur inhaltlichen Interpretation eines Faktors herangezogen,

Ziel: Untersuchung der Effekte mehrerer verschiedener 
         Maßnahmen/Teatments Tj
(A)   Zahl der U'Gruppen = Zahl der Maßnahmen Xj
(B)   Durchführung aller Xj an allen Probanden

--> bei Gefahr eines CARRY-OVER-EFFEKTES kann dieses Design nicht gewählt werden gegenseitige inhaltliche Beeinflussung der Treatments

Kriterien zur Auswahl von Reihenfolgen aus  m verschiedenen Treatments
> jedes Treatment
      muss einmal jede von m möglichen Positionen einnehmen
>jedes Treatment muss einmal
                                       jedem anderen Treatment vorangehen
> jedes Treatment muss einmal
                                              jedem anderen Treatment nachfolgen

Versuchsanordnung im Cross-Over-Design

>  Jeder Anordnung/Reihenfolge der Treatments werden
     per Zufall gleichviele Vpn zugeteilt (Randomisierung)

>  echtes Experiment,- kausal interpretierbar-
       wenn Störfaktoren kontrollierbar sind

>  Zwischen den aufeinander folgenden Treatments muss
     jeweils eine Messung der abhängigen Variable erfolgen

> Haupteffekte jedes Treatments

> Haupteffekte jeder Person
   definiert als deren durchschnittliche Abweichung vom   
   Gesamtmittelwert

> Effekte der Reihenfolge bzw. Platzierung der Treatments
    Positionseffekt:  Reihenfolgeeffekt

LQ ist varianzanalytischer Untersuchungsplan, in dem 3 Faktoren mit gleicher Stufenzahl in ihrem Einfluss auf AV untersucht werden.  Da  die Faktoren nicht vollständig miteinander kombiniert werden , können nur die Haupteffekte
nicht die Interaktionseffekte getetstet werden

Zeitreihenanordnungen sind genauer
als einfaktorielle Designs ohne Messwertwiederholungen

Begründung:
Messwertwiederholungen ermöglichen Schätzung
der Person-Parameter,
dadurch wird die Varianz der Person nicht zur Fehlervarianz gerechnet (subsummiert)
sondern kann als interindividuelle Varianz bestimmt werden





bei Zeitreihenanalyse (n>9) sind die
INTRAindividuellen Schwankungen der Mittelwerte im Focus

Korrelationsforschung untersucht Zusammenhänge zwischen bereits existierenden Variablen

Vorteil:
Zusammenhänge zwischen vielen Variablen können untersucht werden
Persönlichkeitsmerkmale können nicht hergestellt werden..

CAVE:
korrelative Zusammenhänge
dürfen nicht kausal interpretiert werden!!
Korrelative Zusammenhänge sind stochastisch- nicht deterministisch!

vermutete Assoziationen zwischen zwei Merkmalen

- ungerichtete Zusammenhangshypothesen

- gerichtete (positiv/negativ) Zusammenhangshypothesen

- lineare Zusammenhänge                                          je -> desto

- nicht lineare Zusammenhänge   
  Yerkes-Dodson-Gesetz: umgekehrt U.förmiger Zusammenhang

Korrelationskoeffizient gibt Richtung (positiv/negativ)
und Enge (Intensität) des Zusammenhangs an

Bei 2 Intervallskalierten Variablen : Produkt-Moment-Korrelation


Bei 2 ordinalskalierten Variablen:    Rangkorrelation


Korrelationskoeffizient von +1/-1 wäre der perfekte, lineare Zusammenhang

+/-   .50   starker Zusammenhang
+/-   .30   mittlerer Zusammenhang
+/-   .10   schwacher  Zusammenhang

Differentielle Stabilität des Merkmals
"Verharren" von Personen auf denselben relativen Positionen innerhalb einer Gruppe über die Zeit (Ausprägungsprofil)

idiographische Variante:
Korrelation (Q-Korrelation) über mehrere Merkmale innerhalb einer Person.(Messung t1 / t2)
Stabilität bzw. Veränderung der relativen Positionen von Merkmalen innerhalb eines individuellen Variablen Profils

-> ipsativ - differentielle Stabilität

(1) Mehrere Prädiktoren  & 1 Kriteriumsvariable




(2) Moderator-Hypothesen                         Mediator-Hypothesen





(3) Faktorielle Zusammenhänge