Quasi

  • April 2020
  • PDF

This document was uploaded by user and they confirmed that they have the permission to share it. If you are author or own the copyright of this book, please report to us by using this DMCA report form. Report DMCA


Overview

Download & View Quasi as PDF for free.

More details

  • Words: 9,263
  • Pages: 35
Kapitel 18 Experimentelle und quasi-experimentellen Forschung. Experimentelle Forschung versucht, Ursache-Wirkungs-Beziehungen festzustellen. Das bedeutet, dass eine unabhängige Variable wird manipuliert, zu beurteilen, ihre Wirkung im Hinblick auf die abhängige Variable. Jedoch, dass der Prozess der Festlegung von Ursache und Wirkung ist eine schwierige. Drei Kriterien müssen vorhanden sein, um Ursache und Wirkung:

1. Die Ursache vor der Wirkung der Zeit. Zum Beispiel, der Startschuss in ein Rennen vor dem Läufer "Anfang der Rasse, der Läufer" Anfang nicht dazu führen, dass der Startschuss zu gehen. 2. Die Ursache und Wirkung muss mit jeder anderen korreliert. Wie wir bereits erörtert haben, nur weil zwei Variablen korreliert sind, bedeutet nicht, ein zu den anderen, aber Ursache und Wirkung nicht existieren kann, wenn zwei Variablen korreliert sind. 3. Der Zusammenhang zwischen Ursache und Wirkung lassen sich nicht durch eine andere Variable. Daran erinnern, dass die Beziehung zwischen Kindern elementare akademische Leistung und Schuhgröße wurde erklärt, durch eine dritte Variable, Alter. Wir sind der Meinung von Ursache und Wirkung in Bezug auf die notwendigen und hinreichenden Bedingungen (Krathwahl, 1993). Zum Beispiel, wenn die Bedingung ist notwendig und ausreichend, um die Wirkung, dann ist es die Ursache ist. Allerdings gibt es Situationen Alternative (siehe auch die Sidebar auf S. 322): •

Notwendige, aber nicht ausreichend: Es ist wahrscheinlich, dass einige Auflagen produziert den Effekt.



Ausreichend, aber nicht notwendig: Einige alternative Bedingung ist

wahrscheinlich die Ursache. •

Weder notwendig noch ausreichend: Einige, die Bedingung ist wahrscheinlich die Ursache.

Denken Sie auch daran, dass Ursache und Wirkung sind nicht durch Statistiken. Statistische Techniken können nur gegen die Nullhypothese (dass Gruppen sind unterschiedlich) und Identifizierung der Anteil der Varianz in der abhängigen Variablen nach der unabhängigen Variable oder die Wirkung groß. Keines dieser Verfahren wird von Ursache und Wirkung (sie sind notwendig, aber nicht ausreichend). Ursache und Wirkung kann nur durch die Anwendung der logischen Denken zu gut konzipierte Experimente. Diese logischen Prozess fest, dass keine andere plausible Erklärung gibt es für die Veränderungen in der abhängigen Variablen mit Ausnahme der Manipulation der unabhängigen Variablen. Die Anwendung dieser Logik wird durch folgende Fassung: •

Die Auswahl eines guten theoretischen Rahmen



Die Verwendung geeigneter Teilnehmer



Die Anwendung eines geeigneten experimentellen Design



Die richtige Auswahl und Kontrolle der unabhängigen Variable (Behandlung)



Die geeignete Auswahl und Messung der abhängigen Variable



Die Verwendung der korrekten statistischen Modell und Analyse



Die richtige Interpretation der Ergebnisse

In diesem Kapitel diskutieren wir durch experimentelle Designs zu erläutern, wie Sie erkennen können und die Kontrolle der Nichtigkeit Quellen und Gefahren für die interne und externe Gültigkeit. Wir erklären auch, verschiedene Arten von experimentellen Designs. Bevor wir eine weitere in diesem Kapitel, die folgenden Bedingungen (die in den Kapiteln 1 und 3), dass wir den Einsatz in der gesamten Diskussion: •

Unabhängige Variable



Abhängige Variable



Kategoriale Variablen



Regelgröße



Fremdinteressen Variable

Quellen von Invalidität Alle Arten von Mustern und Modellen diskutieren wir haben Stärken und Schwächen, stellen Gefahren für die Gültigkeit der Forschung. Die Bedeutung der Gültigkeit wurde auch von Campbell und Stanley (1963, 5): Grundrechte, .. ist eine Unterscheidung zwischen internen und externen Gültigkeit Gültigkeit. Interne Gültigkeit ist das Minimum, ohne das jedes Experiment ist undeutbar: in der Tat der experimentellen Behandlung einen Unterschied machen, in diesem speziellen experimentellen Instanz? Externe Validität stellt sich die Frage der generalisierbarkeit: In welchem Bevölkerung, Einstellungen oder Behandlung Variablen kann dieser Effekt zu verallgemeinern? Sowohl interne Validität und externe Validität sind wichtig, Experimente. Allerdings sind sie häufig im Widerspruch in der Forschung Planung und Design. Die Gewinnung von interner Gültigkeit beinhaltet die Kontrolle aller Variablen, so dass die Forscher können, alle konkurrierenden Hypothesen als Erklärungen für die beobachteten Ergebnisse. Doch bei der Kontrolle und damit die Einstellung der Forschung zu gewinnen interne Gültigkeit, die Forscher stellt die Verallgemeinerung (externe Validität) der Ergebnisse in Frage gestellt. In Studien mit starken internen Gültigkeit, die Antwort auf die Frage, wh0m, was, oder wenn die Ergebnisse verallgemeinert werden können kann sehr unsicher. Dies liegt daran, dass in ökologisch gültigen Einstellungen (von den Teilnehmern, die von den Forschern), nicht alles wird kontrolliert und betrieben in der gleichen Weise wie in den kontrollierten Laborbedingungen Kontext. Die Forscher müssen sich entscheiden: Ist es wichtig, sicher sein, dass die Manipulation der unabhängigen Variable verursacht die beobachteten Veränderungen in der abhängigen Variablen, oder ist es noch wichtiger sein, um eine Verallgemeinerung der Ergebnisse auf andere Bevölkerungsgruppen, Einstellungen und so auf? Wir können es uns nicht bieten eine einfache Antwort auf diese Frage, die oft diskutiert bei wissenschaftlichen Tagungen und in der Literatur (siehe zB Martens, 1979, 1987; Siedentop, 1980, Thomas, 1980; Thomas, Französisch, & Humphries, 1986).

Zu erwarten, einem einzigen Experiment auf alle Forschungs-DesignÜberlegungen ist unzumutbar. Ein realistischer Ansatz ist es, die spezifischen Ziele und Grenzen der Forschung. Ist internen oder externen Gültigkeit Gültigkeit "die wichtige Frage? Wenn das beschlossen wird, sind die Forscher können die Forschung mit einer Art von Gültigkeit als Schwerpunkt und gleichzeitig so viel von der anderen Art der Gültigkeit wie möglich, eine andere Inanspruchnahme ist für die Planung einer Reihe von Experimenten, in denen das erste Experiment hat starke interne Gültigkeit auch auf Kosten der externen Gültigkeit. Wenn das erste Experiment bestätigt, dass Veränderungen in den abhängigen Maßnahmen sind das Ergebnis der Manipulation der unabhängigen Variablen, spätere Experimente gestaltet werden können, um externe Validität auch auf Kosten der internen Gültigkeit. Dies ermöglicht die Bewertung der Behandlung in den Einstellungen mehr wie die reale Welt. (Überprüfung der damit verbundenen Diskussion der Grundlagen-und angewandten Forschung in Kapitel 1 und Christina, 1989.) Gefahren für die innere Gültigkeit Campbell und Stanley (1963) acht Gefahren für die innere Gültigkeit von Experimenten, 1 und Rosenthal (1966) identifiziert ein Neuntel: Geschichte: Ereignisse, die während des Versuchs, die nicht Teil der Behandlung Lagerung: Prozesse innerhalb der Teilnehmer, die als Ergebnis von der Zeit (z. B. Altern, Müdigkeit, Hunger).

Tests: die Auswirkungen der eine Prüfung über die nachfolgenden Verwaltungen der gleichen Prüfung Instrumentation: Änderungen in Gerätekalibrierung, einschließlich der Tatsache, dass innerhalb und zwischen den Beobachter Statistische Regression: die Tatsache, dass Gruppen auf der Grundlage der

extremen Werte sind nicht so extrem auf den anschließenden Test Selektionseffekt: Vergleich der Auswahl in einer Art und Weise nonrandom Experimentelle Sterblichkeit: Verlust von Teilnehmern aus Vergleich Gruppen Gründe für nonrandom Auswahl-Reifung Interaktion: im Laufe der Zeit, die eine Gruppe, aber nicht den anderen in nichtäquivalentes Gruppendesign Lebensdauererwartung: Experimentatoren "oder Tester" antizipieren, dass bestimmte Teilnehmer besser Wenn diese Bedrohungen unkontrollierte, die Veränderung der abhängigen Variablen kann schwer, auf die Manipulation der unabhängigen Variablen. Geschichte Eine Bedrohung für die innere Geschichte Gültigkeit bedeutet, dass einige unbeabsichtigte Ereignis während der Behandlungszeit. Zum Beispiel, in einer Studie die Bewertung der Auswirkungen des Semesters der Sportunterricht auf die körperliche Tauglichkeit der Fünftklässler, die Tatsache, dass 600 / 0 der Kinder an einer Freizeit-Fußball-Programm wäre eine Bedrohung für die innere Geschichte Gültigkeit. Das Fußball-Programm dürfte sich Vorteile für die körperliche Fitness, die nur schwer zu trennen von den Vorteilen der Leibeserziehung Programm. Reifung Reifung als eine Bedrohung für die interne Gültigkeit ist am häufigsten im Zusammenhang mit der Alterung. Diese Gefahr tritt häufig in Mustern und Modellen, in denen eine Gruppe getestet wird mehrfach über einen langen Zeitraum. Elementare Leibeserziehung Lehrer häufig auf diese Quelle der Nichtigkeit, wenn sie eine körperliche Fitness-Test in den frühen Herbst und wieder in den späten Frühling. Die Kinder fast immer besser in den Frühling.

Der Lehrer möchte behaupten, dass die Leibeserziehung Programm war die Ursache. Leider, Reifung ist eine plausible Hypothese Rivalen für den beobachteten Anstieg, das heißt, die Kinder sind größer und stärker und damit vermutlich schneller, höher, weiter und werfen. Prüfung Eine Prüfung ist die Gefahr, dass ein Test einmal auf, die es noch einmal. Zum Beispiel, wenn eine Gruppe von Athleten werden ein Multiple-Choice-Test zur Beurteilung ihrer Kenntnisse über Steroide und heute wieder zwei Tage später, der Sportler wird es besser das zweite Mal, auch wenn keine Behandlung intervenierte. , Die den Test hilft bei der Aufnahme, sobald Sie ihn wieder ein. Der gleiche Effekt ist in körperliche Leistungsfähigkeit Tests, insbesondere dann, wenn die Teilnehmer ist es nicht gestattet, die Praxis-Test ein paar mal. Wenn eine Klasse für Anfänger im Tennis versucht, Hit 20 Vorhand Aufnahmen geliefert, die ihnen von einem Ball Maschine heute wieder drei Tage später, sie wird in der Regel besser zum zweiten Mal. Sie lernten etwas von der Durchführung des Tests der ersten Zeit. Instrumentation Instrumentation ist ein Problem häufig in der Übung Forschung. Nehmen wir an, die Forscher mit einer federbelasteten Gerät zur Messung der Kraft, es sei denn, der Frühling ist regelmäßig kalibriert, so sinkt der Spannungen mit der Nutzung. So, die gleiche Menge an Kraft produziert erhöht Lesungen von Stärke im Vergleich mit früheren Messungen. Instrumentation Probleme auftreten, auch in der Forschung mit Beobachter. Es sei denn, Beobachter sind geschult und regelmäßig überprüft, den gleichen Beobachters Ratings Mai systematisch variiert über die Zeit hinweg oder Teilnehmer (ein Phänomen namens Beobachter Drift), oder andere Beobachter können nicht bewerten die gleiche Leistung in der gleichen Weise. Statistische Regression Statistische Regression kann auftreten, wenn Gruppen sind nicht zufällig,

sondern werden auf der Grundlage einer extremen Wert auf ein gewisses Maß. Zum Beispiel, wenn jemand Sätze das Verhalten einer Gruppe von Kindern auf einem Spielplatz auf eine Tätigkeit Skala (sehr aktiv zu sehr inaktiv) und zwei Gruppen gebildet werden-eine sehr aktive Kinder und ein sehr inaktiv Kinderstatistische Regression ist wahrscheinlich auftreten, wenn die Kinder, die auf der nächsten "Spielplatz. Die Kinder, die sehr aktiv werden weniger aktiv (wenn auch immer noch aktiv), und die inaktive Kinder werden mehr aktive, mit anderen Worten, die beiden Gruppen wird Rückschritt (von den Extremen) in Richtung der Gesamtdurchschnitt. Dieses Phänomen spiegelt nur die Tatsache, dass ein Teilnehmer des Gastes tendiert zu variieren über ihre oder seine Leistungen (geschätzte wahre Ergebnis), Extreme Werte können einfach die Beobachtung einer Leistung auf dem hoch (oder niedrig) Seite der Teilnehmer typische Leistung. Die nächste Aufführung ist in der Regel nicht so extrem. So, als Durchschnittswerte der extremen Gruppen werden von einem Zeitpunkt zum nächsten, der hohen Gruppe offenbar noch schlimmer, in der Erwägung, dass die geringe Gruppe offenbar besser. Statistische Regression ist ein besonderes Problem in Studien, dass der Versuch zu vergleichen extremen Gruppen auf einige charakteristische, wie sehr ängstlich, fit, oder qualifizierten Teilnehmer gegenüber nicht sehr ängstlich, fit, oder qualifizierten Teilnehmer.

Selektionseffekt Auswahl Verzerrungen auftreten, wenn Gruppen werden auf einigen anderen Grundlage als zufällige Zuordnung. So, wenn Behandlungen verabreicht werden, da die verschiedenen Gruppen waren zu Beginn mit, immer ist die Hypothese, dass jeder Konkurrent Unterschiede sind aufgrund der ersten Auswahl Vorurteile anstatt Behandlungen. Zeigen, dass die Gruppen nicht anders auf die abhängige Variable zu Beginn der Studie nicht dieses Manko. Eine beliebige Anzahl von anderen nicht gemessene Variablen, auf die sich die Gruppen unterscheiden könnte erklären, die Wirkung der Behandlung. WR Borg und Gall (1989) wichtige Fragen gestellt, die zur Auswahl (oder Probenahme)

Verzerrung:

Hat die Studie nutzen Freiwilligen? Einsatz von Freiwilligen ist in der Forschung in der Studie der körperlichen Betätigung, Doch Freiwillige sind oft nicht repräsentativ für alle, sondern auch andere Freiwillige. Sie können sich von Nicht-Freiwilligen in die Beweggründe für die experimentelle Aufgabe und Umgebung. Sind nicht repräsentativ für die Teilnehmer sehr die Bevölkerung? Oft sind wir nicht in der Lage, um die Teilnehmer nach dem Zufallsprinzip für unsere Studien, aber es ist sehr nützlich, wenn wir zumindest glauben (und nachweisen können,), dass sie einige größere Gruppe aus unserer Kultur. Erinnern an die Diskussion der Probenahme in Kapitel 6, insbesondere das Konzept der "gut genug" Probe. Experimentelle Mortalität Experimentelle Mortalität bezieht sich auf den Verlust der Teilnehmer, auch wenn Gruppen werden nach dem Zufallsprinzip gebildet, diese Bedrohung für die innere Gültigkeit kann auftreten, können die Teilnehmer nach wie vor in einer experimentellen Gruppe, die an ein Fitness-Programm, weil es Spaß macht, in der Erwägung, dass die Teilnehmer in der Gruppe zu langweilen , verlieren das Interesse, und aus der Studie. Natürlich, das Gegenteil kann auftreten, zu. Die Teilnehmer können die Drop-out von einer experimentellen Gruppe, denn die Behandlung ist zu schwierig oder zu zeitaufwändig.

Auswahl-Reifung Interaktion Eine Auswahl-Reifung Interaktion tritt nur in bestimmten Arten von Mustern und Modellen. In diesen Ausführungen, eine Gruppe ausgewählt ist, weil einige der besonderen Merkmale, während die andere Gruppe fehlt dieses Merkmal. Ein Beispiel dafür ist eine Studie über die Unterschiede zwischen sechs-Jährigen in zwei Schulen, Studenten in einer Schule bilden die experimentelle Gruppe, die mit einem Fitness-Programm, und Studenten in den anderen eine

Kontrollgruppe. Wenn die Schulen haben unterschiedliche Aufnahmepolitik, so dass die sechs-Jährigen in der experimentellen Gruppe sind fünf Monate älter, wäre es schwierig, festzustellen, ob die Fitness-Programm oder das FitnessProgramm zusammen mit den Teilnehmern "fortgeschrittenen Alters zu den beobachteten Veränderungen .

Lebensdauererwartung Eine weitere Bedrohung für die innere Gültigkeit nicht von Campbell und Stanley (1963) identifiziert wurde, Lebensdauererwartung (Rosenthal, 1966) bezieht sich auf Experimentatoren "oder Tester" antizipieren, dass bestimmte Teilnehmer besser. Dieser Effekt, aber in der Regel bewusstlos auf dem Teil der Experimentatoren, tritt auf, wenn die Teilnehmer oder experimentellen Bedingungen sind deutlich gekennzeichnet. Zum Beispiel, Tester Mai Satz qualifizierten Teilnehmer besser als ungelernte Teilnehmer, unabhängig von der Behandlung. Dieser Effekt zeigt sich auch in Beobachtungsstudien, in denen die Beobachter Satz posttest Leistung besser als Pretest Leistung ändern, weil sie erwarten, wenn die Versuchs-und Kontrollgruppen werden, Beobachter bewerten die experimentelle Gruppe besser als die Kontrolle, noch bevor eine Behandlung erfolgt. Die Erwartung Effekt auf die Teilnehmer zu, zum Beispiel in einer Jugend-, Sport-Studie, Busse tatsächlich zu schlechteren Leistung von Ersatz (im Vergleich mit Starter), weil der Ersatzbank, dass der Trainer sie anders behandelt werden (e, g, die Trainer können weniger Besorgnis über falsche Praxis Studien). Jede der neun Gefahren für die innere Gültigkeit können die Forscher die Fähigkeit, zu behaupten, dass die Manipulation der unabhängigen Variablen zu den Veränderungen in der abhängigen Variablen. Wir diskutieren die verschiedenen experimentellen Designs und wie sie (oder nicht zu kontrollieren) die Gefahren für die innere Gültigkeit später in diesem Kapitel. Gefahren für die externe Validität

Campbell und Stanley (1963) vier Gefahren für die externe Validität, oder die Fähigkeit zu verallgemeinern Ergebnisse auf andere Teilnehmer, den verwendeten Einstellungen, Maßnahmen, und so weiter:

Reaktive oder interaktive Effekte der Prüfung: Die Pretest können die Teilnehmer bewusst oder empfindlich auf die bevorstehende Behandlung. Als Folge der Behandlung ist nicht so effektiv, ohne die Pretest. Interaktion der Auswahl von Verzerrungen und die experimentelle Behandlung: Wenn eine Gruppe ausgewählt ist auf einige charakteristische, die Behandlung kann nur für Gruppen über dieses Merkmal.

Reaktive Effekte der experimentellen Arrangements: Behandlungen, die wirksam sind in sehr begrenzte Situationen (z. B. Labors) kann nicht wirksam sein, in weniger eingeschränkt Einstellungen (mehr wie die reale Welt).

Multiple-Behandlung Störungen: Wenn die Teilnehmer mehr als eine Behandlung, die Auswirkungen früherer Behandlungen beeinflussen können muss.

Reaktive oder Interaktive Effekte der Prüfung Reaktive oder interaktive Effekte der Prüfung kann ein Problem in einem Design mit einem Pretest. Angenommen, ein Fitness-Programm ist die experimentelle Behandlung. Wenn eine körperliche Fitness Test wird "auf die Probe zunächst die Teilnehmer in der Versuchsgruppe kann erkennen, dass ihre Ebenen der Fitness sind niedrig und werden besonders motiviert, nach dem vorgeschriebenen Programm eng. Allerdings, in einer Bevölkerung getestet, das Programm möglicherweise nicht so wirksam, weil die Teilnehmer können nicht über ihre niedrige Niveau der körperlichen Fitness.

Interaktion von Selektionsbias und Experimentelle Therapie

Die Interaktion bei der Auswahl von Verzerrungen und die experimentelle Behandlung kann die Verallgemeinerung der Ergebnisse an die Teilnehmer nicht über die besonderen Merkmale (Bias) der Probe. Zum Beispiel, ein Medikament Bildung Programm könnte sehr effektiv bei der Veränderung der Einstellung der Hochschule Neulinge auf Drogenkonsum. Das gleiche Programm würde wahrscheinlich mangelnde Wirksamkeit dritten Jahr für Studierende der Medizin, weil sie wäre sehr viel mit Drogen und die entsprechenden Anwendungen. Reaktive Effekte der experimentellen Arrangements Reaktive Effekte der experimentellen Regelungen bedeuten, dass die experimentelle Behandlung darf nicht verallgemeinerbare zum realen WeltSituationen. Diese reaktiven Effekte sind ein Problem für die Labor-Forschung (e, g, in der Übung Physiologie, Biomechanik, Motor-Verhalten), in diese Forschung, ist der Forscher untersuchen die Auswirkungen, Prozess-, Ergebnisoder die spezifisch für das Labor und kann nicht verallgemeinert werden, um die anderen Einstellungen? Wir haben auf diese früher als ein Problem der ökologischen Wirksamkeit, beispielsweise in einer Studie beschäftigt HighSpeed-Kamera, die Fähigkeit, gefilmt werden müssen, die an einem bestimmten Ort, und der Gelenke müssen für eine spätere Analyse. Ist die Qualifikation in der gleichen Weise bei der Teilnahme am Sport? Eine spezielle Art der reaktiven Verhalten wurde die Aufschrift Hawthome Wirkung (Brown, 1954), Dieser Effekt bezieht sich auf die Tatsache, dass die Teilnehmer Leistungen ändern, wenn Aufmerksamkeit zu ihnen. Dies kann zu einer Bedrohung für die interne und externe Validität, da es sich wahrscheinlich um eine bessere Behandlung und die Auswirkungen der Fähigkeit zur Verallgemeinerung der Ergebnisse. Multiple-Behandlung Störungen Multiple-Behandlung Störungen am häufigsten ein Problem, wenn die gleichen Teilnehmer, die mehr als eine Ebene der Behandlung. Angenommen, die Teilnehmer gehen zu lernen, um die Position im Volleyball Schlagen mit einem Schritt führen oder ein Crossover-Schritt. Wir wollen wissen, bei welchem Schritt wird der Spieler in einer guten Position treffen am schnellsten. Wenn die

Spieler lernen beide Arten von Maßnahmen, Lernen könnte man mit (oder Verbesserung) das Erlernen der anderen, so die Forscher in der Lage ist, die Ergebnisse verallgemeinern kann widerlegt durch den Einsatz von mehreren Behandlungen, ein besseres Design kann mit zwei verschiedene Gruppen, von denen jeder lernt, eine der Techniken. Die Fähigkeit zu verallgemeinern Ergebnisse aus der Forschung in die anderen Teilnehmer oder Situationen ist eine Frage der Stichproben (oder zumindest "gut genug" Probenahme) mehr als alle anderen. Haben die Teilnehmer, Behandlungen, Untersuchungen, und den Fällen ein größeres Bevölkerung? Obwohl einige der experimentellen Designs später Kontrolle bestimmte Gefahren für die externe Validität, die in der Regel die Forscher diese Bedrohungen Kontrollen durch die Art, wie er oder sie wählt die Probe, Behandlungen, Situationen und Tests.

Kontrolle von Gefahren für die innere Gültigkeit Gefahren für die interne und externe Validität werden in unterschiedlicher Weise durch spezifische Techniken. In diesem Abschnitt beschreiben wir, sinnvolle Konzepte zur Lösung von Gefahren für die innere Gültigkeit in der Gestaltung der Experimente. Viele Gefahren für die innere Gültigkeit kontrolliert werden, indem die Teilnehmer in der Versuchs-und Kontrollgruppen als gleichermaßen wie möglich zu gestalten. Dies ist am häufigsten durch die Zuordnung zufällig Teilnehmer in Gruppen.

Randomisierung Wie bereits in Kapitel 6, Randomisierung erlaubt die Annahme, dass die Gruppen unterscheiden sich nicht an den Anfang oder das Experiment. Die Randomisierung Prozess-Kontrollen für die Geschichte bis zu dem Punkt, der das Experiment, das heißt, die Forscher davon ausgehen können, dass den Ereignissen der Vergangenheit sind auch unter den Gruppen. Es ist nicht für die Geschichte während des Versuchs, wenn Versuche und Kontrolle Teilnehmer behandelt werden, zu unterschiedlichen Zeiten oder Orte. Die Forscher müssen versuchen zu verhindern, dass ein Ereignis (neben der Behandlung) aus, die in

einer Gruppe, nicht aber in den anderen Gruppen. Randomization auch Kontrollen für die Reifung, weil im Laufe der Zeit ist in allen Gruppen. Statistische Regression-, Auswahl-Verzerrungen, und die AuswahlReifung Interaktion werden, denn sie tritt nur ein, wenn Gruppen sind nicht zufällig. Manchmal auf andere Weise als zufällige Zuordnung der Teilnehmer in Gruppen verwendet werden, um Gefahren für die innere Gültigkeit, die Matched-PairTechnik mit der Teilnehmer-Paare, die sich gleich auf einige charakteristische und dann zufällig ordnet jeder zu einer anderen Gruppe. Die Forscher sollten sehr strengen Kontrolle auf die bisherigen Erfahrungen im Krafttraining. So, die Teilnehmer würden mit auf dieses Merkmal und dann per Zufall für die Versuchs-und Kontrollgruppen. Eine Matched-Gruppe Technik kann auch verwendet werden. Dies beinhaltet nonrandom Zuordnung der Teilnehmer zu Versuchs-und Kontrollgruppen, so dass die Gruppe bedeutet, gleichwertig sind, auf einige Variablen. Dies ist in der Regel als nicht akzeptabel, weil die Gruppen dürfen nicht als gleichwertig zu anderen, nicht gemessene Variablen, die Einfluss auf die Ergebnisse der Forschung. In innerhalb von Themen-Designs, die Teilnehmer werden als ihre eigenen Kontrollen. Dies bedeutet, dass jeder Teilnehmer erhält, die experimentelle und die Kontrolle der Behandlung. Bei dieser Art von Design, die Reihenfolge der Behandlung sollte ausgeglichen werden, das heißt, die Hälfte der Teilnehmer sollte die experimentelle Therapie, und dann die Kontrolle, und die andere Hälfte sollte die Kontrolle der Behandlung und dann die experimentelle Behandlung Wenn gibt es drei Ebenen der unabhängigen Variable (1 = Kontrolle, 2 = experimentelle Therapie, A, 3 = experimentelle Behandlung B), die Teilnehmer werden nach dem Zufallsprinzip zu einem der sechs: mögliche Behandlung Bestellungen 0-2-3,1-3-2,2 -1-3,2-3-1,3-1-2,3-2-1), wenn die Anzahl der Behandlung Ebenen, die den gleichen Teilnehmer ist größer als 3 oder 4, Experimentatoren können eine zufällige Reihenfolge der Behandlungen für die einzelnen Teilnehmer als Gegengewicht Behandlungen. Placebos, Blind Setups und Doppel-Blind-Setups

Weitere Möglichkeiten der Kontrolle der Gefahren für die innere Gültigkeit sind Placebos und Blinde und Double-Blind-Setups. Ein Placebo verwendet wird zu

beurteilen, ob die beobachtete Wirkung wird durch die Behandlung oder eine psychologische Wirkung. Häufig, einer Bedingung verwendet wird, in denen die Teilnehmer erhalten die gleiche Aufmerksamkeit und die Interaktion mit dem Experimentator, aber die Behandlung nicht mit der Leistung auf die abhängige Variable. Eine Studie, in denen die Teilnehmer nicht wissen, ob sie sich in der experimentellen oder die Behandlung wird ein blinder Setup (i, E., der Teilnehmer ist "blind" auf die Behandlung), in einer doppelblinden Setup weder die Teilnehmer noch die Tester weiß, welche Behandlung die Teilnehmer erhalten. Die Dreifach-Blindtest wurde ebenfalls berichtet (Day, 1983): Die Teilnehmer wissen nicht, was sie bekommen, die Experimentatoren nicht wissen, was sie geben, und die Ermittler nicht wissen, was sie tun. Wir können nur hoffen, dass die Dreifach-Blind-Technik findet Verwendung in unseren begrenzten Bereich. Placebo Methode der Kontrolle eine Gefahr für die interne Validität, in denen eine Kontrollgruppe erhält eine falsche Behandlung, während die experimentelle Gruppe erhält der realen Behandlung. Blinden-Setup Methode der Kontrolle eine Gefahr für die interne Validität in dem die Teilnehmer nicht wissen, ob er oder sie ist der Empfänger der experimentellen oder der Kontrolle der Behandlung. Double-Blind-Setup Methode der Kontrolle eine Gefahr für die interne Validität, in denen weder die Teilnehmer noch die Versuchsleiter weiß, welche Behandlung der Teilnehmer erhält. Avis-Effekt Eine Bedrohung für die innere Gültigkeit dass die Teilnehmer in der Kontrollgruppe bemühen, nur weil sie sich in der Kontrollgruppe.

Unkontrollierte Gefahren für die innere Gültigkeit Drei Gefahren für die innere Gültigkeit weiterhin unkontrolliert von der Randomisierung werden.

Reaktive oder interaktive Effekte Reaktive oder interaktive Effekte der Prüfung kann nur durch die Beseitigung der Pretest. Aber diese Effekte können bewertet werden, indem zwei der Entwürfe später in diesem Kapitel: Pretest-posttest randomisierte und SolomonVier-Gruppe. Instrumentation Instrumentation Probleme können nicht kontrolliert werden oder bewertet von Design. Nur der Experimentator kann diese Bedrohung für die innere Gültigkeit. In Kapitel 11, gingen wir in einigen Einzelheiten über Techniken für die Kontrolle der Mess-Bedrohung zu entwickeln, gültige und zuverlässige Tests. Von besonderer Bedeutung ist die Prüfung der Zuverlässigkeit. Ob die Messung, die von einer Labor-Gerät (zB ein Sauerstoff-Analysator), eine Kfz-PerformanceTest (z. B. einer ständigen Weitsprung), eine Haltung-Rating-Skala (z. B. auf Gefühle über den Drogenkonsum), einen Beobachter (z. B. Codierung Prozent der Zeit ein Kind aktiv ist), ein Wissen-Test (z. B. im Basketball-Strategie), oder eine Erhebung (z. B. auf den verfügbaren Sportanlagen), die Antwort muss. Dies betrifft häufig die Bewertung der Prüfung der Zuverlässigkeit in Situationen, zwischen und innerhalb von Testern oder Beobachter, und innerhalb der Teilnehmer. Die Gültigkeit des Instruments (Maßnahme ist es, was beabsichtigt wurde, zu messen?) Muss auch festgelegt werden, um für die Instrumentierung Probleme. Der gesamte Prozess der Schaffung geeigneter Instrumente für die Forschung ist Psychometrie. Ein letzter Punkt, um Instrumente ist der Halo-Effekt, wie wir in Kapitel 11, dies

geschieht in Bewertungen der gleichen Person über mehrere Fähigkeiten. Rater, eine qualifizierte Leistung auf eine Aufgabe zu bewerten sind, die Teilnehmer auf spätere höhere Aufgaben, und zwar unabhängig von der Höhe der Fertigkeit angezeigt. In der Tat, die qualifizierte Verhalten "rubbed off" (ein "Halo") auf später Aufführungen. Es kann auch ein, um Auswirkungen auf Beobachtung. Gymnastik und Schwimmen Richter oft niedrigere Rate frühere Interpreten, um Platz auf der Rating-Skala für bessere Darsteller. Da Gymnastik und Schwimmen Trainer wissen das, sie immer bessere Interpreten später in der Veranstaltung um. Experimentelle Mortalität Experimentelle Mortalität ist nicht durch irgendeine Art von experimentellen Design. Der Experimentator kann dies nur, indem sichergestellt wird, dass die Teilnehmer nicht verloren gehen (bei allen, wenn möglich) von Gruppen. Viele Probleme der Teilnehmer Vorratsdatenspeicherung werden können im Vorfeld der Forschung durch eine sorgfältige Erläuterung der Forschung an die Teilnehmer und unter Betonung der Notwendigkeit, dass sie im Anschluss an das Projekt. (Während des Experiments selbst, Betteln, Schriftsatz, und manchmal weint Arbeit.) Kontrollierende Bedrohungen auf externe Validität Externe Gültigkeit ist in der Regel durch die Auswahl der Teilnehmer, Behandlungen, experimentelle Situation und Tests, um einige größere Bevölkerung. Natürlich, zufällige Auswahl (oder "gut genug" Probenahme) ist der Schlüssel, mit dem die meisten Bedrohungen für die externe Validität. Denken Sie daran, dass mehr als die Teilnehmer nach dem Zufallsprinzip ausgewählt. Zum Beispiel, das Niveau der Behandlung werden zufällig aus den möglichen Ebenen, experimentelle Situationen können aus möglichen Situationen, und die abhängige Variable (Test) werden zufällig aus einem Pool von möglichen abhängigen Variablen. Wie bereits erwähnt, die Fähigkeit zur Verallgemeinerung der Situation wird als ökologische Gültigkeit. Obwohl die Ergebnisse einer bestimmten Behandlung übertragen werden kann, um einer größeren Gruppe, wenn die Probe repräsentativ ist, dieser

Verallgemeinerung können sich nur auf die besondere Situation im Experiment. Wenn das Experiment unter kontrollierten Laborbedingungen, dann die Ergebnisse können nur unter kontrollierten Laborbedingungen. Häufig ist die Experimentators hofft, dass die Ergebnisse übertragen werden kann, um die reale Bewegung, Sport-, Industrie-, Lehr-oder-Einstellungen, ob die Ergebnisse übertragen werden kann auf diese Weise hängt weitgehend davon ab, wie die Teilnehmer der Studie erkennen, und dies beeinflusst die Art und Weise Teilnehmer reagieren, um Eigenschaften. Die Frage von Interesse ist, wird durch die Studie haben genug Merkmale der realen Welt-Einstellungen, dass die Teilnehmer reagieren, als wären sie in der realen Welt? Gibt es ökologische Gültigkeit? Dies ist keine einfache Frage zu beantworten, und als Folge eine Reihe von Wissenschaftlern dafür, dass mehr Forschung in Kinesiologie, Sport, Bewegung Wissenschaft, Sport und Wissenschaft werden im Bereich Einstellungen (z. B. Castill, 1985; Martens, 187; Thomas, Französisch, & Humphries, 1986). Reaktive oder interaktive Effekte der Prüfung kann von der Solomon-VierGruppen-Design. Interaktion der Auswahl Vorurteile und die experimentelle Behandlung wird durch zufällige Auswahl der Teilnehmer. Reaktive Effekte der experimentellen Regelung kann nur durch die Forscher (das ist wieder die Frage der ökologischen Gültigkeit). Multiple-Behandlung Eingriff kann teilweise durch Gegengewicht oder zufällig mit der die Behandlung unter den Teilnehmern, aber die Forscher können steuern, ob die Behandlung noch stören nur durch Wissen über die Behandlung und nicht die Art der experimentellen Design.

Arten von Designs In diesem Abschnitt (die im Wesentlichen dem von Campbell & Stanley, 1963) gliedert sich in drei Kategorien: preexperimental Designs, wahre experimentellen Designs, und quasi-experimentellen Designs. Wir benutzen die folgende Notation: Jede Zeile zeigt eine Gruppe von Teilnehmern, R bedeutet zufällige Zuordnung der Teilnehmer zu Gruppen.

O bedeutet, eine Bemerkung oder einen Test. T bedeutet, dass eine Behandlung angewandt wird, ein Leerzeichen in eine Zeile, wo ein T erscheint auf einer anderen Linie bedeutet, dass die Gruppe ist eine Kontrolle. .. Eine gepunktete Linie zwischen den Gruppen bedeutet, dass die Gruppen sind intakt und nicht zufällig. Indizes entweder die Reihenfolge der Beobachtungen und Behandlungen (wenn sie auf der gleichen Linie) oder Beobachtungen von verschiedenen Gruppen oder andere Behandlungen (wenn sie auf verschiedenen Linien), Zum Beispiel, wenn die Bedingungen T1 und T2 auf verschiedenen Linien, sie beziehen sich auf verschiedene Behandlungen, wenn sie auf der gleichen Linie, sie bedeuten nur, dass die Behandlung wird mehr als einmal auf der gleichen Gruppe.

Preexperimental Designs Die drei Entwürfe, die in diesem Abschnitt werden preexperimental Designs Kontrolle, weil sie nur sehr wenige von den Quellen der Nichtigkeit. Keiner der Entwürfe hat zufällige Zuordnung der Teilnehmer zu Gruppen. (preexperimental Design Eine der drei Arten von Forschung Design, dass die Kontrolle nur sehr wenige von den Quellen der Nichtigkeit und dass keine zufällige Zuweisung von Teilnehmern zu Gruppen: One-Shot-Studie, einer Gruppe Pretest-posttest. Design und statische Gruppe Vergleich).

One-Shot-Studie In einem One-Shot-Studien-Design, eine Gruppe der Teilnehmer erhält eine Behandlung, gefolgt von einer Prüfung zur Bewertung der Behandlung: T0

Diese Konstruktion nicht alle Tests für gute Forschung. All das kann man sagen, ist, dass an einem bestimmten Punkt in dieser Gruppe der Teilnehmer, die auf einer bestimmten Ebene. Auf keinen Fall kann die Höhe der Leistung (0) zurückgeführt werden auf die Behandlung (T). One-Group Pretest-Posttest-Design Die eine Gruppe Pretest-posuest Design, obwohl sehr schwach ist, ist besser als die One-Shot-Design. Zumindest können wir beobachten, ob eine Änderung in der Leistung ist aufgetreten: 01 T 02 Wenn 02 ist besser als 01, können wir sagen, dass die Teilnehmer verbessert werden. Zum Beispiel, Bill Biceps (Ausübung einer qualifizierten Lehrer), die eine Übung bei einem Fitnessraum. Teilnehmer dann ausgebildete 3 Tage pro Woche, 40 min pro Tag, bei 70% der geschätzten V02max, für 12 Wochen. Nach der Ausbildung, Teilnehmer retook die Ausübung testen und ihre Ergebnisse deutlich verbessert. Kann Herr Biceps dem Schluss, dass die Ausübung Programm verursacht die Änderungen bei der Ausübung Test Leistung er beobachtet? Leider ist diese Konstruktion nicht erlaubt uns zu sagen, warum der Teilnehmer verbessert werden. Sicher, es könnte aufgrund der Behandlung, aber es könnte auch darauf zurückzuführen auf die Geschichte. Einige andere Veranstaltung als die Behandlung (T) kann zwischen dem Pretest (01) und die posttest (02); die Teilnehmer ausgeübt zu Hause an den anderen Tagen. Reifung ist ein Rivale Hypothese. Die Teilnehmer können besser geworden sind (oder noch schlimmer) nur als Folge der im Laufe der Zeit. Testing ist ein Rivale Hypothese, die Erhöhung am 02. Mai das Ergebnis nur von Erfahrungen mit dem Test bei 01. Wenn die Gruppe, die geprüft wird für bestimmte Grund, dann eine der Bedrohungen, die Auswahl von Verzerrungen auftreten können. Dieses Design ist am häufigsten analysiert die abhängige tTest zu bewerten, ob eine signifikante Veränderung zwischen 01 und O2.

Statische Group Vergleich Die statische Gruppe Design-Vergleich vergleicht zwei Gruppen, von denen die Behandlung erhält und von denen einer nicht: T

O1 O2

Aber wir wissen nicht, ob die Gruppen waren nicht gleichwertig, wenn die Studie begann, wie von der gestrichelten Linie zwischen den Gruppen. Dies bedeutet, dass die Gruppen wurden intakt und nicht zufällig "gebildet. Dies lässt uns nicht in der Lage, um festzustellen, ob die Unterschiede zwischen 01 und 02 sind, weil der T-oder nur, weil die Gruppen unterschieden sich zunächst. Diese Konstruktion ist, die Nichtigkeit der Wahl, weil Vorurteile und die AuswahlReifung Interaktion. Ein t-Test für unabhängige Gruppen wird bewertet, ob 01 und 02 unterscheiden sich erheblich. Allerdings, auch wenn sie unterschiedlich sind, kann der Unterschied nicht auf T. Die drei preexperimental Designs sind nicht gültig Methoden der Beantwortung von Fragen der Forschung (siehe Tabelle 18.1). Sie sind keine Experimente, da die Veränderung der abhängigen Variablen können nicht auf die Manipulation der unabhängigen Variablen. Sie werden nicht vor dieser Begegnung experimentelle Designs in der Forschung Zeitschriften, und wir hoffen, dass Sie nicht finden (oder daraus hergestellten Erzeugnissen) Diplomarbeiten und Dissertationen mit diesen Designs. Die preexperimental Designs repräsentieren viel Aufwand, da wenig oder gar nichts kann der Schluss gezogen werden, aus den Ergebnissen. Wenn Sie mit der Verwendung dieser Entwürfe für Forschung Zeitschriften, werden Sie wahrscheinlich auf Ablehnung Buchstaben ähnlich wie ein Snoopy (aus dem Comic-Strip Peanuts) erhalten: "Sehr geehrte Mitarbeiter, Danke, dass Sie Ihre Papier zu unserem Research Journal. Um Zeit zu sparen, wir sind unter Beifügung zwei Buchstaben-Ablehnung für dieses Papier und eine für die nächste Sie. "

Wahre experimentelle Designs Die Ausführungen in diesem Abschnitt werden als echte experimentelle Designs, da die Gruppen werden nach dem Zufallsprinzip gebildet, so dass die Annahme, dass sie gleichwertig am Anfang der Forschung. Diese Kontrollen für die Vergangenheit (aber nicht vorhanden) Geschichte, Reifung (die auftreten, ebenso in den Gruppen), Prüfung, und alle Quellen der Nichtigkeit, die auf Nichtverfügbarkeit von gleichwertigen in der Gruppen (statistische Regression-, Auswahl-Verzerrungen, und die Auswahl-Reifung Interaktion). Es wird jedoch nur die Experimentators können dafür sorgen, dass nichts passiert, zu einer Gruppe (neben der Behandlung) und nicht die anderen (gegenwärtige Geschichte), die Werte über die Maßnahme nicht abhängig sind als Folge der Instrumentierung Probleme, und dass der Verlust der Teilnehmer unterscheidet sich nicht zwischen den Gruppen (experimentelle Mortalität).

wahre experimentelle Design Jedes Design in der experimentellen Forschung in die Gruppen werden nach dem Zufallsprinzip gebildet und Kontrollen, dass die meisten Quellen der Nichtigkeit. Randomisierte Gruppen-Design Beachten Sie, dass die Gruppen randomisiert-Design ähnelt statische Gruppe Vergleich der Ausnahme, dass Gruppen werden nach dem Zufallsprinzip gebildet:

R R

T

01 O2

Hält sich der Forscher steuert die Gefahren für die innere Gültigkeit, die nicht durch Randomisierung (keine leichte Aufgabe), verfügt über eine solide theoretische Basis für die Studie, und trifft die notwendigen und ausreichenden Regel, dann ist dieses Design erlaubt die Schlussfolgerung, dass erhebliche Unterschiede zwischen 01 und 02 sind auf T. Eine unabhängige t-Test ist bei der Analyse der Differenz zwischen 01 und O2, Dieses Design als zuvor dargestellt werden zwei Ebenen von einem unabhängigen Variable. Es kann auf eine

beliebige Anzahl von Stufen einer unabhängigen Variablen:

R

T1

01

R

T2

02

R

03

Hier werden drei Ebenen der unabhängigen Variablen gibt, in dem man die Kontrolle und die T1 und T2 sind zwei Ebenen der Behandlung Diese Konstruktion analysiert werden kann durch einfache ANOVA, die Kontraste der abhängigen Variablen, gemessen in den drei Gruppen (01, O2, 03). Zum Beispiel, T1 ist die Ausbildung bei 70% der V02max, T2 ist die Ausbildung bei 40% der VO2 max, und der Kontrollgruppe ist nicht Ausbildung. Die variablei01, 02, und 03 sind die Maßnahmen der kardio-Fitness (12-min-Lauf) in jeder Gruppe, die am Ende der Ausbildung. Diese Konstruktion kann auch in einem faktoriellen Design, das heißt, mehr als eine unabhängige Variable (IV) in Erwägung gezogen werden. Beispiel 18.1 zeigt, wie das funktioniert.

Unabhängige Variable 1 (IV1) hat drei Stufen (A1, A2, A3), und unabhängige Variable 2 (IV2) besteht aus zwei Ebenen (B1, B2). Dies führt in sechs Zellen (A1B1, A1B2, A2BI, A2B2, A3B1, A3B2), die Teilnehmer werden nach dem Zufallsprinzip zugewiesen. Am Ende der Behandlung, jede Zelle wird getestet auf die abhängige Variable (01 bis 06) "Das Design wird analysiert durch eine 3 X 2 factorial ANOVA, dass die Tests die Auswirkungen der IV1 (FA) IV2 (FB), und deren Interaktion ( Fab). Diese Konstruktion kann auch erweitert werden, um noch mehr unabhängigen Variablen und alle die Kontrollen für die interne Gültigkeit zuvor diskutiert. Manchmal ist dieses Design mit einer kategorialen unabhängigen Variablen. Sehen Sie noch einmal auf Beispiel 18.1, und nehme an, dass IV2 (B1, B2) zwei Altersgruppen. Klar, das Niveau der B nicht zufällig. Die Konstruktion sieht wie folgt aus:

Die Werte von A sind zufällig in B, aber das Niveau der B kann nicht zufällig,

diese nicht mehr vollständig als eine echte experimentelle Design, sondern ist häufig bei der Untersuchung der körperlichen Aktivität. Dieses Design wird in einem 3 x 2 ANOVA, aber die Interpretation der Ergebnisse muss mehr konservativ. Jede der Versionen der randomisiert-Gruppe kann auch mehr als eine abhängige Variable. Obwohl die grundlegenden Design bleibt die gleiche, die statistische Analyse wird multivariaten. Sind zwei oder mehr Ebenen der eine unabhängige Variable gibt und mehrere Variablen vorhanden sind, Diskriminanzanalyse ist das geeignete multivariate Statistik. In der Fakultät Versionen dieses Design (zwei oder mehr unabhängige Variablen), wenn mehrere Variablen verwendet werden, dann MANOVA ist in der Regel die am besten geeigneten Analyse, obwohl praktischen Anliegen (z. B. TeilnehmerNummern) oder theoretische Fragen Mai diktieren alternative statistische Analysen.

Pretest-Posttest Randomisierte Gruppen-Design In der Pretest-posttest randomisierten Design-Gruppen, die Gruppen werden nach dem Zufallsprinzip gebildet, aber beide Gruppen sind mit einem Pretest sowie eine posttest: Der Hauptzweck dieser Art von Design ist die Festlegung der Höhe der Wandel von der Behandlung, das heißt, hat die experimentelle Gruppe ändern, mehr als die Kontrollgruppe? Diese Konstruktion droht die interne Validität durch Testen, aber die Gefahr wird, weil der Vergleich von 03 bis 04 in der Kontrollgruppe sowie den Vergleich von ABl bis 02 in der experimentellen Gruppe umfasst die Prüfung Wirkung. So, obwohl die Prüfung kann nicht beurteilt werden in diesem Design, es ist. Dies ist häufig in der Studie von körperlicher Aktivität, aber die Analyse ist sehr kompliziert. Es gibt mindestens drei Wege, um eine statistische Analyse dieses Design. Zunächst wird eine wiederholte factorial ANOVA-Maßnahmen verwendet werden können, einen Faktor (zwischen Datenreihen) ist die Behandlung versus keine Behandlung, während der zweite Faktor ist Pretest versus posttest (innerhalb einer oder wiederholt Maßnahmen), jedoch das Interesse an dieser Konstruktion ist in der Regel die Interaktion: Sie ändern die Gruppen mit

unterschiedlichen Geschwindigkeiten aus Pretest zu posttest? Wenn Sie ein wiederholter ANOVA-Maßnahmen für dieses Design (unserer Meinung nach die beste Wahl), Pay-Dosis Aufmerksamkeit zu unserer Diskussion von univariaten und multivariaten Fragen wiederholt Maßnahmen in Kapitel 9. Eine andere Wahl ist simiple ANCOVA, mit dem Pretest für jede Gruppe (01 und 03), um die posttest (02 und 04) "Rückruf, dass es einige Probleme mit der Benutzung der Pretest als covariate (siehe die Diskussion über ANCOYA in Kapitel 9). Schließlich könnte der Experimentator bei jeden Teilnehmer die Pretest-Wert aus den posttest abziehen (eine so genannte Unterschied, oder gewinnen, Ergebnis) und führen Sie eine einfache ANOVA (oder mit nur zwei Gruppen, eine unabhängige t-Test), wobei jeder Teilnehmer ist der Unterschied des Gastes als abhängige Variable, Jede dieser Techniken hat Stärken und Schwächen, aber Sie finden alle drei in der Literatur. In diesem Design die wichtige Frage ist, wird eine Gruppe ändern, mehr als die andere Gruppe? Obwohl dieses Problem ist häufig die Analyse der genannten Unterschied Partituren, eine entsprechende Kennzeichnung ist die Bewertung des Wandels. Klar, in einem Lern-Studie, die Änderung wird voraussichtlich gewinnen. Aber in einer Übung Physiologie Studie, die Änderung könnte verringerte Leistung, die durch Müdigkeit. Egal, die Probleme sind die gleichen. Wie kann diese Änderung auf geeigneter Ebene zu bewerten? Die einfachste Antwort ist, um einen Unterschied Ergebnis der Subtraktion des Pretest aus der posttest. Das ist zwar intuitiv, attraktiv, sie hat einige ernste Probleme, First, diesen Unterschied Ergebnisse sind in der Regel unzuverlässig. Zweitens, die Höhe der ursprünglichen Werte gilt: Teilnehmer, die zunächst gering in der Leistung verbessern können leichter als jene, die beginnen mit hohen Punktzahlen, So, erste Ergebnis ist negativ korreliert mit dem Unterschied Ergebnis. Wie würden Sie gerne in Ihrem Verbesserung Tennis Leistung bewertet, wenn Sie Ihre erste Ergebnis war sehr hoch (z. B. "5 erfolgreichen Vorhand-Laufwerke von 10 Studien) im Vergleich mit der von einem Freund, begann mit einem niedrigen Wert (z. B. lout von 10 erfolgreichen Treffer)? Wenn Sie verbesserte sich auf 7 von 10 über die abschließende Prüfung und Ihr Freund verbesserte sich auf 5 von 10 (die Ebene der ersten Score), Ihr Freund hat sich doppelt so viel wie Sie haben (ein Gewinn von 4 gegenüber 2 Erfolgreicher Hits ), aber Ihre Leistung ist immer noch wesentlich besser, und es war schwierig für Sie zu verbessern, Aus diesen

Gründen ist die Verwendung von Noten Unterschied selten ist eine gute Methode für die Messung von Veränderungen. Die Fragen im Zusammenhang mit der ordnungsgemäßen Messung des Wandels sind komplex, und wir können nicht diese Fragen hier. Allerdings, viel geschrieben wurde, zu diesem Thema, empfehlen wir Ihnen, dass Sie lesen Schmidt und Lee (1999, Kapitel 10) zu diesem Problem in der Kfz-Lernen und Leistung, oder für eine klassische kurze Buch zum Thema, siehe Harris (1963). Diese Konstruktion kann auch in komplexen Formen. Erstens, mehr als zwei (Pretest und posttest) wiederholt Maßnahmen verwendet werden können. Diese Situation ist in den Bereichen Wahrnehmung Physiologie, Motor-Verhalten, Wahrnehmung und Psychologie, zufällig zwei Gruppen von Teilnehmern an einem Motor Verhalten Experiment gemessen werden können 30 oder mehr mal lernen, wie sie eine Aufgabe. Die beiden Gruppen könnten sich in den Informationen, die sie sind. Das Design könnte als die statistische Analyse einer 2 (Gruppen) x 30 (Prüfungen) ANOVA mit wiederholten Maßnahmen auf dem zweiten Faktor (Studien). Denken Sie daran, von Kapitel 9, dass die Erfüllung der Voraussetzungen für eine wiederholte ANOVA-Maßnahmen mit vielen wiederholt Maßnahmen ist sehr schwierig. So, wie diese in Designs, Studien kann blockiert (i, e, mehrere Studien im Durchschnitt, die Verringerung der Zahl der wiederholten Maßnahmen) in 3 Blöcken von 10 Studien oder 5 Blocks von 6 Studien. Manchmal ist das Design erweitert auf andere Art und Weise. Zum Beispiel, könnten wir die Design in Beispiel 18.1 (3 X 2 factorial) und ein dritter Faktor eines Pretest und posttest. Dies würde zu einer Drei-Wege-Fakultät mit wiederholten Maßnahmen auf den dritten Faktor. Alle Versionen dieses Design sind auf die erste Bedrohung für die externe Validität: Reaktive oder interaktive Effekte getestet wurden. Die Pretest können die Teilnehmer mehr empfindlich auf die Behandlung und damit die Fähigkeit zur Verallgemeinerung der Ergebnisse zu einem unpretested Bevölkerung. Unterschied Ergebnis oder Gewinn des Gastes. (difference score or gain score) Ein Ergebnis, dass die Differenz (Änderung) von Pretest zu posttest.

Solomon-Vier-Group Design

Die Solomon-Vier-Gruppe ist die einzig wahre experimentellen Design speziell Evaluierung der Gefahren für die externe Validität: Reaktive oder interaktive Effekte getestet wurden. Das Design stellt sich wie folgt dar:

Diese verbindet die randomisiert-Gruppen und die Pretest-posttest randomisiert-Gruppen-Designs. Das Ziel ist ausdrücklich zu prüfen, ob die Pretest führt zu einer Steigerung der Sensibilität der Teilnehmer auf die Behandlung. Diese Konstruktion ermöglicht eine Replikation der Wirkung der Behandlung (ist O2-O4 und O5-O6), eine Beurteilung der Höhe der Veränderung durch die Behandlung (ist O2-O1 - O4-O3), eine Bewertung der Wirkung getestet (ist O4O6), und eine Beurteilung der Frage, ob die Pretest interagiert mit der Behandlung (ist O2-O5). So, das ist ein sehr leistungsfähiges experimentellen Design. Leider ist es auch ein ineffizientes Design, als doppelt so viele Teilnehmer erforderlich sind. Dies resultiert in sehr begrenztem Nutzen, vor allem bei den Diplom-Studenten, die Diplomarbeiten und Dissertationen. Darüber hinaus gibt es keine gute Methode für die Analyse dieses Design statistisch. Die beste Alternative (eine, die nicht alle dem Tag) ist ein 2 x 2 ANOVA setzen sich wie folgt zusammen:

So, IV1 hat zwei Ebenen (vorgeprüft und nicht vorgeprüft), IV1 und hat zwei Ebenen (Behandlung und keine Behandlung) In der ANOYA, die F-Ratio für IV1 sind die Auswirkungen der Test, der F für IV2 sind die Auswirkungen der Behandlung, und die F-Interaktion für die Beurteilung der externen Bedrohung Gültigkeit der Wechselwirkung der Pretest mit der Behandlung. Tabelle 18.2 fasst die Kontrolle der Gefahren für die Gültigkeit für den wahren experimentellen Designs. Quasi-experimentellen Designs Nicht alle Forschungs-, in denen eine unabhängige Variable wird manipuliert passt klar in eine der echten experimentellen Designs. Wie Forscher versuchen, um externe und ökologische Gültigkeit, die sorgfältige und vollständige Kontrolle

über die wahren Muster wird immer schwieriger, wenn nicht gar unmöglich. Der Zweck der quasi-experimentellen Designs ist, um das Design zu mehr Einstellungen wie der realen Welt, während immer noch die Kontrolle, wie viele der Gefahren für die innere Gültigkeit wie möglich, die Verwendung dieser Art von Mustern und Modellen in Kinesiologie, Sport, Bewegung Wissenschaft, Kultur, Sport Wissenschaft und anderen Bereichen (e, g, Pädagogik, Psychologie und Soziologie) hat sich in den letzten Jahren. Die maßgeblichen Text auf quasi-experimentellen Designs ist, dass durch Shadish, Cook, und Campbell (2002). In quasi-experimentellen Forschung, die Nutzung der Randomisierung zur Kontrolle von Gefahren für die innere Gültigkeit ist schwierig. Es ist sinnvoll, dass zufällige Zuordnung kann nicht verwendet werden, in vielen Einstellungen. Zum Beispiel, ein Forscher, der Pädagogik will, um die Auswirkungen einer Intervention Lehrplan nicht zufällig zuweisen Kinder Klassen, weil die Schulen diese Entscheidungen auf andere Kriterien, die erzieherischen Wert, keine Schule zustimmen würde, die die Studie, wenn sie zu ändern die SchülerKlassen. Es wäre auch schwer zu zufällig zuweisen Klassen innerhalb einer Schule für unterschiedliche Behandlungen, denn es ist wahrscheinlich, dass die Lehrer miteinander sprechen (und auch den Handel Ideen aus den verschiedenen Lehrplänen, dass sie sich effektiv) und die Stärke der Behandlung Intervention. Gleiches gilt, wenn ein Forscher waren die Untersuchung der Auswirkungen einer Übung auf dem Programm im Alter in einer Gemeinschaft Einstellung zufällige Zuordnung nicht funktionieren würde, weil die Menschen wählen, um sich in den Klassen auf der Grundlage von Faktoren in ihrem Leben (z. B. Bequemlichkeit, die Mitgliedschaft, TransportBedürfnisse) und nicht, ob es hilft ein Forscher. Durch das Gehen Sie zu einem anderen Standort oder an der Klasse zu einem anderen Zeitpunkt würde wahrscheinlich die Zahl der Menschen, die damit einverstanden zu beteiligen und die Teilnehmer Attrition (oder zu sagen, dass es einen anderen Weg, erhöhen experimentelle Mortalität). Quasi-experimentellen Designs Forschungs-Designs, in denen der Experimentator versucht, passen das Design an der realen Welt Einstellungen, während immer noch die Kontrolle wie viele von den Gefahren für die innere Gültigkeit wie möglich zu gestalten.

Storno Design Die Storno-Design wird immer häufiger in der Schule und anderen NaturEinstellungen und stellt sich wie folgt dar:

O1

O2

T1

O3

O4

T2

O5

O6

Das Ziel hier (wie bei der Zeit-Serie) ist die Bestimmung einer BaselineMessung (O1 und O2), Bewertung der Behandlung (zwischen 02 und 03), Evaluierung einer nicht-Behandlung Zeitraums (O3 auf 04), bewerten die Behandlung wieder (04 bis 05) und bewerten die Rückkehr zu einem NoBehandlung Zustand (05 bis 06). Dieses Design ist auch unter der Bezeichnung Abeba (oder manchmal auch nur AB), wo A ist der Ausgangszustand und B ist die Behandlung Zustand. Zeilen wie A, B und C in Abbildung 18.1 deuten darauf hin, dass die Behandlung wirksam ist, wie in der Erwägung, dass Linien D, E, F und nicht für eine Behandlung Wirkung. Statistische Analysen für die Umkehrung Entwürfe müssen auch Regressionstests der Pisten und fängt der Linien zwischen den verschiedenen. Beobachtungen. Nonequivalent-Control-Group Design Ein Design mit einem nonequivalent Kontrollgruppe wird häufig in der realen Welt, wo Gruppen-Einstellungen können nicht zufällig, Das Design ist wie folgt:

Sie erkennen dies als Pretest-posttest Design ohne Randomisierung. Häufig, Forscher vergleichen 01 und 03 und zu erklären, wenn die entsprechenden Gruppen ist dieser Vergleich nicht signifikant. Leider, nur weil die Gruppen unterscheiden sich nicht auf die Pretest bedeutet nicht, dass sie sich nicht anders auf einer beliebigen Anzahl von nicht gemessene Merkmale, die Einfluss auf die Ergebnisse der Forschung. Wenn die Gruppen unterscheiden sich bei 01 und 03 verglichen werden, ist in der Regel ANCOVA beschäftigt, um 02 und 04 für die ersten Unterschiede. Alternativ kann auch eine in (der Pretest / pasttest Vergleich-ein wiederholter Messung) und zwischen (Behandlungs-und Kontrollgruppe Vergleich) Zwei-Wege-ANOVA genutzt werden könnten, um zu

analysieren, ob Gruppen sich von Pretest zu posttest und ob die Änderung für die verschiedenen in der Behandlungs-und Kontrollgruppe.

Ex-Post-Facto-Design In seiner einfachsten Fall, die Ex-post-facto-Design ist eine statische Gruppe Vergleich, aber mit der Behandlung, die nicht unter der Kontrolle des Experimentators. Zum Beispiel, wir vergleichen häufig die Merkmale der Athleten gegenüber nonathletes, sehr fit gegenüber ungeeignet Personen, Frauen gegenüber männlichen Künstler und Experten im Vergleich zu leicht Interpreten. In der Tat, wir sind auf der Suche nach Variablen, die zwischen diesen Gruppen. Unser Interesse liegt in der Regel die Frage, hat dieser Variablen beeinflussen die Art, wie diese Gruppen wurde von anderen? Natürlich ist dieses Design können diese Frage nicht beantworten, aber es kann eine interessante Einblicke und Merkmale für die Manipulation in anderen experimentellen Designs. Dieses Design ist auch oft ein ursächlicher vergleichende Design. Die zuvor erwähnten quasi-experimentellen Designs wurden häufig in der Forschung auf die Untersuchung der körperlichen Aktivität. Jedoch mehrere zusätzliche Designs ein erhebliches Potenzial, aber gesehen haben, weniger in unserer Forschung. Wir hoffen, dass die folgenden Präsentationen über zwei vielversprechende dabei das Interesse, sowie die Verwendung dieser Designs. Switched-Replikation Design Die eingeschaltet-Replikation Design (Shadish, Cook & Campbell, 2002) kann es sich entweder um eine echte oder Quasi-Experiment, je nachdem, ob Ebenen sind stichprobenweise oder Gruppen intakt. Wenn die Teilnehmer werden nach dem Zufallsprinzip auf den Stufen 1 bis 4, das Design ist ein echtes Experiment. Wenn die Stufen 1 bis 4 sind verschiedene intakten Gruppen (zB Tennis-Spieler im College, High School, und zwei Jahren der Jugend-Ligen), dann ist das Design quasi-experimentellen. Eine beliebige Anzahl von über zwei Ebenen verwendet werden können, aber

die Zahl der Studien muss eine größere als die Anzahl der Ebenen. Dieses Design hat zwei starke Features: Die Behandlung wird mehrmals wiederholt, und die Langzeit-Behandlung Auswirkungen bewertet werden können. Es gibt keine Standard-statistische Analyse für dieses Design, aber mit verschiedenen ANOVAs wiederholten Maßnahmen verwendet werden könnten. Oder das Design kann analysiert werden durch den Einbau Regressionsgeraden für jedes Niveau und Prüfung, wie die Pisten und fängt ändern. Viele Möglichkeiten gibt es, dieses Design in unserem Bereich, aber es ist selten genutzt. Dieses Design kann besonders nützlich, in der Forschung über den Sport-Teams, wo entweder verschiedene Teams oder andere Spieler im Team könnte für die verschiedenen Ebenen, 18,3 Tabelle fasst die Gefahren für die Gültigkeit der quasi-experimentellen Designs bisher besprochen haben. Time-Series-Design Die Zeit-Serie Design ist nur eine Gruppe, sondern versucht zu zeigen, dass die Änderung, das auftritt, wenn die Behandlung wird sich aus den Zeiten, als es nicht. Diese kann wie folgt dargestellt werden: O1 O2 O3 O4 T

O5 O6

O7

O8

Die Grundlage für die Behauptung, dass die Behandlung der Ursachen ist, dass eine konstante Geschwindigkeit des Wandels werden kann von 01 bis 04 und von 05 bis 06, sondern dass dieser Satz der Veränderung variiert zwischen 04 und 05, wo T verabreicht wurde. Zum Beispiel in Abbildung 18.2, Linien A, B, G und deuten darauf hin, dass die Behandlung (T) ergibt sich eine sichtbare Veränderung zwischen den Beobachtungen, in der Erwägung, dass Linien D, E, P, G und zeigen, dass die Behandlung hat keine zuverlässige Wirkung. Die typische statistische Analysen zuvor diskutiert passen nicht Zeit-Serie Designs sehr gut. Zum Beispiel, ein wiederholter ANOVA mit geeigneten Maßnahmen, Follow-ups auf Linie C in Abbildung 18.2 könnte darauf hindeuten, dass alle Beobachtungen (01 bis O8) unterscheiden sich erheblich, auch wenn wir können deutlich sehen, eine Änderung in der Anstieg zwischen 04 und 05 ,

Wir sind nicht die Details, aber Regression Techniken verwendet werden können, um die Pisten und das fängt in der Zeit-Serie Designs. Diese Art von Design scheint für eine Reihe von Gefahren für die innere Gültigkeit. Zum Beispiel, Reifung ist konstant zwischen Beobachtungen. Testen Effekte können auch bewertet werden, obwohl sie nur schwer zu trennen von der Reifung. Auswahl Verzerrungen auch zu kontrollieren, weil die gleichen Teilnehmer werden bei jeder Beobachtung.

Natürlich, der Geschichte, der Instrumentierung, und Mortalität werden nur in dem Maße, dass die Forscher sie kontrolliert. Sehen Sie ein Beispiel für eine humorvolle Zeit-Serie Design unten. Eine Erinnerung zur Verwendung von intakten Gruppen in Quasi-Experimenten: Wie wir in Kapitel 6, die in den Abschnitt über die Probenahme, die die Verwendung von intakten Gruppen und vor allem, den Zeitpunkt, wann eine Behandlung wird zu einer Gruppe, die Analyse und die Einflüsse, wie viele Gruppen sind, die für eine Studie. Diese Frage wurde an anderer Stelle in der Länge (Silverman, 2004; Silverman & Solmon, 1998), und wir werden nicht mit, dass die ganze Diskussion hier. Wir sind gezwungen, Staat, jedoch, dass, wenn Gruppen erhalten Behandlungen, wie eine Gruppe, die entsprechende Einheit ist fast immer der Gruppe. Diese, dann erfordert eine Reihe von Gruppen, um über genügend Leistung, um die Daten analysieren. Diese Planung QuasiExperimente zu prüfen, dieser frühen sie sind also nicht die sich mit der Frage nach dem alle Daten gesammelt wurden. Single-Subject-Design Ein Single-Thema Design ist genau das, was es klingt wie ein Forscher ist auf der Suche nach den Auswirkungen einer Intervention auf einem einzigen Thema. Diese Ausführungen sind auch manchmal als N = 1 Designs, weil sie oft nur ein Thema. Es gibt viele Designs innerhalb dieser Familie, und wir könnten sie als eine Art Quasi-Experiment, da ein Forscher mit diesem Design ist auf der Suche nach der Wirkung einer Behandlung ohne Randomisierung. Wir haben

es nicht getan, weil hier die Konzentration auf einzelne Effekte statt der Gruppe macht diese Auswirkungen verschiedenen Designs. Darüber hinaus, diejenigen, die Single-Verhalten Gegenstand der Forschung Blick auf die Veränderungen auf Grafiken und nicht die Ergebnisse mit den Statistiken, In unserem Bereich, Einzel-Designs sind Gegenstand oft in klinischen Einstellungen, beispielsweise die Beobachtung Leibeserziehung Anweisung, Verfolgung Sport Psychologie mit Athleten, die das Studium eine hervorragende Künstler (z. B. einer olympischen Athleten), oder sich mit der motorischen Funktion eines Person mit einer körperlichen Beeinträchtigung (z. B. zu erreichen und das Greifen von einer Person mit der Parkinson-Krankheit). Ein Teilnehmer an dieser Art von Studie ist in der Regel gemessen an der Aufgabe, immer wieder von Interesse. Viele Studien sind notwendig, um den Einfluss der Behandlung. In manchen Zeiten eine Baseline-Messung gewonnen wird, und in anderen Zeiten wird eine Behandlung liegt der Schwerpunkt häufig auf Teilnehmer Variabilität sowie durchschnittliche Werte. Quast-experimentellen Zeit-Serie, Umkehr, und eingeschaltet-Replikation Designs kann als Einzel-oder Gruppen unter Designs Designs. Bei der Verwendung mit einzelnen Themen, diese Entwürfe sind oft als AB oder ABAB Designs, wobei A bezieht sich auf den Ausgangszustand (keine Behandlung) und B bezieht sich auf, wenn die Behandlung wird, manchmal mehr als eine Behandlung, die den gleichen Teilnehmer. Wie in der Forschung mit einer Gruppe von Teilnehmern, die ausgleichende Behandlung, um getrennte Behandlung Effekte ist wichtig. Mögliche Fragestellungen sind die folgenden: Ist die Behandlung die gleiche Wirkung jedes Mal? Sind die Auswirkungen der Behandlung kumulativ, oder ist der Teilnehmer in den Ausgangszustand zurück nach jeder Behandlung? Hat der Teilnehmer die Antwort auf die Behandlung weniger Variablen über mehrere Perioden Behandlung? Ist der Teilnehmer Ausmaß der Reaktion weniger empfindlich auf die verschiedenen Anwendungen der Behandlung? Sie unterschiedlicher Intensität, Häufigkeit und Dauer der Behandlung

produzieren unterschiedliche Antworten? In Abbildung 18,3 präsentieren wir Ihnen eine Grafik mit einem traditionellen ABAB Design. Beachten Sie, dass die A-Zeiten sind Baseline-Messungen und die B-Zeiten sind, in dem die Intervention erfolgt. Die zweite A wird die Auflösung, in dem die Behandlung wurde.

Die einzelnen Themen-Designs in diesem Abschnitt beschrieben haben in der Regel ein Thema. Andere Einzeller-Entwürfe Gegenstand haben können mehr als ein Thema, die die gleiche Intervention. In diesen Studien werden die verschiedenen Themen Beginn der Intervention an verschiedenen Punkten in der Zeit durch die Verlängerung der Baseline-Messung für die nachfolgenden Themen. Zum Beispiel, hat man unter Baseline-Messungen, die über 5 Tage, wobei zwei über 10 Tage, und unter drei über 15 Tage. Dies ermöglicht eine Prüfung der Intervention zu verschiedenen Zeitpunkten. Es gibt viele Permutationen von mehreren Baseline Designs, und Wertaufholungen auch hinzugefügt werden könnten, um diese Muster. In Abbildung 18/4 wir ein anschauliches Beispiel. Weitere quasi-experimentellen Designs existieren, aber die, die hier sind die am häufigsten verwendet. Natürlich, quasi-experimentellen Designs nie die Kontrolle der internen Gültigkeit sowie das wahre experimentelle Designs, aber das tun sie es uns ermöglichen, Untersuchungen, wenn echte Experimente kann nicht verwendet werden, oder, wenn eine echte experimentellen Design reduziert externe Validität. Zusammenfassung In der experimentellen Forschung, eine oder mehrere unabhängige Variablen (die Behandlung) sind manipuliert, um die Auswirkungen auf eine oder mehrere abhängige Variablen (die Reaktion gemessen). Studien befassen sich mit den internen und externen Gültigkeit. Interne Gültigkeit verlangt Steuerung, so dass die Ergebnisse lassen sich auf die Behandlung. Gefahren für die innere Gültigkeit Geschichte, Reifung, Prüf-, Mess-, statistische Regression-, AuswahlVerzerrungen, experimentelle Mortalität, Auswahl-Reifung Interaktion undwartung.

Externe Validität ist die Fähigkeit zur Verallgemeinerung der Ergebnisse auf andere Teilnehmer und die anderen Einstellungen. Vier Bedrohungen zu externen Gültigkeit: Reaktive oder interaktive Effekte der Prüfung, die Interaktion der Auswahl Vorurteile und die experimentelle Behandlung, reaktive Effekte der experimentellen Arrangements, und Multiple-Behandlung Störungen. Nach hohen Grad der sowohl interne als auch externe Validität ist fast unmöglich. Der starre, die für interne Kontrollen Gültigkeit machen es schwierig, die Ergebnisse verallgemeinern zu der realen Welt. Umgekehrt, Studien mit einer hohen externen Validität sind in der Regel schwach in der internen Gültigkeit. Zufällige Auswahl der Teilnehmer und der zufälligen Zuordnung zu Behandlungen sind die mächtigsten Mittel für die Kontrolle des größten Gefahren für die interne und externe Gültigkeit. Preexperimental Designs sind schwach, denn sie können nur wenige Quellen der Nichtigkeit. True experimentellen Designs zeichnen sich durch eine zufällige Bildung von Gruppen, die erlaubt die Annahme, dass die Gruppen waren gleichwertig zu Beginn der Studie. Die randomisierte, Gruppen-, Pretest-posttest-Gruppen randomisiert, und Solomon Vier-Gruppe Designs sind Beispiele für echte experimentelle Designs. Quasi-experimentellen Designs werden oft verwendet, wenn es schwierig oder unmöglich, ein wahrer experimentellen Designs oder, wenn eine echte experimentellen Design wesentlich einschränkt externe Validität. Die Zeit-Serie Design, Design-Umkehr, nonequivalent-Control-Design-Gruppe, und Ex-postfacto-Design sind die am häufigsten verwendet. Die Switched-Replikation und einzigen ¬ Thema Design sind möglicherweise nützlich, aber weniger häufig verwendet werden quasi-experimentellen Designs.

Related Documents

Quasi
April 2020 8
Quasi Contracts
June 2020 17
Cosima, Quasi Grazia
July 2020 7
A Quasi At
December 2019 16