Experimenteel hoorcollege 1

De empirische cirkel

1. Theorie en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie-onderzoek

• Bij het experiment is de OV (onafhankelijke variabele) een indeling van mensen in groepen en dat noemen we de factor.
• De AV (afhankelijke variabele) is een continue variabele, een variabele die minimaal 7 verschillende waarden aan kunnen nemen die van klein naar grote ordenen zijn.
• Dan de hypothese, een nulhypothese. Die zegt er gebeurt niks. Elke groep heeft evenveel mixed emotions. De manipulatie was niet effectief.
• De alternatieve hypothese zegt er is wel een effect.
• Dan de hypothese evalueren.
• Hypothese wordt getoetst met de p-waarde.
• We willen ook effectsize: Cohen’s d. Grootte van het effect.

p-waarde is de kans dat het gevonden verschil van gemiddelden als in de populatie de nulhypothese waar is. p=0,02. De kans op het gevonden verschil in gemiddelden, is maar 2% als de nulhypothese waar is.

Cohen’s d is het verschil in gemiddelden gedeeld door de standaarddeviatie.

• .2 is klein
• .5 is gemiddeld
• .8 is groot
• .45 is dus een gemiddeld effect.

Type I fout en poweranalyse

• Type I fout is de kans dat H0 ten onrechte wordt verworpen. We accepteren een kans van 5% om H0 ten onrechte te verwerpen.
• Power is de kans om de H0 terecht te verwerpen. Daarvoor nemen we meestal .80
• Je moet dus een poweranalyse doen.
• 64 participanten per groep hebben.
• Niet voldoen aan de power? Dan geldt het effect niet.

Soppy science.

• Ze gebruiken Questionable research practices. Dit doen de onderzoekers.
• Publication bias. Dit doen de tijdschriften.
• We wisten niet van een effect dat er niet was, omdat het niet gepubliceerd werd.
• Het zijn tijden van replicatie crisis.
• Pre-registratie is een oplossing, voordat je je data verzameld, leg je je plan al vast. Je plaatst al op internet wat je al wil doen. Dan leg je je plannen vast.
• Replicatie onderzoek. Als je je experiment hebt gedaan, moet een ander het nog even over doen.
• Oorzaken replicatie crisis: p = 0,05
• De bayesiaanse statistiek gebruikt geen grenswaarde zoals de 0.05.
• BF = bayes factor
• Subscripten 0 en a = is de bayes factor van H0 versus Ha.
• BF altijd 2 subscripten

BF geeft de relatieve steun aan in de data voor H0 versus Ha. Als BF = 5, dan betekent dat dat de steun in de dasta 5x groter is voor H0 dan voor Ha. Van H0 vs Ha is 0,2. Dan is Ha vs H0 = 5. Dus meer steun voor Ha.

fit en de specificiteit helpen de Bayes factor berekenen.

• Hoe goed past H0 bij de data = de fit
• Hoe specifiek is H0 = specificiteit

Ha zegt: eigenlijk kan alles gebeuren. Dat is niet heel specifiek.

• BF = fit (hoe past H0 bij de data) / specificiteit (hoe specifiek is de hypothese).

Hoorcollege 3 Experimenteel

Bijj tweeweg ANOVA zijn er twee factoren.

• Factor kan voorkomen in between en within.
• Between factor is iets waarop we mensen met groepen indelen
• Within is als je twee keer gemeten wordt. Eerst placebo pil en dan de echte pil, etc.
• Met een between en een within is het klassieke experimentele experiment
• AB conditie of BA conditie, in beide conditie voorzien van een hoofdpijnscore, dat is een ABBA design, oftewel het counterbalanced design

Door randomisatie kom je of in de controlegroep of in de experimentele groep. Met gerandomiseerde designs kun je causale uitspraken doen. Maar je hebt ook het quasi experimentele design. Kenmerk: Er wordt niet gerandomiseerd. Niet gerandomiseerd? Dan kunnen we geen causale uitspraken doen. Dan is er een bedreiging van de interne validiteit.

• De kinderen kunnen zelf kiezen of ze wel of niet extra huiswerk maken: E en C.
• Dit is zelfselectie.
• Jan houdt van rekenles geven, Pim niet van rekenles geven.
• E rekent beter dan C. Dus met extra huiswerk kunnen beter rekenen.
• Er is niet gerandomiseerd, betekent dat dat de experimentele manipulatie effectief is geweest?
• Dat weten we niet, want er is niet gerandomiseerd: quasi experimenteel design.
• Altijd het eerste antwoord is: dat weten we niet, er kunnen alternatieve verklaringen voor het gevonden effect zijn.

Designs en factoren

• 2 between factoren in een quasi experimenteel design bij de Tweeweg ANOVA.
• Bij een quasi experimenteel experiment wordt niet gerandomiseerd.
• Tweeweg ANOVA heeft twee between factoren.

Er zijn dan drie hypothesen die we kunnen toetsen.

1. Er is een hoofdeffect van meester
2. Er is geen hoofdeffect tussen controlegroep en experimenteel.
3. Er is geen interactie-effect, want de lijnen lopen parallel. In C is het verschil tussen Janners en de Pimmers gelijk aan het verschil tussen de Janners en Pimmers in E.

• Bij meester: 20% van de variatie in het rekencijfer wordt verklaard door meester. Dit is een groot effect.
• Bij de variantie analyse gebruiken we een generalisatie van de t-toets en die noemen we de F-toets. Is gewoon een feitje.
• F-toets maakt gebruik van vrijheidsgraden van F: df1 en df2. Deze F-toets met vrijheidsgraden wordt vertaald in p-waarde.

Uitkomst analyse

• Hoofdeffect voor meester
• Hoofdeffect voor groep
• Geen interactie-effect: verschil in controlegroep is gelijk aan de experimentele groep
• De proportie verklaarde variantie is de eta kwadraat optellen.
• Hoeveel van de variatie in rekencijfer wordt verklaard door deze drie effecten is de eta kwadraat optellen.

eta kwadraat = 45% van de variatie in het rekencijfer wordt verklaard door groep en sexe.

Ander voorbeeld:

• Gemiddeld genomen doen de Janners en de Pimmers het even goed. Geen hoofdeffect van meester.
• Gemiddeld genomen doen de E en C het even goed, geen hoofdeffect voor C of E.
• Geen hoofdeffecten
• Wel interactie-effect

Designs en informatie

• De alternatieve verklaring is dus meester en niet groep. Dat komt omdat het een quasi experimenteel experiment is.
• t-toets: twee groepen, 1 AV die continu is
• Eenweg ANOVA: twee of meer groepen, AV

Experimenteel

Voorwaarden van causaliteit:

1. Covariance
2. Temporal precendence
3. Internal validity

Uitleg:

1. Er moet een relatie zijn tussen oorzaak en gevolg
2. Deze oorzaak moet in de tijd voorafgaan aan het gevolg
3. Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten

Deze drie voorwaarden moeten nagestreefd worden. Dit kan het best via een gerandomiseerd experiment.

Dit is een oknderzoeksopzet waarbij:

• De groepen hetzelfde worden verondersteld door randomisatie.
• De onderzoeker één variabele manipuleert (de onafhankelijke variabele)
• De onderzoek meet het effect daarvan op een andere variabele (de afhankelijke variabele)

Bij een experiment wordt er een aselecte steekproef getrokken. De ene groep krijgt een bloeddrukverlagend middel, de andere groep krijgt een placebo. Wat kan misgaan: bij randomisatie wil je wel gelijke verdeling leeftijd en man/vrouw-verdeling in de groepen, dat is niet altijd het geval.

De vraag is: Wanneer is er sprake van samenhang tussen type aantekeningen en leerprestatie?

• Hier kun je geen puntenwolk bij maken. Dit is omdat het nominale groepen zijn (de onafhankelijke variabele). Daarom kan je een boxplot gebruiken:
• Als de gemiddelden tussen de twee groepen verschillen, dan zeggen we dat er een samenhang is tussen de twee variabelen. De uitkomsten verschillen namelijk.

Bedreigingen bij experimenteel onderzoek:

• Design confounds: ligt bij de onderzoeker.
• Was de gemanipuleerde variabele wel het enige verschil in de behandeling van de twee groepen.
• Alles hetzelfde, behalve hetgeen wat we willen manipuleren: de onafhankelijke variabele.
• De ene groep kreeg een TED talk van klimaatverandering en de andere over social media.

Selectie effect:

• Waren de twee groepen wel vergelijkbaar bij aanvang van het experiment. De ene groep studenten studeerde scheikunde en de andere psychologie.
• Verdeling man en vrouw, hoogst afgeronde studie, gemiddelde leeftijd, SES, opleidingsniveau ouders, de moedertaal. Hier wordt vaak naar gekeken of de twee groepen vergelijkbaar zijn.
• Contaminatie = deelnemers in experimentele groep vertellen deelnemers in controlegroep over de deelname.

Soms is willekeurige toewijzing niet mogelijk: niet ethisch of praktisch onhaalbaar. Double blind = ook de onderzoeker weet niet in welke groep de deelnemer zit.

Een onderzoeksvraag van een experimenteel onderzoek kun je herkennen aan de volgende elementen:
PICO:

• Population
  • De populatie die onderzocht wordt.
• Intervention
  • Wat manipuleer jij, welke interventie voer je uit.
• Comparison
  • De controlegroep, met wie vergelijk jij de experimentele conditie
• Outcome
  • De afhankelijke variabele

De interventie (de experimentele conditie) en de comparison (de controlegroep) maken samen de gemanipuleerde variabele.

PICO:

Met behulp van simulatiespel (waarin men wel of niet wordt buitengesloten) wordt er gekeken of er een verschil in stemming is na afloop tussen degenen die wel en niet buitengesloten worden.

• P: Participanten
• I: wel buitengesloten worden
• C: niet buitengesloten worden (de controlegroep)
• O: verschil in stemming

Gerandomiseerd experiment:

• Uit de aselecte steekproef haal je de experimentele groep en de controlegroep.

Inferentiële statistiek = mogen we het steekproefresultaat generaliseren naar de populatie?

NHST = nulhypothese significantietoetsing

De stappen van NHST (nulhypothese

De belangrijkste begrippen bij kwalitatief onderzoek op een rijtje

Theorie

• In theorie: Een theorie is een geheel van denkbeelden, hypothesen en verklaringen die in onderlinge samenhang worden beschreven. In de wetenschap is een theorie een getoetst model ter verklaring van waarnemingen van de werkelijkheid.

Empirisch

• In theorie: Empirisch onderzoek is onderzoek dat gebaseerd is op eigen ervaring. Hierbij wordt gebruik gemaakt van directe of indirecte waarnemingen. Empirisme is een kenmerk van wetenschappelijk onderzoek.

Controleerbaar

• In theorie: De resultaten van een onderzoek moeten controleerbaar zijn. Wanneer andere onderzoekers een vergelijkbaar onderzoek doen, moeten de verwachtingen van het onderzoek kunnen worden bevestigd of weerlegd. Controleerbaarheid is een kenmerk van wetenschappelijk onderzoek.

Probabilistisch

• In theorie: Het probabilisme is de leer dat zegt dat het onmogelijk is om de absolute waarheid te kennen, ze zoekt meer om de waarschijnlijkheidsgraad te kunnen bepalen. Er is een kans dat we het ene zien, maar dat toch het andere waar is. Het tegenovergestelde van probabilistisch is deterministisch: als je dit doet, gebeurt dat altijd. Probabilistisch is een kenmerk van wetenschappelijk onderzoek.

Falsifieerbaar

• In theorie: Een theorie moet weerlegd kunnen worden aan de hand van verzamelde gegevens. De theorie moet ‘’verwerpbaar zijn’’. Falsifieerbaarheid is een kenmerk van een goede wetenschappelijke theorie.

Spaarzaam

• In theorie: De stelling is dat wanneer er verschillende hypotheses zijn die een verschijnsel in gelijke mate kunnen verklaren, die hypothese gekozen moet worden die de minste aannames bevat en het kleinste aantal entiteiten veronderstelt. Als een eenvoudige theorie volstaat, is het niet nodig om deze complexer te maken. Spaarzaamheid is een kenmerk van een goede wetenschappelijke theorie.

Fundamentele onderzoeksvraag

• In theorie: Een fundamentele onderzoeksvraag wordt ook wel “zuivere” wetenschap genoemd omdat het kennis vanwege kennis is, zonder een concrete toepassing. Het richt zich op de basismechanismen en leidt tot ontdekkingen die bijdragen tot een beter begrip van hoe iets werkt. De onderzoeker zoekt naar algemene informatie, zoals: ‘’Wat gebeurt er in het brein van een narcist.’’

Toegepaste onderzoeksvraag

• In theorie: Toegepast onderzoek start met een handelingsprobleem van de praktijk. In toegepast onderzoek wordt bestaande wetenschappelijke kennis toegepast op het analyseren en oplossen van praktijkproblemen. Bijvoorbeeld het maken van een interventie: ‘’Kunnen we Instagram op een of andere manier aanpassen, zodat het minder leidt tot narcistische trekjes?’’

Translationele onderzoeksvraag

• In theorie: Je gaat hier van het ene onderzoek over in het andere. Je gaat van de praktische interventie een stap verder: ‘’Waarom werkt deze versie van Instagram beter?’’ of  ‘’Wat doet deze versie van Instagram met een narcist?’’

Kwalitatieve gegevens

• In theorie: Een kwalitatief gegeven is een woord, een zin of een stuk uitgesproken of neergeschreven tekst. Denk aan interviews, teksten of opnames.

Kwantitatieve gegevens

• In theorie: Een kwantitatief gegeven is een getal. Denk aan gewicht, lengte, aantal keer lachen.

Respondent

• In theorie: Iemand die antwoordt. Een respondent is iemand die antwoordt op een responsiecollege. Iemand die een enquête beantwoordt wordt ook