College 1

Design gevoeligheid en power

Veel wetenschappelijk onderzoek wat in de loop der jaren is uitgevoerd faalt in het vinden van betrouwbare resultaten (“Why most research findings are false”). Dit wordt mede veroorzaakt door het gebrek aan consistentie tussen studies en een gebrek aan power. Vaak spelen daarbij ook geld en andere belangen een rol.

Standaard statistisch toetsen

Standaard statistiek toetst verschillende hypothesen. Dit gebeurt aan de hand van een ANOVA, regressie, correlatie e.d. Voorbeelden van een nulhypothese en alternatieve hypothese:

H0 (Nulhypothese): Slaap zorgt er niet voor dat geheugen wordt geconsolideerd.

H1 (Alternatieve hypothese): Slaap zorgt ervoor dat geheugen wordt geconsolideerd. / Genen beïnvloeden schoolprestaties.

Sensitiviteit is terecht positief (power: 1- β).

Specificiteit is terecht negatief (1-α).

Type 1 en type 2 fouten: Welke is erger?

Type 1 error control is het belangrijkst in wetenschappelijk onderzoek. Je wil namelijk niet claimen dat iets bestaat terwijl het in het echt niet bestaat.

Power is meer en meer belangrijker: Je wil niet tijd in een onderzoek investeren als je geen kans van slagen hebt.

Een aantal voorbeelden

Wat is erger van de twee onderzoeken in de medische wereld?

1. Zwangerschapstest

Bij een zwangerschapstest is zowel de type 1 als de type 2 fout belangrijk. Een type 1 fout zou nep zwanger betekenen en een type 2 fout het missen van de zwangerschap.

2. Mammogram

Dit betreft het diagnosticeren van borstkanker. 70% van de vrouwen die daadwerkelijk borstkanker hebben, scoren positief op de test: Dit betekent dat 30% onder een type 2 fout valt: de test is relatief sensitief.

15% van de vrouwen die positief testen hebben daadwerkelijk borstkanker: Type 1 fout is 85%, de test is niet bepaald specifiek.

Type 1 en type 2 fout in medisch onderzoek: Osteoartritis

50 patienten krijgen een geneesmiddel: er is pijnvermindering na een maand met een gemiddelde procent pijnvermindering.

Nulhypothese: Het middel werkt niet: µ=0.

Alternatieve hypothese: Het middel werkt wel: µ>0.

Er is sprake van een type 1 fout als H0 verworpen wordt, terwijl het middel niets doet.

Er is sprake van een type 2 fout als H0 niet verworpen wordt, terwijl het middel daadwerkelijk een effect heeft.

Power: De kans op het verwerpen van H0 als het middel werkt (dit is afhankelijk van de werkelijke pijnvermindering).

Vraag: Wat is een “vals alarm”?

1. Een type 1 fout

2. Een type 2 fout

3. Een fout met beta kans

4. Een fout met kans 1-alpha

Wat valt er onder design?

Design kan vertaald worden met onderzoeksopzet: wat valt hieronder?

• Het soort onderzoek (bijvoorbeeld experimenteel onderzoek, correlationeel onderzoek).

• De keuze van de statistische toets

• De keuze van het aantal proefpersonen (sampling)

• Het aantal proefpersonen

Wat valt niet onder de onderzoeksopzet?

• De resultaten van het onderzoek

• De conclusie van het onderzoek

Wat is design sensitivity (gevoeligheid)?

Onderzoeksopzet gevoeligheid kan aangeduid worden met onderscheidingsvermogen (power). Het is de kans om een effect te vinden. Hierbij moet in gedachte gehouden worden dat alle voorgaande keuzes de kans beïnvloeden om een effect te vinden. Het onderzoek meet wat het echt zou moeten meten. Het is krachtig genoeg om effecten te detecteren als die er zijn (valide). Valide betekent dat het gevonden effect het bedoelde effect is van het onderzoek (er zijn geen storende variabelen of alternatieve verklaringen).

Beïnvloeding van de power.

Communicerende vaten: Meer kans om een effect te vinden als deze echt bestaat.

1. Alfa omhoog (maar mag dit wel?)

2. Steekproef groter maken (maar mag dit wel?)

3. Effect sterker (is dit feasible?)

4. Statistische toets/design verbeteren: minder ruis (de efficiëntie verhogen)

A. Alfa niveau en power

Een grotere alfa leidt tot meer power. Meer power leidt tot meer kans op detectie effect. Conventie waarde van alfa is 0.05. Er moet een balans gevonden worden tussen α en β. Er is sprake van een kostenaspect, waarbij rekening gehouden moet worden met een- of tweezijdig toetsen.

B. Vergroten van steekproef en power

Het kost meer geld en meer tijd. De effectgrootte (effect size) is niet afhankelijk van N (de steekproefgrootte). Cohen’s d/Cohens f2/Pearson r blijven allemaal hetzelfde.

C. Versterken van effect en power

- Afhankelijke variabele (valide en betrouwbaar, ongevoelig voor onstabiele factoren).

Vaker en/of langer meten om tot een hogere betrouwbaarheid te komen.

- Onafhankelijke variabele

Versterk de manipulatie door bijvoorbeeld een hogere dosis van een stof toe te dienen. Ethiek moet in acht genomen worden. Er moet rekening gehouden worden met het verschil tussen laboratorium en veldexperimenten. De controlegroep zal altijd vrij van enige interventie moeten zijn.

De omvang van het effect

ES vergelijkbaar met “signal to noise”: ES = µ1 - µ2/ σ1

Signal: µ1 - µ2

Noise: σ1 (de standaarddeviatie)

Er is een toename van de power doordat

• Y gevoelig is voor kleinere veranderingen (maar wel alleen voor de manipulatie)

• Validiteit van de meetverandering

• Betrouwbaarheid

• Discriminatie van individuele verschillen van de proefpersonen

D. Statistische methode en power

- Het verwijderen van de covariaten (bijvoorbeeld leeftijd).

De ruis kan verminderen, waardoor de error-variantie wordt verlaagd.

r = de correlatie van de confounder en Y

- ANOVA geblokt (bijvoorbeeld sekse)

Mannen en vrouwen worden als aparte groepen behandeld: verwijderen van de tussen-groeps variantie. PVb is de proportie variantie verklaar door de block-factor (sekse).

A priori poweranalyse: Bepaal de steekproef omvang

Dit is het meest in je macht: je kan de effectgrootte instellen (ES), de alfa en de power bepalen. De tabel zal weergeven hoe groot de steekproef nu moet zijn. Voor het instellen van de effectgrootte (ES) zal je literatuur moeten raadplegen en bovendien gezond verstand moeten gebruiken.

Vraag: Waarom is een a priori poweranalyse niet tot de data-analyse van een onderzoek te rekenen?

1. Omdat je de power analyse altijd achteraf uitvoert.

2. Omdat in je data-analyse alleen de resultaten van de variabelen worden beschreven.

3. Omdat de power analyse alleen iets zegt over de aard van de analyse techniek.

4. Omdat het wel of niet uitvoeren van de power analyse hoort bij de opzet van een design.

College 2

Inhoud:

• Wat is meta-analyse

• Hoe doe je meta-analyse

• Een voorbeeld: alcohol en studieprestatie

• Extra stappen

1. Wat is meta-analyse

Een voorbeeld: Online behandeling depressie

De forest plot, een meta-analyse uitgelegd aan de hand van een forest plot. Dat is altijd het doel waar je naartoe werkt in de meta-analyse.

We gaan naar het meta-analytisch resultaat toewerken.

Wat is meta-analyse:

Het is geen systematic review, daar wordt de literatuur systematisch geordend.

Bij meta-analyse doe je eerst een literatuur onderzoek en daarna doe je een statistische integratie opzoek naar 1 antwoord.

Opsommend is meta-analyse:

• Eenduidige vraagstelling en hypothese.
• Meerdere artikelen met resultaten in de literatuur, kan je nog een selectie op uitvoeren
• Statistische synthese
• Doel is de presentatie van nieuw onderzoek, met de forest plot erin.

Een voorbeeld:

Stel je voor dat je alcohol effect heeft op prestaties op de universiteit?

Stel het effect in de populatie is p=0.20

Ieder heeft zelfde opzet. 60 proefpersonen, vragen over alcoholgebruik en gemiddelde cijfers. Je moet een power analyse doen, want er wordt aangenomen dat er een effect is.

Gebrek aan power bij kleine studies:

Tellen van aantal hits in de literatuur geeft een vertekend beeld.

Een meta-analyse heeft een meerwaarde, 600 weten meer dan 60.

De kans op een positief resultaat bij p=0.20 in de populatie en 60 proefpersonen = 35%

De kans op een positief resultaat bij p=0.20 in de populatie en 600 proefpersonen = groter, maar hoeveel groter? 99.9%

Je berekent dit door de G te vermenigvuldigen met de power.

Zie hier de meerwaarde van de meta-analyse.

Mega-analyse:

Je doet zelf alle onderzoeken uitvoeren.

Meta-analyse:

Je doet alsof je 1 onderzoek hebt gedaan door alle onderzoeken te combineren. Gebruik daarbij niet de orginele data maar de gepubliceerde data. Uit de gepubliceerde data heb je de effectsize, of de steekproefgrootte per onderzoek of een SE nodig.

De forest plot:

Dit is het resultaat waar we naartoe werken. Er is een effectsize uitgehaald.

Een kleiner vierkantje geeft een kleinere power aan, het komt door het aantal proefpersonen.

Het diamantje onderin is de eindconclusie.

2. Hoe doe je een meta analyse?

• Probleemstelling; hoe definieer ik dingen?

• Data verzameling; zoek door bronnen op trefwoorden, zoals psychlit of pubmed of google scholar. Je zoekt de trefwoorden die je ook in je probleemstelling hebt staan.

• Data evaluatie: kijken of je de gepubliceerde data wel betrouwbaar vind. Een mini review van de artikelen die je hebt gevonden. Kijken naar het aantal proefpersonen is geen criterium want je gaat toch meta-analyseren.

Hebben ze wel de SE genoteerd, of de effectsizes of het aantal proefpersonen, want dat heb je allemaal nodig voor je meta-analyse.

• Presentatie

Een van de stappen van meta-analyse is data evaluatie, wat vormt een onderdeel van deze stap?

1. Concepten en relaties tussen concepten worden juist gedefinieerd.

2. Hier zoek je de juiste onderzoeken in de literatuur met behulp van zoekmachines op internet

3. Hier toets je de gevonden literatuur op kwaliteit en bruikbaarheid

4. Hier combineer je de gevonden resultaten tot een conclusie.

Het antwoord is 3.

Een van de stappen van meta-analyse is data evaluatie Wat vormt een bedreiging van de validiteit om deze stap?

1. Ik specificeer niet juist in welke leeftijdsgroep het effect speelt en verwater daarmee het effect

2. Onderzoeken zonder significant resultaat worden vaker niet dan wel gepubliceerd

3. Ik besluit ook onderzoeken mee te nemen die kwalitatief onder de maat zijn

4. Ik tel het aantal onderzoeken dat significante resultaten geeft. Dit levert een sterke onderschatting van het werkelijke effect.

Het antwoord is 3

Een voorbeeld: Alcohol en studie prestaties

Stadia:

• Probleemstelling
• Data verzameling
• Data evaluatie
• Analyse
• Presentatie

Probleem stelling: we definiëren precies wat de concepten nu eigenlijk zijn. We specificeren ook de relatie tussen de concepten.

Welke issues spelen een rol? Zoals dat de moeder al dronk toen jij in de baarmoeder zat.

Een richting aangeven, zoals meer alcohol is minder goede studie resultaten

Literatuur zoeken:

Zoek in pubmed, scholar, psyclit

Combineer met effect size:

• Maak lijst van effect sizes, zoals r, d, f2, OR
• Weeg naar belang van studie
• Bereken gewogen gemiddelden, zoals gestandaardiseerde maten zoals r: die weeg je naar N. Voor regressie-gewichten beta: variantie van het regressie gewicht! Niet de variantie van de data. Je doet de kwadraat van de standaardfout, en die is afhankelijk van de N en de spreiding. Je doet het kwadraat zodat je een bronnetje extra hebt om te wegen. 2 manieren dus. Variëren strak naar N of naar inverse variance.

Bij overall is de breedte van de diamant de betrouwbaarheidsinterval geworden.

Homogeniteit en Moderatie:

• Het effect is variabel

1. Homogeniteitsanalyse: is de variatie te groot?

• Analyseer spreiding van effectsize over studies
• Te groot? Gebruik van random effects model noodzakelijk

2. Welke factor verklaart spreiding van effect size?

• Bv. Studies met oudere proefpersonen vinden sterker effect  leeftijdsmoderatie

Homogeniteit:

• Het effect is variabel
• Twee bronnen van variatie van het effect
• Binnen de studie (sampling error)
• Tussen studies (effect verschilt per studie)
• Detecteer consistentie

fixed en random effects:

• Fixes effects model:
• Neemt aan dat elke studie dezelfde populatie gemiddelde effect heeft
• 1 bron van variantie, SE van het effect van elke studie
• Hoe meer studies hoe beter, want ruis neemt af met N
• Random effects model
• Neemt aan dat het effect varieert per studie verschilt
• 2 bronnen van variantie
• Hoe meer studies hoe beter, maar het stopt bij de minimale variantie tussen studies

Moderatie:

Moderatie is voorspelbare heterogeniteit

Moderatie van Pygmalion effect:

Manipulatie van oordeel over student is een self-fulfilling prophecy

Moderator: Wat heeft effect op het effect?

Waar de effect size van afhankelijk is, het zou een opzet van een studie kunnen zijn.

College 3

Theorieën:

Trend huidige wetenschap:

-Exploratief/descriptief

-Big is beautiful, generation R, Nederlandse TweelingenRegister

-Weinig ‘theory-driven’

-Vast theoretisch kader

Wat leert u:

• Beide hoofdstukken
• Appeleren aan het belang van de theorie
• Beschrijven van de cyclus van het wetenschappelijke bedrijf
• Verklaren waarom ‘some theories are more equal than others’, wat maakt een goede theorie?

We leren in de cursus om te kijken naar welke theorieën goed zijn en welke niet.

De plek van de theorie in onderzoek:

Zijn theorie en observatie niet intrinsiek met elkaar verbonden?

Jawel! Theorieën zijn ‘relational sets’ die observaties proberen te verklaren.

Maar niet altijd even verplicht.

• Ook in de wetenschap zijn impliciete theorieën, zoals kunh’s paradigma’s.
• Een pleidooi voor expliciet maken van alle theorieën, de minitheorie. Ga nou niet te groot en te breed alles proberen in een theoretisch kader te stoppen maar houd je theorie op een klein niveau die heel specifiek en precies voorspelt wat je in de wereld ziet.

A.D. Groot’s empirisch cyclus: Wanneer is een theorie van belang in een wetenschappelijk bedrijf. Belangrijk is deze cyclus. Induction daar gebeurd het opstellen van literatuur. Van specifiek naar algemeen. Van observatie naar theorie. Deduction kijkt van algemeen naar specifiek. Van theorie naar hypothese.

Context of discovery: soort inductieve fase.

Context of testing: je gaat zelf data verzamelen. Er is overlap met de empirische cyclus. Het is ongeveer hetzelfde idee.

Wat is een wetenschappelijke theorie?

• Het probeert iets te verklaren, het is gebaseerd op observaties.
• Er zijn verschillende niveaus van theorieën, er kan maar 1 hypothese worden getoetst of er worden een paar concepten die met elkaar in verband staan getoetst. Is er ook een mega niveau, met heel veel hypotheses.
• Niets is zo praktisch als een goede theorie. Een theorie moet praktisch zijn. Als je maar 1 hypothese hebt is het goed uit te voeren. In grote onderzoeken moet je veel stappen nemen voordat je vanuit de theorie een toepassing kan geven op de populatie.
• Articulatie van theoretische assumpties, je wilt bevindingen communiceren naar andere wetenschappers. Je wilt een gemeenschappelijke taal spreken.

Je zit in een vast kader te werken en je bent niet snel geneigd om het vaste kader op te geven, zelf als dat wel zou moeten.

Theorie:

• Zijn –ismes wel theorieën? Dit zijn grote stromingen die verbonden zijn aan wereldbeelden, dus zijn lastig te falsificeren. Ze hebben ook vaak een politieke achtergrond. Lang zijn veel theorieën niet goed geweest.
• Een mini theorie zou beter zijn. Deze is beter afgebakend.

Typen verklaringen:

• Procesmatige verklaring: De variant waarin je probeert te verklaren dat als A en B gebeuren dat C volgt. ‘Als dit dan dat’ verklaring. Een goed voorbeeld is de leertheorie van Pavlov. Als ouders roken ga jij het ook.
• Functionele verklaringen: Het te verklaren verschijnsel is doelgericht. Bijvoorbeeld altruïsme. Er is wel altruïsme vanwege de ouders , dat is procesmatige verklaring maar er wordt een theorie aan toegevoegd dat er bepaalde situaties zijn waarin er wel altruïsme plaatsvindt en wanneer niet.

Voorbeelden van theorieën:

• Cognitieve ontwikkelingstheorie van Paiget
• Morele ontwikkelingstheorie van Kohlberg
• Terror management theorie van

Voorbeelden geen wetenschappelijke theorie:

• New Scientology, deze zijn niet toetsbaar, vaak tautologisch, niet falsifieerbaar, vaag en rekbaar.

Goede theorie:

• Descriptive ability:
• Explanatory power: wat veroorzaakt wat, dat is gelinkt aan de observaties. Er moet een verklarende kracht zijn na een goede beschrijving die je in descripitive ability geeft.
• Heuristic value: belangrijke eigenschap van een theorie. Een theorie die in zijn eentje staat daar heb je niet zoveel aan. Pas heuristisch als de theorie andere theorieën opwekt.
• Testability: Iets moet wel gefalsifieerd kunnen worden. Hij moet getest kunnen worden en bevestigd of niet.
• Integration: Een theorie moet integer zijn, intern consistent, geen tegenstrijdige hypotheses worden en logisch consistent en coherent.
• Parsimony: Zuinigheid, een theorie moet zuinig zijn. Niet goed om maar steeds meer verbanden toe te voegen. Je explanatory power gaat dan wel omhoog maar de parsimony gaat dan omlaag. Het doel van parsimony is om zo duidelijk mogelijk te zijn.
• Clarity: Het fenomeen dat je niet alleen de descriptive ability, maar dat je het ook duidelijk opschrijft en communiceert. Je moet alle verbanden expliciet maken.
• Comprehensiveness: een goede theorie verklaard een hoop binnen een domein.
• Delimitation: expliciet maken wat er verklaard wordt binnen een theorie. Je geeft duidelijk aan waar het ophoudt. Comprehensiveness en delimitation zijn met elkaar verbonden.

Heuristische voorbeelden:

• Rogers client-centered therapy: drie voorwaarden: empathy, unconditional positive regard, congruence.
• Watts and strogatz ‘small world’ netwerken: Dit is heuristisch want het genereert veel andere onderzoeken. Al duizenden keren geciteerd.

Terror management theorie:

Wat is deze theorie?: Het gaat om de waargenomen terror. De waargenomen angst voor de dood. Hoe ga je daarmee om?

Het begint met de angst voor de dood. Je maakt mensen bewust van de dood = mortality salience. Mensen gaan meer geld uitgeven na deze priming. Of gaan humor meer waarderen. De theorie zegt dat er van alles gebeurd in je brein. Het doel is angst reductie. Er wordt ook gekeken naar self-esteem en gekeken naar je worldview. Een betere nadruk te leggen op je self-esteem, dat wat jij belangrijk vind. Daarmee kan je de angst reductie voor elkaar krijgen. Het heeft een aantal effecten. Namelijk dat je gaat polariseren met je ingroup. De outgroup wordt verder weg geplaatst en je ingroup is belangrijker. Het is een goede theorie. Er komt uit de resultaten precies uit wat er werd verwacht.

Is terror management theorie een goede theorie?

Heeft het desprictive ability?  Nee, lastig af te lezen.

Heeft het explanatory power?  Ja, de causale relaties worden goed beschreven. Het fit met de observaties die zijn gedaan en met de theorie.

Heeft het heuristic value?  Ja, Kijken naar de hoeveelheid citaties die zijn gedaan met jouw theorie. Deze theorie werd vaak geciteerd.

Heeft het testability? Ja, het is falsificeerbaar. Het is tautologisch zoals psychoanalyse dat is.

Heeft het integration?  Ja, het moet bijna als het testability heeft. Het is een coherent idee. De blokken en de pijlen zijn duidelijk. Eigenlijk veroorzaakt integration dat het een testability heeft.

Heeft het parsimony? Ja, genoeg zuinig.

Heeft het clarity?  Ja, deze is verbonden met descripitive ability.

Heeft het comprehensiveness? Het is een algemeen proces wat iedereen heeft, het gaat niet over individuele verschillen. Dan heeft deze theorie weinig toevoeging. Is deze theorie dan comprehensive? Nee, hij is niet extreem breed.

Additionele punten:

• Bruikbaarheid, wat kunnen we met dit onderzoek en wat kunnen we met de theorie die achter dit onderzoek zit?
• Reduceerbaar, geen formele eis maar wel de facto eis. Het is geen harde eis maar wel belangrijk. In de wetenschap willen we graag weten hoe het in het brein zit, welk biologisch effect veroorzaakt dit? Je hoeft niet alleen maar te weten wat de verbanden zijn, we willen eigenlijk ook weten hoe het komt. En wat erachter zit etc. Tegenwoordig wordt er veel onderzoek gedaan met maar amper een link naar de biologie.

Welke eigenschap bezit een theorie als het veel nieuw onderzoek genereert?  Heuristic

Formulering van een hypothese:

• Centrale eis is toetsbaarheid
• Stelligheid: geef geen vage hypothese. Je wilt in je hypothese alles zeggen in welke richting je gaat onderzoeken.
• Duidelijkheid

Theory testing:
Een reinforcer is iets wat gelinkt kan worden aan gedrag.

In principe ga je zoeken naar falsificatie. Maar theorieën kunnen tautologisch zijn, en dus onfalsifieerbaar. Tautologisch is wanneer je alles kan verklaren zonder dat je een predictie hoeft te doen.

• Theorieën maken deel uit van complex gebouw van theoretische structuren waarin aannames worden gedaan (core assumtions) naar waar je naar kijkt, wat je onderzoekt en hoe je onderzoekt. Sommige dingen zijn interessant en sommige niet. Het behaviorisme is interessant om naar te kijken. Het was vroeger voldoende om iets mee te verklaren. Dit was een core assumption waar geen nader onderzoek naar werd gedaan totdat het cognitivisme kwam; die zeiden dat het verklaard werd door bepaalde processen in het brein.

Life and death of the theory;

Theorieën worden verzonnen met de aanname binnen wetenschappelijke paradigma. De ‘core’ van Lakatos heeft een aantal hulphypotheses eromheen. Die samen vormen het theoretisch kader. We zijn van het functionele psychologie naar het verklarende biologie gegaan  paradigmatisch shift.

Wat gebeurd er als observaties niet aansluiten met jouw theoretisch kader?

Door paradigmatische shifts bijvoorbeeld. Of kijken naar Tom & Jerry die agressief zijn maar geen geweld in echte leven door de kids. Maar wel geweld in het echte leven van de kids na het zien van echt geweld op tv. De theorie wordt niet gefalsifieerd maar wordt niet verlaten. Er moet een andere hulp hypothese bij toegevoegd worden.
De ‘core’ blijft staan en door de hulphypothese kunnen de observaties toch passen bij je literatuur.
Maar de parsimony gaat naar beneden. Als je maar blijft toevoegen dan krijg je problemen. Dan heb je een parsimony faal. Bij genoeg falen  Kuhn’s paradigmatische shift.

Wat is beperking occam’s razor?

• Rule of parsimony, je kan alles wegsnijden wat je niet nodig hebt. Het probleem daarvan is misschien dat je over simplificeert. De werkelijkheid is misschien wel heel complex. De vraag is of parsimony wel een goede regel is. De wereld is misschien niet zo simpel.

Life and death of fact:

• Data wordt geïnterpreteerd aan de hand van het theoretisch kader, maar kan ook door andere factoren komen.
• Zijn feiten subjectief? Feiten zijn veranderlijk. Feiten zijn vroeger door hele andere dingen verklaard dan het tegenwoordig wordt verklaard. Dit zou niet kunnen omdat het feiten zijn. Daarom de vraag of feiten misschien subjectief zijn en veranderlijk.

Duham-Quine stelling = Dat een theorie altijd aangepast kan worden aangepast met behulp van een hulphypothese om zo tegenstrijdige observaties te incorporeren.

Opvattingen over theorie, positivistisch vs constructivistisch.:
Het gaat erom dat we begrijpen wat er is en dat we beschrijven wat het is
Je zou denken dat we constructivistisch te werk zouden moeten gaan, maar wij moeten in het midden zitten op het continuüm van positivisme en constructivisme.

Conclusie

• Weten wat een goede theorie is
• Nadenken over theorieën kan helpen om expliciet te maken wat impliciet was, bekijk dat in historisch perspectief, wat nu waar is is straks misschien niet meer waar.
• Maar constructivisme hoeft dat niet te betekenen, we blijven ons baseren op empirie, not everything goes, het moet een consistent geheel blijven.
• Theoretische systemen zijn wellicht te dwingend, en empirisch, exploratief onderzoek mist focus. Juiste balans zit hem misschien in mini-theorie.

College 4

Longitudinaal onderzoek

Het hoe, wat en waarom van longitudinaal onderzoek?

Tijd kun je onmogelijk manipuleren

Inzichten door longitudinale designs:

Doet ‘tijd’ er toe?

Voorbeeld IQ:

• Verschillen tussen mannen en vrouwen in IQ?

Hoe zou je dit willen gaan onderzoeken? IQ test afnemen bij mannen en vrouwen.

Maar heb je alleen dit nodig? Kan er nog iets een effect hebben?

Ja, leeftijd of cultuur.

Je kan ze allemaal van dezelfde leeftijd nemen, dan heb je een mooie covariaat.

Je kan ook nog mensen van dezelfde genetische achtergrond nemen, zoals ook de moeder in het design te stoppen.

Dan krijg je een opposite sex twin design = correctie voor omgeving, genen en leeftijd.

Leeftijd is belangrijk, kan er een leeftijdseffect zijn?

Uit het plaatje uit de sheets lijkt het alsof het IQ bij vrouwen sneller achteruit gaat, dan het IQ van mannen. Dan plot je de IQ scores op geboortejaar en dan zie je dat het IQ van voor de oorlog lager was voor vrouwen, dan het IQ van na de oorlog van vrouwen.

Oorzaak = vrouwen konden niet doorleren want moesten voor de kinderen zorgen.

Conclusie =

• Tijd is belangrijk
• Waarschijnlijk: geboortecohort doet er toe
• En verklaart wellicht het hele effect
• Maar: kan ook leeftijd zijn

Hersenruis:

• Stel ik wil weten of ruis in de hersenen beter is voor cognitie of slechter?
• Sommige hersenen veranderen vaak van ‘toestand’. Is dat goed of slecht?
• Groot populatie-gebaseerd sample, hersenactiviteit  ruis
• WAIS

We hebben EEG gemeten en alle elektrodes leveren een signaal op. Een toestand is het mooi gelijk golven van de lijntjes van de EEG.

We nemen een test af. Er komt een negatieve b uit. Dat betekent hoe meer ruis, hoe slechter voor het brein. Stabiliteit is dus goed.

Maar we gaan nog een test afnemen en de test uitvoeren bij kinderen.

Nu is de b opeens positief. Er is dus weer iets raars aan de hand. Als je de factor leeftijd of tijd meeneemt kan er wat raars gebeuren.

Je ziet dat er bij hoog en laag IQ verschillende ontwikkelingspaden zijn. We dachten dat hersenruis direct gecorreleerd was met hersentoestand, maar IQ speelt grote rol.

Er is geen causaal verband meer maar het toont aan hoe ontwikkelt je hersenen zijn.

Hoog IQ kinderen hebben een vertraagde ontwikkeling.

Dit toont allemaal aan dat tijd en leeftijd heel belangrijk zijn. Effecten kunnen omdraaien of iets heel anders betekenen als je maar naar leeftijd kijkt.

Conclusie:

• Tijdsaspect leverde extra inzicht
• Correlatie kon omkeren
• Geen simpele conclusie van effect van hersenactiviteit en IQ

Standaard onderzoek vs longitudinaal onderzoek

Standaard:

• 1 meting
• Tijd is geen factor
• Bijvoorbeeld hersengebied - ADHD

Longitudinaal:

• Meerdere metingen = Meer informatie
• Tijd is een factor
• Verandering of stabiliteit
• Ontwikkeling
• Wellicht causale interpretatie

Definitie longitudinaal = meerdere tijdspunten

• Meet een persoon op meerdere momenten

• Gebruik het tijdsaspect

• Meet verandering over tijd: effect op het gemiddelde

• Verandering in rangorde van mensen (stabiliteit): correlatie tussen twee tijdspunten

• Causaliteit: oorzaak komt voor gevolg (pas op voor drogreden: post hoc ergo propter hoc)

• Zonder tijdsaspect: geen echt longitudinaal onderzoek

Effect op het gemiddelde:

Bijvoorbeeld meisjes en jongens verschillen in hersenontwikkeling.

Jongens hebben een snellere hersenontwikkeling dan meisjes.

Andere voorbeelden:

• Hersenontwikkeling in witte en grijze massa
• Jongens en meisjes verschillen in ontwikkeling van cognitive control gedurende puberteit
• De invoering van studiehuis heeft geleid tot betere prestaties

Waarom het dus interessant is om te kijken naar veranderingen. Als je het tijdsaspect meeneemt in de ontwikkeling bij kinderen dan verklaard de verandering veel meer.

Correlatie tussen twee tijdspunten:

Voorbeelden:

• Attentieproblemen gemeten in 3-jarige kinderen voorspelt veel over 9-jarigen.
• IQ in kindertijd wordt meer door omgeving dan door genen bepaald, later is het andersom.
• Bij mensen geboren na 1980 neemt de relatie opleidingsniveau en inkomsten af.

In de sheets wordt een plaatje laten zien waarbij gevraagd wordt of het een longitudinaal onderzoek is.

Hij voldoet aan 2 eisen:

• Je meet in 2 tijden
• Je doet wat met de verschillende tijden

Dus het antwoord is: Ja, en het design heet cross-sectioneel, want dan heb je 1 meting per persoon maar gebruikt wel het tijdsaspect.

Soorten longitudinale onderzoeksopzetten (designs)=

1.Cross-Sectioneel:

• Eenmalige meting
• Leeftijd als predictor
• Is eigenlijk niet longitudinaal!

2.Longitudinaal onderzoek is een familie van designs

• Meerdere keren gemeten
• Over langere tijd
• De analyse vergelijkt over tijdspunten

Doel van longitudinaal onderzoek:

• Je onderzoekt tijdsgerelateerde effecten, zoals leeftijdseffecten, periode-effecten, cohorteffecten.
• Voorbeeld van effecten:

Wordt men conservatiever naarmate men ouder wordt als gevolg van ontwikkeling in de hersenen?

Zijn mensen conservatiever geworden na de dood van pim fortuyn?

Hebben mensen die in 1945 geboren zijn last van gezondheidsklachten omdat ze in utero de hongersnood hebben meegemaakt? -> hongerwintercohort

Afhankelijkheid van effecten:

Een sterke beperking van longitudinaal onderzoek want zij zijn afhankelijk van elkaar want je geboorte cohort = periode waarin we nu meten – de leeftijd.

Nooit onafhankelijk van elkaar!

Zie eerder voorbeeld over IQ en sekseverschillen = Was het de leeftijd die het verschil groter liet worden of was het de sekse? Het kan ook een periode effect zijn, bijvoorbeeld tussen de oorlog zou een extra verschil kunnen gaan bestaan tussen mannen en vrouwen. De verschillen tussen geslacht kan nog sterker geaccentueerd worden door de oorlog.

Leeftijdseffect:

Ontwikkelingseffect;

• Tussen de 5 en 25 jaar groeit de witte stof van de hersenen met 30%
• Rond het tweede levensjaar gaat het kind van de sensorisch-motorische fase naar de pre-operationele fase

Je noemt in je hypothese nooit het geboortecohort want die zou voor iedereen moeten gelden!

Periode effecten:

(historische) gebeurtenissen;

• De watersnoodramp van 1953 heeft invloed gehad op de psyche van de Zeeuw.

Essentie is dat de verandering gebeurt door de gebeurtenis, zonder dat het effect specifiek is voor een leeftijdsgroep

Cohort = mensen die een bepaalde gebeurtenis/life-event op zeker moment delen.

Cohort is vaak een synoniem voor geboorte cohort, in welk jaar je bent geboren.

Cohort effect = wanneer je verandering ziet in leeftijd, en daarbij een verandering in tijd van meting. Je ziet dat er verschil is omdat je meet in andere leeftijden en andere tijdstippen. Maar je weet niet waardoor het verschil komt, omdat tijd van meting en leeftijd afhankelijk is van elkaar.

Oplossing?

• Drie variabelen: je bent geïnteresseerd in leeftijd dan stop je het gewoon als predictor in je regressie vergelijking.

Probleem:

Hypothese = leeftijdseffect: adolescenten vertonen verhoogde delinquentie. JE observeert mensen met verschillende leeftijden, maar is het dan de leeftijd of het cohort of werden de mensen gemeten op een ander tijdstip?

Cohort en periode als covariaat in regressie, ook het leeftijdseffect er uit -> Dat kan dus niet..

Wat voor een type effect is dit?

Ik ben benieuwd naar de ontwikkeling en het ontstaan van politieke ideeën. Ik besluit deelnemers jarenlang te volgen en interview hen over hun politieke mening. Ik vermoed dat hun mening wordt beïnvloedt door gebeurtenissen die in de media worden gepresenteerd. De hypothese is dat gebeurtenissen zoals de moord op Pim Fortuyn geven een schokgolf en een toename van een rechts-conservatief geluid, onafhankelijk van de leeftijdsgroepen. Ik verwacht dat deze effecten accumuleren en leiden tot een toename van een conservatieve opinie met leeftijd.

Antwoord = Een periode-effect, want leeftijd heeft geen effect op de hypothese.

Je hebt zelfde uitslagen, ongeacht welke leeftijd iedereen is.

Longitudinale onderzoeksopzetten:

4 + 1 designs

-Longitudinale onderzoeksopzetten

• Total population design

• Repeated cross-sectional design

• Revolving panel design

• Longitudinal panel design

-Cross-sectioneel (single wave)

Total population design: mensen die doodgaan en die geboren worden gaan er automatisch in en uit.

• Census (volkstelling), data van belastingdienst etc.
• Overlap niet volledig vanwege geboorte en sterfte.
• Voorbeelden: CBS data

Voordeel:

Je hebt iedereen

Nadeel:

Bijna onmogelijk om zelf op te zetten, alleen overheidsinstellingen kunnen dit uitvoeren.

Beperkte data types

Repeated cross-sectional designs:

• Geen overlap, zelfde als meerdere cross-sectionele metingen.
• Eigenlijk niet longitudinaal, want je hebt meerdere meetmomenten maar geen herhaalde meting. Je meet een persoon niet 2 keer.
• Tijdsaspect speelt een rol

Voordeel:

• Bekijk stabiliteit van effect, je doet een aantal keer hetzelfde onderzoek. Je bent je eigen onderzoek aan het valideren.

Nadeel:

• Volgens cross-sectioneel
• Geen info over causaliteit, tijdsordening binnen mensen ontbreekt

Revolving panel designs:

• Sequentie van metingen met overlap tussen de samples, vervang bij elke meting een deel deelnemers. En reduceer de effecten van uitval door sterfte of afhaak. Dat probleem vang je op en is goed voor de respons rate.
• Voorbeeld = US National Crime Survey, getrapt toegepast.

Voordeel:

Kunt trends en ontwikkeling aantonen, je hebt meerdere metingen dus je kan verschillen tussen mensen aantonen.

Kunt voor kortere termijn stabiliteit aangeven

Nadeel:

Niet over lange periode

Longitudinal panel designs:

• Cohorten over periodes gemeten, zelfde steekproef over langere periode gevolgd, meerdere samples maar dat hoeft niet. Je volgt bijvoorbeeld een bepaalde leeftijd. Met 1 groep heet het een cohort studie maar met meerdere cohorten heet het een longitudinal panel design. Je volgt 1 leeftijdsgroep voor vele jaren.
• Substantiële of volledige overlap in tijd, retrospectief onderzoek heeft altijd volledige overlap, tenzij data mist.

Voordeel:

• Trends en ontwikkeling volgen, je kan aantonen dat het leeftijdseffecten zijn
• Complexe modellen mogelijk
• Toets causaliteit, geen onderdeel van tentamen.

Nadeel:

• Kostbaar en tijdrovend
• Uitval op latere leeftijden niet aangevuld

Wat voor een type longitudinale onderzoeksopzet is dit?

Een longitudinaal onderzoek begint met een initiële steekproef. Telkens na een vaste periode (van 1 jaar) wordt een deel van de steekproef vervangen door een nieuwe groep proefpersonen. Hoe heet zo’n studieopzet?

Antwoord = Revolving Panel Design

Issues:

Prospectief vs retrospectief:

• Prospectief, toekomstige metingen in measurement waves = standaard opzet.
• Retrospectief, beantwoord vragen over het verleden

Voordeel:

• Alle datapunten

Nadeel:

• Geheugen
• Veelal feitelijkheden
• Geen cognitieve tests

Overige issues in longitudinaal onderzoek:

genesis vs prediction