Begrippenlijst met oefenvragen bij Experimenteel onderzoek

Wat is PICO?

PICO is een acroniem dat wordt gebruikt bij experimenteel onderzoek en staat voor:

• Population: Wie, de groep mensen of objecten die de onderzoeker wilt onderzoeken
• Intervention: Wat manipuleer je, welke interventie voer je uit.
• Comparison: De controlegroep, met wie vergelijk je de experimentele conditie
• Outcome: De afhankelijke variabele, dus het resultaat of effect dat je meet.

• Concreet betekent dit dat je met PICO niet alleen de interventie en controlegroep afbakent, maar ook duidelijk maakt welke uitkomstvariabele je wilt bestuderen.

Oefenvraag:

• Martin voert een onderzoek uit. Het onderzoek luidt als volgt: Met behulp van simulatiespel (waarin men wel of niet wordt buitengesloten) wordt er gekeken of er een verschil in stemming is na afloop tussen degenen die wel en niet buitengesloten worden. Benoem hier alle letters van het acroniem PICO.

Wat is inferentiële statistiek?

• Inferentiële statistiek betekent dat je met behulp van steekproefresultaten uitspraken doet over de bredere populatie.
• Typisch gebruik is dat onderzoekers hiermee nagaan of de gevonden resultaten gegeneraliseerd mogen worden, wat direct samenhangt met de externe validiteit van een onderzoek.

Oefenvraag:

• De volgende uitspraak wordt gedaan: Hoe hoger de externe validiteit hoe beter je de resultaten van je onderzoek kunt generaliseren naar een grotere groep. Waar of niet waar?

1. Waar
2. Niet waar

Wat is een nulhypothese?

• Een nulhypothese (H0) stelt dat er geen effect of verschil is tussen groepen, en dat waargenomen resultaten op toeval berusten.
• In onderzoek wordt dit toegepast bij nulhypothese-significantietoetsing (NHST): onderzoekers toetsen of de data voldoende bewijs leveren om H0 te verwerpen. Dit gebeurt wanneer de p-waarde kleiner is dan de vooraf vastgestelde grens (meestal 0,05), waarna de alternatieve hypothese aannemelijker wordt geacht.

Oefenvraag:

• Stel een nulhypothese op bij de volgende onderzoeksvraag. Wat is de invloed van de hoogte van het inkomen op de band met je familie.

1. Hoe hoger het inkomen hoe beter de band met je familie
2. Hoe hoger het inkomen hoe slechter de band met je familie
3. Er is geen effect van de hoogte van het inkomen op de band met je familie

Wat is een type I-fout?

• Een type I-fout betekent dat de nulhypothese in werkelijkheid waar is, maar de onderzoeker deze toch verwerpt.
• Dit houdt in dat je concludeert dat er een effect bestaat, terwijl dat er in werkelijkheid niet is.

Oefenvraag:

• Rayen heeft een type II fout gemaakt. Wat heeft hij in dit geval met de nulhypothese gedaan?

1. Rayen heeft H0 verworpen, terwijl H0 fout was.
2. Rayen heeft H0 verworpen, terwijl H0 goed was.
3. Rayen heeft H0 niet verworpen, terwijl H0 fout was.
4. Rayen heeft H0 niet verworpen, terwijl H0 goed was.

Wat is een type II-fout?

• Een type II-fout betekent dat de nulhypothese in werkelijkheid onwaar is, maar de onderzoeker deze toch niet verwerpt.
• Gebruikelijk is dat dit leidt tot de conclusie dat er géén effect is, terwijl dat er in werkelijkheid wel bestaat.

Oefenvraag:

• Merel heeft een type I fout gemaakt. Wat heeft ze in dit geval met de nulhypothese gedaan?

1. Merel heeft H0 verworpen, terwijl H0 fout was.
2. Merel heeft H0 verworpen, terwijl H0 goed was.
3. Merel heeft H0 niet verworpen, terwijl H0 fout was.
4. Merel heeft H0 niet verworpen, terwijl H0 goed was.

Wat is de power van een toets?

• De power van een toets is het onderscheidingsvermogen: de kans dat een echt bestaand verschil in de populatie ook daadwerkelijk wordt gevonden in de steekproef.
• Concreet betekent dit dat hoe hoger de power, hoe kleiner de kans dat je een bestaand verschil mist (een type II-fout). Onderzoekers streven daarom naar een power van minstens 80%.

Oefenvraag:

• Kies de juiste uitspraak.

1. Een grote steekproef en veel spreiding leidt tot een grote power
2. Een grote steekproef en weinig spreiding leidt tot een grote power
3. Een kleine steekproef en veel spreiding leidt tot een grote power
4. Een kleine steekproef en weinig spreiding leidt tot een grote power

Wat is Cohen’s d?

• Cohen’s d is een maat voor de effectgrootte: het laat zien hoe groot het verschil tussen twee gemiddelden is.
• Concreet betekent dit dat het verschil tussen twee groepen wordt uitgedrukt in standaardafwijkingen, zodat effecten gestandaardiseerd en vergeleken kunnen worden.

Oefenvraag:

• Kies de juiste uitspraak. Bij de Cohen's d:

1. Wordt gedeeld door de standaardfout en kijken we naar de steekproef
2. Wordt gedeeld door de standaardfout en kijken we naar de populatie
3. Wordt gedeeld door de standaardafwijking en kijken we naar de steekproef
4. Wordt gedeeld door de standaardafwijking en kijken we naar de populatie

Wat is een betrouwbaarheidsinterval?

• Een betrouwbaarheidsinterval is een statistische maat die een schatting geeft van de grenzen waarbinnen het echte verschil of de echte waarde met een bepaalde zekerheid (meestal 95%) ligt.
• In onderzoek wordt dit toegepast om de nauwkeurigheid van een schatting aan te geven: een smal interval duidt op precisie, een breed interval op meer onzekerheid.

Oefenvraag:

• Kies de juiste uitspraak.

1. Een smal betrouwbaarheidsinterval is nauwkeuriger en je hebt een kleinere kans op type I fouten.
2. Een smal betrouwbaarheidsinterval is minder nauwkeurig en je hebt een kleinere kans op type I fouten
3. Een smal betrouwbaarheidsinterval is nauwkeuriger, maar je hebt een grotere kans op type I fouten
4. Een smal betrouwbaarheidsinterval is minder nauwkeuriger en je hebt een grotere kans op type I fouten

Wat is een steekproeffout?

• Een steekproeffout is het verschil tussen de resultaten in een steekproef en de werkelijke waarden in de populatie.
• Praktisch gezien zal geen enkele steekproef de populatie perfect weerspiegelen; er is altijd een zekere mate van afwijking aanwezig.

Oefenvraag:

• Een onderzoeker vindt een te grote steekproeffout en wil deze kleiner maken. Daarvoor filtert hij enkele uitschieters weg uit zijn onderzoek, waardoor de steekproeffout kleiner wordt. Mag dit?

1. Ja, het zijn uitschieters dus dit mag.
2. Ja, als daardoor de steekproeffout kleiner wordt mag dat.
3. Nee, dit is niet volgens integriteitsprincipes.
4. Ja, als hij een goede reden geeft en dit transparant aangeeft in zijn onderzoek.

Wat is een standaardafwijking?

• Een standaardafwijking is een statistische maat die aangeeft hoe ver de waarden in een populatie gemiddeld afwijken van het gemiddelde.
• In onderzoek wordt dit gebruikt om de spreiding in de data te beschrijven: een kleine standaardafwijking betekent dat scores dicht bij elkaar liggen, een grote standaardafwijking wijst op veel variatie. Wat wenselijk is, hangt af van de onderzoeksvraag.

Oefenvraag:

• Een onderzoeker wil graag een kleine standaardafwijking. Waar of niet waar?

1. Waar
2. Niet waar

Wat is een standaardfout?

• Een standaardfout is de standaardafwijking van het steekproefgemiddelde en geeft aan hoeveel een steekproefgemiddelde gemiddeld kan afwijken van het werkelijke populatiegemiddelde.
• Concreet betekent dit dat de standaardfout kleiner wordt naarmate de steekproef groter is, omdat het gemiddelde dan stabieler en representatiever wordt voor de populatie.

Oefenvraag:

• Kies de juiste uitspraak:

1. Hoe groter de standaardafwijking hoe groter de standaardfout
2. Hoe groter de standaardafwijking hoe kleiner de standaardfout
3. De standaardafwijking heeft geen invloed op de standaardfout

Wat is de p-waarde?

• De p-waarde is de kans om een resultaat te vinden dat minstens zo extreem is als het geobserveerde, onder de aanname dat de nulhypothese (H0) waar is.
• Gebruikelijk is dat een p-waarde kleiner dan 0,05 wordt gezien als aanwijzing om de nulhypothese te verwerpen en een effect als significant te beschouwen.

Oefenvraag:

• Wanneer wordt een p-waarde gezien als significant?

1. Bij p < 0,10
2. Bij p > 0,10
3. Bij p > 0,05
4. Bij p < 0,05

Wat zijn design confounds?

• Design confounds zijn verstoringen in het onderzoeksontwerp waarbij een andere factor dan de onafhankelijke variabele per ongeluk mee verandert tussen de groepen.
• Voorbeeld: wanneer een experimentele groep altijd in de ochtend wordt getest en de controlegroep in de avond, kan het effect van tijdstip de resultaten beïnvloeden in plaats van de gemanipuleerde variabele.

Oefenvraag:

• Welk begrip is hier nog meer op van toepassing?

1. Interne validiteit
2. Externe validiteit
3. Interne betrouwbaarheid
4. Externe betrouwbaarheid

Wat is significantie?

• Significantie geeft aan of een gevonden resultaat zo onwaarschijnlijk zou zijn als de nulhypothese klopt, dat je dit niet meer aan toeval toeschrijft.
• In onderzoek betekent dit meestal dat een resultaat bij p < 0,05 “statistisch significant” heet: de kans op zulke data onder H0 is kleiner dan 5%. Dit zegt niets over de grootte of het belang van het effect, alleen dat het waarschijnlijk niet door toeval komt.

Oefenvraag:

• Charlotte heeft een onderzoek uitgevoerd en krijgt als uitkomst een p-waarde van 0,04. Ze zegt dat haar onderzoek significant is en dat ze niet meer naar andere statistische uitkomsten hoeft te kijken zoals het betrouwbaarheidsinterval. Doet ze dit goed?

1. Nee, ze moet ook naar andere statistische uitkomsten kijken
2. Ja, als je een p-waarde onder de 0,05 vindt, is het onderzoek goed uitgevoerd.
3. Ja, het enige waar je naar hoeft te kijken bij onderzoek is de p-waarde

Antwoorden bij de oefenvragen

PICO

• Vraag: Martin onderzoekt stemming na buitensluiting in een simulatiespel.

• Correct antwoord: P: Participanten; I: buitensluiting; C: niet buitengesloten; O: stemming

• Toelichting: PICO helpt de onderzoeksvraag helder te structureren in populatie, interventie, vergelijking en uitkomst.

Inferentiële statistiek

• Vraag: Externe validiteit en generaliseren.

• Correct antwoord: A (Waar)

• Toelichting: Hoe hoger de externe validiteit, hoe beter de resultaten generaliseerbaar zijn naar een grotere populatie.

Nulhypothese

• Vraag: Invloed van inkomen op band met familie.

• Correct antwoord: C (Er is geen effect van het inkomen op de band met familie)

• Toelichting: Een nulhypothese stelt altijd dat er geen effect of verschil is. De alternatieve hypothese claimt juist wél een verband.

Type I-fout

• Vraag: Rayen en type II-fout.

• Correct antwoord: C (H0 niet verworpen, terwijl H0 fout was)

• Toelichting: Dit beschrijft een type II-fout: je mist een effect dat er in werkelijkheid wél is.

• Nuance: In de vraag wordt type II genoemd, maar het kopje noemt type I. Dit laat zien hoe belangrijk heldere formulering is.

Type II-fout

• Vraag: Merel en type I-fout.

• Correct antwoord: B (H0 verworpen, terwijl H0 goed was)

• Toelichting: Dit is een type I-fout: je vindt een effect terwijl dat er niet is (fout-positief).

Power

• Vraag: Welke situatie geeft hoge power?

• Correct antwoord: B (Grote steekproef en weinig spreiding)

• Toelichting: Hoe groter de steekproef en hoe kleiner de spreiding, hoe groter de kans dat je een bestaand effect vindt.

Cohen’s d

• Vraag: Waarmee deel je bij Cohen’s d?

• Correct antwoord: C (Standaardafwijking, gekeken naar de steekproef)

• Toelichting: Cohen’s d drukt effectgrootte uit in standaardafwijkingen en maakt vergelijking tussen studies mogelijk.

Betrouwbaarheidsinterval

• Vraag: Smal of breed interval.

• Correct antwoord: A (Smal interval is nauwkeuriger en kleinere kans op type I-fouten)

• Toelichting: Een smal interval geeft een preciezere schatting; een breed interval wijst op meer onzekerheid.

Steekproeffout

• Vraag: Uitschieters verwijderen om fout te verkleinen.

• Correct antwoord: D (Mag alleen met goede reden en transparantie)

• Toelichting: Alleen als het goed onderbouwd en transparant wordt vermeld, is uitschieters verwijderen toegestaan.

• Nuance: Zonder uitleg is het eerder een schending van eerlijkheid en transparantie dan een correcte correctie.

Standaardafwijking

• Vraag: Is een kleine standaardafwijking altijd beter?

• Correct antwoord: B (Niet waar)

• Toelichting: Of een kleine of grote standaardafwijking wenselijk is, hangt af van de onderzoeksvraag en context.

Standaardfout

• Vraag: Relatie standaardafwijking en standaardfout.

• Correct antwoord: A (Hoe groter de standaardafwijking, hoe groter de standaardfout)

• Toelichting: De standaardfout weerspiegelt de spreiding van steekproefgemiddelden. Een grotere steekproef verkleint de standaardfout.

p-waarde

• Vraag: Wanneer significant?

• Correct antwoord: D (Bij p < 0,05)

• Toelichting: Dit is de conventionele grens voor significantie. Het zegt echter niets over de effectgrootte of praktische relevantie.

• Nuance: De grens van 0,05 is arbitrair; sommige disciplines hanteren strenger (0,01) of soepeler (0,10).

Design confounds

• Vraag: Welke validiteit raakt een confound?

• Correct antwoord: A (Interne validiteit)

• Toelichting: Design confounds bedreigen de interne validiteit: het effect kan door een derde variabele worden verklaard.

Significantie

• Vraag: Charlotte baseert zich alleen op p = 0,04.

• Correct antwoord: A (Nee, ze moet ook naar andere statistische uitkomsten kijken)

• Toelichting: Een p-waarde op zich is niet genoeg. Betrouwbaarheidsintervallen en effectgroottes zijn nodig voor volledige interpretatie.

Bron en meer studiehulp

Deze begrippenlijst is gebaseerd op:

• Vak: Kennismaking met Onderzoeksmethoden en Statistiek en Toepassing van Onderzoeksmethoden en statistiek
• Onderdeel: Experimenteel onderzoek
• Instelling: Universiteit Utrecht
• Literatuur: Introduction to and application of research methods and statistics van Morling & Carr, 1e druk + Grasple lessen
• Studiehulp:
  • Voor alle beschikbare samenvattingen, bulletsamenvattingen, oefenvragen, begrippenlijsten en tentamtentips bij het boek, zie: Studiegids voor samenvattingen bij Introduction to and application of research methods and statistics (UU) van Morling en Carr
  • Voor alle beschikbare oefententamens, begrippenlijsten en tentamentips bij het vak, zie: Studiegids voor tentamens halen van Kennismaking met Onderzoeksmethoden en Statistiek (KOM) aan de Universiteit Utrecht