Kwalitatief

Bronnen van informatie:

• Intuïtie
• Ervaring
• Autoriteit (de koning, heeft wel studie gedaan, maarja niet in statistiek)
• Wetenschap → beste bron van informatie. Systematische observaties.

Leer de theorie-data cyclus goed!

Kenmerken van wetenschappelijk onderzoek:

1. Empirisch → gebaseerd op systematische waarnemingen
2. Controleerbaar

Het wordt gecontroleerd en gecheckt door elkaar, peer review

3. Probabilistisch

Er is een kans dat we het ene zien, maar toch het andere waar is. Tegenovergestelde is deterministisch: als je dit doet, gebeurt dat. Het gebeurt altijd.

Kenmerken van een goede wetenschappelijke theorie (is iets anders dan hierboven)

1. Ondersteund door data → systematisch uit wetenschappelijk onderzoek
2. Een theorie moet falsifieerbaar zijn. Een theorie moet weerlegd kunnen worden aan de hand van verzamelde gegevens.
3. Spaarzaam (parsimonious)

Als een eenvoudige theorie volstaat, is het niet nodig om deze complexer te maken.

Onderzoeksvragen

Er zijn twee soorten onderzoeksvragen:

1. Fundamenteel (basic)

Hier is de onderzoeker bezig met zoeken naar algemene informatie. Wat gebeurt er in het brein van een Narcist. Wat gebeurt er met de fysieke kenmerken van iemand die continu selfies aan het maken is. Dit zijn algemene processen.

2. Toegepast (applied)

Kunnen we instagram op een of andere manier aanpassen, zodat het minder leidt tot narcistische trekjes. Of lesprogramma’s maken voor kids met dyslexie → wat past het best voor hen. Beetje interventie maken. Een andere soort vorm van tiktok.

3. Translational

Van de ene over gaat in de ander. Dyslexievoorbeeld: de nieuwe lesmethode voor dyslexiekids. Waarom werkt het beter? Wat gebeurt er dan bij die kinderen? Je gaat van het ene onderzoek over in het andere onderzoek. Van lesmethode naar ‘’Hoe dan?’’

‘’Worden jongeren narcistisch van het gebruik van social media?’’

Dit is een fundamentele onderzoeksvraag, want we hebben het over social media. Het gaat nog steeds over algemene informatie of dit leidt tot narcisme. Het gaat niet over een interventie.

Een voorbeeld van een applied onderzoeksvraag is dan:

Kunnen we instagram beter inrichten zodat het minder leidt tot narcisme? De onderzoeksvraag leidt tot een onderzoeksontwerp (zie de cyclus)

Wat voor soort empirische gegevens worden er verzameld? Zijn de gegevens kwalitatief of kwantitatief? Getalletjes die je kan meten enzo dat is kwantitatief Teksten of opnames van interviews zijn kwalitatieve gegevens. Niet getalsmatig. Beelden ofzo. Kijken naar wat voor soort video’s narcisten posten.

Het voornaamste doel van kwalitatief onderzoek is om sociale fenomenen te begrijpen vanuit hun natuurlijk context.

Zo vindt je empirische patronen, die kunnen een basis vormen voor een theorie of om bij te dragen aan een bestaande theorie.

Dit zijn patronen in:

• Gesproken of geschreven teksten (dagboeken ofzo). Zo kan je patronen zien in gedachten van jonge mensen. Of notulen van vergaderingen.
• Observaties in gedrag en interacties (op het schoolplein)
• Beeldmateriaal, etc.

Bij kwalitatief onderzoek zit je niet in een lab. Er wordt juist naar de natuurlijke setting gekeken. De onderzoeker is bij het daten van eerstejaars geïnteresseerd in de hele context, het complete plaatje. Perspectief van de participant staat centraal. Hoe denken de Amerikanen over wapenbezit

Respondent = iemand die antwoordt

Bij kwalitatief onderzoek is de onderzoeker nadrukkelijk aanwezig bij de dataverzameling. Uit patronen komt misschien een nieuwe theorie rollen. Theorievorming en aanpassing van bestaande theorieën. Vanuit de waarneming een theorie ontwikkelen heet inductie. Uit het idee/theorie rolt een onderzoeksvraag

Bij kwalitatief onderzoek geldt het acroniem: SPICE

• Setting, waar in welke context?
• Perspective (of Population): voor wie?
• Interest: Wat?
• (Comparison: vergeleken met wie/wat?)
• Evaluation: met welk resultaat?

Uitleg per begrip:

• Setting is in welke context, bij de ouderen is het in het verzorgingstehuis.
• Perspective of population is voor wie, ouderen in het verzorgingstehuis
• Interest is wat, waar ben je in geïnteresseerd. Mentale gevolgen bij vluchtelingen bijvoorbeeld.
• Comparison is vergeleken met wie/wat, bijvoorbeeld vergeleken met vluchtelingen uit Oost-Europa.
• Evaluation: met welk resultaat wil je onderzoeken. wat beoordeelt de participant over het onderwerp. Wat zijn de ervaringen van de ouderen over de zorg die ze ontvangen.

Bij kwalitatieve onderzoeken is er niet altijd een vergelijking, daarom staat Comparison tussen haakjes.

Vraag: Wat zijn motieven om te daten bij eerstejaars studenten in Nederland?

• Er is geen Comparison
• Setting = Nederland
• Perspective = De eerstejaars studenten
• Interest = Daten
• Evaluation = De motieven
• Wat willen we precies weten over dat daten? Dat zijn de motieven. Dit is de evaluation.

Hoe worden de data verzameld:

• Een interview met de student, een open vraag. Kwalitatief interview is een mooie manier van dataverzameling.
• De geïnterviewde is de participant of respondent
• Of het is een informant: een ervaringsdeskundige of een expert. De medewerkers bij het verzorgingstehuis.
• De interviewer moet zijn eigen meningen niet door laten schemeren
• Bij een kwalitatief onderzoek, is de onderzoeker nadrukkelijk aanwezig bij de dataverzameling.

Soorten kwalitatief onderzoek

• Ongestructureerd onderzoek: de onderzoeker laat de student lekker babbelen, misschien komen er gekke verhalen die leiden tot motieven
• Semi-gestructureerd onderzoek: We gaan interviewen, maar deze onderwerpen moeten wel aan bod komen. Het geeft een beetje structuur.
• Survey is een gestructureerd interview. Dit is een vaste vragenlijst met vaste keuzeantwoorden.

De steekproef moet representatief zijn voor de populatie.

Als een onderzoeker op zoek is naar participanten met hele specifieke kenmerken dan heet dat een doelgerichte steekproef (purposive sample).

Case study logic:

• De onderzoeker gaat op zoek naar specifieke individuen die belangrijke informatie kunnen geven. → elke case, elk persoon, elk specifiek verhaal is waardevol en draagt bij aan beter begrip

Sample for range:

• De onderzoeker gaat op zoek naar een zo breed mogelijk scala aan ervaringen. 

Range is bereik, spreiding. De onderzoeker gaat op zoek naar mensen met een verscheidenheid aan redenen en motieven. Dan kan de onderzoeker een mooi groot plaatje schetsen. Dat is sample for range.

Je hebt een handjevol selecte steekproeven:

• Doelgerichte steekproef

De onderzoeker zoekt hier naar een specifieke doelgroep voor de steekproef.

• Gemakssteekproef

De onderzoeker gebruikt participanten die eenvoudig te bereiken zijn.

• Quota steekproef

Dit is een gemakssteekproef met een voorwaarde voor aantallen binnen de groepen. Oftewel: evenveel mannen als vrouwen.

• Sneeuwbalsteekproef

Dit is een vorm van een doelgerichte steekproef waar de onderzoeker de deelnemers vraagt één of meer anderen aan te bevelen.

Hoe verloopt een interview

• Een interview wordt helemaal uitgetypt. In een transcript.
• Tijdens het interview maakt de onderzoeker field notes.
• Dit zijn aantekeningen die waardevol kunnen zijn tijdens het analyseren van de data in een later stadium.
• Stel het antwoord is ja. Maar de gezichtsuitdrukking van de respondent is een boze geïrriteerde ja. Dat is een ander soort ja, daar zijn dus de field notes goed voor.
• Locatie van het interview
• Wie werd er geïnterviewd
• Indruk / gedrag van geïnterviewde
• Eerste ideeën van onderzoeker over het interview

Betrouwbaarheid: (reliability)

• Verloop van interview hangt af van de interviewer
• Interviewer moet zich bewust zijn van zijn eigen rol

Als ik steeds op een weegschaal krijg, kom ik steeds op hetzelfde gewicht. Dat is betrouwbaarheid en dat wil je eigenlijk ook bij een onderzoek.

Bij validiteit gaat het om het meten wat je wil meten. Bij betrouwbaarheid gaat het erom dat je resultaten hetzelfde zijn als je het onderzoek vaker doet. Wanneer de meting keer op keer op hetzelfde uitkomt, dan is de meting dus betrouwbaar. Maar als hij niet de goede uitkomst geeft, dan is de meting dus niet valide. Bij stap twee kom je wel steeds op hetzelfde antwoord, dus dat is goed. Hij is betrouwbaar. Maar het is niet het juiste gewicht / antwoord. Dus het is niet valide.

Validiteit (validity): 

• Interviewer kan doorvragen om erachter te komen wat de respondent echt bedoelt.
• Interviewer moet zich bewust zijn van non-verbale signalen van de respondent.

Deze geven namelijk informatie over hoe zeker of hoe eerlijk de respondent is over het gegeven antwoord. Daarom is het met een interview zo moeilijk. Weegschaal is makkelijker. Welke betekenis geven vluchtelingen in Europa, met verschillende culturele achtergronden, aan het begrip ‘veerkracht’.

• Setting: Europa
• Perspective: vluchtelingen
• Interest: het begrip veerkracht
• Comparison: verschillende culturele achtergronden
• Evaluation: aan het begrip veerkracht (wat willen we beoordelen van het begrip veerkracht)

Evaluation is dus wat willen we evalueren van de interest.

Focusgroep = groepsinterview. Met een moderator. Hier gaan de deelnemers met elkaar in gesprek onder begeleiding van een moderator.

Taken van de moderator:

• De vragen stellen die de onderzoeker heeft geformuleerd
• Ervoor zorgen dat het gesprek niet te veel afdwaalt
• Iedereen de kans geven om actief deel te nemen aan het gesprek.

Er is hier interactie tussen respondenten. De interviewer bij de focusgroep heet de moderator.

Verschillen met kwalitatief interview:

• Er is interactie tussen de deelnemers en het onderwerp is vaak meer specifiek. Er wordt meer gedetailleerd ingegaan op een specifiek onderwerp.
• De mensen in een focusgroep moeten allemaal een beetje op hetzelfde niveau zitten.
• Niet een juniordocent en een hoogleraar bij elkaar zetten. Dan durft de juniordocent zijn mond niet open te trekken.
• Daarom wil je bij voorkeur een homogene groep hebben qua achtergrond
• Wel wil je een breed scala aan ervaringen (heterogeen).

Kwalitatief onderzoek is erg moeilijk. De mensen zijn het dataverzamelingsinstrument. De mensen horen wat er gezegd wordt en interpreteren. Het is dus niet precies: dit wordt gezegd → dit wordt bedoeld. Blijft open voor menselijke foutjes. In hoeverre heeft de dataverzamelingsmethode de antwoorden beïnvloed. Dus heeft de interviewer de respondent beïnvloed?

Als de interviewer een te grote invloed heeft op het gesprek heeft dan invloed op de betrouwbaarheid van de resultaten. Kom je de volgende keer op dezelfde uitkomsten als je het interview nog een keer afneemt? Ook hebben ze invloed op de validiteit. Zijn het wel de gegevens waar de onderzoeker naar op zoek was?

Een mogelijke alternatieve dataverzamelingsmethode is observatie. Waarnemen en registreren van gedragingen, gebeurtenissen en interacties. Dus bijvoorbeeld gewoon kijken naar mensen die aan het daten zijn → first dates. Uit een onderzoeksvraag leiden meerdere onderzoeksontwerpen.

Typen van observatieonderzoek

1. Participerend vs niet-participerend

Bestudeert de onderzoeker de mensen van buitenaf of wordt de onderzoeker deel van de groep?

2. Verhuld vs onverhuld

Weten de mensen dat ze geobserveerd/bestudeerd worden.

3. Systematisch vs niet-systematisch

Zijn de fenomenen waar naar gekeken wordt van te voren vastgelegd. Systematisch observeren leidt vaak tot kwantitatieve data → bepaalde gedragingen liggen van tevoren vast. Dan wordt er specifiek op die dingen gelet. Niet-systematisch daar wordt vaak alles beschreven. Niks ligt hier van tevoren vast. Als het niet kwantitatief is, is het bijna altijd kwalitatief. Dan wordt gewoon alles beschreven.

Participerend onderzoek = klassiek etnografisch onderzoek

• Je moet als onderzoeker ook wel toegang krijgen tot bijvoorbeeld een verzorgingstehuis voor een onderzoek. Je moet toegang krijgen tot een site.
• Toegang krijgen tot een site gebeurt vaak via een gatekeeper. Dit kan het hoofd van de school zijn, of de baas van een bedrijf.
• Het grootste gedeelte van de studenten moet zich op zijn gemak voelen als de onderzoeker erbij is.

Als de onderzoeker participeert in de groep (er wordt meegedraaid in een bedrijf). Dan is er een persoon waar veel meer mee gesproken wordt. Bijvoorbeeld een kamergenoot van de observator. De observator heeft meer contact met de ene juf, omdat hij maar meeloopt met 1 klas. Deze persoon is de key informant. Er ontstaat dan een soort verstandhouding. Met die key informant is het meeste contact. De key informant weet ook niet dat er onderzoek gedaan wordt, dat weet alleen de gatekeeper.

Al het onderzoek moet voor de dataverzameling start, langs een ethische commissie. Bij de analyse hoort ook de koppeling aan bepaalde theorieën.

Onderzoeksvraag: Hoe ervaren / gedragen depressieve en niet-depressieve kinderen in klas 4 en 5 het speelkwartier in Amerika?

• S: Amerika
• P: Kinderen in klas 4 en 5 van de basisschool
• I: Gedrag tijdens het speelkwartier
• C: Depressief vs niet-depressief
• E: Ervaring

Gaat het mij specifiek om het gedrag tijdens het speelkwartier, of gaat het mij ook om hoe ze het zelf ervaren. Dat is het verschil tussen interest en evaluation. Gedrag is namelijk de interest en het ervaren is de evaluation. Het is niet-participerend, verhuld en systematisch. Het is onverhuld voor de ouders en de directeur van de school. Maar de kinderen weten het niet dus voor hen is het verhuld. Het is systematisch, want ze kijken naar 8 soorten kenmerken van gedrag van de kinderen. Dit is dus een ‘lijst’ die van tevoren is vastgelegd.

Gedrag wordt beïnvloed door:

• De aanwezigheid/gedrag van de onderzoeker
• Het feit dat de participanten weten dat ze geobserveerd worden, dat heet: reactiviteit.
• Hawthorne effect: je weet dat je geobserveerd wordt en gaat je daarom anders gedragen.
• Reactiviteit is ook bij focusgroepen, hawthorne effect is alleen bij het feit dat men weet dat ze geobserveerd worden.
• Reactiviteit heeft invloed op de kwaliteit van de data.
• Een probleem bij onderzoek is het volgende: De onderzoeker verliest uiteindelijk een beetje de realiteit en denkt dat hij echt deel uitmaakt van die groep mensen. Complete participants en participant observers staan vaak heel dicht bij de mensen die bestudeerd worden en kunnen dus te betrokken raken.
• Observers en covert observers hebben meer afstand tot de mensen. Hier krijg je meer objectievere resultaten van, maar dit kan weer leiden tot mogelijke misinterpretaties.

Waar speelt reactiviteit geen rol? Dat is het gebruik van bestaande gegevens. Gegevens die er toch al zijn. Dit zijn secundaire data. Bijvoorbeeld een bestaande database.

• Bestaande gegevens die gebruikt zouden kunnen worden voor onderzoek.

Ook bij ‘wat’ wordt er verzameld, moet er een steekproef gedaan worden. Je kan onmogelijk alle first dates afleveringen kijken en analyseren. Een quotasteekproef: je wil zoveel mannen en zoveel vrouwen chats zien. Zo veel gay chats en zo veel hetero chats.

Sequentiële steekproef = Eerst neem je een gemakssteekproef. Aan de hand van die steekproef zie je wat meningen, ervaringen in verschillende doelgroepen. Dan kan je uiteindelijk een specifiekere steekproef trekken waarin je op zoek gaat naar een specifiekere doelgroep. Dit is een doelgerichte steekproef. Een sequentiële steekproef is dus een gemakssteekproef + een doelgerichte steekproef.

Dezelfde interpretatie van onderzoekers bij dezelfde gegevens? → dit gaat over betrouwbaarheid. Vinden twee onderzoekers wel dezelfde gegevens.

• Reactiviteit is van invloed op de validiteit van de gegevens.
• Vinden twee verschillende onderzoekers wel dezelfde bestaande gegevens: betrouwbaarheid
• Is het materiaal wel geschikt voor het beantwoorden van de onderzoeksvraag: 
• Komen gehanteerde definities overeen?
• Is het materiaal wel volledig?

Dit hoort bij validiteit.

4 kwalitatieve dataverzamelingsmethodes:

• Interviews
• Focusgroepen
• Observaties
• Bestaande data (autobiografieën, online data)

Naast de observaties kan de onderzoeker ook met de ouders praten. Naast bestaande gegevens (boeken), ook nog interviews met de auteurs.

Het combineren van verschillende manieren heet triangulatie.

• Triangulatie geeft meer inzicht in de validiteit van de resultaten.
• Bij de uitkomst van een ander beeld kan de theorie weer aangepast worden.

Triangulatie:

Er zijn vier soorten triangulatie:

• Methoden triangulatie

Kwalitatieve data worden gecombineerd met kwantitatieve data. Interview en vragenlijst wordt afgenomen.

• Data triangulatie

Kwalitatieve data die worden gecombineerd. Naast bestaande gegevens (boeken), zijn er ook nog interviews (met de auteurs) gehouden.

• Onderzoeker triangulatie

Verschillende onderzoekers laten kijken naar de data, krijgen ze dezelfde data.

• Theoretische triangulatie → er wordt gekeken vanuit verschillende theoretische invalshoeken. Vanuit een psycholoog wordt ernaar gekeken en vanuit een pedagoog. Met verschillende theorieën kijk je naar de data.

Manieren waarop mensen (in onderzoek noemen we dit ook wel subjecten) voor een steekproef geselecteerd woerden is:

1. De subjecten worden geheel willekeurig (op toevalsbasis) uit de populatie getrokken. In dit geval spreken we van een aselecte steekproef.
2. Er is geen sprake van willekeur of toevalsbasis; óf de onderzoekers óf de subjecten maken deel uit van het selectieproces. In dit geval spreken we van een selecte steekproef.

Iteratief proces

• De onderzoekers weten zelf ook nog niet precies waar ze naar op zoek zijn. Vandaar de sequentiële steekproef. Gedurende het onderzoek worden de criteria waaraan respondenten moeten voldoen aangepast, dat is een sequentiële steekproef.
• Iteratief betekent het herhaaldelijk terugkeren naar eerdere fasen van het onderzoek. De afwisseling tussen onderzoeksdesign, dataverzameling & data-analyse. Dit gebeurt dus ook bij een sequentiële steekproef.
• Daar zie je namelijk dat je begint met een gemakssteekproef en aan de hand van die gegevens en resultaten keren we terug naar ‘het begin’ en wordt er een nieuwe steekproef getrokken.

In kwalitatief onderzoek ga je door totdat nieuwe respondenten geen nieuwe informatie meer opleveren over jouw onderzoeksvraag. Dit moment heet saturatie.

Soorten selecte steekproeven:

• Gemakssteekproef
• Doelgerichte steekproef
• Quota steekproef
• Sneeuwbal steekproef
• Sequentiële steekproef

Punten die ik meeneem uit de werkgroep:

• Interest is fenomeen waarin je geïnteresseerd bent. Wat? → Daten
• Evaluation: dit is vaak het werkwoord in de onderzoeksvraag. Wat zijn de redenen om te daten
• Een onderzoeksvraag moet altijd een open vraag zijn!
• De moderator mag niet sturen, maar wel begeleiden. Je moet niet zeggen: ‘’noem de positieve en de negatieve punten’’. Je mag wel open vragen stellen: ‘’Wat vinden jullie hiervan?’’
• Niet zeggen ‘’Hoe kunnen docenten zich verbeteren’’. Dat is al een suggestieve vraag.

Onderscheid dataverzamelingsmethode en een steekproef.

• Het trekken van een steekproef is geen dataverzamelingsmethode.

Informed consent is vaak nodig voor een onderzoek

• Bij anoniem onderzoek worden er geen persoonsgegevens verzameld. De onderzoekers weten de identiteit van de participanten niet.
• Bij vertrouwelijk onderzoek voorkomen de onderzoekers dat persoonlijke data van de respondenten bekend worden. Hier worden de gegevens wel verzameld.

Informed consent = Deelnemer wordt vooraf geïnformeerd over het onderzoek, welke gegevens wel en niet worden verzameld, en mogelijke risico’s en/of voordelen er zijn bij deelname.

Inhoud informed consent:

• Deelname is altijd vrijwillig
• Voordelen van de deelname
• Mogelijke nadelen/risico’s van deelname
• Hoe lang duurt de deelname
• Hoe wordt de privacy gewaarborgd.

Kwetsbare groepen (zoals kinderen) ondertekenen niet zelf. Onderdeel van onderzoeksprotocol en moet worden goedgekeurd door ethische commissie. Het opstellen van een informed consent is deel van het onderzoeksprotocol.

Het doel van een kwalitatieve data-analyse  = het opdelen van gegevens in hanteerbare segmenten, deze te sorteren en herschikken zodat specifieke processen of patronen kunnen worden onderscheiden.

Het proces van inductie luidt als volgt:

• Observaties / data - Patronen - Generaliseren - Theorie

5 stappen in kwalitatieve data-analyse:

1. Data management en voorbereiding. 

Er moet een goede plek gevonden worden voor de data-opslag. Tijdens onderzoek en na afloop van het onderzoek. Hoe zit het met de privacy? Mogen andere onderzoekers ook de data zien. Het doel hiervan is transparantie, controleerbaarheid en reproduceerbaarheid. De privacy van de deelnemers wordt gewaarborgd, bijvoorbeeld door de-identificatie. Gegevens moeten niet meer terug te leiden zijn tot de participant. Meneer Jansen had het over 2 zoons. Hij is de enige met 2 zoons, dus je moet zeggen: de kinderen van participant 6.

2. Doornemen en reduceren van de data

Transcriberen van de data. Ook de field notes worden meegenomen.

3. Coderen van de data. 

Aan stukken tekst worden codes gehangen. Data ordenen. Tekst makkelijk terugzoeken. Er zijn drie soorten codes die hieronder besproken worden.

• Attribute codes: achtergrond of demografische kenmerken. ‘’Studeert wiskunde’’
• Index codes: Vertegenwoordigen grote stukken tekst en geven brede / algemene onderwerpen aan. ‘’Het hele stuk dat over de date gaat.’’
• Analytic codes: beschrijven de betekenis van specifieke stukken tekst. De term ‘’ongemakkelijk’’, is een analytic code. Verwijst naar een specifiek onderdeel binnen die index code.

4. Memo’s schrijven. 

Dit zijn een soort field notes, maar dan in de analyse. Tijdens het analyseren van de gegevens. Gedachten opschrijven → oh ik denk dat het zo zit. Hij begint verbanden te zien.

5. Construeren en toetsen van modellen

De onderzoeker probeert de sociale werkelijkheid te omschrijven in al haar diversiteit.

Inconvenience sample: Is het idee dat je geen tunnelvisie wil krijgen. De onderzoeker ziet dezelfde resultaten steeds terug. Je moet bij deze stap dus op zoek naar een verzameling gebeurtenissen en / of mensen die maken dat de onderzoeker de interpretatie in twijfel moet trekken.

Tijdens de data-analyse beoordeelt de onderzoeker of er voldoende gegevens zijn verzameld. Dit heet een sample for range. De onderzoeker zoekt een zo gevarieerd mogelijke groep. Deze allebei zorgen voor een verhoging van de kwaliteit.

• Valide = kloppen de resultaten echt?
• Betrouwbaarheid = ZIjn de resultaten betrouwbaar, alsin krijg je dezelfde resultaten als het onderzoek opnieuw wordt uitgevoerd.

Inconvenience sample heeft invloed op de validiteit

Een typologie is een onderverdeling van een groep personen op basis van (een aantal) kenmerken. Dus een voorbeeld: vier clusters Meisjes met veel date-ervaring, meisjes met weinig date-ervaring, jongens met veel date-ervaring en jongens met weinig date-ervaring. Zo’n tabel of model heet een typologie.

Literatuur lezen doe je aan de hand van het leesplan

• Preview
• Lezen
• Analyseren
• Nabeschouwen

Wat zijn de ideeën van jonge vluchtelingen over de factoren en processen die bijdragen aan positieve uitkomsten na het meemaken van ernstige tegenslag in het leven?

• S: In Nederland worden ze behandeld
• P: De jonge vluchtelingen
• I: Factoren en processen die bijdragen aan positieve uitkomsten na het meemaken van ernstige tegenslag in het leven
• C: -
• E: De ideeën

Wat evalueer je over de interest? Dat zijn de ideeën en dat is dus de evaluation.

Om de validiteit van de bevindingen te vergroten:

• Moeten de verklaringsmodellen een sterke basis hebben in de empirische gegevens
• Moet de onderzoeker alternatieve verklaringen evalueren (en uitsluiten als het kan)
• Moet de onderzoeker bij de data-verzameling actief op zoek gaan naar personen wiens ervaringen de voorlopige conclusies ontkrachten
• Vanuit de data ga je op zoek naar het ontwikkelen van een theorie = inductie
• Deductief onderzoek = je begint met een theorie en we gaan die toetsen.

Correlationeel

In correlationeel onderzoek kijken we naar relaties tussen eigenschappen.

Hier heb je geen SPICE, maar hier heb je PAC

• Population
• Association
• Constructs

P is de populatie, de groep mensen of dieren of objecten die de onderzoeker wilt onderzoeken. Association (verband / relatie): de onderzoeker geeft aan wat voor soort relatie er verwacht wordt.

• Plezier van eerste date neemt toe met meer contact via social media vooraf

Dit is een positieve of stijgende relatie.

• Hoe langer vluchtelingenkinderen in een asielzoekerscentrum wonen, hoe kleiner de kans op een verblijfsvergunning.

Dit is een negatieve of dalende relatie.

We kunnen het hebben over de richting van de relatie. Oftewel: dalend of stijgend.

• Een verandering in een bepaalde eigenschap, verandert een ander kenmerk.
• Dit is causaliteit.
• Bij causaliteit spreken we over onderzoeksvragen die een oorzaak / gevolg verband beschrijven.

Voorwaarden causaliteit:

1. Covariance (covariantei)

• Er moet een relatie zijn tussen de oorzaak en het gevolg

2. Temporal precedence (volgorde in tijd)

• De oorzaak moet in de tijd voorafgaan aan het gevolg.

3. Internal validity (interne validiteit)

• Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten.

Stap 3 is het meest lastig om vast te stellen. Het kan best dat meer extraverte mensen wat meer contact hebben en ook meer plezier hebben. De alternatieve verklaring is dan een karaktereigenschap van mensen.

Constructs (theoretische begrippen): de kenmerken die de onderzoeker van de mensen wil weten en meten en waartussen er een verband verwacht wordt.

Voorbeelden:

• Plezier van de eerste date
• Hoeveelheid social media contact vooraf
• Aanwezigheid bij colleges
• Depressie

Altijd alle drie de letters (PAC) moeten in het onderzoek zitten. Bij C zijn het eigenlijk 2 dingen. C is hij gaat kijken naar een relatie. De I van SPICE gaat meer over een groot fenomeen. Kan ook een theoretisch begrip zijn, maar kan ook groter zijn.

Bij kwantitatief observationeel onderzoek heb je echt een Turf-lijst. Dit is systematisch observeren. Dit kan gebruikt worden in kwantitatief onderzoek. Kwantitatief is meer het tellen.

• Vragenlijsten bevatten meerdere vragen over hetzelfde onderwerp.
• Op deze manier worden verschillende aspecten van hetzelfde theoretische begrip gemeten.
• Vragenlijst over IQ bevat bijvoorbeeld woordenschat, rekenvaardigheid, logisch redeneren en ruimtelijk inzicht. Dit zijn verschillende aspecten.
• De Likert schaal is helemaal oneens tot helemaal eens.
• Veel onderzoekers geven deze antwoorden vervolgens een numerieke waarde.
• Alle scores samengevoegd heet een schaalscore. Alle antwoorden leiden tot 1 antwoord: namelijk 1 IQ-score.

Kenmerken van mensen kunnen we in 2 soorten verdelen:

1. Fysieke kenmerken: sekse, hartslag en lengte.
2. Theoretische begrippen (constructs) moeten op een of andere manier meetbaar gemaakt worden.

Plezier, agressie, intelligentie.

• Wat bedoelt de onderzoeker precies met het begrip. = conceptuele definitie
• Hoe gaat de onderzoeker dit begrip meten? = operationele definitie. Welk meetinstrument gaat gebruikt worden, observatie valt daar ook onder.
• Dit is de operationalisatie.

Voorbeeld:

• Theoretisch begrip = plezier van de eerste date
• Conceptuele definitie = De mate waarin de persoon een gevoel van blijheid, ontspannenheid en vrolijkheid heeft en zichzelf vermaakt gedurende de date
• Operationele definitie = Een vragenlijst met vragen die blijheid, ontspannenheid, vrolijkheid en vermaak tijdens de date adresseren wat resulteert in een schaalscore tussen de 4 en de 20.

Dit resulteert in een variabele. De waarde van een variabele is altijd numeriek en varieert van persoon tot persoon (hij moet variabel zijn).

• Categorische variabelen:
  • Deze getallen geven geen hoeveelheden aan. Maar rood  = 1, blauw = 2, rood = 3
  • Man = 1 en vrouw = 2.
  • Deze getallen geven categorieën aan.
• Kwantitatieve variabelen:
  • Deze waarden zijn nu getallen die een hoeveelheid aangeven. IQ-score van 60 of 140.
  • Ik ben 180 cm lang.

Meetniveaus:

• Categorisch: Nominaal meetniveau
• Kwantitatief: Ordinaal, interval en ratio meetniveau
• Kwantitatieve variabele: reisafstand, hoe ver heb je gereisd, aantal talen dat je spreekt.
• Categorische variabele: soort vervoersmiddel, man / vrouw.
• Bij categorisch meetniveau heb je alleen nominaal.

Bij kwantitatieve variabelen heb je:

• Ordinaal meetniveau
• Interval meetniveau
• Ratio meetniveau

Inferentie: Veel onderzoekers willen resultaten van hun onderzoek kunnen generaliseren naar een grotere groep mensen (de populatie). Kunnen we terugkoppelen naar een grotere groep? Dit is interferentie. Dus generaliseren van de steekproef naar de populatie. De onderzoeker wil uiteindelijk de resultaten kunnen generaliseren. Dit heeft betrekking op de externe validiteit. Voor generalisatie is het belangrijk om te beginnen met een aselecte steekproef. Bij kwalitatief onderzoek was het vooral selectieve steekproeven.

Selecte steekproef

• Niet gebaseerd op kansen → Kan vertekening veroorzaken (bias)
• Generaliseren niet / nauwelijks mogelijk
• Externe validiteit laag

Aselecte steekproef

• Mensen worden geselecteerd op basis van toeval / kans
• Steekproef representatief voor de hele populatie
• Generaliseren van steekproef naar populatie is mogelijk
• Hoge externe validiteit

Geen enkele selecte steekproef is gebaseerd op kans of toeval. Deze kunnen allemaal vertekening van de werkelijkheid veroorzaken. De basisvorm van een aselecte steekproef is: simple random sample. (=enkelvoudige aselecte steekproef). Computers trekken willekeurig participanten. Iedereen heeft even grote kans getrokken te worden. Mensen kunnen niet willekeurig zijn. Hij gaat overal in de zaal iemand pakken. Zodra een mens kiest, is het niet meer willekeurig en niet meer aselect.

We trekken dus een steekproef uit het steekproefkader. Het is een probleem als de mensen die niet op de lijst staan, anders zijn dan de mensen die wel op de lijst staan.

Fouten

• Dekkingsfout is een vertekening van de werkelijkheid, veroorzaakt door de mensen die niet op de lijst staan. Deze dekkingsfout is groter als er grote verschillen zijn tussen die mensen.
• Niet meedoen of niet beantwoorden van vragen heet: non-response.
• Non-response fouten kunnen ook een vertekening van de werkelijkheid veroorzaken. Als de mensen die niet meedoen systematisch verschillen van de mensen die wel meedoen.

Je wil restrict eetgedrag combineren met perfectionisme. Het correlationele verband.

• Je wil daar ook wat topsporters in hebben, maar de kans dat je alleen uit de normale populatie een steekproef met wat topsporters erbij trekt, is erg klein.
• Een gestratificeerde steekproef bestaat uit de combinatie van meerdere steekproeven getrokken uit subgroepen in de populatie.
• Deze is nog steeds aselect!!
• Deze twee steekproeven zijn beiden aselecte enkelvoudige steekproeven. Uiteindelijk vormt dat de uiteindelijke steekproef. 

Soorten aselecte steekproeven:

• Enkelvoudige aselecte steekproef
• Gestratificeerde steekproef
• Clustersteekproef
• Getrapte steekproef
• Systematische steekproef
• Combinaties van steekproeftechnieken

Zie grasple voor meer oefening

• Om de relatie tussen twee variabelen weer te geven, gebruiken onderzoekers een spreidingsdiagram
• Om de sterkte van de relatie tussen twee variabelen te meten, gebruiken onderzoekers een correlatiecoëfficiënt.
• De relatie moet een rechte lijn nabootsen, wil je een correlatie aantonen en dus ook een correlatiecoëfficiënt nabootsen.

Validiteit

• De validiteit van het meetinstrument is begripsvaliditeit.
• Begripsvaliditeit en betrouwbaarheid zeggen iets over hoe goed het meetinstrument meet.
• Convergente validiteit is als het ene meetinstrument dat je wil testen kan valideren d.m.v. een al bestaand meetinstrument

Vanuit de theorie en passend bij de onderzoeksvraag, heeft de onderzoeker een verwachting over de relatie tussen de theoretische begrippen. Dit noemen we de theoretische verwachting.

Na het operationaliseren van de theoretische begrippen (onderzoeksontwerp) drukt de onderzoeker deze verwachting uit als een stelling over de correlatie tussen de variabelen. De relatie wordt omgezet in een correlatie? Dan noemen we het een onderzoekshypothese.

Verwachting:

• De onderzoeker verwacht een negatief verband tussen depressie en kwaliteit van leven

Onderzoekshypothese:

• De correlatie tussen de HAM-D scores en de DCM scores is negatief

Als je de theoretische begrippen vervangt door de variabelen, krijg je de onderzoekshypothese.

Correlatie

• Een negatieve correlatie betekent <0. Dit is niet negatief verband, maar hoe sterk de correlatie is,.
• Een sterke correlatie is tussen de -1 en de +1.
• Bij inferentiële statistiek moet je kunnen terugkoppelen van de steekproef naar de populatie toe.
• Dit kan via NHST (nulhypothese significantie test).
• Dit is een proces waar de onderzoekshypothese vergeleken wordt met een tweede hypothese: dit is de nulhypothese.

In een nulhypothese staat:

• Geen relatie
• Geen verschil
• Geen effect

‘’Geen relatie’’ is gelijk aan een ‘’correlatie van 0’’

De onderzoeker gaat de nulhypothese als tijdelijke aanname zetten dat die waar is.

Variatie

• Het feit dat de waarden van de steekproefcorrelatie van steekproef tot steekproef variëren wordt steekproevenspreiding genoemd
• Wanneer een onderzoeker de correlatie in de steekproef bepaalt, zal deze bijna nooit exact gelijk zijn aan de correlatie in de populatie
• Het verschil tussen deze twee waarden heet de steekproeffout.

Steekproevenspreiding en steekproeffout

• Hoe de waarden van de steekproefcorrelatie variëren wordt weergegeven in de steekproevenverdeling.
• Bij grotere steekproef neemt de steekproevenspreiding af.
• De steekproeffout wordt ook kleiner.
• De gemiddelde grootte van de steekproeffout kunnen we meten met een standaardafwijking.
• De standaardafwijking van de steekproeffouten heet de standaardfout.
• Standaard in de statistiek betekent ‘’gemiddeld’’
• Standaard afwijkingen van de steekproeffouten = standaardfout.
• Hoe groot is de fout? Wat we zien in de steekproef en wat waar is in de populatie.
• Een kleine standaardfout geeft aan dat de metingen nauwkeuriger zijn dan wanneer we een grote standaardfout observeren.

Variatie

• De gemiddelde grootte van de steekproeffout kunnen we meten met een standaardafwijking
• De standaardafwijking van de steekproeffouten heet de standaardfout.
• Een kleine standaardfout geeft aan dat de metingen nauwkeuriger zijn dan wanneer we een grote standaardfout observeren
• Hoe groter de steekproef, hoe kleiner de standaardfout. Hoe groter de steekproef hoe meer informatie je verzamelt van de populatie.

Overschrijdingskans

• Om te bepalen in welke mate de geobserveerde waarde uit de steekproef overeenkomt met de nulhypothese, berekenen veel onderzoekers de overschrijdingskans.
• = kans dat de waarde in de steekproef nog verder van nul ligt dan de geobserveerde waarde
• = oppervlakte onder de curve
• = computer-berekend
• De andere naam voor de overschrijdingskans is de p-waarde.
• Oppervlak onder de curve is gelijk aan 1, dus 100%
• Als je uit dat oppervlak komt, dan leer je een kans. De p-waarde is een kans. Wat is de kans dat de waarde van de correlatie nog verder van nul ligt dan er geobserveerd is. Dat is de p-waarde.
• p-waarde is de mate van overeenkomst dat de situatie dat de nulhypothese waar is

Grote p-waarde = veel overeenkomst met de nul-situatie

Kleine p-waarde = weinig overeenkomst met de nul-situatie

De standaardfout is hier een stuk kleiner. Dus dan wordt de kans opeens een stuk kleiner. De p-waarde wordt kleiner. Kleine p-waarde is dus weinig overeenkomst met de nulsituatie. Er is dus weinig overeenkomst met het idee dat er geen relatie is. Dat betekent dus dat er wel een relatie is.

Kleine p-waarde is weinig overeenkomst met de nulsituatie, met de aanname dat er geen relatie is. Weinig overeenkomst dat er geen relatie is. Dan moet er veel overeenkomst zijn met het idee dat er wel een relatie is. Nulhypothese is altijd dat er geen relatie is. Dus ookal onderzoek je dan naar iets dat geen relatie heeft. Dan is de nulhypothese nog steeds hetzelfde.

Voorwaarden causaliteit:

1. Covariance

• Er moet een relatie zijn tussen de oorzaak en het gevolg

2. Temporal precendence

• De oorzaak moet in de tijd voorafgaan aan het gevolg

3. Internal validity

• Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten

Alternatieve verklaringen kan je nooit uitsluiten.

• Je moet een heel ander onderzoeksontwerp gebruiken om alternatieve verklaringen uit te sluiten. Dit is het gerandomiseerd experiment.

Variabelen

• Categorische variabelen zijn categorisch: geen ordening. Dit is nominaal meetniveau. Geslacht of kleur.
• Ordinale variabelen: Likert schaal, helemaal oneens tot helemaal eens.
• Als er een 0 is, dus er zijn 0 chatberichten. Als het afwezig is, dan is het een ratio variabele. 
• Bij interval zie temperatuur. De 0-waarde is nog steeds een waarde.
• Categorieën kan je het best laten zien in een staafdiagram.
• Categorie op de x-as en de frequentie op de y-as.

Soorten begrippen

• De modus is de categorie die het vaakst voorkomt. Dit gebruiken we bij nominale variabelen. Gemiddelden hebben hier geen zin.
• Bij interval of ratio kan je een histogram gebruiken. Je kan hier kijken naar de standaardafwijking en gemiddeldes.
• Standaardafwijking is een spreidingsmaat die geeft aan wat de spreiding is in de dataset.
• Je hebt een gemiddelde en een standaardafwijking.
• Ik verwijder de persoon van 17 uit mijn dataset. Ik haal een extreem weg, dan wordt de spreiding minder groot, waardoor de standaardafwijking kleiner wordt.

Boxplot

• Een boxplot is ook een optie bij interval of ratio meetniveau.
• We hebben gemiddelde, modus en mediaan.
• In elk van die groepen zit 25% van de mensen. Het zijn 4 kwartielen.

Wat gebeurt er met het gemiddelde (M), de standaardafwijking (SD) en de mediaan wanneer:

1. Iedereeen 2 bonuspunten extra krijgt
2. Het maximum niet 12.9 maar 22.9 is

1.

• Gemiddelde wordt 2 punten hoger
• Mediaan ook 2 punten hoger
• Standaardafwijking blijft hetzelfde, de spreiding blijft namelijk hetzelfde.

2.

• Het gemiddelde gaat omhoog
• De mediaan blijft hetzelfde. Het maximum verandert alleen dus de middelste persoon blijft hetzelfde.
• De standaardafwijking gaat ook omhoog, want de spreiding wordt groter.

Uitschieters

• Uitschieters kunnen het gemiddelde en de standaardafwijking flink beïnvloeden.
• Daarom moeten onderzoekers altijd hun data checken op uitschieters.

Correlatie

• De correlatiecoëfficiënt wordt aangegeven met de letter r. Deze kan variëren tussen -1 en +1
• -1 is een negatief verband, +1 is een positief verband
• -1 is het sterkste en +1 ook het sterkst

Correlatiecoëfficiënt

• Het teken van de correlatie geeft de richting aan
• De waarde van de correlatie geeft de sterkte aan
• Waarden dicht bij 0 geven een zwakke relatie aan
• Waarden bij +1 of -1 geven sterke verbanden aan
• Een waarde van exact 1 of min 1 geeft een perfect lineair verband aan
• Als de punten dicht bij de denkbeeldige lijn liggen, is het verband sterker en ligt hij dichter bij -1
• Hoe zou de grafiek eruit zien als r = 0. Dus de correlatiecoëfficiënt is 0.
• geen correlatie betekent niet dat er ook geen relatie. De correlatiecoëfficiënt geeft een lineair verband aan. Kwadratisch verband, is r = 0.

Bij een random puntenwolk, maar ook bij een horizontale lijn is er geen correlatie. Een kwadratisch verband, is ook r=0

Interne validiteit

• Interne validiteit is kun je met behulp van het onderzoek dat is gedaan de onderzoeksvraag beantwoorden.
• Interne validiteit heeft te maken met de onderzoeksopzet.

Externe validiteit

• Externe validiteit heeft te maken met generaliseerbaarheid. Dit is je trekt een steekproef en die moet representatief zijn voor de populatie wil je zeggen dat er een hoge externe validiteit.
• Bij een selecte steekproef (gemakssteekproef) dan is de externe validiteit laag.
• Aselecte steekproef is hogere externe validiteit.

Conceptuele en operationele definitie

• Aan de hand van de conceptuele definitie weten we wat de onderzoekers met agressie bedoelen.
• Aan de hand van de operationele definitie weten we hoe de onderzoekers agressie gemeten hebben. Dus hoeveel bushokjes heb je in elkaar geslagen deze maand. 

Soorten validiteit

• Interne validiteit gaat over het hele onderzoek.
• Begripsvaliditeit gaat over de validiteit van het meetinstrument dat is gebruikt om een bepaald theoretisch begrip (zoals agressie) te meten.
• Indruksvaliditeit: we vragen experts: meet dit meetinstrument agressie?
• Inhoudsvaliditeit: wordt de inhoud goed meegenomen, worden alle dimensies van het theoretisch construct agressie meegenomen?

Empirische vormen van validiteit:

• Convergente validiteit: Komen de metingen van dit meetinstrument en metingen van een ander meetinstrument (dat hetzelfde soortgelijk begrip meet) overeen? Hier verwachten we een hoge correlatie. Vinden we die? Dan hebben we aangetoond dat de convergente validiteit hoog is.
• Divergente validiteit: Hangen de metingen van dit meetinstrument juist niet samen met echt andere kenmerken. Hier verwachten we dat de correlatie laag is. Dan hebben we divergente validiteit aangetoond.
• Criterium validiteit: Hangen de metingen van dit meetinstrument samen met een andere uitkomstvariabele waarvan we weten dat er een verband hoort te zijn. Als we weten dat er een verband is tussen aantal uren studie en het cijfer. Dan zouden we de toets kunnen leggen naast het aantal uren studie. Dan is dat de uitkomstvariabele.
• Bij een criteriumvaliditeit vergelijk een schaal met een bepaalde uitkomstvariabele.
• Boxplot kan je gebruiken bij criteriumvaliditeit.
• Bij divergente validiteit moet er geen correlatie zijn, dus zie je in het spreidingsdiagram een puntenwolk met veel spreiding. We verwachten een lage r-waarde.
• Bij convergente validiteit zien we weinig spreiding en een hoge r-waarde.

Betrouwbaarheid

• Test-hertest betrouwbaarheid: geeft het meetinstrument consequente scores wanneer onderzoekers het meerdere keren gebruiken.
  • Dit is niet handig bij theoretische begrippen die fluctueren zoals pijn en ontspannenheid.
  • Hoge r is een hoge test-hertest betrouwbaarheid.
  • Bij een lage r fluctueren de scores tussen 6 weken en dan is er een lage test-hertest betrouwbaarheid.
  • VUISTREGEL: Test-hertest betrouwbaarheid wordt als goed beoordeeld wanneer 
  • r > 0.50
• Interbeoordelaarsbetrouwbaarheid: Geeft het meetinstrument consequente scores wanneer verschillende onderzoekers het gebruiken?
  • Wordt vooral gebruikt bij observaties. De observanten moeten allebei de mensen beoordelen dat ze even blij zijn. Door te kijken bijvoorbeeld naar hoe vaak de participanten lachen.
  • VUISTREGEL: Interbeoordelaarsbetrouwbaarheid wordt als goed beoordeeld wanneer r > 0.70
• Interne betrouwbaarheid: Geven respondenten soortgelijke antwoorden op verschillende vragen over hetzelfde theoretische begrip.
  • Wordt vooral gebruikt bij Surveys.
  • Deze wordt gemeten met de Cronbach’s alfa. Deze meet de interne consistentie. De samenhang van alle individuele vragen binnen het meetinstrument. Dragen alle vragen wel even goed bij aan het resultaat.
  • De cronbach’s alfa wordt gerapporteerd rond 0.86
  • Hier is de vuistregel wederom r > 0.70
  • Als 1 vraag niet goed bijdraagt, dan hoef je die niet meer te gebruiken.
  • Cronbach’s alpha meet in hoeverre de antwoorden van de mensen op de verschillende vragen binnen dezelfde vragenlijst met elkaar correleren.

Leer de theorie-datacyclus.

• Hij eindigt altijd met rapportage: publicatie. De data-analyse support de data niet. Of wel.
• Transcriberen is letterlijk het opschrijven van het interview 
• Analytic code is ‘’financiële situatie. Onderzoeker kijkt niet letterlijk naar wat er gezegd wordt maar verdeeld in categorieën.

Hoe ervaren kinderen die langdurig in het ziekenhuis liggen het onderwijs op afstand via videobellen met een robot?

• Interest: onderwijs op afstand via videobellen met een robot.
• Wat gaan ze evalueren over dat onderwerp?
• Evaluation: hoe ervaren de kinderen dat.

Welke redenen geven rechtsgeoriënteerde Amerikanen in de zuidelijke staten voor het fanatisme over het recht op wapenbezit?

• Interest: fanatisme over het recht op wapenbezit
• Evaluation is: de redenen

Steekproeven

• Case studie logic is dat je van elk persoon informatie kan krijgen en ervan kunt leren.
• Sequentiële steekproef is een selecte steekproef. Verschillende steekproefjes: gemakssteekproef. Uit deze gesprekken komen meerdere dingen naar voren.
• Daarna doe je een doelgerichte steekproef, om je resultaten compleet te maken.

Iteratief proces is een afwisselend proces. Bij kwalitatieve data. Kwalitatieve data wordt gecodeerd, getranscribeerd. Komt iets uit, begin je opnieuw. De onderzoeker stopt pas bij saturatie. Er komen geen nieuwe codes of verbanden naar voren, dan stopt de onderzoeker met dataverzameling. We noemen het ook wel circulair, ander woord voor iteratief.

Sterkte van de correlatie

• Zwak is 0.1, medium is 0.3 en 0.5 is sterk.
• Dit geldt alleen binnen de sociale wetenschappen.
• Een sterke relatie is dus vanaf 0.5

De standaardafwijking is een maat van SPREIDING, hoeveel spreiding is er in een steekproef.

• Twee groepen gemiddeld 18 jaar.
• Een groep alleen maar 18-jarigen, weinig spreiding. Kleine standaardafwijking.
• Andere groep 13-jarigen en 35-jarigen, veel spreiding. Grote standaardafwijking.

Standaarddeviatie meet hoeveel wijken de mensen in de steekproef gemiddeld af van het gemiddelde in de steekproef.

• Standaarddeviatie is het gemiddelde van al die afwijking.
• Alle standaarddeviatie scores bij elkaar optellen is altijd 0. De gemiddelde standaarddeviaties samen is dus altijd nul.
• Daarom kwadrateren we het!! De gekwadrateerde waarde is de variantie.
• De variantie is het kwadraat van de standaardafwijking.

Laatste paar begrippen uitgelegd:

• Covariantie is gezamenlijke spreiding. Je kijkt zowel naar de y-variatie als naar de x-variatie. Deze kijkt naar twee variabelen samen.
• Criterium validiteit is begripsvaliditeit. We kunnen deze meten met een correlatie. Samenhang van je meetinstrument met een andere variabele hetzelfde verloop heeft.
• Bij een focusgroep wordt de betrouwbaarheid van de verzamelde gegevens beïnvloed door de aanwezigheid van de moderator WAAR
• Een data-management plan draagt bij aan de transparantie van het onderzoek
• Reactiviteit is je gaat je anders gedragen als je geobserveerd wordt.

Een onderzoeker wil haar vragenlijst over agressief gedrag valideren

• Wanneer ze naar de correlatie tussen alle items binnen de vragenlijst kijkt, beoordeelt ze de interne betrouwbaarheid (Cronbach’s Alpha).
• Ze weet dat jongens over het algemeen hoger scoren op agressief gedrag dan meisjes
• Wanneer ze kijkt of ze dit verschil kan vinden in een steekproef van jongens en meisjes, beoordeelt ze de criteriumvaliditeit.
• Dit is een vorm van groepsparadigma

Data

• College-aantekeningen bij het vak Kennismaking met Onderzoeksmethoden en Statistiek aan de Universiteit Utrecht

Theorie, Toepassing en Test bij Correlationele onderzoeksmethoden en Statistiek 

PAC

• In theorie: Dit is het acroniem voor correlationeel onderzoek en staat voor de volgende elementen: 
  Population: Wie, de groep mensen of objecten die de onderzoeker wilt onderzoeken
  Association: Het verband of de relatie. De onderzoeker geeft aan wat voor soort relatie er verwacht wordt.
  Constructs: De kenmerken die de onderzoeker van de mensen wil weten en meten en waartussen er een verband verwacht wordt.
• In toepassing: Dit acroniem wordt gebruikt bij het ontleden en overzichtelijk maken van een correlationele onderzoeksvraag.
• In test: Benoem de letters van het acroniem PAC bij de volgende onderzoeksvraag: Veroorzaakt een toename in social media contact vooraf voor meer plezier bij de eerste date?

Causaliteit

• In theorie: Bij causaliteit spreken we van onderzoeksvragen die een oorzaak / gevolg verband beschrijven. 

• In toepassing: Er zijn drie voorwaarden verbonden aan het begrip causaliteit, namelijk: covariance, temporal precedence en internal validity.

• In test: Bij een verband is er altijd sprake van causaliteit. Waar of niet waar?

1. Waar

2. Niet waar

Covariance

• In theorie: Er moet een relatie zijn tussen de oorzaak en het gevolg.

• In toepassing: Als het ene aspect verandert, verandert als gevolg het andere aspect.

• In test: Stijn doet onderzoek naar de verschillen in hoeveelheid depressie tussen extraverte en introverte mensen. Hij gebruikt hiervoor gegevens en weet hierbij hoeveel extraverte mensen er in behandeling zitten vergeleken met hoeveel introverte mensen er in behandeling zitten. Hij trekt de conclusie dat extraverte mensen vaker last hebben van een depressie.

1. Covariance
2. Temporal precedence
3. Internal validity

Temporal precedence

• In theorie: De oorzaak moet in de tijd voorafgaan aan het gevolg.

• In toepassing: Om te kunnen spreken van causaliteit is het noodzakelijk dat het ene aspect eerst verandert en dat daardoor (dus erna) het andere aspect ook verandert.

• In test: Bart denkt bijna rond te zijn met zijn onderzoek. Hij weet bijna zeker dat hij een causaal verband heeft aangetoond. Bij een van de laatste metingen zorgt een verandering in de onafhankelijk variabele echter niet voor een verandering in de afhankelijke variabele. Welke voorwaarde voor causaliteit wordt hiermee geschonden?

1. Covariance
2. Temporal precedence
3. Internal validity

Internal validity

• In theorie: Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten.

• In toepassing: Bijvoorbeeld, je doet onderzoek naar social media contact vooraf en het plezier op de eerste date. Plezier van de eerste date hoeft niet alleen maar te komen door social media contact, maar kan ook door de karaktereigenschap van de participanten komen. Dit is dan de alternatieve verklaring.

• In test: Bij een onderzoek wil Maureen de causaliteit aantonen. Ze wil de invloed van twee glazen water drinken op de toetsresultaten onderzoeken. Ze komt er achteraf achter dat de participanten pas na de toets de twee glazen water gedronken hebben. Welk causaliteitsprincipe komt hierbij in het geding?

1. Covariance
2. Temporal precedence
3. Internal validity

Likert schaal

• In theorie: Dit is een schaalscore met links de optie ''helemaal oneens'' en rechts de optie ''helemaal eens''. In het midden staat vaak nog de optie ''neutraal''.

• In toepassing: Een likert schaal is een schaal met een ordinaal meetniveau.

• In test: De Likert schaal is zo ingericht dat een waarde van 4, precies twee keer groter is dan de waarde 2. Waar of niet waar?

1. Waar
2. Niet waar

Conceptuele definitie

• In theorie: Wat de onderzoeker precies met het theoretische begrip bedoelt. Dat is de conceptuele definitie.

• In toepassing: Als het theoretische begrip ''plezier van de eerste date'' is, dan zal een voorbeeld van een conceptuele definitie kunnen zijn: ''De mate waarin de persoon een gevoel van blijheid, ontspannenheid en vrolijkheid heeft en zichzelf vermaakt gedurende de date''.

• In test: De omschrijving: Het aantal keer dat een kind een speeltoestel gebruikt en daarbij lacht en zwaait naar andere kinderen. Zie je hier een conceptuele definitie of een operationele definitie?

1. Conceptuele definitie

2. Operationele definitie

Operationele definitie

• In theorie: De operationele definitie is de vraag hoe de onderzoeker het begrip gaat meten. Welk meetinstrument wordt hiervoor gebruikt? 

• In toepassing: Een voorbeeld is een vragenlijst met vragen die blijheid, ontspannenheid, vrolijkheid en vermaak tijdens de date adresseren wat resulteert in een schaalschore tussen de 4 en de 20.

• In test: De omschrijving: De mate waarin een kind zich vrij, blij en vrolijk voelt. Zie je hier een conceptuele definitie of een operationele definitie?

1. Conceptuele definitie

2. Operationele definitie

Externe validiteit

• In theorie: De externe validiteit is in hoeverre je de resultaten van je onderzoek kunt generaliseren naar een grotere groep, bijvoorbeeld de populatie.

• In toepassing: Voor externe validiteit wordt vaak een aselecte steekproef gebruikt. Dat zorgt voor een hogere externe validiteit.

• In test: Welke steekproef zorgt ervoor dat resultaten beter gegeneraliseerd kunnen worden naar een grotere groep?

1. Aselecte steekproef
2. Gemakssteekproef
3. Selecte steekproef
4. Doelgerichte steekproef

Enkelvoudige aselecte steekproef

• In theorie: Voor generalisatie naar een grotere groep is het belangrijk om te beginnen met een aselecte steekproef. Hier worden de subjecten geheel willekeurig (op toevalsbasis) uit de populatie getrokken.

• In toepassing: Bij een enkelvoudige aselecte steekproef zorg je ervoor dat je beter kunt interfereren naar de doelpopulatie. Dit zorgt voor een hogere externe validiteit.

• In test: Voor een onderzoek naar gedrag onder basisschoolkinderen trekt de onderzoeker uit een lijst met alle basisscholen in Nederland een steekproef. Alle kinderen van de getrokken basisscholen worden onderzocht. Van welke soort steekproef is hier gebruik gemaakt?

1. Enkelvoudige aselecte steekproef
2. Gestratificeerde steekproef
3. Cluster steekproef
4. Getrapte steekproef

Gestratificeerde steekproef

• In theorie: een gestratificeerde steekproef bestaat uit de combinatie van meerdere steekproeven getrokken uit subgroepen in de populatie

• In toepassing: Wordt vaak gebruikt op het moment wanneer er in de populatie verschillende deelpopulaties ('strata'). Per stratum wordt er een enkelvoudige aselecte steekproef getrokken.

• In test: Miguel doet onderzoek naar tevredenheid over het onderwijs op de UU. Hij heeft een lijst van alle UU studenten en trekt uit deze lijst een steekproef. Van welke soort steekproef is hier gebruik gemaakt?

1. Enkelvoudige aselecte steekproef
2. Gestratificeerde steekproef
3. Cluster steekproef
4. Getrapte steekproef

Cluster steekproef

• In theorie: In de werkelijkheid hebben de onderzoekers maar zelden beschikking over een lijst van de volledige doelpopulatie. Clusters zijn wel vaak bekend, er kan dan een cluster steekproef getrokken worden.

• In toepassing: Een cluster steekproef kan gebruikt worden wanneer de clusters representatief zijn voor de gehele populatie. Er is geen lijst van alle kinderen op de basisschool in Nederland, maar wel een lijst van alle basisscholen in Nederland. Er worden dan een aantal bassischolen at random getrokken. Dat is dan een cluster.

• In test: Er wordt onderzoek gedaan in alle gemeenten in Nederland naar de tevredenheid over de infrastructuur. Er wordt eerst een steekproef getrokken tussen alle gemeenten. Vervolgens wordt er binnen de gemeente nog een steekproef getrokken om zo een kleinere steekproef te krijgen. Van welk soort steekproef is hier gebruik gemaakt?

1. Enkelvoudige aselecte steekproef
2. Gestratificeerde steekproef
3. Cluster steekproef
4. Getrapte steekproef

Getrapte steekproef

• In theorie: Een getrapte steekproef is een cluster steekproef met vervolgens een aselecte steekproef

• In toepassing: Vaak zijn er nog steeds te veel deelnemers na een cluster steekproef. Daarom wordt er binnen het cluster nog eens een aselecte steekproef getrokken.

• In test: Er wordt onderzoek gedaan naar gezonde voeding onder de Nederlandse bevolking. De onderzoeker weet dat topsporters over het algemeen erg gezond eten. Hij weet ook dat er veel topsporters in Nederland leven en wil hun mening graag mee laten tellen. Hij weet het percentage topsporters in Nederland en doet een aparte steekproef onder de topsporters aan de hand van het percentage topsporters in Nederland. Van welk soort steekproef wordt hier gebruik gemaakt?

1. Enkelvoudige aselecte steekproef
2. Gestratificeerde steekproef
3. Cluster steekproef
4. Getrapte steekproef

Indruksvaliditeit

• In theorie: Aan experts wordt gevraagd of het betreffende meetinstrument het theoretisch construct goed meet.

• In toepassing: Een expert op het gebied van het theoretisch construct 'agressie' geeft zijn of haar oordeel over het meetinstrument dat dit theoretisch construct meet.

• In test: Marjan gebruikt naast haar eigen meetinstrument een meetinstrument dat eigenlijk een tegenovergesteld resultaat geeft. Van welke vorm van validiteit wordt hier gebruik gemaakt?

1. Indruksvaliditeit
2. Inhoudsvaliditeit
3. Convergente validiteit
4. Divergente validiteit

Inhoudsvaliditeit

• In theorie: Er wordt gekeken of de inhoud goed meegenomen wordt: worden alle dimensies van het theoretisch construct meegenomen?

• In toepassing: Bijvoorbeeld het theoretisch construct 'agressie' bevat meerdere aspecten. Er wordt gekeken of het meetinstrument al deze aspecten meeneemt.

• In test: Mees doet onderzoek naar vergeetachtigheid en hiervoor neemt hij een enquête af onder respondenten. Hij weet dat vergeetachtigheid ook invloed kan hebben op schoolprestaties dus hij verzamelt ook cijferlijsten van de respondenten. Van welke vorm van validiteit wordt hier gebruik gemaakt?

1. Indruksvaliditeit
2. Inhoudsvaliditeit
3. Convergente validiteit
4. Criterium validiteit

Convergente validiteit

• In theorie: Bij convergente validiteit wordt gekeken of de metingen van dit meetinstrument overeenkomen met die van een ander meetinstrument (dat hetzelfde soortgelijk begrip meet).

• In toepassing: Bij deze vorm van validiteit wijst een hoge correlatie op een hoge convergente validiteit.

• In test: Martin heeft voor een onderzoek een vragenlijst. Hij komt erachter dat depressie ook het slaapritme beïnvloedt. Hij past daarom zijn vragenlijst aan. Welke vorm van validiteit kwam hierdoor bijna in het geding?

1. Indruksvaliditeit
2. Inhoudsvaliditeit
3. Convergente validiteit
4. Divergente validiteit

Divergente validiteit

• In theorie: Bij divergente validiteit wordt gekeken of de metingen van dit meetinstrument juist niet samenhangen met andere kenmerken.

• In toepassing: Bij deze vorm van validiteit wijst een lage correlatie op een hoge divergente validiteit.

• In test: Sophie doet onderzoek naar flirten onder adolescenten. Voordat ze het onderzoek afneemt vraagt ze een datingcoach over haar meetopstelling. Van welke vorm van validiteit wordt hier gebruik gemaakt?

1. Indruksvaliditeit
2. Inhoudsvaliditeit
3. Convergente validiteit
4. Divergente validiteit

Criterium validiteit

• In theorie: Bij criterium validiteit wordt gekeken of de metingen van dit meetinstrument samenhangen met een andere uitkomstvariabele waarvan we weten dat er een verband hoort te zijn.

• In toepassing: Als we weten dat er een verband is tussen aantal uren studie en het cijfer, dan zouden we de toets naast het aantal uren studie kunnen leggen.

• In test: Maria gebruikt bij haar onderzoek een zelfgemaakt vragenlijst. Ze gebruikt ook een vragenlijst van de Universiteit Utrecht die hetzelfde theoretisch aspect onderzoekt. Van welke vorm van validiteit wordt hier gebruik gemaakt?\

1. Indruksvaliditeit
2. Inhoudsvaliditeit
3. Convergente validiteit
4. Criterium validiteit

Test-hertest betrouwbaarheid

• In theorie: Bij test-hertest betrouwbaarheid wordt gekeken of het meetinstrument consequente scores geeft wanneer onderzoekers het meerdere keren gebruiken.

• In toepassing: Deze vorm van betrouwbaarheid wordt niet vaak gebruikt bij theoretische begrippen die fluctureren zoals pijn en ontspannenheid.

• In test: In een vragenlijst zijn twee vragen net iets anders verwoord, maar deze komen eigenlijk op hetzelfde neer. Onderzoekers doen dit bewust. Van welke vorm van betrouwbaarheid is hier sprake?

1. Test-hertest betrouwbaarheid
2. Interbeoordelaarsbetrouwbaarheid
3. Interne betrouwbaarheid

Interbeoordelaarsbetrouwbaarheid

• In theorie: Bij interbeoordelaarsbetrouwbaarheid wordt er gekeken of het meetinstrument consequente scores geeft wanneer verschillende onderzoekers het gebruiken.

• In toepassing: Deze vorm van betrouwbaarheid wordt vooral gebruikt bij observaties. Bijvoorbeeld: de verschillende observanten moeten allebei de mensen beoordelen en kijken of ze 'even blij' zijn.

• In test: Fabienne heeft een vragenlijst die ze afneemt. Ze gebruikt de vragenlijst meerdere keren om te kijken of deze steeds hetzelfde antwoord geeft. Van welke vorm van betrouwbaarheid is hier sprake?

1. Test-hertest betrouwbaarheid
2. Interbeoordelaarsbetrouwbaarheid
3. Interne betrouwbaarheid

Interne betrouwbaarheid

• In theorie: Bij interne betrouwbaarheid wordt er gekeken of de respondenten soortgelijke antwoorden geven op verschillende vragen over hetzelfde theoretische begrip.

• In toepassing: Deze vorm van betrouwbaarheid wordt vaak gebruikt bij Surveys of andere vragenlijsten. 

• In test: Jochem en Maarten doen onderzoek naar stress onder 60+-ers. Dit doet ze door middel van interviews. Eerst neemt Jochem het interview af, maar daarna doet Maarten voor de zekerheid ook nog een interview met dezelfde participant. Van welk soort betrouwbaarheid is hier sprake?

1. Test-hertest betrouwbaarheid
2. Interbeoordelaarsbetrouwbaarheid
3. Interne betrouwbaarheid

Antwoordindicatie

PAC

• Population: Mensen op een eerste date
• Association: Er wordt een positieve relatie verwacht. Meer social media contact zorgt voor meer plezier
• Constructs: Social media contact vooraf en plezier tijdens de eerste date

Causaliteit

• B

Covariance

• C

Temporal precendence

• A

Internal validity

• B

Likert schaal

• B

Conceptuele definitie

• B

Operationele definitie

• A

Externe validiteit

• A

Enkelvoudige aselecte steekproef

• C

Gestratificeerde steekproef

• A

Cluster steekproef

• D

Getrapte steekproef

• B

Indruksvaliditeit

• D

Inhoudsvaliditeit

• D

Convergente validiteit

• B

Divergente validiteit

• A

Criterium validiteit

• C

Test-hertest betrouwbaarheid

• C

Interbeoordelaarsbetrouwbaarheid

• A

Interne betrouwbaarheid

• B

De belangrijkste begrippen bij correlationeel onderzoek op een rijtje

PAC

• In theorie: Dit is het acroniem voor correlationeel onderzoek en staat voor de volgende elementen: 
  Population: Wie, de groep mensen of objecten die de onderzoeker wilt onderzoeken
  Association: Het verband of de relatie. De onderzoeker geeft aan wat voor soort relatie er verwacht wordt.
  Constructs: De kenmerken die de onderzoeker van de mensen wil weten en meten en waartussen er een verband verwacht wordt.

Positieve of stijgende relatie

• In theorie: Een positieve relatie is wanneer een toename in de onafhankelijke variabele ook een toename in de afhankelijke variabele veroorzaakt. Voorbeeld: Plezier van de eerste date neemt toe met meer contact via social media vooraf.

Negatieve of dalende relatie

• In theorie: Een negatieve relatie is wanneer een toename in de onafhankelijke variabele een afname in de afhankelijke variabele veroorzaakt. Voorbeeld: Hoe langer vluchtelingenkinderen in een AZC wonen, hoe kleiner de kans op een verblijfsvergunning.

Causaliteit

• In theorie: Bij causaliteit spreken we van onderzoeksvragen die een orzaak / gevolg verband beschrijven. Er zijn drie voorwaarden verbonden aan het begrip causaliteit, namelijk: covariance, temporal precedence en internal validity.

Covariance

• In theorie: Er moet een relatie zijn tussen de oorzaak en het gevolg.

Temporal precendence

• In theorie: De oorzaak moet in de tijd voorafgaan aan het gevolg.

Internal validity

• In theorie: Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten.

Systematisch / kwantitatief observeren

• In theorie: Systematisch observeren is echt bepaalde activiteiten turven. Voorbeeld: ''9 van de 10 kinderen hebben een scooter bereden, er is 1 keer onenigheid geweest tussen 2 kinderen. Elke 5 minuten was er onenigheid tussen 2 kinderen.'' Systematisch observeren zie je vaak bij kwantitatief onderzoek.

Kwalitatief observeren

• In theorie: Hier wordt niet geteld zoals bij kwantitatief onderzoek, maar hier wordt meer omschreven. Voorbeeld: ''De kinderen rijden rondjes op de scooter. Ze vinden dit een leuke activiteit en veel kinderen lachen.'' of ''Tijdens het scooterrijden lijken de kinderen minder onenigheid te hebben met elkaar.''

Likert schaal

• In theorie: Dit is een schaalscore met links de optie ''helemaal oneens'' en rechts de optie ''helemaal eens''. In het midden staat vaak nog de optie ''neutraal''.

Conceptuele definitie

• In theorie: Wat de onderzoeker precies met het theoretische begrip bedoelt. Dat is de conceptuele definitie. Als het theoretische begrip ''plezier van de eerste date'' is, dan zal een voorbeeld van een conceptuele definitie kunnen zijn: ''De mate waarin de persoon een gevoel van blijheid, ontspannenheid en vrolijkheid heeft en zichzelf vermaakt gedurende de date''.

Operationele definitie

• In theorie: De operationele definitie is de vraag hoe de onderzoeker het begrip gaat meten. Welk meetinstrument wordt hiervoor gebruikt?  Een voorbeeld is een vragenlijst met vragen die blijheid, ontspannenheid, vrolijkheid en vermaak tijdens de date adresseren wat resulteert in een schaalschore tussen de 4 en de 20.

Er zijn verschillende meetniveaus.

- Nominaal meetniveau

• In theorie: Deze data geven geen hoeveelheden aan. Deze data geven categorieën aan. Daarom valt het nominaal meetniveau ook als enige onder de categorische variabelen. De andere drie meetniveaus vallen onder kwantitatieve variabelen. Een voorbeeld van nominale waarden zijn kleurcategorieën: blauw, rood, groen.

- Ordinaal meetniveau

• In theorie: Bij het ordinale meetniveau is er sprake van een logische ordening. Denk aan eerste plek, tweede plek, derde plek. Er zijn echter geen gelijke intervallen tussen de waarden. Het betekent dus niet dat de vierde plek twee keer slomer was dan de tweede plek.

- Interval meetniveau

• In theorie: Hier is sprake van ordening met daarbij gelijke intervallen tussen de waarden. Er is bij interval meetniveau geen sprake van een absoluut nulpunt. Voorbeeld: temperatuur in graden Celcius. 20 graden betekent hier wel degelijk dat het twee keer zo warm is als 10 graden.
  Daarnaast betekent 0 graden Celcius hier niet ''Geen graden Celcius''. Nul is ook een waarde hier, er is dus geen absoluut nulpunt.

- Ratio meetniveau

• In theorie: Hier is sprake van ordening met daarbij gelijke intervallen tussen de waarden. Er is bij interval meetniveau wél sprake van een absoluut nulpunt. Voorbeeld: gewicht in kilogrammen. Ook hier is 30kg twee keer zo zwaar als 15kg. Bij ratio meetniveau is er wel sprake van een absoluut nulpunt. 0kg is namelijk geen gewicht. Er is geen sprake van een negatieve waarde.

Inferentie

• In theorie: Het generaliseren van de resultaten van een onderzoek naar een grotere groep mensen: de populatie. Het generaliseren van de steekproef naar de populatie.

Externe validiteit

• In theorie: De externe validiteit is in hoeverre je de resultaten van je onderzoek kunt generaliseren naar een grotere groep, bijvoorbeeld de populatie.

Aselecte steekproef

• In theorie: Voor generalisatie naar een grotere groep is het belangrijk om te beginnen met een aselecte steekproef. Hier worden de subjecten geheel willekeurig (op toevalsbasis) uit de populatie getrokken.

Dekkingsfout

• In theorie: Vertekening van de werkelijkheid, veroorzaakt door de mensen die niet op de lijst staan. Deze dekkingsfout is groter als er grote verschillen zijn tussen die mensen.

Non-response fouten

• In theorie: Niet meedoen of het niet beantwoorden van de vragenlijst. Ook deze fouten kunnen een vertekening van de werkelijkheid veroorzaken. Als de mensen die niet meedoen systematisch verschillen van de mensen die wel meedoen.

Nulhypothese significantie test (NHST)

• In theorie: Dit is een proces waar de onderzoekshypothese vergeleken wordt met een tweede hypothese: de nulhypothese.

Nulhypothese

• In theorie: In een nulhypothese staat geen relatie, geen verschil en geen effect.

Steekproevenspreiding

• In theorie: De waarden van de steekproefcorrelatie van steekproef tot steekproef variëren, dit wordt de steekproevenspreiding genoemd.

Steekproeffout

• In theorie: Wanneer een onderzoeker de correlatie in de steekproef bepaalt en hij deze vergelijkt met de correlatie in de populatie, dan zal deze bijna nooit exact gelijk zijn. Dat verschil tussen die waarden wordt de steekproeffout genoemd.

Standaardafwijking

• In theorie: De gemiddelde grootte van de steekproeffout.

Standaardfout

• In theorie: De standaardafwijkingen van de steekproeffouten.

P-waarde

• In theorie: De p-waarde wordt ook wel de overschrijdingskans genoemd. Dit is de kans dat de waarde in de steekproef nog verder van nul ligt dan de geobserveerde waarde. De p-waarde is een indicatie van overeenkomst met de nul-situatie.
  Een grote p-waarde betekent vaak veel overeenkomst met de nul-situatie
  Een kleine p-waarde betekent vaak weinig overeenkomst met de nul-situatie.