Deze samenvatting is geschreven in collegejaar 2012-2013.

Hoofdstuk 1: Het experiment

Een experiment is een gecontroleerde onderzoeksmethode waarbij proefpersonen random worden toegewezen aan condities en alles gelijk is, behalve de onafhankelijke variabele(n). Experimenten worden gebruikt voor het onderzoeken van een onbekend effect, het illustreren van een bekend effect of het testen van een hypothese.

Kenmerken experiment:
1. Randomisatie: De participanten worden willekeurig toegewezen aan verschillende condities en hebben even veel kans om in de ene of de andere conditie terecht te komen
2. Manipulatie: De onafhankelijke variabele is gemanipuleerd door de onderzoeker
3. Proefleider (experimentator) en proefpersonen maken beiden deel uit van het onderzoek
4. Causale relaties (oorzaak-gevolg) kunnen vastgesteld worden

Het voordeel van een experiment is dat causaliteit aangetoond kan worden. Het nadeel is de beperkte generaliseerbaarheid naar andere situaties of mensen (externe validiteit).

Factoren, levels en reacties
De gecontroleerde (onafhankelijke) variabele wordt in een experiment ook wel de factor genoemd. Dit is de verklarende variabele die door de onderzoeker gemanipuleerd wordt of waarvoor gecontroleerd wordt.  Een storende (confounding) factor zorgt voor verschillen in de resultaten waardoor het effect op de afhankelijke variabele niet aan de onafhankelijke variabele(n) kan worden toegeschreven. Om de invloed van zo’n storende factor te beperken, wordt er gerandomiseerd. Dat wil zeggen dat de proefpersonen willekeurig, op een onsystematische manier, verdeeld worden over de verschillende condities. Hierdoor heeft iedere persoon evenveel kans om geselecteerd te worden. Een factor kan twee of meer waarden aannemen. Deze waarden heten ook wel levels of niveaus. Een voorbeeld van een factor is het geslacht. Deze factor heeft twee niveaus: man of vrouw. De factoren en hun levels hebben uiteindelijk invloed op de meetbare uitkomst van een experiment, de response of reactie.

De proefpersonen krijgen wel of geen experimentele behandeling, oftewel treatment. Dit is een door de onderzoeker gemanipuleerde situatie en bestaat uit een combinatie van factoren. In een experiment kunnen meerdere experimentele behandelingen voorkomen. Wanneer proefpersonen geen treatment krijgen, behoren zij tot de controle-conditie. In een experiment zijn er dus verschillen in de omstandigheden van de proefpersonen. Wanneer hun reacties op deze omstandigheden ook verschillen zoals verwacht, dan kunnen er causale uitspraken gedaan worden.
 

Experimenteel design

Een experiment kan worden weergegeven in een experimenteel design. In onderstaand voorbeeld werd er onderzoek gedaan naar de kleur ogen en het geslacht van een model op de attitudes tegenover een reclame.

                                                                                 Factor 1: Kleur ogen
                                                                                     Bruin             Blauw              Groen
                                               Man
Factor 2: Geslacht

            Vrouw
 

Bovenstaand design kan ook in een formule genoteerd worden: een 3x2 factorieel tussen-personen design. De 3 in de formule betreft het aantal niveaus van factor 1. Dit zijn er drie: bruin, blauw en groen. De 2 betreft het aantal niveaus van factor 2. Dit zijn er twee: man en vrouw. De getallen in de formule laten dus niet alleen zien hoeveel factoren er zijn maar geven ook aan uit hoeveel niveaus deze factoren bestaan, behalve wanneer er maar één factor is. Het voorbeeld is een tussen-personen (between subjects) design omdat er gekeken wordt naar de verschillen tussen de personen van de verschillende condities. In zo’n design is de hypothese dat er een verschil is tussen de groepen proefpersonen.

In een binnen-personen (within subjects) design wordt het verschil per proefpersoon tussen twee tijdstippen onderzocht. Er wordt verwacht dat de proefpersoon op tijdstip 1 anders reageert dan op tijdstip 2. Wanneer de onderzoeker er vanuit gaat dat er zowel tussen de participanten als tussen de meetmomenten per participant een verschil zit, wordt er over een mixed design gesproken. Dit is een combinatie van het binnen-personen en tussen-personen design.
Soorten onderzoek
Er kunnen drie soorten onderzoek onderscheiden worden:

1. Observationeel onderzoek.

Bij observationeel onderzoek probeert de onderzoeker de aard van een verschijnsel te beschrijven. De nadelen van dit soort onderzoek zijn dat de onderzoeker niets kan zeggen over de onderliggende betekenissen en niet al het gedrag observeerbaar is.
Twee soorten observationeel onderzoek:
- Etnografische methode: Het gedrag en de beweegredenen worden geobserveerd van binnenuit doordat de onderzoeker een soort participant is in de groep. Problemen: Toegang krijgen tot de groep en de subjectiviteit van de onderzoeker. De oplossing voor de subjectiviteit is om meerdere onderzoekers hetzelfde te laten observeren.
- Archivarische methode: Niet het gedrag maar de resultanten of bewaarde observaties, zoals oude documenten, staan centraal.

2. Correlationeel onderzoek

Door middel van observeren of vragen probeert de onderzoeker Y te voorspellen aan de hand van X. Vragenlijsten vormen vaak de basis voor dit soort onderzoek. Het voordeel van een vragenlijst is dat gevraagd kan worden naar zaken die niet geobserveerd kunnen worden. Correlationeel onderzoek kent ook enkele nadelen:
- Vragenlijsten zijn niet altijd representatief omdat mensen vaak niet weten wat ze doen
- Mensen willen vaak niet vertellen wat ze doen
- Mensen realiseren zich niet dat ze vaak niet weten wat ze denken of doen

Een voorbeeld van correlationeel onderzoek is het experiment van Latené en Darley naar de invloed van het aantal omstanders op het te hulp schieten van mensen. Zij verwachtten dat mensen eerder zullen helpen wanneer er weinig omstanders zijn en proberen Y (het te hulp schieten) dus te voorspellen door middel van X (het aantal omstanders). Het aantal omstanders is de onafhankelijke, antecedente variabele die door de onderzoekers gemanipuleerd is. Dit is de causale factor. Het te hulp schieten is de afhankelijke, consequente variabele. Dit is het effect van de onafhankelijke variabele. De proefpersonen zouden via een koptelefoon met andere studenten gaan praten over problemen in het leven en werden random ingedeeld in één van de drie condities: met één andere student, met drie andere studenten of met vier andere studenten. Plotseling kreeg een van de andere studenten een epileptische aanval die in scene was gezet. Uiteindelijk werd er gekeken naar het aantal proefpersonen die deze student te hulp schoot.

3. Experimenteel onderzoek

Het doel van wetenschap is om causale relaties (oorzaak-gevolg) te vinden tussen gebeurtenissen of variabelen. Dit kan gedaan worden door middel van experimenteel onderzoek. We spreken van causaliteit als sprake is van samenhang (statistische correlatie), tijdsvolgorde, het uitsluiten van gemeenschappelijke oorzaken en het uitsluiten van alternatieve verklaringen. De eventuele invloed van proefleiders kan zichtbaar gemaakt en weggewerkt worden door meerdere proefleiders te gebruiken. Het kenmerkende van een experiment is dat de onafhankelijke variabele door de experimentator wordt gemanipuleerd en dat er een artificiële situatie kan optreden. Dit wordt gedaan om de omstandigheden waarin het verwachte effect zal optreden op te roepen. Door meerdere experimenten samen te voegen kan een theorie steeds meer of minder steun krijgen uit de empirie.

De setting
Een experiment heeft vaak een kunstmatige setting omdat:
- Het replicatie op andere momenten en plaatsen mogelijk maakt
- De experimentatoren zich voor kunnen bereiden op het meten van de afhankelijke variabele
- Hierdoor de richting en grootte van het effect kunnen worden vastgesteld. Door meerdere niveaus toe te voegen kan bekeken worden hoe het effect zich verhoudt tot de onafhankelijke variabele.
- Er dan kan worden vastgesteld of de relatie tussen de variabelen een directe relatie is of niet 

Kritiek
Kritiek op experimenten zijn twijfels over de betrouwbaarheid en validiteit:
1. Betrouwbaarheid: Kunnen de metingen zo verricht worden dat de uitkomsten niet afhankelijk zijn van de proefpersonen in het experiment?
2. Validiteit: Kunnen de omstandigheden in het experiment herhaald worden zodat de verwachte processen zich ook werkelijk voordoen?

Doel
Het doel van een experiment kan zijn:
- Het toetsen van theorieën of hypothesen
- Het verbeteren van een theorie
- Het vergelijken van alternatieven: Onderzoeken welke soorten variabelen tot hetzelfde effect leiden
- Identificeren: Nagaan welke factoren echt belangrijk zijn in het ontstaan van het effect
- Bewerkstelligen: Onderzoeken op welke manier het optimale resultaat ontstaat
- Reduceren van variatie in resultaten: Ervoor zorgen dat de uitkomst altijd ongeveer hetzelfde is
- Vereenvoudigen door een balans na te streven: Proberen de uitkomst op de meest simpele/snelle manier te laten ontstaan
- Minimaliseren, maximaliseren en doeltreffendheid: Een bepaald doel bereiken door te variëren in factoren

Hoofdstuk 2: Design en externe variabelen

Een één-factor tussen-proefpersonen onderzoek is een onderzoek met één treatment, experimentele behandeling, die meerdere niveaus kan hebben. In het onderzoek van Latené en Darley is de aanwezigheid van meerdere mensen de treatment. Deze treatment heeft drie niveaus: geen omstanders, twee andere omstanders en vier andere omstanders. De omschrijving ‘tussen-proefpersonen’ geeft aan dat de verschillen tussen de groepen proefpersonen onderzocht wordt. In het design van een één-factor tussen-personen onderzoek  staan de factoren onder elkaar en de niveaus naast elkaar. Het aantal condities kan berekend worden door het aantal factoren te vermenigvuldigen met het aantal niveaus. Een voorbeeld van een één-factor tussen-personen design:
                                                   Aantal omstanders
            geen                                           twee                                                               vier
------------------------------------------------------------------------------------------------------------
          meting Y                                   meting Y                                             meting Y

Achteraf kunnen de resultaten van het experiment vermeld worden in een uitkomstentabel. Van de belangrijke variabelen uit de hypothesen worden de gemiddelden per conditie genoteerd in de cellen van de tabel.

Wanneer de experimentele eenheden mensen zijn, spreekt men over proefpersonen of participants. Wanneer de eenheden dieren zijn, worden zij subjects genoemd.
 

De invloed van externe variabelen

In een experiment worden stappen en maatregelen genomen om de effecten van externe variabelen (lurking) uit te sluiten, te beperken of gelijk te verdelen over de condities. Lurking is een externe variabele in een statistisch model dat positief of negatief samenhangt met zowel de afhankelijke als de onafhankelijke variabele. Er wordt naar gestreefd om de externe omstandigheden of zaken onder experimentele controle te brengen door alle omstandigheden die voor een verschil tussen de condities zouden kunnen zorgen onder controle houden. Het beperken van deze externe invloed kan door:

1. Controlegroep. Deze groep krijgt geen experimentele behandeling en de meting wordt een baseline-meting genoemd. Wanneer de experimentele groep verschilt van de controle-groep kan dit verschil worden toegeschreven aan de gemanipuleerde onafhankelijke variabele.
2. Placebo. Dit is een neutrale behandeling die geen “echt” effect heeft op de afhankelijke variabele. Een placebo-effect is het positieve effect op deze nep-behandeling. Wanneer het effect bij de experimentele groep groter is dan bij de controlegroep, is er effectief gecontroleerd voor de placebo en kunnen de verschillen aan de onafhankelijke variabele toegeschreven worden.
3. Blinding. Wanneer proefpersonen weten welke behandeling ze krijgen kunnen ze zich hierdoor anders gaan gedragen. Bij voorkeur is zowel de proefleider als de proefpersoon ‘blind’ voor de conditie waarin de proefpersonen zijn ingedeeld. Het beste is als de proefleider ook de hypothesen niet weet (dubbelblind) omdat zij anders de verwachtingen die horen bij de condities zouden kunnen communiceren.
4. Randomization. Mensen op basis van toeval toewijzen aan de verschillende condities. Hiermee wordt de kans dat de storende, confounding variabelen invloed hebben op de afhankelijke variabelen beperkt.

Hoofdstuk 3: Onderzoeksdesigns

In een experiment wordt geprobeerd om de invloed van de onafhankelijke variabele(n) op de afhankelijke variabele(n) vast te stellen en de interne en externe validiteit zo hoog mogelijk te houden.
Designs: soort metingen
Er zijn twee soorten designs die betrekking hebben op de soort metingen:

Onafhankelijk participanten design (independent subjects design)
Dit design kent verschillende namen en wordt ook wel onafhankelijke groepen design, onafhankelijke steekproeven design of tussen proefpersonen design genoemd.

De proefpersonen worden random toegewezen aan een conditie waarna de meting plaatsvindt. Vervolgens worden groepsgemiddelden uit de experimentele groep en de controlegroep met elkaar vergeleken worden. Om te controleren of deze verschillen significant zijn en dus niet op toeval berusten, wordt er een t-toets voor onafhankelijke groepen uitgevoerd. Het voordeel van dit design is dat er geen volgorde-effecten optreden. De proefpersonen worden dus niet beïnvloed door een eerdere meting.

Herhaalde metingen design (repeated measure design)
Dit design wordt ook wel een related samples design of een within groups design genoemd. De proefpersonen zit zowel in de experimentele als in de controle-groep omdat zij op tijdstip 1 in de ene conditie zit en op tijdstip 2 in de andere. Iedere proefpersoon heeft dus twee scores op de afhankelijke variabele die uiteindelijk vergeleken worden om na te gaan of er een verschil is tussen de condities. Dit wordt gedaan door middel van een t-toets voor gepaarde waarnemingen. Het voordeel van dit design is dat de variatie in de groepen gelijk blijft doordat het dezelfde proefpersonen zijn in beide metingen. Een nadeel is het volgorde-effect: het effect van de eerste meting op de tweede meting. De oplossing hiervoor is counterbalancing waarbij de ene helft van de proefpersonen eerst de experimentele behandeling krijgt terwijl de andere helft eerst de controle-behandeling krijgt. De volgorde-effect wordt hiermee niet uitgesloten maar heft de effecten wel op.

Designs: aantal metingen
Deze designs gaan over het aantal meetmomenten en kunnen visueel worden weergegeven. De O staat voor observatie of meting van de afhankelijke variabele, de M is de manipulatie van de onafhankelijke variabele en de R betreft de random toewijzing aan de condities.

1. Pre-test-posttest design

Dit design bestaat uit een experimentele groep en een controlegroep die allebei een voor- en een nameting krijgen:

Conditie 1. R – O – M – O
Conditie 2. R – O – O

Voordeel:        - Causale relaties kunnen vastgesteld worden
Nadelen:         - Invaliditeit
                        - Reactieve metingen: het invullen van een attitudeschaal kan op zichzelf   al een effect hebben, de 1^e meting kan de 2^e meting beïnvloeden, de vragenlijst kan het onderzoeksdoel verraden.

2. Post-test only design

Dit ontwerp lijkt op de pre-test-posttest design maar heeft alleen een nameting:
 

Conditie 1. R – M – O
Conditie 2. R - O

Voordeel:        - Geen reactieve metingen
Nadeel:           - De werking van de randomisatie kan niet gecontroleerd worden

3. Solomon four-group design

Dit design is een combinatie van het pre-test-posttest design en het post-test only design.   
 

Conditie 1. R – O – M – O
Conditie 2. R – O – O
Conditie 3. R – M – O
Conditie 4. R- O

Voordelen:      - Meer inzicht in de werking van de randomisatie
                        - Geen reactieve meting

Designs: toewijzing

De volgende drie designs hebben betrekking op de toewijzing van de proefpersonen aan de condities:

1. Completely Randomized Design

Bij dit design worden de proefpersonen at random verdeeld over de verschillende condities. Doordat er gerandomiseerd wordt, kunnen de verschillen tussen de condities worden toegeschreven aan het stimulusmateriaal. Dit design is voor het verzamelen en het verwerken van de data het makkelijkst.

Voordelen:
- Bepaalde kenmerken (zoals geslacht) hebben geen storende invloed

2. Randomized Block Design

Voorafgaand aan het experiment worden de proefpersonen op basis van bepaalde kenmerken ingedeeld in subgroepen oftewel ‘blocks’. Hierdoor zal de variatie binnen de groepen kleiner zijn dan tussen de groepen. Ook kunnen de verschillen in de werking van de experimentele behandeling hierdoor niet aan dit kenmerk toegeschreven worden. Vervolgens worden de proefpersonen per subgroep willekeurig verdeeld over de experimentele condities. Wanneer zij meerdere experimentele behandelingen krijgen, kunnen zij controleren voor zichzelf. Het is afhankelijk van het soort onderzoek of het vaker gebruiken van dezelfde participanten wenselijk of onwenselijk is.

Dit design wordt gebruikt wanneer de proefpersonen onderling erg verschillen, wanneer de steekproef vrij klein is of wanneer de onderzoeker van te voren weet dat bepaalde kenmerken samenhangen met de variabele(n).
 

Voordeel:
- De effecten van de onafhankelijke variabelen zijn beter vast te stellen
- Er kan gecontroleerd worden voor mogelijk storende variabelen
 

3. Matched Pairs Design

De proefpersonen worden op basis van bepaalde kenmerken verdeeld in paren en allebei random toegedeeld aan een van de twee experimentele condities. Door twee vergelijkbare personen aan elkaar te koppelen, worden de kenmerken gelijk verdeeld over de condities. Hierdoor zullen deze kenmerken geen invloed hebben op de afhankelijke variabelen. Dit design kan in dezelfde situaties als het randomized block design gebruikt worden en kent dezelfde voordelen.

Hoofdstuk 4: De flow chart

Een flow chart is een schematische weergave van een proces dat kan dienen als hulpmiddel bij het opzetten en uitvoeren van een experiment. Het bestaat uit 7 stappen waarbij de eerste vier gaan over de onafhankelijke stimulus en de laatste drie over de afhankelijke response.

De flowchart

Stimulus

1. Sampling / steekproef

Eerst moeten de proefpersonen beschreven worden. De keuze voor deze personen is afhankelijk van de onderzoeksvraag. In veel experimenten wordt een theorie getoetst door de relatie tussen verschillende variabelen te onderzoeken. Hierbij kan het beste gekozen worden voor een homogene steekproef omdat homogeniteit de hoeveelheid error-variantie verkleint. Hierdoor wordt het makkelijker om de effecten van de onafhankelijke variabelen zuiver vast te stellen en na te gaan of de theorie klopt. Het trekken van en steekproef wordt in een experiment nauwelijks gedaan om te kunnen generaliseren. Het doel van een experiment is namelijk het onderzoeken van relaties tussen begrippen en variabelen en niet het generaliseren naar andere mensen.

2. Instructies

Vervolgens moeten de proefpersonen geïnformeerd worden over het experiment. Vaak is dit in de vorm van een cover story. Hiermee wordt het begrijpen van de situatie gemanipuleerd en wordt ervoor gezorgd dat de proefpersonen hetzelfde denken en doen. De doelen van het geven van instructies zijn:
- Het manipuleren van de experimentele variabelen
- Het onder controle brengen van mogelijk storende (confounding) variabelen
- Het geven van een cover story: de ware bedoelingen van het experiment verzwijgen of compleet andere redenen voor het onderzoek te geven.

3. Kenmerken en eigenschappen van andere personen

Er moet omschreven worden wie de andere betrokkenen zijn, zoals de proefleiders en andere personen die deel uitmaakten van het experiment. Deze betrokkenen moeten ervoor zorgen dat de situaties voor iedereen hetzelfde zijn. Wanneer er meerdere proefleiders zijn, moet achteraf gecontroleerd worden op het proefleider-effect.

4. De taak

De taak zorgt ervoor dat de onderzoeker metingen kan verrichten voor het onderzoeken van een bepaald fenomeen. Wanneer het de bedoeling is dat proefpersonen succes- of juist faalervaringen hebben, wordt er een taak opgezet waarbij het makkelijk is om succes te hebben of te falen. Ook moet het gemakkelijk zijn om verkeerde feedback te geven. Hierbij wordt de proefpersonen verteld dat ze succesvol waren of faalden, onafhankelijk van hun prestatie.

Response

5. Proces

Tussen de stimulus en de response vindt er een bepaald proces plaats in de hoofden van de proefpersonen. Dit kan vaak niet geobserveerd worden. De theorie achter het experiment geeft vaak informatie over dat proces. Metingen die de hypothesen over deze processen ondersteunen of verwerpen zijn wenselijk. 

6. Uitkomst

De uitkomstenprocedure is vaak de meting van de afhankelijke variabele door middel van een vragenlijst of door te observeren. De proefpersoon wordt als een black box gezien waar de onderzoeker iets instopt (de stimulus) en later kijkt naar de uitkomst (de response).

7. Validating questionnaire and debriefing

Achteraf wordt aan de participanten gevraagd wat ze dachten dat het doel was om na te gaan of de manipulatie succesvol was. Bij debriefing verteld dat onderzoeker het precieze doel van het onderzoek en bekijkt of de participanten dit doorhadden. Dit is een morele en formele vereiste omdat de participanten op die manier verteld wordt dat het experiment gemanipuleerd en dus niet echt was.

Hoofdstuk 5: Validiteit

Betrouwbaarheid
Betrouwbaarheid gaat over de consistentie of de stabiliteit van de metingen. Het gaat om de vraag in hoeverre de uitkomsten hetzelfde zijn bij herhalingen van het onderzoek.

Validiteit
Validiteit kan worden opgedeeld in twee soorten:
1. Conceptuele validiteit: Geeft het experiment een concrete weergave van het bredere concept waar de onderzoeker iets over te weten wil komen?
2. Inhouds validiteit: Hoe meer de uitkomst van een experiment lijkt op de verwachte, werkelijke uitkomst, hoe meer valide de metingen zijn. De true variance is dan het verschil dat is ontstaan door de verschillen tussen de respondenten. Wanneer de verschillen echter zijn ontstaan door externe factoren (error variance), wordt de meting minder valide.

Systematische errors kunnen ontstaan wanneer de proefleider onbewust signalen aan de proefpersonen geeft. Het zorgt ervoor dat er een vertekend beeld ontstaat van de scores in een bepaalde richting. Wanneer de stimulus in een conditie aan iedere proefpersoon op een andere manier gepresenteerd wordt door de proefleider, kan de score op een onsystematische en onbekende manier beïnvloed worden. Systematische errors kunnen beperkt worden door het gebruik van gecontroleerde procedures, objectieve score methoden, randomisatie en een controle groep.

Random errors ontstaan door verstoringen uit de omgeving of door methodologische tekortkomingen. Deze errors leiden ertoe dat de scores in alle richtingen kunnen afwijken van de werkelijke waarde. Door een omgeving te kiezen waarin de proefpersoon niet beïnvloed of afgeleid kan worden en door de standaard methodologie aan te houden, kunnen random errors weggewerkt worden.

Interne validiteit
De interne validiteit gaat om de vraag of er gemeten wordt wat de onderzoeker wilde meten. Dit kan vergroot worden door middel van:

1. Experimentele controle: Externe variabelen onder controle houden. Dit vergt veel inzicht en kennis.
2. Randomisatie: Dit zorgt ervoor dat de eigenschappen en kenmerken van de proefpersonen gelijk over de condities verdeeld zijn. Omdat de kans dat hierbij iets misgaat veel kleiner is, is dit het belangrijkste onderdeel van de experimentele controle.

De interne validiteit wordt bedreigd door:

1. Internal artifacts: Het is mogelijk dat een gebeurtenis waar de onderzoeker geen controle over heeft het effect heeft veroorzaakt.
2. Participant changes: Veranderingen van de proefpersonen zelf, zoals ziek worden, waardoor hij of zij niet meer mee kan doen kunnen invloed hebben op de resultaten.
3. Testing sensitization: Een eerdere test kan de reactie op een tweede test beïnvloeden.
4. Participant selection biases: Wanneer er niet gerandomiseerd wordt, kunnen bestaande de verschillen in de groepen leiden tot een vertekenend beeld.
5. Attrition: Wanneer een ongecontroleerde factor (zoals het stoppen met meedoen) bepaalde proefpersonen van de uiteindelijke analyse uitsluit, kunnen er geen valide conclusies getrokken worden.

Externe validiteit
Externe validiteit is de mate waarin de uitkomsten gegeneraliseerd kunnen worden naar andere situaties of mensen.

1. Generaliseren naar situaties: Door de kunstmatige situatie van een experiment is dit vaak een probleem. Een oplossing is psychologisch realisme: de experimentele situatie wordt zo ingericht dat proefpersonen op dezelfde manier reageren als dat zij in het echt zouden doen. De cover story kan hieraan bijdragen. Hierdoor wordt de generalisatie naar vergelijkbare situaties groter.

2. Generaliseren naar mensen: De resultaten van experimenten zijn moeilijk te generaliseren naar andere mensen omdat men niet weet hoe andere mensen zouden reageren. Daarnaast is dit vaak niet het doel maar wordt er gezocht naar een theorie met veel empirische ondersteuning. Dit kan bereikt worden door veel experimenten en replicaties uit te voeren met steeds andere homogene groepen die onderling verschillen.

De beste manier om externe validiteit te toetsen is replicatie oftewel herhaling. Dit kan door een experiment precies opnieuw uit te voeren, door alleen de operationalisatie van de concepten te veranderen of door proefpersonen uit een andere populatie te onderzoeken. De methode van een experiment moet dus op zeer precieze wijze beschreven worden zodat andere onderzoekers het kunnen herhalen. Het is daarbij belangrijk dat de operationalisatie van de begrippen uit de theorie naar de variabelen goed gebeurd is en dat het methode-hoofdstuk volledig en correct is.

De externe validiteit wordt bedreigd door:

1. Reactive effects of measurements: De test zelf heeft invloed op hoe de proefpersoon reageert.
2. Interaction of selection bias and experimental variable: Het zou kunnen dat het effect van de experimentele variabele alleen bij bepaalde typen mensen optreed en een bepaalde variabele dus meespeelt. Interactie: Wanneer de relatie tussen de onafhankelijke variabele en de afhankelijke variabelen als gevolg van een andere variabele veranderd. Onderzoekers richten hun experimenten vaak zo in dat ze interacties kunnen ontdekken, omdat men aan de hand van deze interacties kan vaststellen wanneer causale relaties bestaan en wanneer niet.
3. Reactive effects of experiment: Verschillen in de mensen in de condities kan ervoor zorgen dat de resultaten niet kloppen
4. Multiple treatment effects: De eerste manipulatie beïnvloed de reactie op de tweede manipulatie. Het is belangrijk om het gemiddelde verschil dat is ontstaan als gevolg van de herhaalde meting te vergelijken.

Laboratorium onderzoek
Aangezien het onmogelijk is om de complete werkelijkheid na te bootsen in en laboratorium, wordt de werkelijkheid beperkt tot enkele variabelen waar de onderzoekers voldoende controle over hebben. De tijd dat de proefpersoon wordt blootgesteld aan de onafhankelijke variabelen en de aard en intensiteit van deze manipulaties worden gereguleerd door wettelijke en ethische overwegingen. Het voordeel van een laboratoriumonderzoek is dat kan worden nagegaan hoe variabelen elkaar onder bepaalde omstandigheden versterken of juist verzwakken. Het nadeel is echter dat de variabelen die in de werkelijke wereld machtig en indrukwekkend zijn, vervangen worden door manipulaties.

Een experiment moet zo realistisch mogelijk lijken. Dit kan door middel van:

1. Experimenteel realisme. Het experiment wordt naar het leven gevormd. De  taak moet uitdagend, interessant en aandachttrekkend zijn en moet ervoor zorgen dat de proefpersonen op (ongeveer) dezelfde manier reageren als dat ze in het dagelijks leven zouden doen. Door het experimenteel realisme realiseren de proefpersonen zich niet (of minder) dat ze meedoen met een experiment waardoor de uitkomsten meer valide zijn.
2. Mundane realisme: Manipulaties en variabelen worden gemeten zoals ze voorkomen in het dagelijks leven. Dit is vooral belangrijk wanneer de onderzoeker wil generaliseren naar een specifieke setting of psychologisch proces.

Experimentele validiteit
De conclusies die getrokken worden uit experimenten kunnen op twee manieren invalide zijn:
- Concluderen dat er een causale relatie bestaat terwijl deze relatie in werkelijkheid wordt gemedieerd door storende variabelen.

- Onterecht generaliseren naar andere mensen, situaties of metingen.

Een manier om dit tegen te gaan is om verschillende experimentele designs te combineren.

Significantie

De significantie van een gevonden verschil is afhankelijk van:
- Het aantal observaties. Hoe meer observaties, hoe eerder significantie.
- Het verschil tussen de groepen. Hoe groter de verschillen, hoe eerder significantie.
- De variatie van de responses. Hoe groter de variatie binnen de groepen, hoe eerder significantie.

Bij het berekenen van de significantie kunnen er twee errors optreden:
1. Type 1 error (alfa): Concluderen dat er een relatie bestaat terwijl dat in werkelijkheid niet zo is. Deze fout is vooral erg wanneer het moeilijk is om een bepaald experiment te herhalen omdat men er dan lastig achter kan komen dat de conclusie niet klopt.
2. Type 2 error (bèta): Concluderen dat er geen relatie bestaat terwijl dat in werkelijkheid wel zo is.

Naarmate de type 1 error afneemt, neemt de type 2 error toe en andersom. Het is afhankelijk van de onderzoeker welke fout als erger wordt gezien. In onderzoek naar grotere theoretische statemens over de realiteit, is type 2 error slechter omdat de onderzoeker zich op deze manier beperkt en zich afsluit van een bepaald onderzoeksgebied. Type 1 is hierbij minder erg omdat andere onderzoekers door replicatie kunnen ontdekken dat deze bevinding niet klopt.

Hoofdstuk 6: Rapportage en overige methoden

Twee soorten onderzoek:

1. Fundamenteel onderzoek: Gericht op de wetenschappelijke relevantie. Gaat om het toetsen van theorieën en het verwerven van algemene kennis uit nieuwsgierigheid van de onderzoeker. De onderzoeker probeert een zo goed mogelijke beschrijving te geven van de werkelijkheid.

2. Toegepast onderzoek: Gericht op het praktische relevantie. Gaat om het ontwikkelen van praktisch bruikbare inzichten en toepassingen van theorieën. Dit is iets anders dan het toepassen van kennis en kan op twee manieren worden uitgevoerd:
   - Via veldexperimenten onderzoeken of de theorie ook buiten het laboratorium bevestigd kan worden.
   - De theoretische kennis uit experimenten toepassen om een probleem aan te pakken
    

Veldexperiment

In een veldexperiment wordt de invloed van de onafhankelijke variabele op de afhankelijke variabele in de natuurlijke setting onderzocht waarbij de proefpersonen random worden toebedeeld aan de condities. Nadelen:

- Minder controle van externe variabelen
- Randomisatie is niet altijd mogelijk
- Soms is het moeilijk genoeg proefpersonen te vinden

Onderzoeksverslag
Het verslag met alle belangrijke resultaten ziet er als volgt uit:

1. Inleiding: Een verschijnsel of een theorie over een bepaald verschijnsel wordt besproken. De inleiding bevat ook een literatuur-review waarin belangrijke begrippen worden geformuleerd en gedefinieerd. Hierbij wordt ook aangegeven hoe de theorie het best aangepast of aangevuld kan worden.
2. Methode: Beschrijving van het onderzoek ontwerp, de voorspellingen en hypothesen, het design en de cover story. Ook wordt een operationalisatie van de theoretische concepten in de hypothesen en een beschrijving van de manieren waarop storende zaken beperkt worden gegeven.
3. Resultaten: Beschrijving van de dataverzameling, minpunten en uitkomsten. De hypothesen worden herhaald en weerlegd of bevestigd. Hierbij worden gemiddelden en standaarddeviaties vermeld en wordt een stavendiagram gegeven. Daarnaast wordt ook de significantie van de resultaten vermeld en worden onverwachte uitkomsten besproken.
4. Discussie: Een samenvatting van de uitkomsten per hypothese inclusief een mening over de uitkomsten. Ook worden de implicaties voor wat betreft de interne en externe validiteit genoemd en worden suggesties voor vervolgonderzoek gegeven.

Natuurlijk experiment
Een methode die vaak gebruikt wordt voor het verklaren van grotere fenomenen is het natuurlijke experiment of de vergelijkende methode.  Onderzoek neer epistomologie is een voorbeeld van een natuurlijk experiment op menselijke populaties. Zo kan geobserveerd worden welke mensen met welke bloedgroep ziek worden tijdens een epidemie. Hiervoor is geen experiment in een laboratorium nodig.

De nadelen van een natuurlijk experiment zijn:

 - De uitkomst kan afhankelijk zijn van allerlei andere factoren
- De onafhankelijke factoren kunnen samenhangen met de afhankelijke variabelen in plaats van dat ze deze verklaren