Welke onderzoeksmethoden worden gebruikt in de arbeidspsychologie? - Chapter 2

Een veelvuldig onderzochte stelling binnen de arbeidspsychologie is het idee dat gelukkige werknemers productiever zijn. Tot op heden is dit verband statistisch insignificant gebleken, maar het onderzoek loopt door.

Een onderzoek bestaat uit verschillende elementen. Allereerst is er een hypothese, een stelling over de wereld die getest kan worden. Vervolgens worden abstracte constructen omgevormd tot operationele definities. Deze definities moeten specifiek zijn, te observeren zijn, meetbaar zijn en gedrag beschrijven. Vervolgens moet er een onderzoeksontwerp worden gemaakt, waarin duidelijk wordt wie de te onderzoeken personen zijn (de onderzoekssubjecten), hoe het onderzoek wordt uitgevoerd en hoe de bevindingen kunnen worden geïnterpreteerd.

2.1 Welke soorten meetschalen worden gebruikt in de arbeidspsychologie?

Metingen kennen numerieke waarderingen toe aan objecten of gebeurtenissen aan de hand van regels. Deze waarderingen zorgen dat de data gemeten kan worden. Er zijn vier soorten meetschalen: nominaal, ordinaal, interval en ratio.

Een nominale schaal kent een nummer toe aan elke categorie. Belangrijk bij een nominale schaal is dat de nummers niet hiërarchisch zijn. Bij een ordinale schaal zijn de nummers wel hiërarchisch, hierdoor ontstaat er een ranglijst. Een ordinale schaal geeft dus aan welke categorie beter is dan de andere categorieën, maar geeft niet aan hoeveel verschil er is tussen de categorieën.

In tegenstelling tot nominale en ordinale schalen, is er bij een intervalschaal wel duidelijkheid over hoe groot de verschillen zijn tussen de categorieën. Het verschil is namelijk tussen alle categorieën hetzelfde. Deze schaal heeft gelijke intervallen. De intervalschaal is de meest gebruikte schaal in de arbeidspsychologie, bijvoorbeeld bij een onderzoek naar hoe tevreden werknemers zijn met hun baan.

Een ratioschaal heeft net als een intervalschaal gelijke intervallen, maar de ratioschaal heeft ook een nulpunt. Hiermee worden bijvoorbeeld geldbedragen gemeten.

2.2 Hoe wordt de klassieke testtheorie toegepast in de arbeidspsychologie?

De klassieke testtheorie (classical test theory, CTT) is een psychometrische theorie die standaarden aangeeft voor psychologische testen. Belangrijke onderdelen van de klassieke testtheorie zijn betrouwbaarheid en validiteit.

Hoe kun je betrouwbaarheid meten?

De betrouwbaarheid is de consistentie van de scores. Hoe consistenter de scores zijn, hoe beter ze met elkaar vergeleken kunnen worden. Vanuit de CTT is er een onderliggende formule die ten basis ligt aan verschillende manieren om betrouwbaarheid te meten, namelijk X = T + e ofwel de geobserveerde waarde = de daadwerkelijke waarde in de echte populatie + een foutmarge. Dit betekent dat onderzoek altijd enigszins af kan wijken van de realiteit en de realiteit nooit 100% perfect weer zal geven. Willekeurige fouten die een onderzoek kunnen beïnvloeden, zijn bijvoorbeeld de gezondheid van medewerkers en problemen thuis. Een betrouwbaar onderzoek wordt zo min mogelijk beïnvloed door dit soort fouten. Betrouwbaarheid wordt gedefinieerd als de consistentie van een meting als een testprocedure herhaald wordt binnen een populatie van individuen of groepen.

Er zijn verschillende manieren om betrouwbaarheid te meten: de test-hertestbetrouwbaarheid, de parallelltestbetrouwbaarheid (alternative forms reliability), de interbeoordelaarsbetrouwbaarheid (inter-rater reliability) en de interne betrouwbaarheid.

De test-hertestbetrouwbaarheid betekent dat dezelfde meting nogmaals wordt uitgevoerd. Dit leidt tot de stabiliteitscoëfficiënt: de mate waarin de testscores stabiliseren gedurende de tijd.

De parallelltestbetrouwbaarheid (alternative forms reliability) betekent dat er verschillende soorten testen uit worden gevoerd waarbij hetzelfde wordt gemeten, om te kijken of er hetzelfde uitkomt.

De interbeoordelaarsbetrouwbaarheid (inter-rater reliability) meet of verschillende onderzoekers tot dezelfde observaties komen.

De interne betrouwbaarheid van een test is de mate waarin de observaties correleren. Dit kan bijvoorbeeld worden bekeken door de testresultaten in tweeën te splitsen en te kijken in hoeverre de twee sets overeenkomen. Dit is een manier om de betrouwbaarheid te testen zonder herhaalde metingen te doen.

De interne betrouwbaarheid, ofwel de mate waarin alle vragen in het onderzoek hetzelfde construct meten, wordt gemeten met alfacoëfficiënten, ook wel Cronbach’s alfa genoemd. Deze coëfficiënten meten de precisie. Binnen de arbeidspsychologie wordt Cronbach’s alfa veel gebruikt. Hierbij betekent 0 niet betrouwbaar, 1 is compleet betrouwbaar en 0,70 of groter is acceptabel. Dit hangt echter van de schaalgrootte af; bij een kleinere schaal valt een lagere Cronbach’s alfa te verwachten.

Hoe kun je validiteit meten?

De validiteit is de mate waarin een test meet wat de test zou moeten meten. Dit betekent dat de metingen van een onderzoek leiden tot geldige inferenties (voorspellingen) over een bepaald fenomeen. Betrouwbaarheid is een vereiste voor validiteit, maar betekent niet per se dat de test ook daadwerkelijk valide is. Er zijn twee soorten strategieën om de validiteit te meten: strategieën gebaseerd op de inhoud van het onderzoek en strategieën gebaseerd op het verband tussen het onderzoek en andere variabelen.

Strategieën die betrekking hebben op de inhoud, gaan uit van logische en empirische analyses. Hierbij kunnen experts helpen, die bijvoorbeeld tot een construct komen en beoordelen of de vragen uit het onderzoek het construct goed representeren. Hiermee wordt de inhoudsvaliditeit gemeten.

Een voorbeeld van een strategie die betrekking heeft op andere variabelen, is de constructvaliditeit. Hierbij wordt een schaal vergeleken met andere (eerdere) metingen van hetzelfde construct.

Als er geen soortgelijke schalen beschikbaar zijn, dan kan de criteriumvaliditeit worden gebruikt. Hierbij worden de uitkomsten van bestaande schalen van andere constructen vergeleken. Er zijn twee soorten criteriumvaliditeit: concurrentvaliditeit (waarbij de uitkomsten van andere constructen tegelijkertijd beschikbaar zijn) en predictieve validiteit (waarbij de uitkomsten van correlerende constructen in de toekomst beschikbaar worden).

Om de validiteit te meten, kan ook een nomologisch netwerk worden gebruikt. Dit is een serie van proposities over hoe constructen samenhangen en welke metingen samenhangen met de constructen.

Welke factoren kunnen de validiteit beïnvloeden?

Er zijn drie problemen die de validiteit van een onderzoek kunnen beperken: constructdeficiëntie, constructcontaminatie en common metod variance. Constructdeficiëntie betekent dat een meting slechts een deel van het construct meet. Constructcontaminatie betekent dat er iets anders wordt gemeten dan het beoogde construct. Common method variance (CMV) betekent dat de data beïnvloed wordt door hoe deze wordt verkregen, bij een enquête kan iemands stemming bijvoorbeeld uitmaken. CMV is vooral een probleem bij onderzoeken die berusten op zelfrapportage.

Op welke manier biedt item response theorie een alternatief voor de klassieke testtheorie?

Naast CTT bestaat er ook item response theorie (IRT), een moderne psychometrische theorie. De focus hiervan ligt op de mate waarin individuele scores een goeie schatting van de echte score zijn. Een model binnen de IRT gebruikt hiervoor drie parameters: hoe moeilijk het is om een score te krijgen voor een bepaald onderdeel of bepaalde vraag binnen de test, in hoeverre het onderdeel een onderscheid maakt tussen hoge en lage scores en in hoeverre het geraden kan worden.

2.3 Hoe maak je een onderzoeksontwerp voor een arbeidspsychologisch onderzoek?

Er zijn verschillende manieren mogelijk om onderzoek vorm te geven in de arbeidspsychologie, bijvoorbeeld door enquêtes bij bedrijven, een experiment in een laboratorium of het verzamelen van data op landelijk niveau.

McGrath heeft drie voorwaarden aangewezen waaraan een onderzoek moet voldoen: precisie (controle over de variabelen en andere onderzoeksaspecten), existentieel realisme (geen kunstmatige taken) en generaliseerbaarheid (representatie van de gehele populatie). Als het zwaartepunt van een onderzoek op een van deze drie punten ligt, dan gaat dat ten koste van de andere twee. Het onderzoeksontwerp moet daarom zorgvuldig worden gekozen.

In welke onderzoeksontwerpen staat precisie centraal?

Er zijn drie voorwaarden voor causaliteit:

1. Twee variabelen co-variëren

2. De ene variabele gaat vooraf aan de tweede variabele

3. Het verband blijft bestaan als er gecontroleerd wordt voor andere variabelen

In hoeverre een onderzoeksontwerp precies is en er met het onderzoek conclusies kunnen worden getrokken over de causaliteit tussen twee variabelen, hangt af van het soort onderzoeksontwerp.

Onderzoeksontwerpen waarin precisie centraal staat, zijn laboratoriumexperimenten, veldonderzoek en quasi-experimenten.

Hoe waardevol zijn laboratoriumexperimenten binnen de arbeidspsychologie?

In een laboratoriumexperiment kan causaliteit erg duidelijk zijn. Onderzoekers hebben hierbij veel controle over het onderzoek. Er worden vaak twee groepen aangewezen, waarbij een van de groepen de behandeling krijgt en de andere groep niet. Vervolgens kan het effect van de te onderzoeken onafhankelijke variabele worden onderzocht. Alle andere variabelen kunnen worden gecontroleerd, dit betekent dat hun effect teniet wordt gedaan zodat ze het onderzoek niet beïnvloeden. Deze omstandigheden zijn echter erg kunstmatig en niet goed te generaliseren, waardoor laboratoriumexperimenten weinig worden gebruikt in de arbeidspsychologie.

Hoe waardevol is veldonderzoek binnen de arbeidspsychologie?

Veldonderzoek met werknemers in een echte organisatie voldoet aan de voorwaarden precisie en existentieel realisme. Er zijn echter allerlei andere variabelen binnen het bedrijf die het onderzoek kunnen beïnvloeden. Een van de grootste problemen van arbeidspsychologisch veldonderzoek is dat veel werknemers zich terugtrekken. Ook zijn er slechts bepaalde bedrijven die mee willen doen aan veldonderzoek, waardoor de generaliseerbaarheid beperkt is.

Hoe waardevol zijn quasi-experimenten binnen de arbeidspsychologie?

Quasi-experimenten zijn veldonderzoeken in echte organisaties waarbij er wordt gewerkt met intacte groepen. Hierbij mag de onderzoeker dus geen groepen indelen, wat ten nadele komt van de interne validiteit (de mogelijkheid dat een onderzoeksontwerp tot een causale inferentie leidt). Quasi-experimenten hebben een zekere mate van precisie en existentieel realisme, maar het ontbreekt hierbij aan generaliseerbaarheid.

In welke onderzoeksontwerpen staat generaliseerbaarheid centraal?

Generaliseerbaarheid staat onder andere centraal in longitudinale enquêtes.

Bij willekeurige steekproeven heeft ieder lid uit de populatie een gelijke kans om onderzoekssubject te worden. Om te zorgen dat bepaalde bevolkingsgroepen ook worden gerepresenteerd in het onderzoek, kan er gebruik worden gemaakt van gelaagde steekproeven (stratified sampling), waarbij de bevolking eerst wordt opgedeeld in bepaalde groepen alvorens er uit elke groep een bepaald aantal leden willekeurig worden geselecteerd. Kanssteekproeven zijn uitermate geschikt voor het meten van de prevalentie van een fenomeen, maar bij arbeidspsychologie gaat het vaker om verbanden in plaats van prevalentie, waardoor kanssteekproeven weinig worden gebruikt.

Bij een aselecte niet-kanssteekproef heeft niet ieder lid van de populatie kans om onderzoekssubject te worden. Deze methode wordt vaak gebruikt in de arbeidspsychologie, bijvoorbeeld bij een onderzoek van een geheel bedrijf waarbij dit bedrijf geacht wordt representatief te zijn voor een gehele sector. Vaak gaat het zelfs om een gelegenheidssteekproef (convenience sample): een steekproef waarbij gebruik wordt gemaakt van de mensen die voorhanden zijn, bijvoorbeeld als bepaalde bedrijven mee willen werken aan onderzoek en bepaalde bedrijven niet.

Als slechts bepaalde mensen ervoor kiezen mee te werken aan een onderzoek, kan er non-response bias ontstaan. In hoeverre dit effect heeft op de generaliseerbaarheid, hangt af van de manier waarop de onderzoekssubjecten gekozen zijn; bij gelegenheidssteekproeven zijn de resultaten toch al niet representatief voor de populatie.

Om de generaliseerbaarheid te vergroten, worden soms longitudinale onderzoeken ingezet, waarbij de onderzoekssubjecten op verschillende momenten getest worden. Het meest populair zijn twee metingen, maar eigenlijk zouden drie metingen moeten worden gebruikt. Longitudinale enquêtes zijn waardevol bij het meten van hoe fenomenen veranderen met het verstrijken van de tijd en om iets te kunnen zeggen over causaliteit. Longitudinale enquêtes kunnen generaliseerbaarheid bieden, maar ten koste van precisie en existentieel realisme.

In welke onderzoeksontwerpen staat existentieel realisme centraal?

Er zijn verschillende onderzoeksontwerpen waarbij het zwaartepunt op existentieel realisme ligt en waarbij wordt gepoogd een complex onderwerp op diepgaand niveau te begrijpen. Dit kunnen kwalitatieve benaderingen zijn, zoals interviews, focusgroepen en observatiemethoden, of kwantitatieve benaderingen, zoals experience sampling.

Interviews kunnen erg gestructureerd zijn, semi-gestructureerd of ongestructureerd. Meestal begint de interviewer met een paar brede algemene vragen, naar aanleiding van het antwoord van de geïnterviewde wordt dan op bepaalde onderwerpen dieper ingegaan. Meestal wordt er van verschillende perspectieven data verzameld, bijvoorbeeld van werknemers, managers en leidinggevenden, tot er voldoende informatie is verzameld en er verzadiging optreedt.

Focusgroepen zijn interviews die worden afgenomen in groepssetting. Dit is een geschikt onderzoeksontwerp als de discussie binnen de groep waarschijnlijk tot nieuwe inzichten zal leiden.

Observatiestudies maken gebruik van de directe observaties van de onderzoekers. Dit kan door in een bedrijf te bekijken hoe de interactie is tussen mensen, maar ook door middel van foto’s of camerabeelden. Bij participantenobservatie wordt de onderzoeker participant in de situatie. Omdat mensen zich mogelijk anders gedragen als ze weten dat het om een onderzoek gaat, wordt dit soms geheim gehouden.

Experience sampling bestaat uit herhaalde steekproeven met dezelfde onderzoekssubjecten op verschillende momenten. Dit is bijvoorbeeld het meten van de ervaringen door middel van herhaalde enquêtes of fysiologische metingen. Nieuwe technologie heeft nog meer mogelijkheden gecreëerd voor experience sampling.

Secondaire data betekent dat reeds bestaande data van bedrijven kan worden hergebruikt door onderzoekers. Dit is makkelijk en toegankelijk, de focus hierbij ligt op existentieel realisme. Met secondaire data kan een meta-analyse worden uitgevoerd; een overkoepelend onderzoek dat de resultaten van meerdere onderzoeken combineert. De focus ligt dan op generaliseerbaarheid.

BulletPoints

• Metingen kennen numerieke waarderingen toe aan objecten of gebeurtenissen aan de hand van regels. Deze waarderingen zorgen dat de data gemeten kan worden. Er zijn vier soorten meetschalen: nominaal, ordinaal, interval en ratio.

• De klassieke testtheorie (classical test theory, CTT) is een psychometrische theorie die standaarden aangeeft voor psychologische testen. Belangrijke onderdelen van de klassieke testtheorie zijn betrouwbaarheid en validiteit.

• Er zijn verschillende manieren om betrouwbaarheid te meten: de test-hertestbetrouwbaarheid, de parallelltestbetrouwbaarheid (alternative forms reliability), de interbeoordelaarsbetrouwbaarheid (inter-rater reliability) en de interne betrouwbaarheid.

• De validiteit is de mate waarin een test meet wat de test zou moeten meten. Dit betekent dat de metingen van een onderzoek leiden tot geldige inferenties (voorspellingen) over een bepaald fenomeen. Betrouwbaarheid is een vereiste voor validiteit, maar betekent niet per se dat de test ook daadwerkelijk valide is. Er zijn twee soorten strategieën om de validiteit te meten: strategieën gebaseerd op de inhoud van het onderzoek en strategieën gebaseerd op het verband tussen het onderzoek en andere variabelen.

• Er zijn drie problemen die de validiteit van een onderzoek kunnen beperken: constructdeficiëntie, constructcontaminatie en common metod variance. Constructdeficiëntie betekent dat een meting slechts een deel van het construct meet. Constructcontaminatie betekent dat er iets anders wordt gemeten dan het beoogde construct. Common method variance (CMV) betekent dat de data beïnvloed wordt door hoe deze wordt verkregen, bij een enquête kan iemands stemming bijvoorbeeld uitmaken. CMV is vooral een probleem bij onderzoeken die berusten op zelfrapportage.

• McGrath heeft drie voorwaarden aangewezen waaraan een onderzoek moet voldoen: precisie (controle over de variabelen en andere onderzoeksaspecten), existentieel realisme (geen kunstmatige taken) en generaliseerbaarheid (representatie van de gehele populatie). Als het zwaartepunt van een onderzoek op een van deze drie punten ligt, dan gaat dat ten koste van de andere twee. Het onderzoeksontwerp moet daarom zorgvuldig worden gekozen.

• Onderzoeksontwerpen waarin precisie centraal staat, zijn laboratoriumexperimenten, veldonderzoek en quasi-experimenten.

• Generaliseerbaarheid staat onder andere centraal in longitudinale enquêtes.

• Bij een aselecte niet-kanssteekproef heeft niet ieder lid van de populatie kans om onderzoekssubject te worden. Deze methode wordt vaak gebruikt in de arbeidspsychologie, bijvoorbeeld bij een onderzoek van een geheel bedrijf waarbij dit bedrijf geacht wordt representatief te zijn voor een gehele sector. Vaak gaat het zelfs om een gelegenheidssteekproef (convenience sample): een steekproef waarbij gebruik wordt gemaakt van de mensen die voorhanden zijn, bijvoorbeeld als bepaalde bedrijven mee willen werken aan onderzoek en bepaalde bedrijven niet.

• Als slechts bepaalde mensen ervoor kiezen mee te werken aan een onderzoek, kan er non-response bias ontstaan. In hoeverre dit effect heeft op de generaliseerbaarheid, hangt af van de manier waarop de onderzoekssubjecten gekozen zijn; bij gelegenheidssteekproeven zijn de resultaten toch al niet representatief voor de populatie.

• Er zijn verschillende onderzoeksontwerpen waarbij het zwaartepunt op existentieel realisme ligt en waarbij wordt gepoogd een complex onderwerp op diepgaand niveau te begrijpen. Dit kunnen kwalitatieve benaderingen zijn, zoals interviews, focusgroepen en observatiemethoden, of kwantitatieve benaderingen, zoals experience sampling.

• Interviews kunnen erg gestructureerd zijn, semi-gestructureerd of ongestructureerd. Meestal begint de interviewer met een paar brede algemene vragen, naar aanleiding van het antwoord van de geïnterviewde wordt dan op bepaalde onderwerpen dieper ingegaan. Meestal wordt er van verschillende perspectieven data verzameld, bijvoorbeeld van werknemers, managers en leidinggevenden, tot er voldoende informatie is verzameld en er verzadiging optreedt.

TentamenTickets

• Als onderzoeksmethoden en meetschalen verplichte stof zijn voor een tentamen, zorg dan dat je in ieder geval bij verschillende praktische problemen kan zeggen wat voor meetschaal van toepassing is (nominaal, ordinaal, interval of ratio). Dit is een voor de hand liggende tentamenvraag voor docenten.

• Als je een nomologisch netwerk een moeilijk begrip vindt, stel je dan een mindmap voor, waarin op een whiteboard verschillende associaties zijn uitgetekend. Een nomologisch netwerk komt ongeveer op hetzelfde neer.

• McGrath wordt soms neergezet als een negatieve wetenschapsfilosoof. Hij beweerde dat een onderzoeksontwerp het zwaartepunt legt op precisie, existentieel realisme of generaliseerbaarheid en dat daarmee twee van deze drie aspecten worden verwaarloosd en onderzoek altijd gebrekkig is. Bepaal voor jezelf in hoeverre je het eens bent met McGrath en in hoeverre je zijn visie negatief of onconstructief vindt.

Oefenvragen

Vraag 1

Adriana en Koos doen een onderzoek naar informaliteit binnen organisaties. Ze gebruiken een ratioschaal waarmee ze meten op hoeveel werkdagen per jaar werknemers in een t-shirt van een metalband naar het werk komen. Als ze hun onderzoek vergelijken met de resultaten van een eerder onderzoek naar informaliteit, komen ze erachter dat metalshirts misschien toch geen goeie meting vormen. Op basis waarvan zijn ze tot deze conclusie gekomen?

1. Inhoudsvaliditeit

2. Constructvaliditeit

3. Interne validiteit

4. Interne betrouwbaarheid

Vraag 2

Jeroen doet onderzoek binnen een voordeelsupermarkt. De caissières binnen de supermarkt klagen over de hoogte van de stoelen, de hoogte zou volgens de caissières niet makkelijk verstelbaar zijn. Het management van de supermarkt heeft echter juist voor deze stoelen gekozen omdat ze op veel verschillende manieren versteld kunnen worden, wat fijn zou zijn voor het personeel. Jeroens hypothese is dat de caissières een andere houding tegenover het management zouden aannemen als ze de beweegredenen van het management zouden begrijpen. Wat is het meest geschikte onderzoeksontwerp?

1. Veldonderzoek

2. Quasi-experiment

3. Interview

4. Focusgroep

5. Observatiestudie

6. Experience sampling

Vraag 3

Marijke haalt een postbezorgingsbedrijf over, ze mag een onderzoek uitvoeren onder de duizenden werknemers die het bedrijf heeft. Ze wil de mate meten waarin werknemers zich gespannen voelen bij het bezorgen van grote pakketjes met een busje. Wat voor meetschaal gebruikt Marijke?

1. Nominaal

2. Ordinaal

3. Interval

4. Ratio

Vraag 4

Halima voert voor een onderzoek interviews uit binnen een organisatie, waarbij ze van tevoren de onderwerpen heeft bedacht waar ze het over wil hebben, maar nog niet de exacte vragen die ze zal stellen. Wat voor interview is dit?

1. Gestructureerd interview

2. Semi-gestructureerd interview

3. Ongestructureerd interview

Vraag 5

Aan welke voorwaarden van een onderzoeksontwerp voldoet veldonderzoek?

1. Precisie en existentieel realisme

2. Precisie en generaliseerbaarheid

3. Existentieel realisme en generaliseerbaarheid

Antwoorden

1. B

2. D

3. C. De scores die Marijke gebruikt, zijn bijvoorbeeld 1 (volledig ontspannen), 2 (redelijk ontspannen), 3 (neutraal), 4 (redelijk gespannen) en 5 (erg gespannen).

4. B

5. A