Hoorcollege 1: Onderzoeksproces

Er zijn twee rollen te onderscheiden van onderzoeksmethoden voor bedrijfskundigen, namelijk wetenschappelijke literatuur gebruiken om situaties te analyseren en problemen op te lossen en zelf onderzoek uitvoeren om situaties te analyseren en om problemen te achterhalen.

Onderzoeksproces

Het onderzoeksproces: een vraag of probleem leidt tot een onderzoek.

Surveys zijn nuttig om patronen in gedrag, attitudes, etc. bloot te leggen om zo de oorzaak van een probleem te vinden. Surveys kunnen persoonlijk, telefoon, self-administered (online) worden uitgevoerd.

Surveys – kanttekeningen

• Zijn niet het antwoord op alles, omdat niet iedereen de mogelijkheid heeft om een survey in te vullen (fysieke barrieres) en soms hebben mensen er bijvoorbeeld geen zin in (motivationele barriers).

• Total design method, is een methode waarin heel stapsgewijs wordt voorgesteld hoe je zoveel mogelijk mensen kan werven voor je onderzoek. Wat je kunt doen is beloningen voor het invullen van de vragenlijst te geven. Je kan ook herinneringen sturen. Anonimiteit garanderen, deadlines stellen en de lengte van de vragenlijst aanpassen zijn geen garantie voor het invullen van vragenlijsten, omdat ze niet als aantrekkelijk worden gezien.

• We kunnen niet alles meten. Wat wel gemeten kan worden zijn: feiten, kennis, intenties en attitudes/meningen.

Waar begint een onderzoek?

• Probleem

• Vraag

• Literatuurstudie

• Conceptueel model (waarschijnlijke oorzaak, die wordt uitgebreid met proposities/hypothesen)

• Proposities/hypothesen

Schematisch overzicht: conceptueel model zie slides.

Er is sprake van mediatie wanneer de ene variabele invloed heeft op de mediator en die vervolgens invloed heeft op de eindvariabele. Vaak met tijd.

Er is sprake van moderatie wanneer de relatie tussen x en y wordt beïnvloed door de waarde van de moderatie (een samenwerking), wordt daarom ook interactie genoemd.

Antwoorden op de slides met test-vragen:

Vraag 1 = mediatie

Vraag 2 = moderatie

Om concepten te onderzoeken moet je wel weten wat het precies betekent en wat de literatuur hierover zegt. De conceptuele definitie is op basis van literatuur. De operationele definitie is de definitie die je in de praktijk gebruikt, toegepast op de te onderzoeken situatie. Je begint met een conceptuele definitie en daarna volgt de operationele definitie.

Van definities naar indicatoren. Indicatoren zijn een tussenstap, ofwel kleine sub-aspecten van de operationele definitie. De som van de indicatoren vormt het gehele concept, zodat je uiteindelijk elk aspect van de definitie hebt getoetst. Indicatoren leiden weer tot surveyvragen.

Praktijk en theorie hebben een wisselwerking, ze vullen elkaar aan.

De surveyvragen leiden tot een somvariabele. Vervolgens voer je een regressie uit tussen de somvariabele van concept 1 en somvariabele van concept 2. Daar zijn verschillende toetsen voor: t-toets, chi-toets, kwadraattoets, MWU-test. Afhankelijk van het toetsresultaat wordt je theorie bevestigd of ontkracht.

Conclusie

• Je begint met een probleem en je eindigt met een oplossing (of je bent in staat om een oorzaak uit te sluiten)

• Hiervoor zijn goede onderzoek vaardigheden nodig (methoden en SPSS)

• Binnen deze cursus zal je een eerste oefenronde meemaken.

Hoorcollege week 1 (2)

Weet vooraf dat je fouten kan en mag maken. Door goed te anticiperen kan je slecht onderzoek voorkomen.

Meetfouten I – potentiele foutbronnen

• Onderzoeker

Bijvoorbeeld wanneer een onderzoeker aanwezig is tijdens het invullen van een vragenlijst, dan kan dat invloed hebben op het resultaat.

• Deelnemer/respondent

De deelnemer kan ook fouten veroorzaken bijvoorbeeld doordat hij of zij geïntimideerd of angstig is tijdens het onderzoek.

• Instrument

De kwaliteit van een vragenlijst zelf kan ook tekortschieten, bijvoorbeeld doordat de vragen niet aansluiten bij het concept.

Meetfouten II

• Geobserveerde waarde = echte waarde + meetfout

Het is belangrijk om te weten wat voor soort meetfout dat is.

• Meetfout = systematische + “random” fout

Systematisch: altijd dezelfde afwijking (richting) (bijv. een weegschaal die altijd het verkeerde gewicht aangeeft) Random: kan beide kanten op, heft elkaar op.

Het probleem van concept naar de definities is de validiteit. De definitie leidt niet naar het concept. Dus meet je niet wat je eigenlijk wilt meten.

Validiteit

• Face validity: “op het eerste gezicht” een goede vertaling van construct. Zwak bewijs. Beter: een bewust gekozen groep experts vragen.

• Content validiteit (Inhoudsvaliditeit)

  • In plaats van het vragen aan experts, duik je de literatuur in.

  • Relatie tot ander relevant domein

  • Nadeel: precies moeten weten wat construct domein is

Validiteit: criterion-related

Predictive (= voorspellende) validity

• Theorie: construct A (nu) veroorzaakt construct B (toekomst)

• Indicator van A hangt samen met de indicator van B (= criterion)

• In theorie mogelijk om toekomst te voorspellen (voordat B gemeten wordt)

Concurrent (= gelijktijdig) validity

• Theorie: construct A (nu) veroorzaakt construct B (nu)

• Indicator van A hangt samen met de indicator of van B (= criterion)

• In theorie mogelijk om toekomst te voorspellen (A en B tegelijkertijd gemeten)

Geen echte kwantitatieve maat om te bepalen in hoeverre voldaan wordt aan face/content/predictive/concurrent validity

• Andere type validiteit kunnen “gemeten” worden

Construct validiteit

De mate waarin een indicator samenhangt met andere indicatoren. consistent met de theorie met betrekking tot de concepten die gemeten worden.

Convergente validiteit vraagt of er een relatie is tussen het concept en de bevonden resultaten

Discriminante validiteit vraagt of de resultaten misschien afhangen van nog een andere variabele.

Correlaties geven de relatie aan tussen twee concepten. Vervolgens vind je een verband of juist geen causaal verband (zoals de kip en het ei).

Multitrait Multimethod matrix (zie tabel in slide 17 voor het voorbeeld)

Er zijn drie “Traits”: Emotioneel, Informatief, en Instrumentele steun op werk. En twee Methoden: algemene vraag (hoe vaak) vs. specifieke vragen (schalen).

Convergente validiteit hebben hoge correlaties zelfde construct, andere methode moet hoger zijn dan de discriminante validiteit met een lage correlaties ander construct(en): zowel voor zelfde als andere methode.

Van Convergente validiteit naar Betrouwbaarheid

Convergente validiteit: vergelijken verschillende vragenlijsten (multimethod) die zelfde concept meten(bijv. IQ testen) om te kijken hoe zit het met de verschillende correlaties.

Betrouwbaarheid: items binnen een vragenlijst die theoretisch hetzelfde concept zouden moeten meten. Gaat over je eigen meetinstrument. Meet je wat je wilt meten?

Betrouwbaarheid: als ik de test nog eens zou afnemen, zou ik dezelfde resultaten krijgen?

Componenten van betrouwbaarheid:

• Stabiliteit: Fluctaties in resultaten vanwege persoonlijke en situationele aspecten, bijvoorbeeld door een test nog eens over te doen op een ander moment (test-retest) met dezelfde respondent.

• Equivalentie: Fluctaties in resultaten vanwege verschillen tussen onderzoekers (bijv. inter-rater betrouwbaarheid)

• Interne consistentie: Mate waarin verschillende items hetzelfde construct meten

Interne consistentie

Je kunt de interne consistentie vaststellen door middel van de:

• Split-half techniek: selecteer willekeurig de helft van de items en vergelijk deze met de andere helft (zouden zelfde resultaten een hoge correlatie moeten opleveren)

• Statistiek: cronbach’s alpha: gemiddelde van alle split-half; tussen 0 (waardeloos) en 1 (hangt goed samen). Een getal dat SPSS kan uitrekenen. Is het gemiddelde van de split-halfs en geeft aan hoe goed de items met elkaar samenhangen.

Voordeel van multi-item schaal is: minder invloed van meetfout binnen een concept. Als je een breed en vaag concept is bijv. stress is het beter om meerdere vragen (items) te stellen.

Betrouwbaarheid vs. Validiteit:

• Geobserveerde waarde = echte waarde is valide meting. Je moet zo dicht mogelijk bij de echte waarde zitten.

• Random fout = 0 (nul) is betrouwbare meting

Wanneer je een hoge reliability en een hoge validity hebt is het goed onderzoek. Vragenlijst moet linken met hoe je het in het begin hebt gedefinieerd.

Meetniveaus

Het doel van meetniveaus (data types) is het zo goed mogelijk beantwoorden van je onderzoeksvraag. Een manier is door te zorgen voor bruikbare data.

Meetniveaus bepalen de analysetechniek

Voorbeeld: je wilt de invloed van X op Y bestuderen (zie tabel 1 in de bijlage)

Bron: PowerPoint Kwantitatieve Onderzoeksmethoden week 2

Meetniveaus

Er zijn vier meetniveaus en “each datatype has its own set of underlying assumptions about how the numerical symbols correspond to real-world observations” Blumberg et al.

Het idee is dat het datatype aangeeft wat de waarde is van het getalletje in het data bestand. Hoe je de getallen interpreteert.

• Nominaal: getallen geven categorieën aan; rangorde is niet belangrijk

Voorbeelden: Religie: katholiek, protestants, moslim, atheïst, etc.

Speciaal type: dichotoom (slechts 2 antwoordmogelijkheden), bijvoorbeeld: ja/nee, man/vrouw

• Ordinaal: getallen, rangorde van belang, maar “2” is niet twee maal “1”

Voorbeelden: Lengte: we kunnen niet rekenen met de getallen, maar de orde is wel logisch.

• Interval: getallen, rangorde belangrijk, “2” is twee maal “1”; geen vast nulpunt

Voorbeeld: Temperatuur: Fahrenheit vs. Celsius (0^oF ≠ 0⁰C)  ook al kun je ermee rekenen, want er zitten getallen in, nul is niet altijd nul.

• Ratio: getallen, rangorde belangrijk, “2” is twee maal “1”; vast nulpunt

Voorbeeld: inkomen, lengte (meters): 0.5m 2.0m  nul is ook echt niks, je kunt hiermee dus rekenen.

Dus het antwoordmethode bepaalt het meetniveau en niet het concept zelf!

Als interval/rationiveau: zonder problemen technieken gebruiken voor “lagere” niveaus. Als je op een hoog niveau gemeten hebt, kan je altijd terug naar een laag niveau. Maar: je verliest informatie. Als laag niveau: “hogere” technieken mogen niet gebruikt worden. Je kan niet meer terug naar een hoger niveau. Dus: probeer zo “hoog” mogelijk te meten.

Meetniveaus in Blumberg et al

• Likert Scale; Summated rating Interval

Absoluut Mee eens Niet eens/ Niet mee Absoluut

mee eens niet oneens eens niet mee eens

(5) (4) (3) (2) (1)

• Semantic Differential Scale Interval

Snel : _ : _ : _ : _ : _ : _ : _ : Langzaam

Hoge kwaliteit: _ : _ : _ : _ : _ : _ : _ : Lage kwaliteit

• Numerical Scale Ordinal/Interval

Absolute voorkeur 5 4 3 2 1 Absoluut geen voorkeur

Wees consistent. Maak je eigen keuze en houd je daar ook aan! Niet iets ordinaal noemen, maar toch mee gaan rekenen (bijv. sommeren). Ook niet dezelfde antwoordschaal eerst ordinaal noemen en later interval.

Hoorcollege week 2: Validiteit, betrouwbaarheid en meetniveaus

Inhoud vragen

Op het moment dat je de vragen af hebt kan je ze controleren aan de hand van de volgende onderdelen:

• Moet deze vraag gesteld worden?

• Is het een duidelijke vraag?

• Is de respondent in staat deze vraag te beantwoorden?

• Is de respondent bereid om deze vraag te beantwoorden?

Om te zorgen dat je data zo valide mogelijk is, is een goede vragenlijst van belang. Formuleer vragen duidelijk. Stel niet meer vragen binnen één vraag. Stuur de respondent niet al binnen de vraag richting een bepaald antwoord. Vragen moeten niet te formeel gesteld worden, gebruik dus informeel taalgebruik. Maak de vragen niet te lang. Vraag iemand niet om een inkomen, dit is te breed en specifiek. Vraag bijvoorbeeld: wat is uw netto inkomen per maand?

Vraag niet naar feiten, want dan zal je bij elke respondent hetzelfde antwoord krijgen en vaak weet men de precieze cijfers niet. Wees er dus zeker van dat respondenten de vraag kunnen beantwoorden. Maak geen gebruik van dubbele ontkenning binnen een vraag, ofwel maak gebruik van positieve vragen.

Er zijn twee manieren om gevoelige vragen te stellen, namelijk:

• “Wat denkt u dat de algemene opinie is van de Nederlandse bevolking over het huidige vluchtelingenprobleem?”

• “Wat vinden uw vrienden van het huidige vluchtelingenprobleem?”

Positive test strategy: mensen hebben eerder de neiging om te zeggen dat ze het ergens mee eens zijn, omdat ze daar een positiever gevoel bij hebben.

Volgorde van vragen

Maak gebruik van de Funneled (trechter) approach: van algemene vragen naar specifieke vragen.

Groepeer vragen en introduceer elke set vragen, zodat de respondent weet in welke hoek hij of zij moet denken en waar de vragen over gaan. Bijvoorbeeld: “De volgende vragen gaan over het assortiment van Albert Heijn”.

Het uitvoeren van een pilot-test van vragen wordt aanbevolen.

De consequenties van een slechte vragenlijst zijn een slechte meting: onmogelijk om de data te gebruiken en niet valide en dus onbruikbare metingen.

Antwoordmogelijkheden

Hoe kunnen respondenten hun antwoord geven? Grote invloed op (vanwege meetniveaus):

• Data zelf

• Analyse, want het meetniveau bepaalt wat voor analyse technieken je kan gebruiken (en dus de conclusies).

Gesloten vragen lijken soms “open”, maar zijn toch echt gesloten vragen, bijvoorbeeld: ik ben … jaar oud.

Gesloten vragen:

Simple category scale (ja/nee schaal, nominale data, dus dit is een laag niveau)

Multiple choice multiple response scale: waar heb je je laatste boek gekocht?

• In een boekwinkel

• In een antiekzaak

• Via een webwinkel

• Op een markt

• Anders

De gesloten multiple choice multiple response scale is:

• Wederzijds uitsluitbaar (mutually exclusive) als je één optie kiest, moet je niet ook een ander kunnen kiezen.

• Volledig uitputtend (collectively exhaustive)

Likert schaal; een hoger meetniveau dan de vorige. Aan een antwoord geef je een nummer.

1 2 3 4 5

zeer mee eens mee eens onbeslist mee oneens zeer mee oneens

Numerieke schaal, je maakt een liniaal met twee uitersten: dit boek is:

makkelijk 1 2 3 4 5 moeilijk

Semantic differential schaal, een schaal met alleen woorden en geen getalen, zodat je het antwoord kan aankruisen.

Rankings:

Gepaarde vergelijkingen paired comparisons: welke zou u kiezen?; bijvoorbeeld Heineken of Grolsch.

Ranking scales (geforceerde ranking):

• Rank order: order deze merken van 1 (minst aantrekkelijk) tot 5 (meest aantrekkelijke)

• Constant sum: je kunt 100 punten verdelen tussen onderstaande merken. Hoe meer punten je toebedeeld aan een merk, hoe aantrekkelijker je dit merk vind.

De “weet ik niet”-optie:

• Gebruik deze optie als je vraagt naar feiten

• Gebruik het niet als je vraagt naar een mening (iedereen heeft wel een mening)

Welke moet je nou kiezen? Kijk in het boek en kies de methode die jij het fijnste vindt en probeer zo min mogelijk te kiezen. Als je telkens wisselt van antwoordschaal, dan ziet het er rommelig uit. Het hangt af van de analyses die je wilt doen en de meetniveaus. Controleer altijd of de vraag en het antwoord past bij je centrale concept.

Steekproef

Steekproef vs. Census

De reden dat je beter een steekproef kan trekken dan de hele populatie (=census) te onderzoeken:

• Lagere kosten

• Betere nauwkeurigheid

• Sneller

• Verwoesting  je wilt niet je hele populatie benadelen, om erachter te komen dat het werkt uiteindelijk helemaal niet werkt

Stappen om te komen tot een steekproef:

• Populatie: waar je iets over wilt zeggen.

• Sampling frame: waar je iets over kunt zeggen. Iets kleiner dan de populatie.

• Vanuit de sampling frame selecteer je een steekproef.

Systematische variantie: is een geobserveerd effect een ‘echt’ effect of het resultaat van systematische variantie of van de steekproeffout?

Een goede steekproef is accuraat: geen systematische afwijking (bias) en precies: waardes in de steekproef komen overeen met waardes in een populatie

Probability sampling vs. Non-probability sampling

Probability sampling:

• Gebaseerd op random selection (willekeurige selectie): voor elk element is de kans bekend om gekozen te worden

• Simple random, complex random (systematisch, cluster, gestratificeerd, en dubbel)

Bij simple random sampling heeft elk element dezelfde kans om gekozen te worden. De kans om gekozen te worden > 0. Zoals bijvoorbeeld knikkers uit een vaas halen. Tabel met willekeurige getallen, random number generator.

Maar een simple random sampling is niet makkelijk. Heeft een goede sampling frame nodig die zo dicht mogelijk bij de populatie ligt en is vaak onpraktisch.

Bij een systematic sampling wordt elk zoveelste element in de populatie gekozen en het startpunt willekeurig gekozen.

Complex random sampling: gestratificeerde sampling

• Opdelen van de populatie in subgroepen (=strata)

• Statistisch voordeel als de strata groot genoeg zijn: verschillen tussen strata toetsen

• Idealiter: verschillen tussen strata groot, verschil binnen strata klein

Complex random sampling: Cluster steekproef

• Niet individuele elementen in de populatie, maar een cluster van elementen

• Alleen elementen binnen deze clusters worden onderzocht, niet erbuiten

Gestratificeerde steekproef:

• Populatie bestaat uit groepen met verschillende grootte/variantie

• Daarbinnen- als nodig –willekeurige selectie elementen

• Elke groep gerepresenteerd EN dezelfde grootte: disproportioneel

• Elke groep gerepresenteerd naar proportie in populatie: proportioneel

Cluster steekproef:

• Populatie bestaat uit primaire units (bijv., klassen, teams, locaties, steden)

• Willekeurige selectie clusters

• Daarbinnen - als nodig - willekeurige selectie elementen

• Proportioneel/disproportioneel

Non-probability steekproeven:

Non-probability steekproeven worden niet gebaseerd op willekeurige selectie: niet elk element heeft dezelfde kans om gekozen te worden. Het is subjectiever dan probility sampling. De kans om geselecteerd te worden is onbekend. De verschillende vormen zijn Convenience, Judgment, Quota en Snowball.

Convenience steekproef: respondenten kiezen op basis van wie mee wil doen of wie voor handen is. Het kan echter waardevol zijn om “even snel” een idee te toetsen.

Snowball steekproef: Respondenten verwijzen onderzoeker door naar andere potentiële respondenten. De voordelen hiervan zijn: niche-situaties en focus groepen.

Steekproefgrootte

Grootte is afhankelijk van:

• variatie in populatie (divers?  dan heb je meer respondenten nodig)

• uitspraken over subgroepen: meer respondenten nodig

• gewenste nauwkeurigheid: hoe meer nauwkeurigheid een onderzoeker wenst, hoe groter de steekproef

• neem grotere steekproef dan gewenst vanwege non-response

Non-response kan ook een error, ofwel fout opleveren. Er kunnen verschillen zijn tussen mensen die reageren en mensen die niet reageren. Je moet erachter zien te komen wie niet en wel reageren en waarom?

Non-respons:

• Toevallige non-response: respondenten en non-respondenten verschillen niet systematisch op de belangrijke variabelen. Resultaten kunnen een goed beeld geven van de werkelijkheid. Nodig: grotere steekproef.

• Systematisch non-response: respondenten en non-respondenten verschillen systematisch op de belangrijke variabelen. Resultaten kunnen een vertekend beeld geven van de werkelijkheid. Nodig: grotere en betere steekproef.

Hoorcollege week 3: Vragenlijst & Steekproeftrekking

Experimenteel onderzoek

Waarom experimenteel onderzoek? : Door de werkelijkheid na te bootsen of te beïnvloeden kan je causale relaties ontdekken en onderliggende processen.

Causale verbanden (X  Y)

Uitspraken over causaliteit krijg je door experimentele controle. Niets ander dan de onafhankelijke variabele(n) varieert. Je wilt situaties met elkaar vergelijken.

Stappen in experimenteel onderzoek:

• Selecteren van relevante variabelen en de treatment levels van de OV(s) bepalen

• Wat zijn je variabelen en welke niveaus hebben deze variabelen?

• Controle experimentele omgeving: Blind vs. Double blind

Bij Blind weet de respondent niet wat onderzocht wordt. Double blind onderzoek is wanneer de respondent niks weet, maar ook diegene die het onderzoek afneemt niet weet wat voor variabelen etc. onderzocht worden.

Kies type design en toewijzing proefpersonen

• Pilottest en eventuele aanpassingen

Onafhankelijke variabele(n), treatment levels en design

• Keuze onafhankelijke variabele(n) hangt af van onderzoeksvraag

• Treatment levels: condities waarin mensen terecht kunnen komen

• Binnenproefpersonen-design vs. Tussenproefpersonen-design

Tussenproefpersonen, houdt in dat één persoon maar in één conditie zit. Dus dat maar één keer iets gemeten wordt.

Binnenproefpersonen, houdt in dat meerdere personen in meerdere condities zitten. Dus dat iets vaker gemeten wordt.

Meetfouten en experimenten

Goede operationalisatie heeft een kleine meetfout. Maar meetfout kan ook door proefpersoon komen. Met een attention check kan de onderzoeker zien of de respondent heeft opgelet.

Soorten experimenten:

• ‘Echt’ (true) experiment

• Veldexperiment

• Quasi-experiment

‘Echt’ (true) Experiment

Je hebt controle over wat je aan het doen bent. Bijvoorbeeld in een omgeving waarover je controle hebt, zoals een lab. Soms kan je door teveel ruis, een onderzoek niet in real-life uitvoeren.

Voordeel: Iets kunnen bestuderen wat in het echt onmogelijk is.

Nadelen:

• Evaluation apprehension: proefkonijn (guinea pig) effect, het gevoel dat je niet in de realiteit bent, maar dat je een proefkonijn bent.

• Manipulatie maakt situatie minder realistisch: te generaliseren?

Veldexperimenten

• Natuurlijke setting (‘echte’ wereld)

• Manipuleren

• Proefpersonen heterogener dan in lab

• Minder ‘evaluation apprehension’, minder dat proefkonijn-gevoel

Nadelen: minder experimentele controle  andere factoren kunnen resultaten beïnvloeden

Quasi-eperimenten

• Natuurlijke setting (‘echte’ wereld)

• Proefpersonen heterogener dan in lab

• Minder ‘evaluation apprehension’: minder dat proefkonijn-gevoel

• Bestaande groepen

Nadelen:

• Geen random assignment  het grootste verschil tussen veld- en quasi-experimenten is dat je gebruik maakt van bestaande groepen i.p.v. de random toewijzing. Random toewijzing is de kracht van causaliteit.

• Niet zozeer manipuleren; eerder interventies die je doet binnen de bestaande groepen

• Minder experimentele controle

Conclusie

Door experimenteel onderzoek kom je dichter bij het aantonen van causale relaties dan in vragenlijsten. Met behulp van goede designs effecten aantonen en de onderliggende processen begrijpen.

Over opdracht 1:

Controleer je werk met het beoordelingsformulier!

Hoorcollege week 4: (Quasi)-Experimenteel onderzoek

Toetsen en associatiematen

Associatiematen: zeggen iets over de sterkte van relatie tussen twee (of meer) variabelen. Het gaat dus niet over wie wat voorspelt. Is er een sterke relatie, ja of nee?

Toetsen: zeggen iets over de generaliseerbaarheid van de resultaten (van steekproef naar populatie) Hierbij ga je verder; is het significant/is het verband sterk genoeg?

Toetsen: drie onderdelen

Dit moet je rapporteren:

• Toetsstatistiek (χ², t, F): getal wat iets zegt over het verband. Als je alleen de p-waarde geeft, is dat niet genoeg.

• Vrijheidsgraden (df): het aantal onafhankelijke observaties op grond waarvan die statistiek is berekend. Zonder vrijheidsgraden zijn de toetswaarden nutteloos.

• p-waarde: de kans dat een bepaald resultaat op toeval berust. Wordt gebaseerd op toetsstatistiek en de vrijheidsgraden.

Toetsen

• Kans-termen

“gesteld dat de nul-hypothese (de “niets aan de hand” hypothese) waar is, hoe groot is dan de kans op de gevonden samenhang?” de kans dat wat je vindt, berust op toeval.

• Hypothese/propositie vs. H0/H1

Hypothese/propositie: woordelijke versie van wat jij verwacht, bijvoorbeeld: motivatie en tevredenheid hangen positief met elkaar samen.

(correlatievoorbeeld)

Wat je verwacht te vinden in de test:

H0: r = 0 geen effect, er is geen verband tussen de variabelen

H1: r > 0 er is een positief effect

Pearson correlatie

• Maat voor de sterkte van de lineaire relatie tussen twee interval variabelen uitgedrukt in r. Maat die je kan gebruiken als je variabelen allebei in interval gemeten zijn.

• -1 ≤ r ≤ 1 -1 = sterk negatief +1 = sterk positief

• Absolute waarde stijgt => sterkte relatie stijgt ook

(r zegt niets over “slope”/helling)

Hoe dichter de puntjes van correlaties bij de virtuele lijn is, die je kan trekken, hoe sterker de associatie maat en hoe sterker r.

Het teken (+ of -) van de correlatie zegt an sich niets over interpretatie. Kijk goed naar je vragen: wat betekent het nu?

Pearson is speciaal gemaakt voor lineaire correlaties. Scatterplot, en kijk of het klopt.

Pearson correlatie: assumpties

• Beschrijvende statistiek (als maat van lineaire samenhang in bepaalde steekproef): geen enkele assumpties

• Voor toetsen bij correlaties (van steekproef naar populatie) wordt een bivariate normaalverdeling aangenomen. Dit is moeilijk toetsbaar. De toets is gelukkig redelijk robuust t.a.v. schendingen hiervan.

t-test

Wanneer?: Als twee groepen (k = 2) worden vergeleken op een interval-variabele.

Bijvoorbeeld: mannen/vrouwen, ja/nee

Hypothese: Mannen zijn banger voor spinnen dan vrouwen

H0: μ(man) = μ(vrouw)

H1: μ(man) > μ(vrouw)

t-test

• Betrokken parameters

• t-waarde: volgt t-verdeling

• df

SPSS zoekt het significantieniveau voor je op (p-waarde)

• Resultaat: Bijv. t(38) = 4.5, p < .001

Parameter altijd cursief, 38: vrijheidsgraden, p-waarde kun je nooit vanuit gaan  kijk wat zijn de gemiddelden (in dit voorbeeld).

t-test: assumpties

• Afhankelijke variabele is in beide populaties normaal verdeeld

• Varianties zijn in beide deelpopulaties gelijk (homogeniteit van varianties)

• Observaties (errors) zijn onafhankelijk van elkaar

t-test: assumpties

Ad 1. Als N1 en N2 voldoende groot, dan benadert de verdeling van steekproefgemiddelde “vanzelf” de gewenste normaalverdeling

Ad 2. Belangrijk bij ongelijke groepsgrootte. Max:min ≥ 1.5 : 1) Neem bij schending (blijkt uit Levene toets) de separate variance estimate van t.

Ad 3. Kwestie van goede onderzoeksopzet (bijv. vragenlijsten afzonderlijk laten invullen)

Wanneer je de output afleest:

Levene’s test/variances is een assumptie check  is dus geen t-test

De means  de echte t-test

Als de levene’s test significant is dus <0.05 dan pak je dus de onderste.

Als de levene’s test niet significant is dus >0.05 dan pak je dus de bovenste.

Eenweg variantie-analyse (one-way ANOVA)

Wanneer?: Als meer dan twee groepen (k > 2) worden vergeleken op een interval-variabele

Waarom niet meerdere t-toetsen? Het aantal t-toetsen (h) neemt snel toe met het aantal groepen (k): h = k (k - 1)/2. De kans op fouten neemt toe, op het moment dat je t-testen herhaald.

• Kans op toevalstreffers (type I fouten) neemt eveneens toe

• Liever één F-toets dan reeks t-toetsen

Eenweg variantie-analyse (one-way ANOVA)

• Betrokken parameters

• F-waarde

• df (within) en df (between) (twee vrijheidsgraden nodig bij een F-test)

  • degrees of freedom within (aantal proefpersonen die in totaal hebben meegedaan)

  • degrees of freedom between (aantal groepen)

SPSS zoekt weer het significantieniveau voor je op (p-waarde)

Resultaat: tenminste twee groepsgemiddeldes verschillen van elkaar, maar welke? Kijk weer naar de gemiddelden.

One-way ANOVA: assumpties (zelfde als t-toets)

• Afhankelijke variabele is in beide populaties normaal verdeeld

• Varianties zijn in beide deelpopulaties gelijk (homogeniteit van varianties)

• Observaties (errors) zijn onafhankelijk van elkaar

One-way ANOVA: assumpties

Ad 1. Als N1 en N2 voldoende groot, dan benadert de verdeling van steekproefgemiddelde “vanzelf” de gewenste normaalverdeling

Ad 2. Belangrijk bij ongelijke groepsgrootte. Max:min ≥ 1.5 : 1) Oplossingen schending lastiger dan t-toets (transformatie data, Kruskal-Wallis variantie-analyse)

Ad 3. Kwestie van goede onderzoeksopzet (bijv. vragenlijsten afzonderlijk laten invullen)

Mann-Whitney U-test

Wanneer? Als twee groepen (k = 2) worden vergeleken op een ordinale variabele (of als assumpties t-test niet voldaan)

Mann-Whitney U-test

Voorbeeld:

Hypothese: Mannen hebben hoger opleidingsniveau dan vrouwen

H0: Mediaan(man) = Mediaan(vrouw)

H1: Mediaan(man) > Mediaan (vrouw)

Betrokken parameter:

• Mann-Whitney U/ Wilcoxon W/ Z

• Geen df!

Resultaat:

Bijv. MWU = 345, p < .001

MWU: assumpties

• Onafhankelijke steekproeven uit de populatie

• Meetniveau is ten minste ordinaal. Kan daarom ook gebruikt worden wanneer de data niet aan alle assumpties van t-test voldoet.

Regressie

Wanneer?: Een interval-variabele (Y) zo goed mogelijk wilt voorspellen uit één (enkelvoudige regressie) of meerdere (multipele regressie) interval-variabele(n) (X₁, X₂, ... X_k). X voorspelt Y.

Bijvoorbeeld: Hypothese: Hoe ouder, hoe wijzer.

H0: B = 0

H1: B > 0

B betekent de helling/sloop.

• Lineaire enkelvoudige regressie

(a = constante, y-dakje= voorspelde waarde van y, b = afhankelijk variabele)

• Multipele regressive (meerdere voorspellers  meerdere b’s en meerdere x’en)

• Voorspellen van Y uit X

X  Y

• Enkelvoudige lineaire regressie vs. correlatie

X  Y X1 verband X2

Waarom geen (reeks) correlaties?

• Geen “richting” in correlaties

• Multipele regressie: unieke en gezamenlijke bijdrage van alle onafhankelijke variabelen, kan je bekijken op je centrale concept.

Regressie: bijdrage

Venn-diagrammen: variantie

µ = populatie gemiddelde

Hoe groter de cirkel (variaties in observaties), hoe groter de variantie.

Zie slide 36 en 37 voor de ven-diagrammen.

Correlatie/enkelvoudige regressie: variantie van X is gele bolletje variantie Y is het rode bolletjes. Hoe groter de overlap, hoe groter meer x y voorspelt, hoe groter het verband is tussen beide.

Multipele regressive: je hebt variantie van x1, maar hebt daarnaast meerdere voorspellers. De overlap is hier de gezamenlijke bijdrage. Er wordt getest welk deel ervan gezamenlijk verklaart wordt door je x’en.

Er zijn nog meer stukken; unieke bijdragen.

Zie slide 36 en 37

Regressie: bijdrage

• Gezamenlijke bijdrage: R² getoetst d.m.v. F-toets (“ANOVA” tabel in SPSS)

• Unieke bijdrage: b/β voor iedere X getoetst d.m.v. t-waarde (“coefficients” tabel in SPSS) hierin staan de beta’s en de constante.

• In theorie kan R² significant zijn, zonder significante b/β’s: dat gebeurt als die overlap behoorlijk groot is.

Regressie

Betrokken parameters:

• b of β: positief of negatief

• a: constante (vaak geen inhoudelijke interpretatie)

• R²: proportie verklaarde variantie in het geheel

Neiging tot overschatting R² in populatie: adjusted R²

• B vs. β

B = ongestandaardiseerd: als X een eenheid toeneemt, neemt Y (na correctie voor alle andere X-en; als aanwezig) b eenheden toe.

β = gestandaardiseerd: als X een standaarddeviatie toeneemt, neemt Y (na correctie voor alle andere X-en; als aanwezig) β eenheden toe.

Er niet per se een voorkeur, maar wees je ervan bewust dat er verschil in zit.

Voordeel van β: onafhankelijk van schaling X en Y, dus vaak beter interpreteerbaar. Als je een 1 tot 7 schaal hebt en een inkomen schaal, kan je ze gemakkelijker interpreteren.

Nadeel van β: geijkt op standaarddeviaties in steekproef, dus bij vergelijking met andere steekproeven problematisch.

Regressie: assumpties en uitbijters

Uitbijters (lees: outlier) (let op: komt een tentamenvraag over uitbijters):

Een uitbijter is een persoon met scorepatroon dat sterk afwijkt van de rest in de steekproef. Kan onevenredig veel invloed op uitkomst hebben.

• Univariaat: afwijkend op een variabale (X of Y) hele hoge X waarde en normale Y waarde (of andersom)

• Multivariaat: afwijkende combinatie van variabelen (bijv. 15-jarige met jaarinkomen van 50.000 euro: Wizkid)

Regressie: uitbijters

Wat doe je ermee?

• Codeerfout? Verbeteren of verwijderen

• Lid van andere populatie? Is het een bijzonder geval? Zo nodig verwijderen, maar beperkt generaliseerbaarheid

• Persoon gedraagt zich slechts in afwijking van hypothese? Altijd erin houden!

Cronbach’s alpha

Waarom?: Is niet zo zeer de toets, maar kan de onderlinge betrouwbaarheid van aantal items bekijken wanneer je somscore wilt berekenen. Geldt alleen voor interval vragen.

• Eén algemene maat (gebaseerd op correlaties) voor hoe goed de items voor hetzelfde concept samenhangen

• 0 ≤ α ≤ 1 (precies 0 en 1 wil je niet als resultaat hebben)

• Alleen mogelijk als alle vragen op interval/rationiveau!

Alpha < .6 => Betrouwbaarheid niet oke:

• kunnen er nog items uit? Te smal meten is ook niet goed; haal er niet teveel uit.

• aparte analyses voor X1, X2, etc (volgend college)

Alpha > .6 => Betrouwbaarheid is oké: somvariabele kan gemaakt worden

(in wetenschappelijke literatuur houden is het .7 voor Alpha)

Hou de tabellen van slide 48 en 49 (tabel 2 in de bijlage) bij het maken van opdracht 2. Het geeft over een overzicht van de testen als voorbereiding op het tentamen.

Regressie: assumpties

1. X en Y interval-variabelen

2. X-en fixed, Y random getrokken voor elke lineaire combinatie van X-en

Dankzij deze assumptie alleen error in Y, niet in X-en.

Controle: geen. MR robuust tegenover schending

3. Lineaire samenhang tussen X en Y

Controle: plot van residuen (Y- tegen voorspelde waarden (). Vormt idealiter horizontale band rondom Y- = 0 (en geen curvilineair verband)

4. Errors zijn onafhankelijk

• Controle: statistieken voor speciale gevallen (Durbin-Watson statistiek)

• Meestal niet nodig: onafhankelijkheid vooral kwestie van goede onderzoeksopzet en dataverzameling

5. Errors hebben constante variantie voor lineaire combinatie van X-en (homoscedasticiteit)

• Controle: zelfde plot als bij 3. Hoedt u voor “toeters” en diabolo’s.

6. Errors zijn normaal verdeeld voor elke lineaire combinatie van X-en

• Controle: voor elke apart problematisch. SPSS geeft wel normaalplotjes voor alle errors gezamenlijk.

• Meestal controle niet nodig. MR is redelijk robusst t.o.v. afwijkingen van normaliteit

7. Uitbijters (“outliers”)

Uitbijter: Persoon met scorepatroon dat sterk afwijkt van de rest in de steekproef.

Hoorcollege week 5: Analyses en SPSS

Analyseplan

• Heb ik missings in mijn dataset?

• Beschrijving dataset?

• Betrouwbaarheidsanalyse per concept

• Nieuwe somvariabele(n) maken?

• Welke techniek: method the Big Three

• H0/H1, parameters en resultaten rapporteren?

Missings

Missings zijn niet ingevulde vragen. Wat kan je hiermee doen?:

Listwise deletion: je verwijderd de gegevens uit de dataset van de deelnemer en analyseert alleen de gegevens van de overige deelnemers. Een reden om dit te doen is omdat de deelnemer wellicht de rest van de vragen ook niet heeft ingevuld of de vragenlijst niet serieus heeft ingevuld. Een nadeel is dat je veel data verliest, zoals vragen waarop ze wel geantwoord hebben. Wordt gebruikt bij een onderzoek met een grote dataset.

Pairwise deletion: dat betekent dat je de deelnemer niet helemaal verwijderd, maar alleen de punten die niet zijn ingevuld. Een voordeel is dat je geen data verliest. Een nadeel is dat je bij verschillende analyses een verschillende hoeveelheid deelnemers hebt.

Vervangen: het vervangen van de lege velden, in plaats van het lege veld vul je het gemiddelde op de schaal in. Hiermee kan je dus alle deelnemers kan gebruiken. Het nadeel is dat je bepaalt wat voor antwoord de deelnemer geeft en manipuleert hiermee dus de uitkomst.

Beschrijven dataset

Het beschrijven van de deelnemers in de dataset ofwel: wat zijn de eigenschappen van de deelnemers van het onderzoek? Dat is belangrijk om aan te kunnen geven over wie je onderzoek gaat. Mag je generaliseren of niet? Typische variabelen zijn:

• Response rate?

• Mannen/vrouwen

• Leeftijd

• Opleidingsniveau

• Etc.

Betrouwbaarheidsanalyse

Een betrouwbaarheids analyse gaat over de vraag: meten de vragen het concept? Met de betrouwbaarheids analyse kijk je achteraf of je een betrouwbare en valide maat van mijn concept? Dat doe je door middel van Cronbach’s alpha als je alle vragen op interval/ratio niveau hebt gemeten.

• Alpha < .7  Betrouwbaarheid niet oke:

  • kunnen er nog items uit?

  • aparte analyses voor X1, X2, etc

• Alpha > .7  Betrouwbaarheid is oke:

• somvariabele kan gemaakt worden

Het uiteindelijke doel van de betrouwbaarheidsanalyse is dat je drie vragen kunt samennemen tot één somvariabele waarmee je kan rekenen. Zodat je alle analyses maar één keer hoeft te doen, i.p.v. alle drie de items apart.

Noteer: voor de opdracht hanteren we Cronbach’s alpha = .6 vanwege simulatiedata.

Als er drie vragen op verschillende meetniveaus zijn gemeten is de betrouwbaarheidsanalyse wat moeilijker.

Nieuwe somvariabele(n) maken?

De somvariabele volgt uit een Cronback’s alpha die hoog genoeg is. De vraag is, mag je altijd een somvariabele maken?

De waarden van nominale data zijn geen waarden maar alleen namen van bijvoorbeeld een groep en hiermee kan je dus niet rekenen. Nominale data mag je dus niet optellen.

Ordinale data mag je ook niet tot een somvariabele maken. De schaal geeft een rangorde aan en is meer een categorisatie dan betekenisvolle getallen. Twee ordinale variabelen kan je dus niet optellen.

Interval data/quasi-interval data, hiermee mag je de Cronback’s alpha berekenen en ook tot een somvariabele maken. Hierbij is het belangrijk dat je goed moet kijken naar de schaalgrootte, om te bepalen of je ze samen kan nemen.

Als je twee interval/quasi-interval variabelen die een ongelijke schaalgrootte hebben wilt sommeren moet je deze twee schalen eerst standaardiseren. Dan kan je ze wel tot een somvariabele maken.

Welke techniek: methode the Big Three

Om de techniek te kiezen zijn er drie vragen:

Hoeveel variabelen betrokken?

Hierop zijn drie antwoorden mogelijk:

• Univariate analyse; hoe gemotiveerd zijn deze mensen?; Beschrijvende statistiek.

• Bivariate analyse; toetsende statistieken

Wat is het meetniveau van de betrokken variabele(n)?

• Nominaal: man/vrouw; laagste meetniveau

• Ordinaal schaal: nooit soms vaak altijd

• Interval of ratio-schaal; hoogste meetniveau

Asymmetrisch vs. symmetrisch?

Alleen van belang voor bivariate technieken

Asymmetrisch wanneer:

• Variabelen verschillend meetniveau hebben

• DV willen voorspellen uit IV (“causale” relatie)

• Anders is het symmetrisch

Tabellen met verschillende technieken worden bij het tentamen gevoegd en hoef je dus niet uit je hoofd te leren.

Regressie vs. Correlatie m.b.t. intervaldata:

Als we alleen willen vast stellen of er een lineaire relatie (samenhang) is

• Correlaties

Als we ook de waarde van een variabele willen voorspellen op basis van een andere variabele

• regressie analyse

Over belang van k = 2 of k>2

• Als je kijkt naar een nominale onafhankelijke variabele en een ordinale of interval afhankelijke variabele wordt het ingewikkelde. Dan moet je ook naar k kijken, is k > 2?

What's wrong with t-tests?
Nothing, except ...

If you want to compare three or more groups using t-tests with the usual 0.05 level of significance, you would have to compare the three groups pairwise (A to B, A to C, B to C), so the chance of getting the wrong result would be:

1 - (0.95 x 0.95 x 0.95) = 14.3%

If you wanted to compare four or more groups, the chance of getting the wrong result would be (0.95)6 = 26%, and for five groups, 40%. Not good, is it? So we use ANOVA.

Never perform multiple t-tests: Anyone on this module discovered performing multiple t-tests when they should use ANOVA will be shot!

Related vs. unrelated sample

Als je een nominale onafhankelijke variabele hebt, moet je rekening houden met de related/unrelated samples.

Related sample:

• Afhankelijke metingen tussen groepen die je wilt vergelijken

• Bijvoorbeeld: voor- en nameting bij zelfde steekproef

• Within-subjects design (binnenproefpersonendesign)

Unrelated sample:

• Onafhankelijke metingen tussen groepen

• Bijvoorbeeld: een groep met interventie en een andere groep zonder.

• Between-subjects design (tussenproefpersonendesign)

De volgende technieken worden tijdens dit vak niet behandeld en mogen ook niet gebruikt worden tijdens de opdrachten:

• Logistic regression analysis^a

• Discriminant analysis^a

• Repeated measures ANOVA^a

Testen en rapporteren

Hoe kom je tot een verhaal en hoe rapporteer je de resultaten.

Rapportage resultaten

ABCD/oma-methode

• A: Wat is het doel?

Je onderzoeksvraag

• B: Hoe heb je dit gedaan?

Wat voor toets je hebt gebruikt

• C: Wat was het resultaat?

Kwam er een significant resultaat uit en met welke de belangrijkste parameters zijn

• D: Welke conclusie?

Het antwoord op je onderzoeksvraag

Het heet een oma-methode, zodat je het duidelijk antwoord geeft op je onderzoeksvraag door middel van de voorgenoemde stappen dat door een leek goed te begrijpen is.

WEL doen:

• Zelf tabellen maken met gegevens die nodig zijn, maar het liefst getallen opnemen in de tekst

• Variabelen en categorienamen uitschrijven (mannen gaven aan meer tevreden te zijn dan vrouwen)

NIET doen:

• SPSS-tabellen en/of figuren overnemen

• Afkortingen gebruiken (groep 1 had een hoger gemiddelde op W1 dan groep 2) de lezer kent ze waarschijnlijk niet

Hoorcollege week 6: Techniekkeuze en rapportage

Tentamen:

Basistheorie en basisvaardigheden:

• Onderzoeksmethoden

• Analyseren

• Rapporteren

• Gesloten boek

• Zowel MC-vragen (theorie) als open vragen (vaardigheden)

Tentamenstof:

• Blumberg et al. (4e editie) Hoofdstukken 1 (enkel p27-36), 6-7, 12-14. Niet appendices!

• Hoorcolleges

• Syllabus (hoofdstuk “onderzoeksproces”)

• SPSS handbook

Wat zijn belangrijke onderwerpen?

• Colleges

• Opdrachten

Tentamen: theorie

Voorbeeldvraag 1

Wat is geen oorzaak van interviewer error (fout door onderzoeker)?

1. Steekproeffout

2. Sociale wenselijkheidsfout Doet degene die de vragen beantwoord!

3. Data-invoerfout

4. Fysieke aanwezigheidsfout

Antwoord: B

Tentamen: vaardigheden

Voorbeeldvraag 2:

Geef aan waarom in dit geval een proportioneel gestratificeerde aselecte steekproef te prefereren is boven een enkelvoudige aselecte steekproef.

Voorbeeldvraag 3 [KOMT ALTIJD]

Ontwerp 3 vragen, plus de bijbehorende antwoordmogelijkheden, voor de vragenlijst over hoe en in welke mate de werknemers hun werk als stressvol ervaren. De vragen moeten van verschillend meetniveau zijn en methodologisch verantwoord. Geef voor iedere vraag het meetniveau aan. Vergeet geen onderdelen!

Uit iedere stap van het onderzoeksproces kunnen er vragen komen. Dus o.a.:

• Conceptuele en operationele definitie

• Hypothese uitschrijven

• Vragen + antwoordschalen

• Steekproef

• H0 en H1 (in “getallen”)

• Welke test en waarom?

• Resultaten rapporteren en interpreteren

• Evaluatie werkgroepen tijdens tentamen

  • Vergeet je werkgroepnummer niet (niet ook je opdrachtgroepje)

  • Alleen de individuele SA

  • Opdrachten, begeleiding, planning, etc.

  • Voor “eigen gebruik”: zicht op SA’s en verbeteren/aanpassen inhoud

• Evaluatie cursus via Nestor

  • Cursus algemeen

  • Docent (ik dus) en SA’s (zonder onderscheid voor werkgroepen)

  • Nestor, tentamen, hoorcolleges, etc.

  • Gebruikt voor o.a. accreditatie Bachelor Bedrijfskunde

K staat voor het aantal categorieën per nominale variabele. Vb. Geslacht: Aantal categorieën = 2, namelijk man en vrouw

Bijlage

Tabel 1

Tabel 2