Wat is de essentie van business- en managementonderzoeken? - Chapter 1

Inleiding

Business research kan getypeerd worden als een systematisch onderzoek waarbij het doel is om informatie te voorzien om managementproblemen op te lossen.

Een management dilemma is een probleem of kans dat een bepaalde beslissing van een manager nodig heeft. Er zijn drie factoren die het belang van deze wetenschappelijke benadering gestimuleerd hebben:

1. De behoefte aan meer en betere informatie omdat beslissingen complexer worden.

2. De beschikbaarheid van nieuwe technieken en handigheden om aan deze behoefte te kunnen voldoen.

3. Resulterende informatie ‘overload’ wanneer discipline niet in het werkproces is opgenomen.

Type studies

Een rapportagestudie wordt gebruikt om vaak een optelling van data te maken of om statistische gegevens te creëren. Soms is dit gemakkelijk en is de data gemakkelijk te verkrijgen, terwijl dit soms ook lastig is. Een rapportagestudie vereist kennis en vaardigheden in het gebruik van informatiebronnen en het omgaan met de gatekeepers daarvan. Deze studie houdt zich minder bezig met gevolg- en conclusietrekking.

Een beschrijvende studie probeert antwoorden te vinden op de vragen wie, wat, waar, wanneer, en soms hoe. De onderzoeker probeert een onderwerp te beschrijven en definiëren waarbij er vaak een groep van problemen, mensen of gebeurtenissen gecreëerd wordt. Zo’n studie betreft dataverzameling en het bestuderen van deze data aan de hand van hoe vaak een bepaalde gebeurtenis of kenmerk voorkomt, dit wordt ook wel een onderzoeksvariabele genoemd. Het bestuderen van de data kan ook betrekking hebben op twee inter-acterende variabelen.

Academici hebben vaak de relatie tussen de volgende twee studies besproken: de verklarende studie en de voorspellende studie. Er wordt volop gediscussieerd over welke studie welke nou opvolgt. Beide studies zijn gebaseerd op een theorie en deze theorie is bedoeld om vragen als waarom en hoe te beantwoorden. Voor de doeleinden van dit vak gaat een verklarende studie te ver en probeert eigenlijk de redenen voor gebeurtenissen te achterhalen wat een beschrijvende studie eigenlijk heeft geobserveerd.

Indien er een geloofwaardige uitleg van een gebeurtenis gegeven kan worden, is het wenselijk om te kunnen voorspellen of en wanneer zo’n gebeurtenis weer gaat voorkomen. Dit is een voorspellende studie. Deze studie vereist een hoge mate van conclusietrekking.

Toegepast onderzoek is gebaseerd op probleemoplossend, hoewel de behoefte voor probleemoplossing niet altijd gecreëerd wordt door een negatieve situatie.

Zuiver of basisonderzoek is ook probleemoplossend maar net iets anders. Hierbij gaat het om oplossingen vinden voor vaak theoretische vraagstukken die niet of weinig impact hebben op prestatie en beleid van een organisatie.

Goed onderzoek volgens de wetenschappelijke methode

Degelijke onderzoekers doen onderzoek volgens de wetenschappelijke methode. Hieronder worden negen kenmerken genoemd van zo’n onderzoeksmethode.

1. Doel is duidelijk beschreven

2. Onderzoeksproces is gedetailleerd weergegeven

3. Opzet van het onderzoek is grondig

4. Hoge ethische normen worden toegepast

5. Beperkingen in het onderzoek worden getoond

6. Adequate analyse van de behoeftes van de besluitvormers

7. Uitkomsten worden ondubbelzinnig gepresenteerd

8. Conclusies zijn rechtvaardig

9. Ervaring van de onderzoeker wordt getoond

Onderzoeksfilosofieën

Het positivisme is een onderzoeksfilosofie dat ontstaan is in de natuurwetenschappen. Drie basisprincipes:

1. De sociale wereld is extern en word objectief bekeken.

2. Onderzoek is waardevrij

3. Onderzoeker is onafhankelijk

Volgens het positivisme ontstaat kennis door het observeren van objectieve feiten in de sociale realiteit. Positivisme impliceert de volgende assumpties:

1. De sociale wereld wordt geobserveerd door het verzamelen van objectieve feiten

2. De sociale wereld bestaat uit eenvoudige elementen waartoe het kan worden gereduceerd

Het interpretivisme stelt dat de sociale wereld niet kan worden begrepen vanuit onderzoek dat gebaseerd is op natuurwetenschappen. Sociale wetenschappen zouden een ander soort onderzoeksfilosofie vereisen. Drie basisprincipes:

1. De sociale wereld is opgebouwd en heeft een subjectieve betekenis van mensen verkregen

2. De onderzoeker maakt deel uit van wat geobserveerd wordt

3. Onderzoek wordt gedreven door belangen.

Interpretivisten vinden dat fundamentele wetten onvoldoende zijn om de complexiteit van de sociale wereld te kunnen begrijpen. Een objectieve observatie zou onmogelijk zijn omdat de sociale wereld opgebouwd is uit mensen en hun gedrag. Daarnaast verwerpen ze ook het principe van de positivisten dat onderzoek waardevrij is.

Interpretivisme impliceert de volgende assumpties:

1. De sociale wereld wordt geobserveerd door het kijken naar welke betekenissen mensen hieraan hebben gegeven

2. Sociale gebeurtenissen kunnen alleen begrepen worden door naar de totaliteit te kijken

Het realisme is een onderzoeksfilosofie die principes deelt met het positivisme en het interpretivisme. Net zoals het positivisme, geloven realisten dat de sociale wetenschappen kunnen vertrouwen op de onderzoeksbenaderingen van de natuurwetenschappen. Daarnaast stelt het wel dat subjectiviteit vereist is, net zoals bij het interpretivisme, om mensen en hun gedrag te begrijpen. Volgens realisten zijn er sociale processen en krachten die ver voorbijgaan aan de macht van de mens. Subjectieve individuele interpretaties van de werkelijkheid zijn erg belangrijk om te begrijpen wat er gebeurt.

Vormen van redenatie

Deductie is een vorm van gevolgtrekking waarbij de conclusie moet volgen uit gegeven redenen. Deze redenen moeten tot de conclusie hebben geleid en zijn daarom bewijs. Dit soort argumenten vragen om een sterker verband tussen redenen en conclusies dan bij inductie. Om een deductie correct te beschouwen, moet het waar en geldig zijn. De reden voor de conclusie moeten overeenkomen met de ‘echt wereld’ (waar). Daarnaast moet de conclusie logisch volgen uit de geldige redenen.

Een deductie is geldig indien het onmogelijk is om de conclusie als foutief te beschouwen wanneer alle voorafgaande stellingen juist zijn.

Een inductie heeft niet dezelfde krachtige relatie tussen redenen en conclusies. Om iets te induceren trek je een conclusie uit een of meer feiten of stukjes bewijs. De conclusie legt de feiten uit, en de feiten ondersteunen de conclusie.

Inductie en deductie worden in onderzoek soms gebruikt in sequentie. Dit wordt ook wel de double movement of reflective thought genoemd. Inductie vindt plaats wanneer we een feit observeren en vragen waarom dit zo is. Als antwoord stellen we een hypothese op en deze is geloofwaardig indien de hypothese het feit uitlegt. Deductie is het proces waarbij we testen in hoeverre de hypothese in staat is om het feit uit te leggen. Voorbeeld:

1. You promote a product but sales don’t increase (feit 1)

2. You ask the question why (inductie)

3. You infer a conclusion to answer the question (hypothese)

4. You use this hypothesis to conclude (deduce) that the sales won’t increase during a poorly executed promotion. You know from experience that ineffective promotion won’t increase sales (deductie 1)

5. A well-executed promotion will result in increased sales (deductie 2)

6. We run an effective promotion and sales will increase (feit 2)

Concepten in onderzoek

Een concept is een verzameling van betekenissen of eigenschappen die verbonden zijn met bepaalde gebeurtenissen, voorwerpen, voorwaarden, situaties en gedrag. Het categoriseren van dingen en gebeurtenissen die gelijke eigenschappen hebben, creëren concepten.

Het succes van onderzoek hangt af van het feit in hoeverre er sprake is van concepten en in hoeverre andere deze concepten op dezelfde manier interpreteren en begrijpen.

Zoals gebruikt wordt in de sociale wetenschappen, refereert de term construct naar een idee dat speciaal is bedacht voor een bepaald onderzoek en/of theoriebouwend doel. We vormen constructs door simpele concepten met elkaar te combineren, met name indien het bepaalde idee dat van plan is over te brengen niet direct te observeren valt.

Een operationele definitie is specifiek toegepast op de situatie en is meetbaar. Deze definitie moet wel empirisch verantwoord zijn. Of de definitie nou om een object gaat of dat het puur abstract is maakt niet uit, het moet specifieke karakteristieken laten zien en hoe deze worden geobserveerd.

Een variabele is eigenlijk een synoniem voor construct. Tijdens deze cursus wordt variabele aangeduid als een symbool waaraan we een waarde of getal toewijzen.

Dichotome variabelen hebben enkel twee mogelijke waarden. Bijvoorbeeld werkzaam of werkloos, mannelijk/vrouwelijk, etc.

Zoiets als temperatuur, leeftijd of een score zijn voorbeelden van continue variabelen. Deze kunnen een waarde aannemen van een bepaalde groep getallen, en soms oneindig.

In iedere relatie is er ten minste een onafhankelijke variabele en een afhankelijke variabele aanwezig. Er kan vaak gezegd worden dat de onafhankelijke variabele ervoor heeft gezorgd dat de afhankelijke variabele kan plaatsvinden. Het is moeilijker aan te tonen of de relatie ook echt causaal is.

Een zogenaamde moderator is een onafhankelijke variabele die effect heeft op de relatie tussen een onafhankelijke en afhankelijke variabele.

Daarnaast is er een mediator die door middel van de onafhankelijke variabele en moderator de afhankelijke variabele beïnvloedt.

Controlevariabelen die vaak gebruikt worden zijn leeftijd, geslacht, afkomst, etc.

Hypothese

Een bewering valt te definiëren als een opmerking over concepten die als waar of niet waar kunnen worden beschouwd. Indien een bewering bedoelt is voor empirisch onderzoek, noemen we het een hypothese.

Beschrijvende hypotheses zijn beweringen die het bestaan, omvang, vorm, etc. van een variabele benadrukken.

Voorbeeld: In Denemarken is de seizoenswerkeloosheid in Oktober 5.8%

Relationele hypotheses zijn beweringen die een bepaalde relatie tussen twee variabelen aanduiden m.b.t. een situatie.

Voorbeeld: Auto's van buitenlandse merken worden in Italië als kwalitatief beter gezien dan auto's van Italiaanse merken.

Bij een causale hypothese wordt er geïmpliceerd dat het bestaan of een verandering van de ene variabele leidt tot een bestaan of een verandering in de andere variabele.

Voorbeeld: Een toenemend inkomen van een individu kan leiden tot een percentueel hoger maandelijks spaarbedrag.

In onderzoeken hebben hypothesen verschillende functies:

• Het zorgt voor de richting in de studie

• Het identificeert relevante en niet-relevante feiten

• Het suggereert welke vormen van onderzoek het meest geschikt is

• Het zorgt voor een raamwerk om conclusies te organiseren

Een goede hypothese voldoet aan de volgende criteria:

• Adequaat voor zijn doel

• Meetbaar

  • Het vereist geen technieken die niet beschikbaar zijn

  • Het vereist geen uitleg die bestaande wetten trotseren

  • Er zijn consequenties/derivaten die kunnen worden afgeleid voor onderzoeksdoeleinden.

• Beter dan andere

  • Het heeft een groter bereik dan de andere

  • Het legt meer feiten uit dan de andere

  • Het legt meer verschillende feiten uit dan andere

  • Het is simpel, bestaande uit weinig voorwaarden en assumpties.

Theorie

Theorie is nuttig op verschillende manieren:

• Het verkleint het aantal feiten die bestudeerd moeten worden

• Suggereert welke onderzoeksmethodes gebruikt kunnen worden

• Suggereert een systeem waarmee data geanalyseerd kan worden

• Vat samen wat bekend is over een onderwerp

• Kan gebruikt worden om nieuwe feiten te ontdekken

Hoe werken steekproeven? - Chapter 6

Analyse-eenheid

De unit van analyse (analyse-eenheid) beschrijft het niveau waarop het onderzoek wordt uitgevoerd en welke objecten worden onderzocht. De unit van analyse is afgeleid van een onderzoeksvraag.

Eén onderzoeksvraag kan meerdere units van analyse bevatten. De keuze voor een unit van analyse hangt af van de volgende drie vragen:

1. Wat is ons onderzoeksprobleem en wat willen we echt zien te beantwoorden?

2. Wat moeten we meten om ons onderzoeksprobleem te kunnen beantwoorden? (denk hierbij aan de variabelen die nodig zijn voor deze beantwoording, of de te meten objecten)

3. Wat willen we doen met de resultaten van de studie/ naar wie willen we refereren in onze conclusies? (denk hierbij aan het geven van beleidsadvies of het helpen van ondernemers)

Oftewel: de unit van analyse hangt af van de onderzoeksdoelstellingen die de onderzoeker voor ogen heeft.

Introductie in steekproeven

Het basis idee van een steekproef nemen (sampling) is dat door het selecteren van een paar elementen uit een populatie, we conclusies kunnen trekken over de hele populatie.

Een populatie element is de persoon of het onderwerp waarop een meting wordt toegepast.

Een populatie is het totaal van elementen waarover we wat willen afleiden. Een telling (census) is een telling van alle elementen in een populatie.

Een steekproef kader (sampling frame) is een lijst van elementen uit de populatie waaruit de steekproef daadwerkelijk genomen is.

Om dit inzichtelijk te maken kan dit als volgt worden weergeven:

Populatie (wanneer elementen geteld = census) -overlap- Steekproefkader (sampling frame) -overlap- Steekproef

Voordelen

Een steekproef trekken heeft de volgende voordelen boven een populatie-meting:

• De kosten van een steekproef trekken zijn lager, doordat er minder gemeten hoeft te worden zijn de totale kosten lager.

• De dataverzameling van een steekproef is nauwkeuriger. Doordat de steekproef kleiner is, is er de kans op: het beter interviewen/ testen van de steekproef; grondiger onderzoek naar ontbrekende, onjuiste of verdachte informatie; beter toezicht bij de steekproef en betere verwerkbaarheid van de data.

• De data kan sneller verzameld worden. De tijd tussen de erkenning van een behoefte aan informatie, en de beschikbaarheid van de betreffende informatie is korter. Daarnaast kunnen lange periodes van dataverzameling zorgen voor vooroordelen, omdat het gedrag van de respondenten door de tijd heen kan veranderen.

• Sommige situaties kunnen enkel met een steekproef worden onderzocht. Hierbij kan men denken aan een onderzoek waarbij opzettelijk vernielingen worden aangebracht (het testen van airbags), of het feit dat de populatie oneindig groot is.

Steekproef of census. De voordelen van een steekproef ten opzichte van een census worden aanzienlijk minder als de populatie klein is en de populatie-elementen onderling erg verschillen/ de varianties in de populatie groot zijn. De mogelijkheid voor census is bij een kleine populatie al aanwezig maar wordt bij grote varianties in de populatie noodzakelijk.

Goede steekproef

Een steekproef moet goed de karakteristieken van de populatie vertegenwoordigen.

In onderzoekstermen, hij moet valide/geldig zijn. Validiteit bestaat uit nauwkeurigheid en precisie. Nauwkeurigheid is de graad van afwezigheid van vooroordelen in de steekproef. Een indicator hiervan is de systematische variantie. Systematische variantie is een variatie in de metingen die wordt veroorzaakt door bekende of onbekende invloeden die ervoor zorgen dat de ‘’scores’’ meer of minder naar de een of andere kant uitslaan. Dit noemen we ook wel het overschatten en onderschatten van de steekproef. Wanneer een steekproef nauwkeurig is, heffen deze twee waarden elkaar op. Dit gebeurt echter alleen als er voldoende elementen in de steekproef aanwezig zijn en de steekproef neutraal genomen wordt.

De waarden die steekproeven opleveren zullen vaak (iets) verschillen van de waarden die die de gehele populatie beschrijft. Dit vanwege willekeurige schommelingen die inherent zijn aan het steekproef proces (sampling process). Een dergelijke fout noemen we een steekproef fout (sampling error) en het geeft de invloeden weer van de mensen die de steekproeven ‘’trekken’’. De sampling error is het restant van de systematische variantie, welke hierboven beschreven is. Deze fouten bestaan in theorie alleen uit willekeurige fluctuaties. Maar deze fout kan ook optreden als er te veel of te weinig elementen bepaalde eigenschappen vertonen.

Precisie wordt gemeten door de standaard fout van de schatting. Dit is een meting van de standaarddeviatie. Hoe kleiner de standaarddeviatie, des te groter de precisie.

Een goede steekproef heeft dus de volgende kenmerken:

1. De gegevens zijn nauwkeurig en kennen geen vooroordelen.

2. De data zijn precies en kennen een lage standaard fout van de schatting.

Soorten steekproefontwerpen

Het type steekproef hangt af van twee besluiten die zijn gemaakt in het managementonderzoek, namelijk de eigenschappen van de managementvraag en de specifieke vragen die ontwikkeld zijn uit de onderzoeksvraag.

Er is een verscheidenheid aan technieken voor het trekken van steekproeven beschikbaar. De technieken kunnen worden onderscheiden door de criteria representativiteit en element selectie. Wanneer we deze criteria toepassen op de steekproeven, kunnen deze steekproeven worden geclassificeerd.

Representativiteit

Een waarschijnlijkheids-steekproef (probability sampling) is gebaseerd op het concept van een willekeurige selectie. Willekeurige selectie is een gecontroleerde procedure die verzekert dat elk populatie-element een kans, die groter dan nul is, heeft om geselecteerd te worden. Een niet-waarschijnlijkheids-steekproef (non-probability sampling) is niet willekeurig geselecteerd en subjectief. Niet elk element heeft een even grote kans om geselecteerd te worden.

Element selectie

De element selectie kan ook steekproeven classificeren, namelijk naar het feit of elementen direct en individueel uit de populatie geselecteerd worden, of als er toegevoegde controles zijn opgelegd. Als elk element individueel uit de populatie wordt getrokken is er sprake van een onbeperkte steekproef (unrestricted sampling). Beperkte steekproeven (restricted sampling) zijn alle andere vormen van steekproeven.

Waarschijnlijkheids-steekproef

De onbeperkte simple random sample is de meest simpele vorm van een waarschijnlijkheids-steekproef. In deze steekproef heeft elk populatie element een bekende en gelijke kans van selectie. In exhibit 6.4 wordt uitgelegd op welke wijze men een gerandomiseerde steekproef kiest.

Stappen in steekproefontwerp

In het ontwerpen van de opzet van de steekproef moeten een aantal vragen beantwoord worden. Elke vraag draagt bij aan unieke informatie die helpt bij de keuze van de opzet van de steekproef. Hoewel de vragen hier sequentieel staan aangegeven, moet er rekening worden gehouden met het feit dat een antwoord op een volgende vraag, een herziening van een eerdere vraag betekent. De vragen zijn als volgt:

1. Wat is de relevante populatie?

2. Welke parameters zijn van belang voor de steekproef?

3. Wat is het steekproefkader? (sampling frame; fig. op pag. b van de samenvatting)

4. Wat is de geschikte steekproeven methode?

5. Hoe groot moet de steekproef zijn?

6. Hoeveel gaat de steekproef kosten?

1) De populatie moet duidelijk en nauwkeurig omschreven worden. Hierdoor kan de studie gereproduceerd worden. Toch blijkt dit vaak nog lastig te zijn. Zo is gebleken dat de definitie van de populatie vaak niet uit het managementprobleem naar voren komt, wat wel vaak wordt gedacht. Daarnaast kan er verwarring ontstaan over het feit of de populatie bestaat uit individuen, huishoudingen, families of een combinatie van het voorgaande. Goede operationele definities zijn dan ook cruciaal voor het kiezen van een relevante populatie.

2) Populatie parameters zijn samengevatte beschrijvingen (het gemiddelde, de variantie) van de variabelen uit de populatie. Steekproef statistieken zijn beschrijvingen van de relevante variabelen, berekend uit de steekproef gegevens. Deze statistieken worden gebruikt als schattingen voor de populatie parameters. De steekproef statistieken zijn de basis van onze afleidingen over de populatie.

‘Population proportion of incidence’ is gelijk aan het aantal elementen in de populatie die toe behoren tot de categorie van interesse gedeeld door het totaal aantal elementen in de populatie. Proportie metingen zijn nodig voor nominale gegevens en worden ook veel gebruikt voor andere metingen. De meest voorkomende proportie meting is het percentage.

Afhankelijk van het type data worden er verschillende technieken gebruikt om de steekproef met de populatie te kunnen vergelijken. Dit kan in een schema worden weergegeven (volgende pagina).

De type data worden in hoofdstuk 7 besproken.

3) Het steekproefkader (sampling frame) is nauw verwant met de populatie. Het is de lijst met elementen waarvan de steekproef getrokken wordt. Deze lijst bevat alleen de complete en correcte gegevens van leden van de populatie. Dit is echter niet altijd het geval en kan verschillen met de theoretische populatie. Daarnaast kan er sprake zijn van een ‘too inclusive frame’. Dit is een kader wat meer elementen bevat dan datgene waarin we geïnteresseerd zijn. Een manier om dit kader te verkleinen is om een steekproef van deze populatie te nemen en vervolgens een selectieprocedure te gebruiken, waarmee men overbodige elementen kan elimineren. De omvang van een steekproefkader komt dus erg nauw.

Een onnauwkeurig en smal steekproefkader leidt tot onduidelijkheid en onbetrouwbare resultaten, terwijl een te breed kader leidt tot teveel informatie (too inclusive frame).

4) Er zijn twee steekproefmethodes: gerandomiseerd (probability sampling) en subjectief (non-probability sampling). Meestal wordt gekozen voor de gerandomiseerde procedure, waarbij de onderzoeker op de volgende dingen moet letten:

• Interviewers of anderen kunnen geen selectie-beslissingen nemen

• Alleen de geselecteerde elementen van de originele steekproef worden opgenomen

• Substituten worden uitgesloten, behalve als ze duidelijk omschreven en gecontroleerd zijn volgens de vooraf vastgestelde beslissingsregels.

• De gekozen steekproef zal nooit geheel overeenkomen met de realiteit. Er zullen mensen niet mee willen werken of sommige elementen zullen moeilijk te vinden zijn.

5) Er zijn twee mythes rond de steekproefgrootte bekend. Ten eerste moet een steekproef groot genoeg zijn om representatief te zijn en ten tweede moet een steekproef enige proportionele relatie met de populatie hebben waaruit zij getrokken wordt. In werkelijkheid moet de grootte van de steekproef een functie van variatie zijn in de populatie parameters en de geschatte precisie die de onderzoeker nodig heeft.

Hieronder volgen de principes die de steekproefgrootte bepalen.

1. Hoe groter de variantie in de populatie, des te groter de steekproef moet zijn om de schatting precisie mee te geven.

2. Hoe groter de gewenste precisie van de schatting, des te groter de steekproef moet zijn.

3. Hoe groter het aantal subgroepen waarin men geïnteresseerd is, des te groter de steekproef moet zijn omdat elke subgroep aan de minimum steekproef-eisen moet voldoen.

4. Als de steekproefgrootte minimaal 5% van de totale populatie omsluit, mag deze verkleint worden zonder dat de precisie wordt aangetast.

Omdat onderzoekers nooit met 100% zekerheid kunnen zeggen dat de steekproef de populatie reflecteert, moeten zij voor zichzelf een bepaalde mate van precisie aanhouden. Deze mate van precisie kan gemeten worden door:

• Het interval gebied waarin ze de geschatte parameter verwachten.

• De mate van zekerheid (confidence level) die de onderzoekers willen hebben in de bovenstaande schatting.

Daarnaast is er een algemene regel namelijk de zogenaamde ‘finite adjustment factor’ (eindige correctiefactor). Dit houdt in dat wanneer een steekproef minimaal 5% van de gehele populatie omvat, men precisie ten opzichte van de populatie bereikt. Anders gezegd, wanneer men minimaal 5% van de populatie in de steekproef opneemt, hoeft men geen correcties meer toe te passen, om deze te kunnen reflecteren aan de populatie.

6) Kosten beïnvloeden de beslissingen over de grootte en het type steekproef en daarnaast de methoden om data te verkrijgen. Omdat bijna alle onderzoekers met budgettaire beperkingen te maken hebben, is het vaak een aantrekkelijke optie om subjectieve (non-probability) steekproeven te gebruiken. Hiermee kunnen kosten zoals het opstellen van vragenlijsten en telefoontjes achterwege gelaten worden. Daarnaast is het belangrijk om te onthouden dat verschillende methoden om data te verkrijgen verschillende kosten en daarmee verschillende hoeveelheden met zich meebrengen. Zo kunnen goedkope methoden vaker uitgevoerd worden en vice versa.

De complexe-waarschijnlijkheids-steekproef

Simpele willekeurige steekproeven zijn meestal onpraktisch. Ze hebben een populatie lijst nodig die vaak niet voorhanden is. Deze methode maakt bovendien niet gebruik van alle informatie die aanwezig is en is daarom verre van optimaal. Ook kost het veel tijd en (dus ook) geld om met deze methode te werken.

Vandaar dat er 4 alternatieve methodes zijn ontwikkeld.

1) Systematische steekproeven (systematic sampling)
Bij deze aanpak wordt elk zoveelste k element getrokken voor een steekproef, waarbij men begint met een willekeurige start in de reeks van 1 tot k. Het k^de element wordt bepaald door het delen van de steekproefgrootte (sample size) door de populatiegrootte (population size). De formule die hierbij hoort is:

K = population size/sample size
Om deze systematische steekproef te nemen, dient een aantal stappen te worden doorlopen die hieronder zullen worden toegelicht.

1. Identificeer het totale aantal elementen in de populatie;

2. Identificeer de steekproef ratio (K: zie de formule);

3. Identificeer de willekeurige start (tussen 1 en K);

4. Neem een steekproef door het trekken van elk zoveelste k element.

Elk getal dat hierbij ontstaat is een element dat tot de steekproef behoort.

De twee grote voordelen van systematische steekproeven zijn flexibiliteit en eenvoud.

Nadelen

Er kleven echter ook nadelen aan het nemen van systematische steekproeven. Deze nadelen kunnen worden onderscheiden in periodiciteit en een monotonische trend.

De periodiciteit (periodicity) kan een probleem vormen, wanneer er veelvoudig één bepaalde waarde uit de populatie wordt getrokken (denk aan het veelvoudig trekken van één dag uit een hele week). Dit zou resultaten met vooroordelen kunnen geven.

Ook kunnen er problemen ontstaan als er zich een monotonische trend (monotonic trend) voordoet in de populatie. Dit is het geval wanneer de populatie lijst varieert van het kleinste tot het grootste element, of andersom. Om dit te voorkomen kan er het volgende gedaan worden:

• Zet de populatie eerst op willekeurige volgorde voordat er een steekproef genomen wordt

• Verander de willekeurige start een paar keer in het proces van trekken

• Reproduceer een selectie van verschillende steekproeven

Stratified steekproeven

Het proces waarbij de populatie is opgedeeld tot exclusieve sub-populaties of lagen (strata) door de onderzoeker zelf. Een voorbeeld is het opdelen van studenten in sub-populaties naar hun niveau. Nadat een populatie verdeeld is in de gewenste lagen, kan er in elke laag een simpele willekeurig steekproef (simple random sample) getrokken worden.

De redenen voor het nemen van een stratified steekproef zijn de volgende:

• Het vergroten van de statistische efficiency

• Zorgen voor adequate/juiste gegevens voor het analyseren van verschillende sub-populaties

• De mogelijkheid bieden om verschillende onderzoeksmethoden toe te passen en procedures te gebruiken in verschillende lagen van de populatie

Een stratified steekproef is tevens nuttig als de onderzoeker de karakteristieken wil bestuderen binnen bepaalde populatie subgroepen. Daarnaast is het nemen van stratified steekproeven erg handig wanneer verschillende methoden van data-verzameling worden toegepast in verschillende delen van de populatie.

Onderzoekers hebben vaak een aantal variabelen waarover zij conclusies willen trekken. Het beste is om te zoeken naar de basis voor stratificatie die het meeste overeenkomt met de hoofdvariabelen. Dit kunnen enkele (single) variabelen zijn, maar deze kunnen ook samengesteld (compound) zijn.

Idealiter zijn de strata intern homogeen, en extern (in vergelijking met andere groepen) heterogeen. En daarnaast is het ideaal, wanneer de gemiddelden tussen de strata maximaal zijn, maar de varianties bínnen de strata minimaal zijn.

De omvang van de sub-populaties wordt berekend met 2 stukken informatie;

• Hoe groot de totale steekproef zou moeten zijn

• Hoe de steekproef verdeeld zou moeten zijn over de strata

Verhoudingsgewijze stratified steekproef

Bij een verhoudingsgewijze (proportionate) steekproef is elk strata duidelijk vertegenwoordigd, zodat de steekproef geproportioneerd is naar het deel van de strata ten opzichte van de hele populatie. Deze methode heeft zijn populariteit te danken aan zijn simpelheid, hogere statistische efficiency en door zijn zelfwegende eigenschap. Dit wil zeggen dat het populatie gemiddelde of de populatie proportie kan worden geschat.

De manier hiervoor is het simpel berekenen van alle gemiddeldes of proporties van alle steekproeven, waarbij er geen rekening hoeft te worden gehouden met wegingen.

Daarnaast zijn er ook niet-verhoudingsgewijze (non-probability) steekproeven. Bij deze steekproeven worden de steekproeven niet gelijkwaardig genomen uit de strata naar het aandeel wat zij in de populatie hebben, maar worden zij op gevoel getrokken. Er wordt wel gezegd dat wanneer een strata groter is dan anderen, dat hier meer steekproeven uit moeten worden genomen omdat er meer variaties in de strata zelf zullen zitten en de steekproeven hieruit vaak goedkoper zullen zijn. Maar wanneer er geen verschil zit in de varianties in de strata en wanneer de kosten van het trekken van een steekproef gelijk zijn, dan is de verhoudingsgewijze (proportionate) steekproef de meest optimale.

Het proces van het nemen van een stratified steekproef gaat als volgt:

• Bepaal de variabelen die we zullen gebruiken voor de stratificatie

• Bepaal de proporties/aandelen van de stratified steekproeven in de populatie

• Selecteer verhoudingsgewijze of niet-verhoudingsgewijze stratificatie, gebaseerd op de informatie over de noden en risico’s van het project

• Verdeel het steekproefkader in afzonderlijke kaders voor elk strata

• Randomiseer de elementen binnen elk strata haar steekproefkader

• Volg gerandomiseerde/willekeurige of systematische procedures om de steekproef te trekken

Hieronder zal de cluster steekproef worden toegelicht. Deze steekproef lijkt op de stratified steekproef. Het is daarom aan te raden om hierbij exhibit 6.14 van pag. 190 te bestuderen. Hier worden namelijk de steekproeven duidelijk van elkaar onderscheiden.

Cluster steekproeven

In een simpele willekeurig steekproef wordt elk element individueel geselecteerd. De populatie kan echter ook verdeeld worden in groepen van elementen waarbij men gebruik maakt van de natuurlijke selectie/verdeling die al in een populatie aanwezig is. Men kan hierbij denken aan woonwijken. Wanneer we van deze natuurlijke verdeling gebruik maken hebben we te maken met een cluster steekproef.

Als een cluster steekproef goed wordt uitgevoerd, draagt het bij aan een goede schatting van de parameters van de populatie. Daarvoor moet echter wel aan twee factoren worden voldaan:

• De behoefte aan meer efficiency die verzorgd kan worden door het nemen van een simpele willekeurige steekproef.

• De vaak voorkomende niet beschikbaarheid van een steekproef kader voor het selecteren van individuele elementen.

Gebied steekproeven

De belangrijkste vorm van cluster steekproeven zijn de gebied steekproeven (area sampling). Deze steekproef wordt vaak gebruikt als bij onderzoeken populaties betrokken zijn die kunnen worden geïdentificeerd aan de hand van de bijbehorende geografische gebieden. Hierbij wordt de populatie in groepen naar geografische gebieden verdeeld en hiervan worden dan weer enkele groepen gekozen. Deze methode overwint ook meteen beide problemen van de hoge steekproef kosten en de niet beschikbaarheid van een praktisch steekproef kader voor individuele elementen.

Er moeten wel een paar vragen beantwoordt worden, willen we gebruik maken van deze steekproeven. Deze vragen zijn hieronder opgesteld:

1. Hoe homogeen zijn de clusters?

2. Zoeken we gelijke of ongelijke clusters?

3. Hoe groot moet het cluster zijn?

4. Zullen we een enkel of meervoudig stadium cluster gebruiken?

5. Hoe groot moet de totale steekproef zijn?

1. Clusters zijn homogeen, wat bijdraagt tot een lage statische efficiency. Soms kan iemand de efficiency verbeteren door clusters te construeren door de intra-cluster variantie te verhogen. Dit betekent dat wanneer de interne variantie toeneemt, de homogeniteit van een cluster steeds meer verdwijnt, waardoor de steekproef statistisch gezien efficiënter wordt.

2. Een cluster steekproef kan bestaan uit clusters van gelijk of ongelijk formaat. De theorie van clustering is dat de gemiddeldes van steekproef clusters onbevooroordeelde schattingen zijn van het populatie gemiddelde. Op de vraag of dat ook echt zo is bestaat geen duidelijk antwoord. Wel is het wenselijk dat de clusters van ongelijk formaat zo nodig worden bijgesteld dat deze niet tegen kunnen werken in de steekproefuitkomsten. Om dit te bewerkstelligen kunnen we verscheidene stappen ondernemen. Deze zullen hieronder worden beschreven:

• Combineer kleine clusters en splits grote clusters totdat deze allemaal ongeveer van gelijk formaat zijn

• Stratificeer de clusters op grootte en kies clusters uit elk strata

• Stratificeer clusters op grootte en maak vervolgens sub-steekproeven met behulp van verschillende steekproef fracties om een algemene steekproef verhouding te verkrijgen

3. Het is per geval verschillend.

4. Voor grootschalige studies wordt meestal de meervoudige stadium methode gebruikt. Er zijn vier redenen waarom we eerder sub-steekproeven goedkeuren dan de directe verwezenlijking van kleinere clusters en de selectie in enkelvoudige stadium methodes. Deze vier redenen zijn:

• Natuurlijke clusters (een groep elementen die van nature een groep vormen, bijvoorbeeld een klas) kunnen wel een goede afmeting hebben, maar zijn misschien niet van het economische gewenste formaat

• We kunnen de kosten van het creëren van kleinere clusters in de gehele populatie vermijden en geselecteerde steekproef eenheden beperken

• Het effect van clusteren is in grotere clusters vaak minder

• Het nemen van steekproeven in compacte clusters brengt vaak praktische moeilijkheden met zich mee

5. Deze vraag hangt erg af van het specifieke cluster ontwerp (design), en deze details kunnen ingewikkeld zijn. Simpel cluster steekproef (simple cluster sampling) wordt ook wel de single- stage steekproef genoemd.

Dubbele steekproef

Het is economisch interessant en handig om informatie te verzamelen door middel van een steekproef uit een populatie en vervolgens deze informatie als basis te gebruiken voor het selecteren van sub-steekproeven. Deze procedure wordt ook wel dubbele steekproef, opeenvolgende steekproef of multifase-steekproeven genoemd.

Het is vaak lastig om de juiste aanpak te vinden, die voldoet aan de vereisten van de onderzoeksvraag en daarbij de beperkingen van de kosten in het oog te houden. Hiervoor is in exhibit 6.15 op pag. 192 een schema opgesteld waarin de waarschijnlijkheidssteekproeven worden vergeleken.

De niet-waarschijnlijkheids steekproef

Bij waarschijnlijkheidssteekproeven gebruiken onderzoekers een willekeurige selectie van elementen om de vooroordelen over de steekproeven te verminderen of te laten verdwijnen. We kunnen niet alleen de kans op steekproef fouten voorspellen maar ook het vermoedelijk bereik van fouten in het steekproef. Bij niet-waarschijnlijkheids-steekproeven waar een subjectieve selectie plaats vindt, is de kans dat een element geselecteerd wordt onbekend.

Praktische redenen

Waarom wordt de niet-waarschijnlijkheidsmethode verkozen boven de preciezere waarschijnlijkheidsmethode? Soms is een precieze waarschijnlijkheidsmethode niet eens nodig. De keuze hiervoor hangt namelijk af van het type onderzoek wat men uitvoert en de soort conclusie die men hieraan wil verbinden.
Daarnaast hebben de onderzoekers soms niet de behoefte om de populatie volledig correct weer te geven. In onderzoeken waar bijvoorbeeld de onderzoekers alleen de a- typische gevallen willen weergeven, zijn preciezere resultaten overbodig.

Ook is een waarschijnlijkheidsonderzoek duurder en kost het meer tijd. Er moet heel veel gepland worden. Bij de niet-waarschijnlijkheidsmethode is dit niet het geval. De steekproeven worden goed gecontroleerd en dit geeft ook acceptabele resultaten.

Methoden voor niet-waarschijnlijkheids-steekproeven

Convenience steekproef

Niet-waarschijnlijkheids-steekproeven worden ook wel gemaks-steekproeven (convenience sampling) genoemd. Ze zijn het minst betrouwbaar maar wel het goedkoopste en het makkelijkst om uit te voeren.

Onderzoekers hebben de vrijheid om te kiezen wie ze maar willen, vandaar de naam gemak. Met andere woorden: onderzoekers kiezen de respondenten wie maar voorhanden zijn. Deze manier van het trekken van steekproeven is voldoende wanneer men ideeën wil testen of nieuwe ideeën op wil doen, zonder vergaande onderzoeken te doen. Het kan hiernaast ook zo zijn dat wanneer de respondenten zo eenzijdig antwoorden, extra onderzoek overbodig wordt.

Purposive steekproef

Een niet-waarschijnlijkheidssteekproef die zich selecteert op bepaalde criteria wordt ook wel een doelgerichte steekproef (purposive sample) genoemd. Er zijn twee types te onderscheiden, de oordeel steekproef (judgement sampling) en een quota steekproef (quota sampling).

Een oordeel steekproef verschijnt als een onderzoeker een paar steekproef elementen selecteert om aan bepaalde gewenste criteria te voldoen.

Quota steekproeven worden gebruikt om de representativiteit te verhogen. De logica achter deze methode is dat bepaalde relevante karakteristieken de dimensies van de populatie beschrijven. Bij de meeste quota steekproeven specificeren de onderzoekers meer dan één dimensie. Elke dimensie moet aan twee eisen kunnen voldoen.

De steekproef zal een bepaalde distributie moeten hebben in de populatie die we moeten kunnen voorspellen en deze moet pertinent zijn naar het onderwerp wat bestudeerd wordt.

Precisie controle (precision control) houdt in dat met een grotere zekerheid gezegd kan worden dat een steekproef representatief is aan een populatie. Met frequentie-controle (frequency control) zal het gehele percentage van iedereen met elke karakteristiek in de steekproef overeenkomen met het percentage van deze karakteristiek in de populatie.

Sneeuwbal

In de eerste fase van de sneeuwbal methode worden individuen ontdekt. Ze worden wel of niet geselecteerd door de waarschijnlijkheidsmethode. De geselecteerde groep wordt dan gebruikt om anderen te lokaliseren die dezelfde eigenschappen hebben en die op zichzelf weer anderen lokaliseren. Men kan denken aan referenties die steeds verder doorgaan. Deze techniek van steekproef trekken is vooral erg handig, wanneer er weinig mensen te vinden zijn, die voldoen aan de betreffende eisen voor de onderzoeksvraag.

Steekproeven op het internet

Omdat internet steeds populairder in gebruik is geworden en steeds meer bedrijven en huishoudingen hier toegang toe hebben, hebben onderzoekers de mogelijkheden ontdekt om het internet voor onderzoek te gebruiken. We kunnen onderscheid maken in het verkrijgen van geschikte populaties voor onderzoek via het internet en het trekken van steekproeven via het internet. Beide zullen kort worden besproken.

Internet populaties

Populaties voor onderzoek verkrijgen via het internet heeft zo zijn voor- en nadelen. Voordelen van populaties via het internet zijn onder andere dat het internet toegang kan geven tot lijsten met karakteristieken die men normaal niet zou kunnen achterhalen. Dit zou tevens een uitgangspunt kunnen zijn voor een extra lijst die men dan hierna in het echt uit zou kunnen voeren. Daarnaast biedt het internet de mogelijkheid om respondenten te ondervragen die qua afstand normaal niet te ondervragen zouden kunnen zijn. Zo kunnen we denken aan vragenlijsten die met behulp van het internet door allerlei verschillende landen zouden kunnen worden beantwoord.

Nadelen van populaties over het internet zijn dat een internet populatie aanzienlijk zal verschillen van de algemene populatie. Zo is er aangetoond dat de internet populatie vaak jonger, beter opgeleid en rijker is dan de algemene populatie.

Internet steekproeven

Bij de steekproeven kunnen we onderscheid maken tussen de waarschijnlijkheids-steekproeven (probability sampling) en de niet-waarschijnlijkheidssteekproeven (non-probability sampling). Bij de waarschijnlijkheidssteekproeven is het erg belangrijk om goed na te gaan of de internet populatie de gerichte populatie reflecteert.

Het nadeel bij niet-waarschijnlijkheidssteekproeven is dat men geen controle heeft over de mensen die meedoen met het onderzoek. Daarnaast is het lastig te achterhalen of de groep van mensen die vrijwillig de online vragenlijsten hebben ingevuld, representatief zijn voor de populatie.

Naast deze nadelen zijn de kleinere kosten een groot voordeel. Men heeft veel minder kosten met het opstellen, versturen en terug ontvangen van vragenlijsten, dan men zou hebben wanneer men deze niet over het internet verstuurt.

Analyse-eenheid

De unit van analyse (analyse-eenheid) beschrijft het niveau waarop het onderzoek wordt uitgevoerd en welke objecten worden onderzocht. De unit van analyse is afgeleid van een onderzoeksvraag.

Eén onderzoeksvraag kan meerdere units van analyse bevatten. De keuze voor een unit van analyse hangt af van de volgende drie vragen:

1. Wat is ons onderzoeksprobleem en wat willen we echt zien te beantwoorden?

2. Wat moeten we meten om ons onderzoeksprobleem te kunnen beantwoorden? (denk hierbij aan de variabelen die nodig zijn voor deze beantwoording, of de te meten objecten)

3. Wat willen we doen met de resultaten van de studie/ naar wie willen we refereren in onze conclusies? (denk hierbij aan het geven van beleidsadvies of het helpen van ondernemers)

Oftewel: de unit van analyse hangt af van de onderzoeksdoelstellingen die de onderzoeker voor ogen heeft.

Hoe en wanneer worden enquêtes gebruikt om data te verzamelen? - Chapter 7

Eigenschappen van de gegevensverzameling en communicatiebenadering

De onderzoeker bepaalt de te gebruiken gegevensbenadering voornamelijk door te identificeren welke soort informatie nodig is. Het gaat erom welke onderzoeksvragen de onderzoeker moet beantwoorden, en het gewenste type gegevens (nominaal, ordinaal, interval, ratio) dat daar bij hoort. De eigenschappen van de respondent, zeker als deze zijn gedachten, ideeën en ervaringen moet uitspreken, spelen ook een rol.

De keuze die een onderzoeker maakt bij het kiezen voor een communicatiebenadering heeft onder andere effect op de volgende zaken:

• De creatie en selectie van de vragen die door de respondent moeten worden beantwoord

• Steekproef kwesties, die bepalend zijn voor het contact met de respondent

• Instrument ontwerp, met daarbij de gedachte om fouten zoveel mogelijk te vermijden

• Het gegevens-verzamel proces, wat bepalend is voor het vervolgproces en de behoefte aan eventuele training voor de interviewer

Onderzoeksontwerpen kunnen geclassificeerd worden door de benadering die gebruikt wordt om primaire gegevens te verzamelen. Er zijn twee alternatieven. We kunnen condities, gedrag, gebeurtenissen, mensen of processen observeren of we kunnen met mensen communiceren over verschillende onderwerpen, inclusief de houding, motivatie, intentie en verwachting van de deelnemer.

De communicatiebenadering bestaat uit het interviewen van mensen en het opslaan van hun reacties om deze later te analyseren. De grote kracht van een interview (survey) als een primaire gegevens bron is zijn veelzijdigheid. Er kan informatie over allerlei abstracte onderwerpen worden verzameld door mensen te ondervragen. De keuze voor een communicatiedata-collectie-methode kan worden geselecteerd aan de hand van de onderzoeksvragen.

De voordelen van interviewen ten opzichte van observeren zijn de volgende:

• Grotere efficiëntie

• Zuiniger door besparing van tijd en moeite

• Geografische dekking meer uit te breiden (wanneer telefoon, mail of Internet gebruikt worden)

Echter, de communicatiebenadering heeft ook nadelen:

• De kwaliteit en kwantiteit van de informatie hangt erg af van de bereidheid van de participanten om mee te werken

• De participanten kunnen de vereiste kennis niet bezitten, alleen tweedehandse gegevens hebben of geen mening hebben

• De participanten kunnen de vragen of concepten verkeerd interpreteren, of opzettelijk misleiden

De redenen voor het eerstgenoemde nadeel: de bereidheid van de participanten, zijn de volgende:

• Participanten zien de waarde van hun medewerking niet in

• Participanten zijn achterdochtig of bang voor de onderzoekservaring

• Participanten vinden het onderwerp te gevoelig en zien het interview hierdoor als beschamend en opdringerig.

Communicatiemethode kiezen

Wanneer de onderzoeker gekozen heeft voor het interview als onderzoeksmethode, kunnen er verschillende manieren gebruikt worden om deze informatie te verkrijgen van de individuen. Een onderzoeker kan op de volgende manieren een interview afnemen:

• Door middel van een persoonlijk interview;

• Door middel van de telefoon;

• Door middel van de mail;

• Door middel van de computer;

• Een combinatie van bovenstaande.

Voordat we deze methoden één voor één zullen bespreken, lichten we eerst gemeenschappelijke onderwerpen toe.

Algemene eisen voor succes

Er zijn drie condities waaraan een interview moet voldoen, wil deze succesvol zijn:

1. De participant moet de gerichte informatie hebben met betrekking tot de onderzoeksvragen

2. De participant moet zijn/haar rol als een leverancier van nauwkeurige informatie in het interview begrijpen

3. De participant moet over voldoende motivatie beschikken om mee te werken

Informatie

De interviewer kan weinig doen aan het informatieniveau van de participant. Een oplossing voor het gebrek aan deze kennis kan een screening test met vragen zijn, die twijfel over de vaardigheid van de participant om te antwoorden weg kan nemen. Dit is de verantwoordelijkheid van de ontwerper van het onderzoek. Daarnaast kan de onderzoeker vooraf aan de participanten vragen om bepaalde informatie mee te nemen naar het interview.

Motivatie om te participeren

Interviewers kunnen participanten op verschillende manieren motiveren. Zo kan een interviewer laten weten wat voor soort antwoord gezocht wordt, hoe compleet dit antwoord moet zijn en in welke termen dit antwoord uitgedrukt moet worden. Daarnaast kan de interviewer zelfs coaching gebruiken, wat echter vooroordelen op kan leveren. Bij zelfgemaakte enquêtes en op het web-gebaseerde interviews kunnen zowel een introductie als tussenliggende verklaringen en een vakkundig gemaakte vragenlijst bijdragen aan de motivatie.

Toenemende ontvankelijkheid van de participanten

Zoals hierboven beschreven kan een verscheidenheid aan factoren zorgen voor motivatie onder de participanten. In persoonlijke- en telefoon interviews hebben deze factoren betrekking op de interviewer. Zo is het belangrijk om te weten dat participanten meer op hun gevoel reageren dan op de inhoud van de vragen. Daarnaast is het belangrijk dat de interviewer de vragen op gepaste wijze stelt, de antwoorden correct noteert en op betekenisvolle wijze bij de participant door de dringen. Deze kwesties spelen ook bij zelfgemaakte en op het web-gebaseerde interviews, waar er echter gebrek aan direct persoonlijk contact is.

De volgende drie factoren dragen bij aan de ontvankelijkheid van de participant:

1. De participant moet geloven dat de ervaring van deelname aangenaam zal zijn en tevredenheid geeft

2. De participant moet geloven dat het beantwoorden van het interview een belangrijke en nuttige tijdsbesteding zal zijn

3. De participant moet bepaalde mentale vooroordelen van de hand doen die hij of zij met betrekking tot de deelname heeft

1. Dit hangt erg af van de manier van introduceren van het interview, de manier waarop de vragen worden gesteld en het gevoel voor de participanten dat de interviewer oprecht geïnteresseerd is in de antwoorden.

2. Hiervoor is nadere uitleg van het doel van het onderzoek nodig. Vaak wordt het doel van het onderzoek uitgelegd, als zo ook het gebruik van de informatie en hetgeen verwacht wordt van de participant.

3. Vooroordelen moeten overwonnen worden, voordat er aan het echte onderzoek begonnen wordt. Deze vooroordelen kunnen bijvoorbeeld zijn dat men bang is dat men bij deelname vast zit aan een verkoop van bepaalde producten, of dat de diensten zelf een illegaal doel hebben.

Daarnaast is het voor de interviewer belangrijk wanneer deze participanten goed kan overtuigen voor deelname aan een onderzoek en die met mensen bezig houdt op een persoonlijk niveau.

Introductie

Een goede introductie bestaat uit een identificatie van de interviewer en de betreffende organisatie, een beschrijving van het doel van het onderzoek, de identiteit van de sponsor en degene die de test afneemt en een adres waar deelnemers terecht kunnen met vragen. Daarnaast is de inhoud van het onderzoek belangrijk, de achtergrond van het onderzoek, de manier waarop de participant geselecteerd is, de vertrouwelijke aard van het interview en de voordelen van de onderzoeksbevindingen.

Wanneer (bij een persoonlijk of telefonisch interview) de participant bezig is, is het handig om een algemene introductie te geven en genoeg interesse te geven om een afspraak op een ander tijdstip te regelen. In geval van totale afwezigheid kan men door het gebruik van een contactpersoon, een nieuwe afspraak vastleggen.

Tijdens het interview: een goede relatie opbouwen

Een succesvol interview is gebaseerd op een vertrouwelijke relatie en begrip tussen de onderzoeker/interviewer en de participant. Deze kan opgebouwd worden door het overtuigen van de participant van de vertrouwelijkheid van het interview, het belang van het interview, de vrijheid van censuur, de vrijheid van dwang en de vrijheid van druk. Bij zelfgemaakte en op het web-gebaseerde interviews kan men vertrouwen opbouwen door het gebruik van procedureregels. Wanneer anonimiteit wordt gegarandeerd kan een neutraal agentschap gebruikt worden voor het beheren en analyseren van de vragenlijsten en bijbehorende data.

Omgaan met niet-antwoord fouten (non-response error)

Niet-antwoord fouten ontstaan wanneer de antwoorden van participanten systematisch verschillen van de antwoorden van niet-participanten. Dit gebeurt wanneer de onderzoeker de persoon niet kan vinden om deze te onderzoeken of de onderzoeker heeft geen succes in het aanmoedigen van de persoon om deel te nemen aan het onderzoek.

Oplossingen om fouten van een niet-antwoord te verminderen zijn:

• Het vestigen en implementeren van call-back procedures

• Het creëren van een niet-antwoord steekproef en de resultaten hiervan wegen

• Het substitueren van een ander individu voor de missende participant

Call-backs

Call-backs maken het mogelijk, wanneer er genoeg pogingen worden gedaan, om de meeste participanten te bereiken. Om de productiviteit te verhogen kan de tijd van de dag en de dag van de week afgewisseld worden.

Weging

Bij de wegingsmethode behandelen we de niet-participanten als een nieuwe subpopulatie na meervoudige call-backs. Een nadeel hiervan is dat het rendement van de wegingen verschilt van de situatie wanneer succesvolle call-backs zouden worden gemaakt.

Substitutie

Deze methode kan gevaarlijk zijn omdat personen die thuis zijn, op systematische wijze verschillen van personen die niet thuis zijn. Personen die niet thuis zijn, zijn vaak jonger, beter opgeleid, meer stedelijk en hebben een hoger inkomen dan gemiddeld.

Benaderingen vergeleken

Hierboven zijn alle gemeenschappelijke onderwerpen van de interviews besproken, maar elk interview heeft ook zijn eigen unieke karakter. Een onderzoeker moet een methode vinden die bij de onderzoeks-doelstellingen aansluit.

Wanneer de onderzoeksvragen vragen om moeilijk te bereiken of ontoegankelijke informatie van participanten, is het geschikt om het telefooninterview, het mail-interview of het computer-geleverde interview te gebruiken. Hoewel bij snelle data-collectie het mail-interview uitgesloten wordt door het gebrek aan controle.

Wanneer de doelstellingen veel vragen en indringendheden nodig hebben, is het persoonlijke interview geschikt. Wanneer er geen fit is, kan een combinatie van voorgaande gebruikt worden.

CATI staat voor computer geassisteerde telefoon interview methode (computer-assisted telephone interviewing), waarbij telefooninterviews bijgestaan worden door het gebruik van de computer.

Persoonlijke interviews

Een persoonlijk interview is een twee-weg communicatie, beginnend bij een interviewer die informatie wil verkrijgen van de participant.

Evaluatie van het persoonlijke interview

De grote kracht van een persoonlijk interview zit in de diepgang van de informatie die verkregen wordt. Deze is veel groter dan informatie die is verkregen over bijvoorbeeld internet of telefoon. De interviewer kan ook veel doen om de kwaliteit van de informatie die ontvangen is te verbeteren. Hij kan de conditie bepalen waaronder het interview plaatsvindt, extra vragen verzinnen en extra informatie verzamelen door middel van observatie.

Interviewers hebben ook meer controle. Ze kunnen speciale scoringsapparaten en visuele materialen gebruiken, zoals gebeurt bij de computer geassisteerde persoonlijk interview methode (CAPI).

Waarom wordt een persoonlijk interview dan niet altijd gebruikt als het zoveel voordelen heeft? Het is erg tijdrovend en het kost erg veel geld.

Een intercept interview is daarentegen minder duur. Mensen worden op bepaalde centrale locaties opgewacht. Dit zorgt er voor dat een interviewer minder hoeft te reizen en meer mensen kan interviewen in een korter tijdsbestek.

Kosten

De grootste kostenpost met betrekking tot interviewen is de bijkomende tijd die met administratieve taken en reizen gemoeid is. Het betalen van interviewers is dan ook erg lastig, omdat wanneer men in uurloon betaalt hier misbruik van gemaakt kan worden doordat het inefficiënte interviewers beloont, en daarnaast vaak resulteert in overschrijdende budgetten.

Het alternatief om in stukloon te betalen is echter ook problematisch wanneer interviewers de duur van interviews inkorten en zelfs interviews falsificeren.

Daarnaast zijn alle methoden van communicatie duurder geworden door de veranderingen in het sociale klimaat. Deze veranderingen hebben er namelijk in geresulteerd dat mensen onwillig zijn om met vreemden te praten en visites in hun huis toe te laten, wat het persoonlijk interviewen bemoeilijkt.

We kunnen in het algemeen drie oplossingen geven voor deze hoge kosten. Allereerst kan er gebruik worden gemaakt van vooraf geplande interviews. Hierdoor verlaagt men de telefoonkosten om afspraken te maken. Daarnaast kan gebruik worden gemaakt van telefoon-screening ten opzichte van face-to-face screening, hetgeen de kosten met één-derde verlaagt. Tenslotte kan er gebruik worden gemaakt van zelfgemaakte vragenlijsten ten opzichte van persoonlijke interviews. De resultaten vertoonden voldoende gelijkenissen om deze twee methodes te kunnen combineren.

Interviewtechnieken

Zoals eerder genoemd heeft de interviewer een belangrijke taak bij het afnemen van de interviews. Na de eisen van een goede introductie te hebben benoemd hierboven, zullen we ons nu richten op de technische taak van de interviewer. De interviewer moet hierbij exact de bewoording van de vragen opvolgen, de vragen in de gepresenteerde volgorde stellen en elke vraag stellen die gespecificeerd is. Wanneer deze verkeerd begrepen worden of niet goed geïnterpreteerd worden, moet de interviewer deze vragen nog eens herhalen.

‘Probing’ is de techniek die wordt gebruikt voor het stimuleren van participanten om vollediger en relevanter te antwoorden. Omdat dit een grote oorzaak van vooroordelen kan zijn, moet een ‘probe’ neutraal zijn, en zich voordoen als een natuurlijk onderdeel van het gesprek. Er zijn verschillende stijlen van probing, waarvan we hieronder een paar zullen noemen. Zie voor de andere voorbeelden pag. 216.

• Een korte bevestiging van begrip en belangstelling

• Een pauze vol verwachting

• Het herhalen van de vraag

• Etc.

Een specifiek type antwoord dat vraagt om hardnekkige probing is het ‘Ik weet het niet’ antwoord, ook wel het ‘I don’t know answer’ genoemd. Er kunnen namelijk verschillende betekenissen aan dit antwoord verleend worden. Er bestaat een kans dat de participant het antwoord simpelweg niet weet, maar daarnaast kan de participant de vraag niet begrijpen, wil hij/zij tijd om na te denken of is hij/zij aan het proberen de vraag te ontwijken.

De beste manier van probing is hierbij de pauze vol verwachting of een opmerking in de vorm van: ‘we zijn geïnteresseerd in je mening over dit onderwerp.’

Het opnemen/noteren van het interview

De volgende methoden laten zien hoe je efficiënt antwoorden kunt noteren/opnemen, ten opzichte van het opschrijven van de antwoorden. Allereerst noteer antwoorden wanneer deze voorkomen. Wanneer er een tijdslimiet is kan de interviewer een ‘shorthand’ systeem gebruiken die de essentie van de antwoorden behoudt, zonder hele zinnen te gebruiken. Daarnaast zijn afkortingen, het weglaten van artikelen en voorzetsels en het gebruik van sleutelwoorden een goede manier van efficiënt noteren. Eveneens kan men de antwoorden herhalen terwijl ze genoteerd worden. Probeer de probing methoden te scheiden van het interview zelf. Tenslotte kan er gebruik worden gemaakt van een interview instrument voor het opnemen van de antwoorden.

Responsfout

Responsfouten ontstaan wanneer de gerapporteerde data verschillen van de werkelijke data en kunnen vooral optreden tijdens het interview, of tijdens de voorbereiding van de data die voor de analyse gebruikt zullen worden.

Fouten van de participant (participant-initiated error) ontstaat wanneer een participant erin faalt om volledig en nauwkeurig te antwoorden, zowel bewust of vanwege onnauwkeurige of niet complete kennis.

Fouten van de interviewer kunnen daarnaast ook voor vooroordelen zorgen.

Verschillende soorten fouten van de interviewer, die resulteren uit bovengenoemde interviewtechnieken zijn de volgende:

• er niet voor zorgen dat de respondent volledig mee wil werken;

• het interview niet consistent en correct uitvoeren;

• niet de juiste omgeving creëren voor het afnemen van een interview;

• valse gegevens invullen;

• de respondent onbehoorlijk beïnvloeden: door onbehoorlijke opmerkingen, nadruk op woorden, toon van de stem, lichaamstaal en het herformuleren van de vragen;

• fouten maken bij het nauwkeurig en compleet noteren van antwoorden;

• fysieke aanwezigheidsvooroordelen: zowel de interviewer zelf als de sociale afstand tussen beide kan een verdraaiend effect op de antwoorden hebben.

Telefonische interviews

Het telefonische interview is een unieke methode om informatie te verzamelen. Het is ook een van de goedkoopste methodes om informatie te verzamelen. De redenen hiervoor zijn de lage reiskosten en de lagere administratiekosten door training en toezicht. Computer geassisteerde telefonische interviews (CATI) maken het mogelijk dat de reacties van de respondent worden opgeslagen in de computer. Als een computer het telefonische interview uitvoert is er zelfs geen interviewer meer, dan worden de vragen gewoon gesteld door een computer. Wanneer dit zich voordoet is er sprake van computer-administered telephone survey.

De non-contact verhouding (non-contact rate) zegt iets over de relatie van niet bereikte respondenten t.o.v. het totale aantal respondenten.

De weigerverhouding (refusal rate) verwijst naar de verhouding van deelnemers waarbij de participant er voor heeft gekozen om de vragen niet te beantwoorden tegenover alle potentiële deelnemers.

De voordelen van telefonische interviews zijn onder andere, in vergelijking met het persoonlijke interview of de mail interviews, dat deze sneller zijn in de voltooiing van een onderzoek. Daarnaast, met betrekking tot een persoonlijk interview, kan de participant niet bevooroordeeld worden door fysieke aanwezigheid, lichaamstaal en acties van de interviewer. Toegang tot participanten door lage kosten is een volgend voordeel. Tenslotte werken normen van gedrag in het voordeel van de telefonische interviews, omdat mensen uit fatsoen de telefoon vaak opnemen.

De nadelen van het gebruiken van telefonische interviews zijn:

1. Ontoegankelijke huishoudingen;

2. Onnauwkeurige of niet functionerende nummers;

3. Beperking van de lengte van het interview;

4. Beperking van visueel gebruik of van complexe vragen;

5. Gemak van interview beëindiging;

6. Mindere betrekking van de deelnemer;

7. Afleidende omgeving.

1. Redenen hiervoor kunnen verouderde nummers, nog niet gepubliceerde nummers en de beperking tot alleen mobiele nummers ten opzichte van vaste lijnen zijn. De laatstgenoemde kan een voordeel zijn door het gemak van het bereiken van de mensen.

Nadelen van laatstgenoemde zijn dat onderzoeksbureaus onwillig zijn om deze mensen te bereiken en de onbekendheid waar de mensen zijn, en wat de mensen doen.

2. Gerandomiseerde kies (random dialling) procedures vereisen het kiezen van telefoonuitwisselingen of uitwisselingsblokken waarna men willekeurige nummers genereert in deze blokken voor bellen. Let op: random dialiing is in Nederland verboden.

3. De mate van beperking hangt af van de participant zijn/haar interesse voor het onderwerp.

4. Oplossingen hiervoor kunnen het voorleggen van een negenpuntenschaal en het gebruik van de telefoon beltoetsen of het toetsenbord zijn.

5. Het is gebleken dat participanten het gemakkelijker vinden om een telefonisch interview te beëindigen, mede door de opkomst van telemarketing activiteiten wordt dit makkelijker.

6. Kan resulteren in minder diepe antwoorden, en wordt door de participant vaak als minder belonend gezien als een persoonlijk interview.

7. Door het toenemende gebruik van mobiele telefoons verandert de omgeving waar de interviews in worden afgenomen. Dit kan de data beïnvloeden en de refusal rates doen stijgen.

Telefooninterview trends

De trends ten opzichte van telefoon interviews voor de toekomst, zijn onder andere het antwoordapparaat, huishoudingen met meerdere lijnen, variaties in diensten van telefoon bedrijven en de mate van medewerking.

Er is gebleken dat antwoordapparaten voldoende doordringen in huishoudingen.

Daarnaast zijn bevindingen van antwoordapparaten de volgende:

• Individuen met een antwoordapparaat willen vaker hun medewerking verlenen

• Het gebruik van apparaten was meer voorkomend in het weekend dan ’s avonds door de week

• Apparaten zijn gebruikelijker in de steden dan in de landelijke gebieden

Daarnaast ondervinden voicemails steeds meer acceptatie in verband met het verzoek tot interviews.

Zelfgemaakte interviews

Zelfgemaakte interviews zijn alom vertegenwoordigd in de moderne samenleving. Voorbeelden zijn evaluaties in hotels of restaurants, korte vragenlijsten in winkelcentra etc.

Evaluaties van zelfgemaakte interviews

Veel kennis van onderzoekers met betrekking tot de zelfgemaakte interviews is verkregen door afgenomen experimenten met mail interviews en persoonlijke ervaring.

Hieronder zullen we de sterke en zwakke punten van de zelfgemaakte interviews bespreken:

• De kosten van een zelfgemaakt interview zijn minder dan een persoonlijk interview en zijn ongeveer gelijk aan telefoon- en mailkosten, alhoewel één van de twee ook goedkoper kan zijn.

• De toegankelijkheid van de participanten is een groot voordeel van de zelfgemaakte interviews, wanneer deze per mail worden behandeld. Zo kan men mensen bereiken die anders ontoegankelijk zijn. Daarnaast kan men per mail naar de juiste persoon toe geleid worden. Het is hierbij wel belangrijk om aanzienlijk veel moeite te doen naar het vinden van de persoonlijke namen van de gewenste contactpersonen.

• Antwoordtijd kan zowel een voor- als nadeel voor de kwaliteit zijn. Omdat mensen bij mail interviews deze uit kunnen stellen kan een participant feiten verzamelen, met andere mensen praten en langere antwoorden geven, hetgeen de kwaliteit verhoogt. Daarnaast kan uitstel leiden tot afstel en kunnen participanten de vragenlijst gedeeltelijk hebben ingevuld, wat leidt tot een kwaliteitsverlaging.

• Mail interviews hebben een onpersoonlijke tint waardoor de anonimiteit wordt vergroot. Dit kan zowel een voordeel zijn (participanten zijn meer open in hun mening) maar ook een nadeel zijn (door de onpersoonlijkheid kan een participant onwillig worden).

• Een grote beperking van zelfgemaakte interviews betreft het type en de hoeveelheid informatie die onderzoekers kwijt kunnen in het interview. Participanten willen namelijk niet graag lange vragenlijsten per mail beantwoorden, en daarom is een algemene regel dat de participant he interview in tien minuten kan maken.

• Daarnaast zijn de niet-antwoord fouten vaak aanwezig in zelfgemaakte en op het web gebaseerde interviews. Er zijn veel niet-respondenten en vaak weten we niet hoe de participanten die wel antwoorden verschillen van de niet-respondenten.

Het verminderen van niet-antwoord fouten kan door de onderstaande praktische suggesties:

• Follow-ups helpen de antwoordverhoudingen te doen stijgen, doordat met elke follow-up meer antwoorden verkregen worden. Deze bijkomende informatie moet dan wel opwegen tegen de kosten met het verkrijgen van deze informatie.

• Voorafgaande kennisgeving (preliminary notification) blijkt voor meer antwoordverhoudingen en rendement te zorgen, maar follow-ups blijven echter een beter investering.

Gelijktijdige technieken (concurrent techniques) zijn de volgende:

• Vragenlijst lengte;

• Interview sponsoring;

• Terugkeer enveloppen en postzegels voor de mail-enquêtes;

• Personalisatie;

• Begeleidende brieven;

• Anonimiteit;

• Grootte, reproductie en kleur;

• Geld prikkels;

• Deadlines.

Vaak is het doen van een beroep op medewerking essentieel en het kan onzelfzuchtig en doelmatig zijn. Het voorgaande komt vaak voor wanneer de vragenlijst kort en gemakkelijk te voltooien is en daarnaast niet veel moeite van de participant vraagt. Daarnaast zou de begeleidende brief aan moeten geven dat de hulp van de participant hard nodig is. De onderzoeker moet als een tussenpersoon worden gezien, die tussen de participant en het belangrijke probleem in staat.

Tenslotte kan men een gemengd model gebruiken, waardoor er meer antwoorden worden verkregen. Dit gemengde model kan als onderdeel het drop-off systeem bevatten: het systeem waarbij een licht getrainde interviewer persoonlijk de vragenlijsten bij de participanten distribueert en deze na een paar dagen ook weer persoonlijk op komt halen.

De voordelen van het drop-off systeem zijn de hoge antwoordverhouding, de lage kosten per antwoord, de grote controle over het steekproef ontwerp, de grondige identificatie van de geografische locatie van de participant, de mogelijkheid om mensen te elimineren uit de steekproef wanneer deze qua demografische gegevens niet aan de steekproef voldoen en de bijkomende informatie die een interviewer verkrijgt door een bezoek. Het drop-off systeem is vergelijkbaar met de zelfgemaakte vragenlijsten van een intercept onderzoek.

Wanneer de respondenten organisaties zijn (bij bedrijfskundig onderzoek) hangt de bereidheid van de respondenten om mee te werken niet alleen af van de motivatie, maar ook van hun capaciteit en autoriteit. Daarom kunnen onderzoekers de volgende punten in acht nemen bij een bedrijfskundig onderzoek:

• Is het echt nodig om te vragen naar financiële informatie voor het doel van het onderzoek? (Dit kan aanzetten tot een hogere niet-antwoord verhouding en de informatie kan vaak door tweede bronnen verkregen worden).

• Wanneer men een dochteronderneming benadert, moet men duidelijk maken dat het onderzoek gericht is op de dochteronderneming zelf en niet op het bedrijf als geheel. (Anders kan het voorkomen dat de dochterondernemingen zich niet geautoriseerd genoeg voelen om te antwoorden).

• Net als bij andere onderzoeken kunnen mensen onwillig worden wanneer het invullen van een enquête tijd kost. Wanneer dit voorkomt is het handig om het topmanagement om medewerking te vragen. (Zo voelen de medewerkers het meer als een verplichting om deze in te vullen).

Web-gebaseerde interviews

De volgende twee types van op het web-gebaseerde interviews kunnen worden onderscheiden:

1. Doel web-interview (target web survey)

2. Zelf geselecteerd interview (self selected survey)

1. De onderzoeker behoudt de controle over welke participanten meedoen aan het onderzoek. De onderzoeker verstuurt uitnodigingen naar gespecificeerde en geselecteerde mensen om mee te doen aan het onderzoek.

2. De onderzoeker heeft geen of weinig controle over welke participanten meedoen aan het onderzoek (denk hierbij aan een pop-up scherm, waarbij elke bezoeker van de site mee kan doen).

Bijkomend kunnen de volgende voor- en nadelen met betrekking tot op het web-gebaseerde interviews gegeven worden.

De voordelen:

• De data-collectie kosten zijn erg laag als het interview eenmaal is opgesteld

• De data-collectie is vaak gemakkelijk (denk aan het herleveren, kennisgeven en personaliseren van de interviews)

• Er zijn opties voor kleurgebruik

• Er zijn opties voor videoclips

• Er kunnen beloningen worden uitgereikt door middel van e-valuta’s

• Het gebruik van deze interviews op trade-shows zorgt voor motivatie en gedetailleerde informatie in het belang van de show

• Zowel grote als kleine ondernemingen kunnen intern als extern gebruik maken van de interviews

De nadelen:

• Onvermogen beantwoording door technische problemen;

• Spam mail en daardoor delete mail (zorgt voor hoge non-response).

De op het web-gebaseerde vragenlijsten (web-based questionnaires) hebben de kracht van de CATI systemen, maar zonder de kosten van netwerkbeheerders, extra hardware of gespecialiseerde software. Twee primaire opties zijn eigendoms-oplossingen (proprietary solutions) en uit de kast (off-the-shelf) software.

De eigendomsoplossingen zijn services waar je voor moet betalen, maar die je helpen om een vragenlijst op te zetten.

De voordelen van off-the-shelf software zijn:

• Ontwerp van de vragenlijst in een tekstverwerkende programma omgeving

• De mogelijkheid om de vragenlijst-vormen te importeren uit tekstbestanden

• Een coaching-apparaat om je te begeleiden via een vraag-en-antwoord opmaak

• Vraag en de schaal bibliotheken

• Geautomatiseerd publiceren naar een web-server

• Het real-time bekijken van inkomende gegevens

• De mogelijkheid om gegevens te bewerken in een spreadsheet-achtige omgeving

• Een snelle overdracht van de resultaten

• Flexibele analyse- en rapportagemechanismen

Het uitbesteden van de interviewdiensten

Commerciële verleners van onderzoeksdiensten variëren van volledige-service operaties tot gespecialiseerde consultants. Onderzoekfirma’s hebben daarnaast ook speciale voordelen die de cliënten niet typisch in huis hebben. Voorbeelden hiervan zijn: centrale interviewlocaties, focus groep faciliteiten, computer-geassisteerde telefoonfaciliteiten, professioneel getrainde medewerkers met aanzienlijk veel ervaring, verwerking van gegevens en statistische analysemogelijkheden en speciale software.

Interviewselectie en training

De functie-eisen van een interviewer zijn onder andere een middelbare opleiding, goede communicatievaardigheden, flexibele schema’s en de bereidheid om werkuren met tussenpozen en mobiliteit te tolereren.

Veld interviewers ontvangen verschillende niveaus van training, variërende tussen korte geschreven instructies en extensieve sessies. Commerciële onderzoek firma’s geven lagere niveaus van training, waartegen overheids-, opleidings- en gelijkwaardige onderzoeksorganisaties meer extensieve trainingen geven.

Alle onderzoeken moeten zijn voorzien van geschreven instructies. Deze instructies moeten ten minste de algemene objectieven van het onderzoek bevatten en de problemen in testen van de interviewprocedures samen met de oplossingen.

Een interviewtraining moet ten minste aan de volgende punten voldoen:

• Breng de nieuwe interviewers de meetprincipes bij

• Geef praktische introducties en introductiematerialen

• Leer de technieken van het interviewen

• Leer woord- en skip-instructies, om te helpen met een soepele en consistente stroom van vragen

• Leer het ‘proben’

• Geef ervaring in het noteren/opnemen van verschillende types en verschillende schalen antwoorden

• Geef de kans voor praktijk en evaluatie bij het afnemen van interviews onder gecontroleerde omstandigheden

• Geef een voorzichtige en nauwkeurige evaluatie van interviews, vooral bij het begin van de echte dataverzameling (denk hierbij aan een review van interviewprotocollen)

De onderzoeker bepaalt de te gebruiken gegevensbenadering voornamelijk door te identificeren welke soort informatie nodig is. Het gaat erom welke onderzoeksvragen de onderzoeker moet beantwoorden, en het gewenste type gegevens (nominaal, ordinaal, interval, ratio) dat daar bij hoort. De eigenschappen van de respondent, zeker als deze zijn gedachten, ideeën en ervaringen moet uitspreken, spelen ook een rol.

De keuze die een onderzoeker maakt bij het kiezen voor een communicatiebenadering heeft onder andere effect op de volgende zaken:

• De creatie en selectie van de vragen die door de respondent moeten worden beantwoord

• Steekproef kwesties, die bepalend zijn voor het contact met de respondent

• Instrument ontwerp, met daarbij de gedachte om fouten zoveel mogelijk te vermijden

• Het gegevens-verzamel proces, wat bepalend is voor het vervolgproces en de behoefte aan eventuele training voor de interviewer

Hoe kunnen experimenten succesvol worden verricht? - Chapter 12

Wat is experimenteren?

Waarom gebeuren gebeurtenissen onder sommige voorwaarden en niet onder anderen? Onderzoeksmethoden die zulke vragen beantwoorden, zijn oorzakelijke methoden (causal methods). Daarnaast hebben ex-post factor onderzoeksontwerpen ook het potentieel om deze causaliteit te ontdekken.

Experimenten zijn studies waarbij de onderzoeker intervenieert in de werkelijkheid om een bepaalde causaliteit aan te tonen. De normale interventie is om de onafhankelijke variabelen te manipuleren in een bepaalde setting en om te observeren hoe het de afhankelijke variabele beïnvloedt. Er is altijd tenminste 1 afhankelijke (DV: Dependent variable) en 1 onafhankelijke (IV: Independent variable) in een causale relatie. We veronderstellen dat de IV op een of andere manier veroorzaakt dat de DV optreedt.

Er zijn drie soorten bewijs die de basis vormen voor een conclusie met betrekking tot een hypothese. Hieronder staat aangegeven welke soorten dit zijn.

• Allereerst moet er een overeenkomst zijn tussen de onafhankelijke en afhankelijke variabele. De aan- of afwezigheid van de een, is geassocieerd met de aan- of afwezigheid van de ander.

• Daarnaast moet er rekening worden gehouden met de tijdsvolgorde van de gebeurtenissen. Zo kunnen de variabelen beide haast tegelijkertijd voorkomen, maar in de regel moet de onafhankelijke variabele eerst gebeuren voordat de afhankelijke variabele optreedt.

• Tenslotte moet de onderzoeker er zeker van zijn dat andere ‘buiten de zaak staande’ variabelen de afhankelijke variabele niet hebben beïnvloedt. Een oplossing hiervoor zou kunnen zijn om de onderzoeken onder gestandaardiseerde omstandigheden van controle uit te voeren.

Een evaluatie van experimenten

Een evaluatie van experimentele methodes levert de volgende voordelen op:

• De onderzoekers’ mogelijkheid om onafhankelijke variabelen te manipuleren en hierbij de mogelijkheid om met een controle groep (control group) en met pre- en post-testen te werken.

• Het is gemakkelijker om ‘buiten de zaak staande’ variabelen effectief te controleren dan bij andere methoden.

• Het gemak en de lage kosten van experimenteren zijn superieur aan andere methoden. Hierdoor heeft de onderzoeker de mogelijkheid om variabelen steeds aan te passen om zo onderzoeken te laten plaatsvinden die in werkelijkheid niet mogelijk zouden zijn. Daarnaast kan de onderzoeker zelf variabelen combineren, die in werkelijkheid moeilijk te vinden zouden zijn.

• De mogelijkheid om het experiment te herhalen (replication) en daarmee fouten te voorkomen.

• De mogelijkheid om natuurlijk verschijnende gebeurtenissen te gebruiken.

Een evaluatie van experimentele methodes levert ook een aantal nadelen op:

• Een groot nadeel van een experiment is de kunstmatigheid van de laboratoriumomgeving.

• Een generalisatie van niet waarschijnlijkheidssteekproeven kan problemen veroorzaken ondanks een gerandomiseerde toewijzing (random assignment).

• Het aantal variabelen dat men kan gebruiken bij een experiment zijn veel beperkter dan bijvoorbeeld bij survey onderzoeken. Experimenten zijn dus niet erg geschikt voor onderzoeksproblemen die meerdere factoren van invloed bevatten.

• Ondanks de lage kosten van experimenten kunnen verdere experimentele toevoegingen zorgen voor een grote budgetoverschrijding ten opzichte van andere primaire data-verzamelingsmethoden.

• Experimenten zijn het meest nuttig bij problemen die er op dit moment zijn of in de nabije toekomst voor zullen komen. Experimentele onderzoeken naar het verleden zijn niet uitvoerbaar en onderzoeken naar intenties en voorspellingen zijn lastig. Daarnaast moeten de betreffende factoren makkelijk te manipuleren zijn. Dit is lastig wanneer deze karakteristieken van een respondent zijn. Denk hierbij aan opleiding, sociale vaardigheden etc.

• Tenslotte betreft managementonderzoek vaak het onderzoeken van mensen. Er zijn limieten aan de soorten manipulatie en controle die ethisch zijn.

Leiden van een experiment

Het volbrengen van de volgende activiteiten is essentieel voor de goede uitvoeringen van een gepland experiment, mits de onderzoeker beschikt over vindingrijkheid en creativiteit:

1. Het selecteren van relevante variabelen voor de test

2. Het specificeren van de niveaus van de behandelingen

3. Het controleren van de omgevingsfactoren en externe factoren; de experimentele omgeving

4. Het selecteren van een experimenteel ontwerp

5. Het selecteren en toewijzen van onderwerpen

6. Het pilot-testen, bijschaven en de uiteindelijke test uitvoeren

7. Het analyseren van de gegevens

1. Het is de taak van de onderzoekers om een onderzoeksprobleem te vertalen in een vraag of hypothese die het beste de doelstellingen van het onderzoek verstaan. Verder kunnen we stellen dat een hypothese een relationele verklaring is, omdat de hypothese de relatie tussen twee of meer variabelen beschrijft. Het moet daarnaast ook geoperationaliseerd worden, wat het transformeren van concepten naar meetbare variabelen inhoudt. De stappen die een onderzoeker kan ondergaan van hypothese naar variabelen zijn als volgt:

1. Het selecteren van variabelen die de beste operationele representaties van het originele concept zijn.

2. Het vaststellen van het aantal te testen variabelen.

3. Het selecteren of maken van correcte metingen voor deze variabelen.

De onderzoeker moet variabelen selecteren die het beste het concept operationaliseren. Daarnaast moet men rekening houden met de product classificatie en de aard van het publiek (de doelgroep).

Het aantal variabelen in een experiment wordt bepaald door het project budget, de toegewezen tijd, de beschikbaarheid van geschikte controles en het aantal deelnemers dat moet worden getest. Om statistische redenen moet het aantal deelnemers groter zijn dan het aantal variabelen. Het aantal deelnemers hangt af van de variantie in de variabelen en de gewilde precisie van de schattingen (meestal 10-30 per variabele).

De selectie van metingen voor het testen vraagt een grondige review van de beschikbare literatuur en instrumenten.

2. De behandelniveaus van de onafhankelijke variabelen zijn de onderscheidingen die de onderzoeker maakt tussen verschillende aspecten van de behandelingsconditie. Een voorbeeld hierbij kan zijn dat wanneer salaris als onafhankelijk variabele wordt gebruikt, deze kan worden verdeeld in hoog, middel en laag om drie niveaus van de onafhankelijke variabele aan te geven. Deze levels die men gebruikt voor de onafhankelijke variabelen moeten gebaseerd zijn op gezond verstand en simpelheid. Deze levels kunnen ook gebruikt worden voor een test van volgorde presentatie (order-of presentation). Hierbij zouden we als vergelijkingsmateriaal een controle groep kunnen gebruiken. Deze ondergaat de experimentele behandeling (experimental treatment) niet.

3. Variabelen ‘buiten de zaak staande’ in de omgeving kunnen de potentie hebben om het effect van een behandeling op de afhankelijke variabele te verdraaien. De oplossing hiervoor is om deze variabelen te controleren of te verwijderen. Dit heeft te maken met de omgevingscontrole (environmental control): het constant houden van de fysieke omgeving van het experiment. Andere vormen van controle hebben betrekking op de deelnemers en de onderzoekers. Hierbij kan men denken aan het blinde experiment en het dubbel blinde experiment.

4. Onderzoeks-ontwerpen dienen als positionele en statistische plannen om relaties aan te wijzen tussen experimentele onderzoeken en de onderzoekers’ observaties of meetpunten in de tijdelijke regeling van het onderzoek. Oordeelkundige selectie van het ontwerp vergroot de kans dat de geobserveerde verandering in de afhankelijke variabele veroorzaakt was door de manipulatie van de onafhankelijke variabele.

5. De deelnemers aan het onderzoek moeten representatief zijn voor de populatie van welke de onderzoeker zijn resultaten wil generaliseren. De procedure van het gerandomiseerd selecteren van deelnemers aan een experiment is gelijk aan het principe van selectie van respondenten van een survey.

Wanneer gerandomiseerde selectie plaatsvind, wordt de te onderzoeken groep gelijk aan de controle groep met betrekking tot de afhankelijke variabele. Dit is niet zo zeer gelijk in de zin van identiek, maar meer in de zin dat verschillen die overgebleven zijn tussen te groepen gerandomiseerd verdeeld zijn.

Wanneer gerandomiseerde selectie onmogelijk is, kunnen we gebruik maken van matching. Het doel van matchen is dat elke karakteristiek van de experimentele en de controle groep gelijk aan elkaar zijn.

6. Pilot testing moet ervoor zorgen dat fouten onthuld worden in het ontwerp, en in de onjuiste controle van ‘buiten de zaak staande’ variabelen en omgevingscondities.

Het vooraf testen (pre-testen) van de instrumenten geeft verfijning voor de laatste test.

Het experiment moet op een juist moment uitgevoerd worden, zodat de deelnemers niet gevoelig zijn voor de onafhankelijk variabele door factoren in de omgeving.

Validiteit in experimenten

Interne validiteit is de mate waarin de conclusies die je trekt ook daadwerkelijk causaliteit aantonen.

Externe validiteit is de mate waarin de conclusies te generaliseren zijn over tijd, personen en situaties.

Onder bedreigingen voor de interne validiteit vallen:

• Geschiedenis: er is iets veranderd gedurende het nemen van de test, bijvoorbeeld tussen O₁: Observatie 1 en O₂: Observatie 2

• Volwassenheid: de persoon is veranderd tijdens de test

• Testen: een tweede keer dezelfde test invullen leidt tot andere resultaten. Dit komt door het leereffect van het invullen van de eerste test

• Instrumenten: worden wel dezelfde instrumenten gebruikt? Denk hierbij aan verschillende vragen of verschillende mensen die observeren

• Selectie: zijn de geselecteerde groepen wel van dezelfde samenstelling?

• Statische regressie: het gegeven dat er altijd willekeurige fluctuaties zullen zijn, en dit gebeurt vooral bij imperfecte metingen

• ‘Experiment mortaliteit’: de gebeurtenis dat de samenstelling van de groep verandert

Bovenstaande bedreigingen kunnen worden opgelost met het randomiseren van de testen. Andere bedreigingen die niet opgelost kunnen worden door het randomiseren van de testen zijn onderstaande:

• Diffusie of imitatie van het onderzoek: ontstaat wanneer er contact is tussen de experimentele en controle groep

• Compenserende egalisatie: de administratieve onwil om controle groepsleden uit te sluiten

• Compenserende rivaliteit: ontstaat wanneer de controle groepsleden harder hun best gaan doen omdat ze weten dat ze de controle groep zijn

• Boze demoralisatie van de minderbedeelden: ontstaat wanneer de controle groepsleden boos worden omdat zij uitgesloten zijn van het experiment, wat leidt tot lagere output en minder goed medewerking

• Lokale geschiedenis: het geschiedenis effect kan zich voordoen bij de experimentele en de controle groep

Een experiment heeft een hoge interne validiteit als iemand het vertrouwen heeft dat de experimentele behandelingen de oorzaak zijn geweest van de veranderingen in de afhankelijke variabele.

Externe validiteit is hoog als de resultaten van een experiment zijn toe te passen op een grotere populatie/wanneer er een hoge generaliseerbaarheid is.

Drie potentiële bedreigingen tot de externe validiteit zijn:

1. Het testen van de reactiviteit: refereert naar gevoelige deelnemers die via een voor-test (pre-test) anders reageren op de behandeling/het onderzoek X

2. Interactie tussen selectie en X: ontstaat wanneer de geselecteerde populatie verschilt van de gewenste populatie

3. Andere reactieve factoren: de experimentele setting kan een effect van vooroordelen geven aan de deelnemer zijn/haar reactie op de behandeling X. Daarnaast kunnen deelnemers die weten dat ze met een experiment meedoen, anders reageren dan gebruikelijk. Tenslotte kan er een mogelijkheid zijn van interactie tussen X en de deelnemer zijn/haar karakteristieken.

Experiment onderzoeksontwerpen

Experiment onderzoeksontwerpen verschillen veel in hun kracht om besmetting van de relatie tussen onafhankelijke en afhankelijke variabelen te controleren. In deze paragraaf zullen we eerst echte experimenten bespreken. Daarna zullen we hier afwijkingen van bespreken met name het voor-experiment ontwerp. Tenslotte bespreken we het veld- en quasi-onderzoek. Op pag. 318 staat een deeper insight box waar meerdere ontwerpen besproken worden.

Echte experimentenontwerpen

De hoekstenen van de echte experimentontwerpen zijn:

• Dat ze bestaan uit een experimentele groep, ook wel behandelgroep genoemd, en uit een controle groep

• Dat de onderzoeker verzekert dat de experimentele en controle groep gelijk aan elkaar zijn door de gerandomiseerde selectie van deelnemers aan de groepen of door matching.

Er zijn twee experimenten/ontwerpen die horen bij de echte experimenten/ontwerpen, deze zullen we hieronder beschrijven:

1. Pre-test-post-test controle groep ontwerp

2. Post-test-only controle groep ontwerp

Pre-test-post-test controle groep ontwerp

Dit ontwerp bestaat uit een experimentele en een controle groep door gerandomiseerde selectie. Het bijbehorende diagram is:

R O₁ X O₂

R O₃ O₄

Het effect van de experimentele variabele is:

E= ( O₂ – O₁ ) – ( O₄ – O₃ )

Wanneer de randomisatie goed uitgevoerd is, kunnen we het volgende stellen:

O₁ = O₃

De bedreigingen van de interne factoren worden goed tegengegaan. Zo worden volwassenheid, testen en regressie goed tegengegaan. Externe validiteit wordt echter minder gewaarborgd. Zo is er een kans op een reactief effect van het testen. Daarnaast kan het ontwerp zich niet verzekeren tegen reactie tussen selectie en de experimentele variabele. Zelf gerandomiseerde selectie zal verslagen worden door de hoge afname van deelnemers. Een oplossing hiervoor zou replicatie zijn.

Post-test-only controle groep ontwerp

In dit ontwerp zijn de voor-test metingen weggelaten. Deze zijn ook niet echt nodig wanneer men gebruik maakt van gerandomiseerde selectie. Men gaat er dan van uit dat er geen verschillen tussen de controle en experiment groep zijn.

Het bijbehorende diagram is als volgt:

R X O₁

R O₂

Het effect van de experimentele variabele is:

E= O₁ – O₂

De simpelheid van de betreffende test maakt dat deze aantrekkelijker is dan de pre-test-post-test. Bedreigingen van interne validiteit van geschiedenis, volwassenheid, selectie en statistische regressie worden tegengegaan door de gerandomiseerde selectie. Daarnaast is het een voordeel dat zelfs de bedreigingen van testen en instrumenten verminderd kunnen worden met deze test. Desondanks blijven de mortalitiy bedreigingen zich voordoen.

Het ontwerp vermindert het externe validiteits probleem van het interaction effect (zie hierboven), hoewel anderen problemen zullen blijven.

De experimentele benadering kan ook gecombineerd worden met een survey benadering. Een voorbeeld hiervan is de factorial survey, ook wel vignette survey genoemd waarbij de onderzoeker de respondent een korte en expliciete beschrijving van een situatie presenteert, en de respondent vervolgens vraagt de situatie te beoordelen of een beslissing te maken.

De beschrijving bevat de onafhankelijke variabelen (IV) en de respondent zijn/haar antwoord bevat de afhankelijke variabele (DV). Om deze benadering begrijpelijk te maken kunnen we verwijzen naar pag. 321 Student research; waar een voorbeeld van een factorial survey wordt gegeven.

Veld- en quasi-experimenten

Veldexperimenten

De voordelen van een laboratoriumonderzoek zijn onmiskenbaar. De onderzoeker heeft het vermogen om de onderzoeks-setting volledig te controleren en om externe invloeden te weren. Echter, deze controle is ten koste van een kunstmatige setting. Zelfs wanneer onderzoekers proberen de realiteit zo goed mogelijk te simuleren, hebben mensen door dat ze meedoen aan een onderzoek en veranderen zij hun gedrag. Veld experimenten worden uitgevoerd in een natuurlijke setting/omgeving en vaak weten deelnemers niet eens dat hun gedrag in de gaten wordt gehouden.

Voordelen van een veldexperiment ten opzichte van een laboratoriumexperiment:

• Bij een laboratoriumexperiment is het erg waarschijnlijk dat de deelnemers studenten zijn of medewerkers van de universiteit. Echter, bij een veldexperiment worden mensen gebruikt die een juiste weerspiegeling zijn van de populatie.

• Wanneer mensen niet weten dat zij meedoen aan een experiment, zullen zij hun gedrag ook niet aanpassen. Dit geeft de meest realistische weerspiegeling van het gedrag van de populatie.

• In laboratoriumexperimenten is het effect van de onderzoeker zelf problematischer dan bij een veldexperiment. Zo kunnen onderzoeker en deelnemer bij een laboratoriumexperiment meer met elkaar interacteren.

Nadelen van een veldexperiment ten opzichte van een laboratoriumexperiment:

• Onderzoekers kunnen geen onafhankelijke variabelen manipuleren

• Het aantal deelnemers kan variëren tijdens het experiment

• Omdat de deelnemers niet voorafgaande toestemming hebben gegeven, kunnen er ethische vragen opspelen

Quasi-experiment

Zoals we al eerder besproken hebben, zijn de meest belangrijke en voornaamste karakteristieken van een experiment:

• Dat de onderzoeker het vermogen heeft om de experimentele setting te controleren en de onafhankelijke variabelen te manipuleren

• Dat de gerandomiseerde toewijzing van deelnemers gebruikt wordt voor de experimentele en controle groep

Een quasi-experiment is inferieur aan een echt experiment ontwerp, maar is gewoonlijk superieur aan voor-experimentele ontwerpen wanneer deze met zorg uitgevoerd wordt. Quasi-experimenten zijn met name nuttig voor het bestuderen van effecten van goed gedefinieerde gebeurtenissen. Het voorkomen van zulke gebeurtenissen is vaak buiten het bereik van de onderzoeker en vaak ondoenlijk om deelnemers gerandomiseerd toe te wijzen.

Twee groepen van quasi-experimenten ontwerpen kunnen worden onderscheiden:

• Non-gelijke controle groep ontwerpen

• Tijd-series ontwerpen

Non-gelijke controle groep ontwerpen

Dit ontwerp verschilt van de pre-test-post-test doordat noch de test, noch de controle groepen gerandomiseerd geselecteerd zijn. Het bijbehorende diagram is als volgt:

O₁ X O₂

O₃ O₄

Merk hierbij op dat de onderzoeker de groepen niet gerandomiseerd geselecteerd heeft, maar dat hij gebruikt heeft gemaakt van natuurlijke groepen. Hoe meer de experimentele en controle groep op elkaar lijken, des te beter valt er een vergelijking te maken van pre-test resultaten. Een indicator van het niveau van gelijkheid tussen de test en controle groep is:

( O₁ – O₃ ).

Wanneer deze gelijk zijn, dan is er des te meer reden om aan te nemen dat de interne validiteit van het experiment goed is.

Tijd-series en vergelijkingsgroepen

Een tijd-serie ontwerp introduceert herhaaldelijk observaties voor en na de behandeling/het onderzoek, en maakt het mogelijk voor deelnemers om op te treden als hun eigen controles. Er moet bij een tijd-serie, net als bij een pre-test-post-test, sprake zijn van een controle groep.

Non-effect uitkomsten vertellen ons dat de onafhankelijke variabele, die we graag wilden weten, geen effect heeft op de afhankelijke variabele.

Wanneer een tijd-serie extreme waarden aanneemt, is het erg waarschijnlijk dat in de volgende periode de series weer naar de trend toegaan. Dus na het bereiken van een extreem hoge (of lage) waarde, daalt (of stijgt) de tijd-serie weer. Zo blijft deze haast altijd bij de trend van de grafiek.

Waarom gebeuren gebeurtenissen onder sommige voorwaarden en niet onder anderen? Onderzoeksmethoden die zulke vragen beantwoorden, zijn oorzakelijke methoden (causal methods). Daarnaast hebben ex-post factor onderzoeksontwerpen ook het potentieel om deze causaliteit te ontdekken.

Experimenten zijn studies waarbij de onderzoeker intervenieert in de werkelijkheid om een bepaalde causaliteit aan te tonen. De normale interventie is om de onafhankelijke variabelen te manipuleren in een bepaalde setting en om te observeren hoe het de afhankelijke variabele beïnvloedt. Er is altijd tenminste 1 afhankelijke (DV: Dependent variable) en 1 onafhankelijke (IV: Independent variable) in een causale relatie. We veronderstellen dat de IV op een of andere manier veroorzaakt dat de DV optreedt.

Er zijn drie soorten bewijs die de basis vormen voor een conclusie met betrekking tot een hypothese. Hieronder staat aangegeven welke soorten dit zijn.

• Allereerst moet er een overeenkomst zijn tussen de onafhankelijke en afhankelijke variabele. De aan- of afwezigheid van de een, is geassocieerd met de aan- of afwezigheid van de ander.

• Daarnaast moet er rekening worden gehouden met de tijdsvolgorde van de gebeurtenissen. Zo kunnen de variabelen beide haast tegelijkertijd voorkomen, maar in de regel moet de onafhankelijke variabele eerst gebeuren voordat de afhankelijke variabele optreedt.

• Tenslotte moet de onderzoeker er zeker van zijn dat andere ‘buiten de zaak staande’ variabelen de afhankelijke variabele niet hebben beïnvloedt. Een oplossing hiervoor zou kunnen zijn om de onderzoeken onder gestandaardiseerde omstandigheden van controle uit te voeren.

Waarom en wanneer worden vragenlijsten en meetinstrumenten gebruikt bij onderzoek? - Chapter 13

Het opstellen van vragenlijsten

De procedures die men gebruikt bij het ontwikkelen van een onderzoek variëren van onderzoek tot onderzoek. De flowchart geeft drie fases die we in dit hoofdstuk aan zullen houden. Deze worden aangegeven met de cijfers.

1. Managementonderzoeksvraaghiërarchie

De managementonderzoeksvraaghiërarchie is de basis van het onderzoeksproces en succesvolle instrumentenontwikkeling. Het omzetten van een management onderzoeksvraag naar vragen voor een vragenlijst verloopt als volgt.

• Managementdilemma: het dilemma, opgesteld in een vragende vorm is het probleem dat een manager opgelost moet hebben.

• Onderzoeksvragen: de feit- gebaseerde vertaling van de managementvraag die de onderzoeker moet beantwoorden om bij te dragen aan de oplossing van de managementvraag.

• Onderzoekende vragen: specifieke vragen die de onderzoeker moet beantwoorden om details en dekking te verzorgen over de onderzoeksvraag. In dit level kunnen er verschillende vragen zijn wanneer de onderzoeker zich van algemene naar specifieke vragen beweegt.

• Metende vragen: vragen die de deelnemers moeten beantwoorden als de onderzoeker bezig is om informatie te verzamelen en de managementvraag aan het oplossen is.

Als de onderzoeker eenmaal de connectie tussen de onderzoekende en de metende vragen snapt, dan is het kiezen van een strategie voor het onderzoek de volgende logische stap. Bij het bepalen van de strategie zijn de volgende vragen van belang:

• Welke communicatie benadering moet gebruikt worden?

• Welk soort gegevens zijn nodig om de managementvraag te kunnen beantwoorden?

• Moeten de vragen gestructureerd, ongestructureerd of een combinatie van beide zijn?

• Moeten de vragen vermomd of niet vermomd zijn? Zo ja, op welke manier?

Type gegevens

Het type gegevens dat verkregen wordt stelt de analytische procedures vast die mogelijk zijn gedurende de gegevensanalyse. Er zijn nominale, ordinale, interval en ratio gegevens zoals eerder uitgelegd.

Communicatiemethoden

Er zijn meerdere communicatie methodes, persoonlijk interview, telefoon, post, computer of combinaties hiervan. De keuze voor een communicatiemethode en de plaats van interviewen bepaalt het ontwerp van het instrument. Bij persoonlijke interviews en computervragen is het mogelijk en makkelijker om plaatjes en andere vraag toelichtingen te gebruiken. De verschillende bezorgmogelijkheden resulteren in verschillende introducties, instructies, instrument indeling en conclusies.

Vraagstructuur

Antwoord-strategie beslissingen hangen af van de inhoud en de objectieven van de specifieke vragen. Vraagbewoordingen hangen af van de gekozen communicatie en de pogingen om vooroordelen te controleren/in de hand te houden. Een interview schema (interview schedule) is een alternatieve term voor de vragenlijst (questionnaire) die gebruikt wordt in een interview. Deze twee termen bevatten beide drie typen meetvragen:

1. Administratieve vragen

2. Classificatie vragen

3. Doel (target) vragen

1. Administratieve vragen identificeren de participant, de interviewer, de interview locatie en de omstandigheden.

2. Classificatie vragen zijn in het algemeen de demografische variabelen die het mogelijk maken om de antwoorden van de participanten te categoriseren en zo bepaalde patronen te onthullen.

3. Doel vragen pakken de onderzoeksvragen van een specifiek onderzoek aan. We kunnen deze vragen onderscheiden in gestructureerde vragen (structured questions) en ongestructureerde vragen (unstructured questions). Gestructureerde vragen geven de participant een vaste set keuzes, vaak gesloten (closed) vragen genoemd. Ongestructureerde vragen beperken de participant niet in zijn/haar antwoorden maar geven een frame, waarbinnen de antwoorden moeten liggen, ook wel open-einde (open-ended) vragen genoemd.

Een diepte (in-depth) interview moedigt de participant aan om zoveel mogelijk informatie in een niet-gebonden omgeving te geven.

Focus groepen hebben de volgende procedure. De interviewer heeft in het algemeen een lijst met specifieke punten welke hij/zij graag ter discussie wil stellen binnen de groep en deze worden gebruikt om te vragen aan de groepsleden. Wanneer de discussie binnen banden blijft, laat de interviewer de interactie doorgaan.

Het verbergen van onderzoeksdoelen en sponsors

Moet het doel van een studie verborgen worden? Een bepaald niveau van verbergen is vaak aanwezig in onderzoeksvragen, vooral om de sponsor van de studie te beschermen. Een vermomde vraag (disguised question) is gemaakt om de vraag zijn ware doel te verbergen. Een doel of sponsor wordt verborgen bij een studie als de onderzoeker gelooft dat de deelnemer anders zal reageren als een van beide bekend zouden zijn.

Wanneer moet iets verborgen gehouden worden? Hier zijn vier situaties gegeven;

1. Gewillig – gedeelde, bewuste informatie

2. Aarzelend – gedeelde, bewuste informatie

3. Wetend gelimiteerd bewuste informatie

4. Onderbewuste informatie

Gewillig-gedeelde bewuste informatie

Wanneer er gevraagd wordt om dit type informatie kunnen er ofwel vermomde of niet vermomde vragen gebruikt worden. De situatie vereist zelden vermommingtechnieken.

Aarzelend-gedeelde bewuste informatie

Als er gevraagd wordt naar een mening over een bepaald onderwerp waarover deelnemers misschien een sociaal onacceptabele visie hebben, gebruiken we vaak projectie technieken (een vermomde vraag methode). Dit omdat deelnemers hun ware gevoelens niet kunnen of willen uiten of ze geven stereotype antwoorden. De onderzoeker kan meer nauwkeurige antwoorden aanmoedigen door de vragen hypothetisch te stellen of door mensen te vragen hoe ze denken dat anderen over het onderwerp denken. De veronderstelling is dat de reacties op de vragen de mening van de ondervraagde weergeeft.

Wetend gelimiteerd bewuste informatie

Wanneer de vragen over houding van een individu gaan, kan het zijn dat deze zich niet bewust is waarom hij/zij deze houding aanneemt. Door de vraag te vermommen kan het individu dan toch op een antwoord komen. Op pagina 390 vind je een voorbeeld terug van een situatie waar in een dergelijke situatie zich voordeed.

Onderbewuste informatie

Bij onderzoek naar motivaties en onderliggende houdingen is het soms nodig om de vragen te vermommen maar soms ook niet. Projectieve technieken (zoals een test in het compleet maken van zinnen, plaatjes etc) vermommen grondig het studie doel. Maar ze zijn meestal moeilijk te interpreteren.

Naast het vermommen van specifieke doelen van vragen, kan men ervoor kiezen om de sponsor van een onderzoek bewust niet te noemen. Er kunnen twee redenen voor deze keuze naar voren worden gebracht. Allereerst kan het zijn dat de sponsor zelf niet wil dat anderen hun identiteit weten om strategische redenen. Daarnaast kan het zijn dat onderzoekers niet willen dat de naam van de sponsor bekend wordt bij de respondenten, omdat ze geloven dat dit hun antwoord-gedrag zal veranderen.

Voorafgaand analyse plan

Onderzoekers zijn bezorgd over de adequaatheid van de dekking van het onderwerp. Een goede manier om te testen hoe goed het onderzoek-ontwerp aan de behoeften voldoet, is om een ‘dummytabel’ te ontwerpen. Deze geeft de gegevens waarvan de onderzoeker verwacht dat ze verkregen worden. Hiermee kan een onderzoeker vervolgens bepalen of er nog aanpassingen gedaan moeten worden aan het onderzoek.

2. Opstellen en verfijnen van de metende vragen

In de tweede fase worden specifieke metende vragen ontworpen in overstemming met het onderwerp, de verwoording van elke vraag en de reactie strategie.

De volgorde, het type en de bewoording van de meetvragen, de introductie, de instructies, de overgangen en de afronding in een kwaliteitscommunicatie instrument moeten de volgende taken voltooien:

1. Elke participant aanmoedigen om nauwkeurige antwoorden te geven

2. Elke participant aanmoedigen om een nauwkeurige hoeveelheid informatie te geven

3. Elke participant ontmoedigen om antwoorden van specifieke vragen te weigeren

4. Elke participant ontmoedigen om medewerking te staken

5. Elke participant met een positieve houding over de interview-medewerking achterlaten

1. Het spreekwoord: ‘kinderen en dronken mensen spreken de waarheid’ wijst op het gevaar dat uitgebreide cognitieve processen, bedoeld om meer accurate antwoorden te geven, de waarheid in feite kan verhullen. Een snel antwoord is vaak dichter bij hetgeen wat een respondent echt denkt en voelt, dan een wel-uitgewerkt/wel-uitgedacht antwoord.

2. Dit is vooral een probleem in ongestructureerde interviews. Waar sommige respondenten erg spraakzaam zijn, kunnen anderen erg gelimiteerd zijn in hun antwoorden. Een oplossing hiervoor is het ‘proben’ (hierboven genoemd) waardoor men ‘luie’ respondenten aanmoedigt meer informatie te verstrekken en spraakzame respondenten aanspoort om hun extensieve antwoorden meer op de cruciale punten te focussen.

3) De kans op antwoord weigering wordt vergroot door de gevoeligheid in een vraag. Benadrukken dat een antwoord van de participant essentieel is voor de studie, en dat het antwoord vertrouwelijk is, kan de antwoorden op de betreffende vragen vermeerderen. Erkenning van de gevoeligheid van de vraag in de introductie kan ook leiden tot meerdere antwoorden van respondenten.

4. Dit komt vooral voor in mail-vragenlijsten, omdat men hier, in tegenstelling tot de telefoon en het persoonlijke interview, geen kans heeft om de participant over te halen om met het onderzoek door te gaan. Het is dan erg van belang dat participanten het leuk vinden om de vragenlijst in te vullen.

5. De introductie van een interview met de nadruk op het belang van de participant zijn antwoorden ten opzichte van het project, en het afsluiten met een waardering voor de participant zijn/haar bereidheid om mee te werken, zijn simpele en gemakkelijke manieren om een algemene positieve houding tegenover een interview te verkrijgen.

De inhoud van de vragen

De inhoud van de vragen wordt grotendeels bepaald door de onderzoeksvragen. Onderstaande vragen helpen een onderzoeker bij het opstellen en selecteren van vragen:

1. Zou deze vraag gesteld moeten worden? Betreft kwestie 1.

2. Heeft de vraag gepast bereik en dekking? Betreft kwestie 2, 3 en 4.

3. Kan de deelnemer adequaat antwoorden? Betreft kwestie 5 ,6, 7, 8, 9 en 10.

4. Willen de deelnemers deze vraag beantwoorden? Betreft kwestie 11.

Kwestie 1: Doelmatig vs. Interessant

De belangrijkste vraag die we hier moeten stellen is: ‘voegt de vraag significante informatie toe aan het beantwoorden van de onderzoeksvraag?’ Dit is de specifieke vraag waardoor men kan beslissen of de vraag wel of niet wordt gesteld. Interessante vragen kunnen namelijk niet worden gerechtvaardigd op economische- of onderzoeks-gronden.

Kwestie 2: Incompleetheid vs. Niet-gefocust

Dit kan getest worden door de vraag te stellen: ‘zal deze vraag alles openbaren wat we willen weten?’ Vragen zijn inadequaat als zij niet de informatie verzorgen die je nodig hebt om de reacties volledig te interpreteren.

Kwestie 3: Meerdere vragen

‘Bevat de vraag zoveel inhoud dat deze moet worden gebroken in twee of meer vragen (multiple questions)?’ Hoewel het verminderen van de totale hoeveelheid vragen erg wenselijk is, moet men niet proberen twee of meer vragen in één te stoppen (double-barrelled questions). Op deze manier moet de participant verschillend reageren om de nauwkeurigheid van de data te waarborgen.

Kwestie 4: Precisie

Om een vraag op precisie te beoordelen kan men vragen: ‘vraagt de vraag precies wat we willen en moeten weten?’ In het bijzonder, wanneer er gevraagd wordt naar terugkerende gebeurtenissen, is het verstandig om de gevraagde periode kort te houden of de antwoordmogelijkheden uit te breiden. Een tweede precisie kwestie is de vraag of er sprake is van een gezamenlijke vocabulaire tussen interviewer en participant. Hierbij kan de vraag gesteld worden: ‘moet ik de operationele definities geven van de concepten en constructen die in de vraag gebruikt worden?’ Dit geeft het belang van operationele definities aan, als onderdeel van vraagbewoordingen.

Kwestie 5: Tijd voor gedachten

Om een antwoord op een vraag in een kader te plaatsen, heeft een participant tijd en gedachten nodig. De vraag: ‘is de vraag op zo’n manier gesteld dat de participant in staat is het antwoord in een kader te plaatsen of is het redelijk om aan te nemen dat de participant het antwoord vast kan stellen?’ kan gebruikt worden om de tijd voor de gedachten te beoordelen. Oplossingen hiervoor kunnen zelfgemaakte vragenlijsten en vooraf gegeven informatie zijn.

Kwestie 6: Deelname ten koste van de nauwkeurigheid

Participanten willen graag meedoen in interviews, waardoor ze aannemen dat het geven van antwoorden meer helpt dan het ontkennen van kennis over het onderwerp.

Hun verlangen om de interviewer te imponeren kan hen aanmoedigen om antwoorden te geven die op geen informatie gebaseerd zijn. De participant neemt klaarblijkelijk aan dat wanneer een vraag gesteld wordt, er antwoord moet worden gegeven. Het geven van redelijk-klinkende keuzes, maakt dat ze één selecteren terwijl ze niks van het onderwerp afweten.

Kwestie 7: Veronderstelde kennis

De ontwerper van de vragen moet de participant zijn/haar informatieniveau meenemen voor het vaststellen van de inhoud en de geschiktheid van de vragen. In sommige onderzoeken kan het niveau van participant expertise wezenlijk zijn, en een gesimplificeerde uitleg is dan ongeschikt en ontmoedigt medewerking. Een hoog niveau van kennis binnen de steekproef personen betekent echter niet dat er geen operationele definities gegeven hoeven te worden. Wanneer een construct betrokken is, en verschillende interpretaties van een concept mogelijk zijn, zijn operationele definities nog steeds nodig.

Kwestie 8: Herinnering en geheugenverval

Het nauwkeurigheidsprobleem komt ook voor wanneer er vragen worden gesteld die het herinnervermogen van de participant overstijgen. Wanneer de gebeurtenissen van de geïnterviewde van incidentele interesse zijn, zijn participanten waarschijnlijk niet in staat om ze correct te herinneren ook al beslaat het een korte periode. Daarnaast is retroactiviteit (retrospectiveness) een bijkomend precisieprobleem en wordt ernstiger wanneer de periode tussen de gebeurtenis van het gedrag en de tijd van het interview zit, omdat participanten het moeilijk vinden om gebeurtenissen te herinneren wanneer ze langer geleden gebeurd zijn.

Kwestie 9: Balans: algemeen vs. specifiek

Nauwkeurig antwoorden hangt ook af van de juiste balans tussen algemeenheid en specificiteit. We vragen vaak te algemene vragen die vrijstaan van de belevingen van de participant. Er heerst daarnaast ook het gevaar dat men te specifiek is, en dat daardoor de mensen niet een juist beeld kunnen geven van hun belevingen.

Kwestie 10: Objectiviteit

De vaardigheid van participanten om nauwkeurig te antwoorden wordt vaak verdraaid door vragen waarvan de inhoud bevooroordeeld is door wat er bijgevoegd of weggelaten is. De vraag kan expliciet alleen de positieve of negatieve aspecten van een onderwerp belichten of kan ongerechtvaardigde assumpties over de positie van de participant aannemen. Een vraag waarin assumpties of suggesties vooraf zijn geplaatst over een participant noemen we een leidende vraag (leading question).

Kwestie 11: Gevoelige informatie

Zelfs al hebben de participanten de antwoorden, dan nog kunnen ze onwillig zijn om deze antwoorden te geven. Sommige onderwerpen worden te gevoelig bevonden om te bespreken met vreemden. Deze onderwerpen variëren van persoon tot persoon, maar één studie suggereert dat de meest gevoelige onderwerpen familie en geld betreffen. Daarnaast kunnen participanten onwillig zijn vanwege ego redenen. Voorbeelden zijn het overdrijven van het inkomen en de hoeveelheid literatuur die men heeft gelezen. De participanten worden onwillig en zien de vragen als irrelevant met betrekking tot hun interesse of hun eigen perceptie van het doel van het onderzoek.

Vraagverwoording

Frustrerend is het als mensen een vraag niet begrijpen als die zorgvuldig is opgeschreven. Dit probleem kan voor een deel toegeschreven worden aan het gebrek aan woordkennis.

1. Wordt de vraag gesteld in termen die de respondent begrijpt?

2. Bevat de vraag woorden die maar op één manier uitgelegd kunnen worden?

3. Bevat de vraag niet ondersteunende of misleidende vooronderstellingen?

4. Bevat de vraag bevooroordeelde verwoordingen?

5. Is de vraag correct gepersonaliseerd?

6. Zijn er adequate alternatieve gepresenteerd binnen de vraag?

Kwestie 12: Gedeelde vocabulaire

Interviewen is het uitwisselen van ideeën tussen interviewer en participant. Begrip tussen beide is belangrijk. Dit gebeurt door midden van een gedeelde vocabulaire. Twee problemen kunnen zich voordoen:

1. De woorden moeten simpel genoeg zijn om een nauwkeurige communicatie met personen met een gelimiteerde opleiding te verkrijgen.

2. Technische taal is het tweede probleem. Zelfs hoog opgeleide participanten ervaren het als lastig wanneer er een onbekende technische taal gebruikt wordt. Bovendien is het lastig voor de onderzoekers zelf om hier conclusies op te baseren.

Dit vocabulaire probleem bestaat ook wanneer gelijke of gelijksoortige onderzoeken afgenomen worden in verschillende landen en in verschillende talen. Een groot obstakel voor het effectief bewoorden van vragen is de keuze van de woorden. We kunnen gebruik maken van de volgende checklist om de precisie van de woorden te beoordelen:

• Betekent het woord dat wat we willen?

• Heeft het woord verschillende betekenissen? Zo ja, maakt de context de betreffende betekenis duidelijk?

• Heeft het woord meer dan één uitspraak? Is er een woord met dezelfde uitspraak met welke het gekozen woord in verwarring kan worden gebracht?

• Is er een simpeler woord of simpelere zin mogelijk?

Gedeelde vocabulaire kwesties komen aan bod bij het gebruik van onderstaande:

• Simpele in plaats van complexe woorden.

• Interviewers met kennis van de inhoud.

• Algemeen gekende, ondubbelzinnige woorden.

• Precieze woorden.

Kwestie 13: Niet-ondersteunde assumpties

Ongerechtvaardigde assumpties dragen bij aan veel problemen bij vraag-bewoordingen. De ongerechtvaardigde assumpties die in een vragenlijst opgenomen zijn, kunnen een significant kleinere antwoordverhouding veroorzaken dan verwacht. Dit kan ervoor zorgen dat vragen oninterpreteerbaar worden.

Kwestie 14: Referentiekader

Problemen die samengaan met woordbetekenissen zijn een verkeerd referentiekader. Ieder van ons begrijpt concepten, woorden en expressies vanuit onze eigen ervaringen. Het referentiekader kan op twee manieren in de hand worden gehouden:

1. De interviewer kan proberen inzicht te krijgen in het referentiekader dat wordt gebruikt door de participant.

2. Het is handig om het referentiekader te specificeren, zodat er geen twijfel over de interpretatie kan ontstaan.

Kwestie 15: Bevooroordeelde formulering

Vooringenomenheid is de verdraaiing van antwoorden in één bepaalde richting. Het kan resulteren in veel problemen die we hierboven al genoemd hebben, maar een grote bron is vaak de woordkeuze.

Sterkte adjectieven kunnen vooral erg verdraaiend werken. Een subtielere vorm van vooringenomenheid is het feit dat respondenten eerder akkoord gaan met een vraag en deze met ‘ja’ beantwoorden. Dit is vooral wanneer ze geen sterke mening hebben over een kwestie.

We kunnen daarnaast de respondent bevooroordelen door het gebruik van prestigieuze namen in een vraag. Tenslotte kunnen we de respndent bevooroordelen door het gebruik van superlatieven, dialect (slang) uitdrukkingen en grillige woorden.

Kwestie 16: Personalisatie

De mate van personalisatie in een vraag is onbekend. Het is echter wel bekend dat het personaliseren van vragen daadwerkelijk effect heeft op de antwoorden van de respondenten. Wanneer er onzekerheid heerst over het kiezen van de correcte methode, kan er gebruik worden gemaakt van de gedeelde interview versies (split survey versions).

Kwestie 17: Nauwkeurige alternatieven

Hebben we nauwkeurig de alternatieven uitgelicht met betrekking tot het punt van de vraag? Is het verstandig om elk alternatief expliciet aan te geven om vooroordelen te vermijden? Deze vragen kunnen gesteld worden die betrekking hebben op deze kwestie.

3. Reactiestrategie

Een derde grote beslissing die genomen moet worden bij het ontwerpen van vragen is welk vorm en structuur opgelegd worden aan de deelnemer. De verschillende reactiestrategieën bieden de volgende mogelijkheden aan:

1. Ongestructureerde reactie (open einde reactie)

2. Gestructureerde reactie (gesloten reactie).

Situationele determinanten van strategische reactiekeuze

Een aantal situationele factoren bepalen de keuze of er open of gesloten vragen gevraagd moeten worden. De keuze wordt ook bepaald door het niveau van de kennis die de interviewer heeft over de factoren. De factoren zijn:

• Doelen van de studie

• Kennisniveau van deelnemers over het onderwerp

• Het gemak waarmee gecommuniceerd wordt

• Deelnemersmotivatie niveau om informatie te delen

Kwestie 18: Doel van de studie

Als het doel van een vraag alleen is het classificeren van een participant met betrekking tot een perspectief, dan werkt de gesloten vraag het beste. Wanneer het doel het ontdekken van een wijder territorium is, kan men beter open vragen gebruiken. Open vragen zijn geschikt wanneer het doel van het onderzoek het ontdekken van de meningen en kennisniveaus, de bronnen van informatie, de data van gebeurtenissen, suggesties, of wanneer ‘proben’ wordt gebruikt voor het verkrijgen van meer informatie is. Daarnaast zijn open vragen geschikt wanneer het onderwerp buiten de beleving van de respondent ligt. Open vragen helpen het ontdekken van bepaalde gevoelens en expressies van intensiteit, alhoewel goed opgestelde antwoorden hetzelfde kunnen doen.

Kwestie 19: Grondigheid van de voorafgaande gedachte

Wanneer de participant een duidelijke mening over het onderwerp heeft verkregen, is een gesloten vraag voldoende. Wanneer een antwoord niet uitgedacht is, kan men beter open-vragen gebruiken.

Kwestie 20: Communicatie vaardigheden

Open-vragen vragen om een groter begrip van de vocabulaire en een grotere vaardigheid om antwoorden in een kader te plaatsen, dan gesloten vragen.

Kwestie 21: Participantmotivatie

Ervaringen hebben aangetoond dat gesloten vragen minder motivatie bevatten en het beantwoorden is minder dreigend dan bij open-vragen, alhoewel gesloten vragen kunnen ook zorgen voor vooroordelen. Concluderend kunnen we stellen dat open-vragen meer voordelen bevatten, terwijl gesloten vragen meer gewenst zijn in grote interviews.

Mogelijke reactiestrategieën

Vrije-reactie-strategie

Stelt een deelnemer in staat een volledig eigen antwoord te formuleren.

‘Dichotomous’ reactiestrategie

Een onderwerp geeft duidelijke dichotomous keuzes weer; iets is een feit of niet, iets heeft wel of niet plaats gevonden. Dichotomous vragen geven tegenovergestelde antwoordmogelijkheden, terwijl in de praktijk iemand niet altijd tussen twee extremen zal kiezen. Een antwoord kan zo onlogisch zijn dat je beter een minder extreme antwoordkeuze kan aanbieden.

Als de deelnemer de antwoordmogelijkheden niet kan accepteren dan kan de vraag omgezet worden in een multiple-choice vraag of een noteringvraag (rating). Dichotomous vragen generen nominale gegevens.

Multiple-choice-strategie

Deze vragen zijn geschikt als er meer dan twee alternatieven zijn of we zoeken naar gradaties in voorkeuren, interesse of overeenkomst. In het laatste geval kunnen noterende vragen gesteld worden. Er kunnen ook verschillende problemen ontstaan. Er wordt een keuze niet genoemd of de deelnemer wordt verplicht één van de antwoorden te kiezen. Het is hierbij belangrijk om representatieve alternatieven op te stellen.

Bij non-numerieke alternatieven leidt het er vaak toe dat de deelnemer het eerste alternatief moet kiezen (primacy effect) of het laatste (recency effect). Multiple-choice-vragen generen normaal nominale gegevens. Wanneer de keuzes getallen zijn, zal deze reactiestructuur tenminste interval en soms ratio gegevens produceren. Wanneer de keuzes geordende numerieke bereiken representeren of verbale noterende schaal genereren multiple-choice-vragen gegevens die gerangschikt kunnen worden.

Checklist reactiestrategie

Als er een ondervraagde gevraagd wordt waarom hij/zij de trein heeft genomen kan dit aan de hand van een checklist aangekruist worden. Checklisten generen nominale gegevens.

Ratingstrategie

Ratingvragen vragen de deelnemer om elke factor te positioneren op een schaal, verbaal, numeriek of grafisch. Over het algemeen genereren noterende schaalstructuren ranggegevens. Sommige voorzichtige vervaardigde schalen generen intervalgegevens.

Rankingstrategie

Deze strategie wordt gebruikt wanneer het belangrijk is om de relatieve volgorde van de alternatieven te weten. De vraag bij de rankingstrategie is: ‘hoeveel gepresenteerde factoren zouden gerangschikt moeten worden?’ Als je wilt dat de motivatie van deelnemers voldoende blijft moet je vermijden dat de deelnemer meer dan zeven keuzes moet rangschikken. Rangschikken geeft ordinale gegevens.

Bronnen van bestaande vragen

Het gereedschap van de datacollectie moeten gevormd worden door het probleem en niet andersom. Maar het maken en verfijnen van vragen vraagt aanzienlijk veel tijd en moeite. Voor sommige onderwerpen kan dan gebruik gemaakt worden van bestaande instrumenten. Echter, houdt wel rekening met de moeite die uit dit gebruik resulteert met betrekking tot de generaliseerbaarheid van de betrouwbaarheid en validiteit van de geselecteerde items of proporties van een vragenlijst die uit hun normale context zijn gehaald. Daarnaast zijn oorzaken van problemen onder andere de taal, de zinnen en het idioom.

Het opstellen en verfijnen van het instrument

In exhibit 14.10 zijn alle drie fases van het instrumentontwerp uitgelegd, en hier kunnen we ook zien dat het gaat om een meervoudig proces wat bestaat uit onderstaande stappen.

• Het ontwikkelen van het deelnemers screen-proces samen met de introductie

• Het bepalen van de volgorde van de metende vragen:

• Identificeren van onderwerpsgroepen;

• Het vestigen van een logische opeenvolging voor de vraag groepen en de vragen binnen de groepen;

• Het ontwikkelen van overgangen tussen deze groepen.

• Het voorbereiden en invoegen van instructies voor deelnemer en interviewer

• Het creëren en invoegen van een conclusie inclusief een onderzoek beschikking verklaring

• Het voortesten van vragen en instrumenten als geheel

Introductie

De introductie moet deelnemers motiveren om deel te nemen aan het onderzoek. Het moet genoeg vertellen over de aanstaande vragen, meestal door de onderwerpen te benoemen, om de deelnemers te laten beslissen hoeveel interesse ze hebben en hoeveel nuttige informatie zij kunnen verstrekken. In de inleiding wordt de tijd die het kost om deel te nemen aan het onderzoek vermeld. Ook het doel van de studie wordt vaak duidelijk gemaakt.

Volgorde van de vragen

Vaak gaat de inhoud van een vraag er vanuit (branched question) dat andere vragen al gesteld zijn en beantwoord zijn.

De psychologische volgorde van de vragen is ook belangrijk; de volgorde kan grote invloed hebben op de bereidheid van de respondent om te blijven meewerken. Het basis principe dat gebruikt wordt om de volgorde van de vragen te bepalen is het volgende: de eigenschappen en behoeften van de deelnemer moet de volgorde van vragen vaststellen. Er zijn vier richtlijnen zijn opgesteld die het werken volgens dit principe vergemakkelijken:

1. Vragen die interessant zijn moet je aan het begin stellen.

2. Gevoelige en ego –betrekkende informatie: er moet in een interview niet te snel naar persoonlijke dingen gevraagd worden. Het is beter om eerst wat buffer vragen te stellen. Dit zijn neutrale vragen.

3. Begin met simpele vragen.

4. Algemeen tot specifiek: de procedure om te bewegen van algemene naar meer specifieke vragen wordt ook wel de tunnel benadering genoemd.

Vraaggroepen en overgangen

De laatste vraag volgorde richtlijn raadt aan om vragen zo te stellen dat je langzaam van het ene onderwerp over gaat naar het andere onderwerp. Dit om te voorkomen dat respondenten vragen verkeerd interpreteren.

Instructies

Instructies voor de interviewer of deelnemer zorgen ervoor dat alle deelnemers gelijk behandeld worden. Twee principes vormen de basis van goede instructies: helderheid en beleefdheid. Instructie onderwerpen:

• Hoe beëindig je de medewerking van ongeschikte deelnemer?

• Hoe sluit je een interview af als de respondent niet meer wenst mee te werken?

• In welke volgorde kunnen/moeten vragen beantwoord worden?

• Wat te doen met een ingevulde vragenlijst?

Conclusie

De rol van een conclusie is dat de deelnemer achter te laten met de indruk dat zijn betrokkenheid waardevol was.

Overwinnen van instrumentproblemen

Een onderzoeker kan verschillende dingen doen om onderzoeksresultaten te verbeteren:

• Bouw een verstandhouding op met de deelnemer

• Herontwerp het vraagproces

• Ontdek een alternatieve reactiestrategie

• Gebruik verschillende methodes om gegevens te verkrijgen

• Test eerst alle onderzoekelementen

De waarde van het vooraf testen

Het vooraf testen is niet alleen handig voor het ontdekken van fouten, het is ook nuttig voor het trainen van het onderzoeksteam.

• Bepalen van deelnemers interesse: een belangrijk deel van het vooraf testen is het ontdekken van de reacties van de deelnemers op de vragen.

• Betekenis: vragen die we lenen uit het werk van andere dragen een autoriteit die ons er doen van weerhouden om ze te testen.

• Vraag transformatie: het kan bij deelnemers voorkomen dat ze niet elk woord begrijpen in de vraag. Hierdoor kan het gebeuren dat een deelnemer een vraag anders interpreteert.

• Continuïteit en stroom: vragen moeten moeiteloos kunnen worden gelezen en moeten kunnen doorstromen van de ene vraag naar de andere. Wanneer aan de orde, moet het geluid van de vragen en de voortgang ook vloeiend zijn.

• Vraagvolgorde: de vraagvolgorde speelt een belangrijke rol in het succes van het instrument. Veel autoriteiten raden aan om te beginnen met stimulerende vragen, waarna gevoelige vragen later kunnen worden gevraagd. Zo kan er een vertrouwensband worden opgebouwd.

• Skip instructies: skip instructies zijn ontworpen voor het begeleiden van de antwoorden van de respondent naar een andere vraag afhankelijk van het antwoord op de voorgaande vraag. Het effect van deze skip instructies is afhankelijk van het soort onderzoeksmethode. In de regel leveren meer skip-instructies meer bijkomende activiteiten op, doordat er ook meer vooraf moet worden onderzocht.

• Variabiliteit: met een kleine groep participanten is het lastig om door voorgaande vragen duidelijkheid te verkrijgen over kwantitatieve conclusies, omdat er niet goed een onderscheid tussen de participanten kan worden gemaakt voor een specifieke populatie.

• Lengte en timing: de meeste ontwerp vragenlijsten of interviewschema’s lijden onder hun lengte. Door het timen van elke vraag en elke sectie, is de onderzoeker in een beter positie om beslissingen te maken over het aanpassen en verwijderen van materiaal.

De procedures die men gebruikt bij het ontwikkelen van een onderzoek variëren van onderzoek tot onderzoek. De flowchart geeft drie fases die we in dit hoofdstuk aan zullen houden. Deze worden aangegeven met de cijfers.

Wat is het doel van metingen en meetschalen bij onderzoek? - Chapter 14

Meten

Metingen in onderzoeken doen bestaat uit het toewijzen van getallen aan empirische gebeurtenissen aan de hand van een stel regels. Het meetproces beslaat 3 stappen:

1. Selecteren van observeerbare gebeurtenissen

2. Het ontwikkelen van mapping rules: een schema van getallen of symbolen die worden toegewezen aan bepaalde aspecten van de gebeurtenissen die worden gemeten.

3. Het toepassen van de mapping rules op elke observatie van die gebeurtenis.

Het doel van meten is om gegevens van zo hoog mogelijke kwaliteit, met daarin het laagste te leveren fouten voor het testen van hypotheses te krijgen.

Wat wordt gemeten?

Bij het doen van onderzoek kunnen variabelen in twee groepen verdeeld worden namelijk in objecten en eigenschappen. Objecten omvatten alledaagse dingen zoals tafels, stoelen etc. Objecten zijn daarnaast de niet tastbare dingen zoals genen, neutronen etc. Eigenschappen zijn de karakteristieken van het object. In letterlijk opzicht meten onderzoekers niet objecten of eigenschappen. Zij meten indicaties van de objecten of de indicaties van de eigenschappen van de objecten.

Soorten gegevens

Mapping rules hebben 4 eigenschappen:

• Classificatie: getallen worden gebruikt om resultaten te groeperen en te sorteren. Hierin bestaat geen volgorde.

• Volgorde: nummers zijn geordend. Getallen zijn groter, kleiner, gelijk aan een ander getal. A > B > C, dan is A ook groter dan C.

• Afstand: verschillen tussen getallen zijn geordend. Het verschil tussen een paar getallen is groter dan, kleiner als of gelijk aan het verschil tussen twee andere getallen.

• Oorsprong: de serie van nummers heeft een uniek begin aangeduid dor het getal 0.

Combinaties van deze eigenschappen leiden tot vier typen van metingen en gegevens.

1. Nominale gegevens

2. Ordinale gegevens

3. Interval gegevens

4. Ratio gegevens

Zoals we in deze exhibit ook kunnen zien, bevatten de ratio variabelen de meeste informatie en nominale variabelen de minste. Bovendien kan men gemakkelijk een ratio variabelen transformeren in een interval, ordinaal of nominale variabele, maar dit kan niet andersom. Zoals in exhibit 13.2 kan men wel naar boven bewegen, maar niet naar beneden.

1. Nominale gegevens

Met nominale gegevens verzamel je informatie over een variabele die van nature of door ontwerp in twee of meer categorieën verdeel kan worden die wederzijds exclusief zijn en gezamenlijk alle mogelijk opties bevatten. Het tellen van leden in elke groep is de enige bewerking die met deze gegevens uit te voeren is.

Als er numerieke symbolen gebruikt worden in de mapping rules om categorieën te identificeren, dan worden deze nummers alleen herkend als labels en hebben ze geen kwantitatieve waarde. Je kunt er dus niet mee rekenen. Nominale schalen zijn het minst krachtig van alle vier de gegevens types. Ze suggereren geen ordening of afstandsrelatie en hebben geen rekenkundige oorsprong.
Je kan alleen maar meten hoeveel elementen er elk zijn en in welke categorie. De centrummaat is de modus. Er zijn geen metingen voor de spreiding van nominale schalen. Daarnaast mogen voor de statistische significantie verschillende testen worden gebruikt waarvan de chi-kwadraat test de meest gebruikte is. Kruistabellen van deze en andere variabelen geven inzicht in de belangrijke data patronen.

Onderzoekers classificeren vaak de objecten in nominale categorieën en nemen daarbij aan dat een categorie de karakteristieken reflecteert die minstens kunnen worden geïnterpreteerd als ordinale gegevens. Hiermee moet men echter wel voorzichtig zijn. Maar wanneer de nominale categorisatie in principe afgeleid is van het construct, is dit redelijk.

2. Ordinale gegevens

Ordinale gegevens omvatten de karakteristieken van de nominale schaal en een indicator van ordening. Ordinale gegevens zijn mogelijk als de transivity hypothese is voltooid. Deze hypothese verklaart dat als a groter is dan b en b is groter dan c, dan is a groter dan c. In tekens weergegeven:

A > B > C = A > C

Als ordinale schalen worden gebruikt, wordt er vaak groter dan of kleiner als gebruikt. Gelijk aan kan ook, maar er wordt nooit gezegd hoeveel groter of kleiner iets is. Het verschil tussen de rangen hoeft niet gelijk te zijn, als er maar volgorde in zit.

Het zal daarnaast lastig zijn voor de onderzoeker, wanneer meerdere variabelen van interesse moeten worden geordend of wanneer de verschillende antwoorden gecombineerd moeten worden.

Het is beter om geordende gegevens te veranderen in interval gegevens, zodat de waarden dan toegevoegd kunnen worden en gemiddelden kunnen worden berekend. Een bekend voorbeeld is Thurstone’s Law of comparative judgement. De simpelste vorm van Thurstone’s procedure zegt dat de afstand tussen schaal posities tussen twee objecten, a en b, afhangt van het percentage van oordelen waarin a geprefereerd wordt boven b. De centrummaat is in dit geval de mediaan. De spreiding kan worden gemeten met percentielen of kwartiel-metingen. Metingen voor statistische significantie zijn technisch beperkt tot de methoden die vallen onder niet-parametrische methoden.

3. Intervalgegevens

Intervalgegevens hebben de kracht van nominale en ordende gegevens plus een extra kracht. Zij fuseren het begrip van gelijkheid van het interval. Dit is de afstand tussen 1 en 2 is gelijk aan de afstand tussen 2 en 3. Men kan hier echter nog niet goed mee rekenen, omdat de zero tijd (het nulpunt) willekeurig genomen is. Het rekenkundige gemiddelde is de centrummaat. De standaarddeviatie is de meting voor de spreiding. De statistische significantie wordt gemeten door parametrische methoden, waarbij valt te denken aan de T-test en de F-test. Echter, wanneer de verdeling van de data heel erg afwijkend is naar één kant (right- or left-skewed), maken we gebruik van de mediaan als centrummaat en gebruiken we de interkwartielafstand als spreidingsmaat.

4. Ratiogegevens

Ratiogegevens verenigen alle voordelen van de voorgaande gegevens soorten plus de bepaling voor het absolute nul punt of de oorsprong. Ratiogegevens geven de actuele hoeveelheid van de variabele weer. Metingen van fysieke dimensies zoals gewicht en hoogte zijn voorbeelden.

Men kan hiermee vermenigvuldigen, delen, harmonieuze en geometrische gemiddeldes als centrummaten nemen en coëfficiënten van variaties gebruiken.

Onderzoekers komen vaak het probleem tegen van het evalueren van variabelen die gemeten zijn op verschillende data niveaus.

De oplossing die men hiervoor kan gebruiken is dat het omzetten van/of het herschalen van een variabele samen gaat met het verminderen van de meting van het krachtigere en robuustere niveau naar een minder niveau. Met anderen woorden: stel men wil een ratio en een nominaal gegeven met elkaar vergelijken. Dan zet men het ratio gegeven (de krachtigere en robuustere) om naar een nominaal gegeven. Wanneer dit gedaan is zijn ze gelijk aan elkaar en kan er vergeleken worden.

Bronnen van meetverschillen

Veel potentiële fouten zijn systematisch (resultaat van vooroordelen) terwijl de rest willekeurig (random error) is. Er bestaan vier bronnen van meetvervuiling:

• De ondervraagde. Meningsverschillen die de metingen beïnvloeden komen van betrekkelijke stabiele kenmerken van de ondervraagde. Typische gevallen zijn werknemers status, etnische achtergrond, sociale klasse en de nabijheid tot de bron. Maar er zijn ook minder duidelijke dimensies (hierbij kan men denken aan een trauma). Daarnaast kunnen respondenten onwillig zijn in het uiten van hun sterke positieve en negatieve gevoelens of meningen. Ook kunnen de respondenten beschikken over weinig kennis, wat hen onwillig maakt om dit toe te geven. Tenslotte kunnen tijdelijke factoren zoals vermoeidheid, verveling en andere afleidingen ervoor zorgen dat de ondervraagde/respondent niet nauwkeurig kan reageren.

• Situationele factoren. Deze potentiële probleemgebieden zijn legio. Elke conditie die een spanning plaatst op het interview of op de metende sessie kan een serieus effect hebben op het interview. Wanneer een ander persoon aanwezig is, kan deze de antwoorden verdraaien door mee te doen. Dit kan door de respondent af te leiden of alleen al door zijn/haar aanwezigheid. Wanneer de respondent gelooft dat de anonimiteit niet gewaarborgd is, kan deze onwillig zijn om bepaalde gevoelens te uiten.

• De interviewer. De interviewer kan het antwoord vervormen door herformulering, parafrasering, en het herordenen van vragen. Daarnaast kan alleen al de aanwezigheid van de interviewer zorgen voor stereotypering, intonaties van de stem, het bewust of onbewust lachen bij een vraag, knikken enz. wat leidt tot het aan-of ontmoedigen van bepaalde antwoorden. Daarnaast kunnen onzorgvuldige mechanische bewerkingen vooroordelen teweeg brengen. In de data-analyse fase kan tenslotte incorrect coderen, het onzorgvuldig maken van tabellen en het doen van verkeerde statistische calculaties zorgen voor fouten.

• Het instrument dat de gegevens verzamelt. Een kapot instrument kan vervorming veroorzaken op twee mogelijkheden. Ten eerste kan het te ingewikkeld en te ambitieus zijn. Het gebruik van ingewikkelde woorden die te moeilijk zijn voor de ondervraagde is een typisch probleem. Een andere mogelijke bron van fouten is dat het instrument niet alle belangrijke onderwerpen omvat.

De kenmerken van goede metingen

Wat zijn de kenmerken van een goed meetgereedschap? Het gereedschap moet een nauwkeurige teller van de indicator zijn waarin we geïnteresseerd zijn. Bovendien moet het makkelijk en efficiënt te gebruiken zijn. Hieronder drie criteria voor het beoordelen van meetapparatuur:

• Validiteit (validity): de mate waarin een test meet naar wat we willen meten.

• Betrouwbaarheid (reliability): heeft te maken met de nauwkeurigheid en de precisie van de meet procedure.

• Uitvoerbaarheid (practicality): heeft te maken met een groot aantal factoren zoals kosten en gemak.

Validiteit

Er bestaan twee soorten van validiteit; interne en externe validiteit. De externe validiteit van onderzoeksresultaten verwijst naar de mogelijkheid van gegevens om gegeneraliseerd te worden over personen, situaties en tijd. Interne validiteit is beperkt in deze samenvatting tot de omschrijving of een instrument ook meet wat daadwerkelijk gemeten moet worden.

Een meting moet gevoelig zijn voor alle veranderingen en nuances die van belang zijn. De moeilijkheidsgraad in het voldoen aan de interne validiteit, is dat iemand gewoonlijk niet weet wat de echte verschillen zijn.

Wat zijn relevant bewijzen? Relevantie hangt af van de natuur van het onderzoeksprobleem en het oordeel van de onderzoeker. Een manier om deze vraag te beantwoorden is om het antwoord te organiseren naar de relevante meet types. Een wijd geaccepteerde classificatie bestaat uit drie vormen van validiteit.

De drie algemene geaccepteerde vormen van validiteit zijn:

1. Inhoudelijke validiteit

2. Criterion validiteit

3. Constructieve validiteit

1. Inhoudelijke validiteit (content validity)

De inhoudelijke validiteit van een meetinstrument is de mate waarin het instrument zorgt ervoor zorgt dat de onderzoeksvragen beantwoord worden. Als het instrument een representatieve steekproef bevat van de onderwerpen van het onderzoek, dan is de inhoudelijke validiteit goed. Om te kunnen evalueren moet er eerst besloten worden welke samengestelde elementen de inhoud bedekken. Deze vaststelling van content validiteit is veroordelend en kan op verschillende manieren benaderd worden. Allereerst kan de ontwerper dit vaststellen door een juiste definitie van het gewenste onderwerp, de items die we gemeten willen hebben, en de schalen die we hiervoor zullen gebruiken.

Een tweede manier om de inhoudelijke validiteit vast te stellen is door een panel van personen te laten beoordelen hoe goed de instrumenten de volledige omvang van het onderwerp beslaan. De content validiteit is vooral gemoeid met de gevolgtrekkingen over de constructie van de test zelf, dan over de zodanige scores van de test.

2. Criterion validity

Criterion validity reflecteert het succes van de metingen die gebruikt worden voor voorspellingen of schattingen. Men zou bijvoorbeeld een uitkomst willen voorspellen of schattingen willen maken betreffende het bestaan van een huidige conditie of huidig gedrag. Deze schattingen zijn respectievelijk voorspelbaar en concurrerend in validiteit.

Er zijn echter wel twee problemen die zich voor kunnen doen namelijk: het gegeven dat een criteria conceptueel duidelijk, maar niet beschikbaar is. Daarnaast het gegeven dat er verschillende criteria zijn, maar waarvan er niet een volledig de inhoud dekt, of niet geheel bevredigend is.

Elk criteria zou beoordeeld moeten worden door vier punten om volledig geldig te zijn:

• relevantie

• vrij van vooroordelen

• betrouwbaarheid

• beschikbaarheid

Een criteria is relevant als het gedefinieerd is in termen van duidelijke metingen en daarnaast vrij van vooroordelen is als elk criterium een even grote kans op succes heeft. Een betrouwbaar criteria is stabiel en reproduceerbaar. Als je een correctie voor vermindering formule (correction for attenuation formula) gebruikt zal dit de correlatie laten zien tussen de test en de criteria wanneer ze perfect betrouwbaar zouden zijn. Beschikbaarheid: als het criteria niet beschikbaar is hoeveel zal het kosten om eraan te komen en hoe moeilijk zou het zijn om het te beveiligen?

De betreffende antwoorden hangen af van het belang van het probleem en het gegeven welke test er wordt gebruikt.

3. Constructieve validiteit

Om constructieve validiteit te evalueren moeten we zowel de theorie als het meetinstrument evalueren. Constructieve validiteit is de mate waarin een operationalisatie ook daadwerkelijk een abstract onderwerp meet. Bijvoorbeeld of ‘ op tijd komen op je werk’ ook daadwerkelijk een goede operationalisatie is van ‘ werkmotivatie’ (uiteraard moeten er meer factoren zijn voor de operationalisatie van motivatie).

We hebben de drie vormen van validiteit apart besproken maar ze zijn inter-gerelateerd aan elkaar, zowel op theoretisch als op operationeel niveau.

Betrouwbare validiteit is belangrijk in de test zelf. Wanneer men een test opzet, wil men eerst waarschijnlijk de inhoud postuleren (construct validiteit) die de basis is voor een te gebruiken voorspelling. Tenslotte is men betrokken bij de vraag hoe goed de specifieke items de volledige reeks van elk construct meten (content validiteit). Hierbij is te zien dat wanneer we een onderzoeksvraag na gaan, elk type validiteit van belang is.

Validiteit betreft de vraag of we werkelijk meten wat we willen meten. (Met andere woorden: zitten we überhaupt op de juiste plek met de richting van de meting/pijlen). Betrouwbaarheid betreft de vraag of de resultaten consistent zijn. (Met andere woorden: zitten de resultaten/pijlen na herhaling steeds dicht bij elkaar).

Betrouwbaarheid

Een meting is betrouwbaar als de resultaten consistent zijn. Betrouwbaarheid is een noodzakelijke bijdrage aan validiteit maar is op zich niet voldoende voorwaarde voor validiteit.

Betrouwbaarheid heeft te maken met de voorspellingen of een meting vrij is van willekeurige of onstabiele fouten. Instrumenten die betrouwbaar zijn kunnen met vertrouwen gebruikt worden; situationele factoren hebben immers geen invloed op de resultaten. Deze instrumenten kunnen ook wel robuust genoemd worden: ze functioneren goed op verschillende momenten door de tijd heen.

Dit onderscheid van tijd en conditie is de basis voor vaak gebruikte perspectieven van betrouwbaarheid:

• Stabiliteit

• Gelijkwaardigheid

• Interne consistentie

Stabiliteit

Een meting wordt stabiel genoemd als resultaten met herhaalde metingen van dezelfde persoon met hetzelfde instrument gelijk zijn aan elkaar. Stabiliteit in survey situaties is lastiger en minder gemakkelijk doordat deze survey ’s vaak maar één keer herhaald kunnen worden. Een eventuele oplossing hiervoor zou een test-re-test zijn.

Factoren die voor veranderingen in de resultaten tussen twee metingen (dus ook in een test-re-test) kunnen zorgen zijn:

• Tijdsvertragingen tussen metingen; lijdt tot situationele veranderingen in factoren.

• Onvoldoende tijd tussen metingen; zorgt ervoor dat de ondervraagde voorgaande vragen kan herinneren en bevooroordeelde antwoorden kan geven.

• De mening van de respondent over het verborgen doel van het onderzoek; kan vooroordelen vormen als de ondervraagde een mening heeft over het doel van het onderzoek maar deze niet relevant is voor de actuele vragen van het onderzoek/ meting.

• Gevoeligheid voor het onderwerp; kan optreden als de ondervraagde meer leert over het onderwerp en een andere mening vormt voor de vervolg test.

• De introductie van ‘buiten de zaak staande’ modererende variabelen tussen metingen; kan een verandering in de deelnemer zijn/haar mening van ,aan het onderzoek ongerelateerde, factoren tot gevolg hebben.

Een maatregel tegen deze nadelen is het verlengen van de periode die tussen de metingen (test-re-test) zit. Wanneer hier gebruik van wordt gemaakt, moet men alert zijn op het feit dat veranderingen van een buitenstaande factor de meting kan besmetten en daardoor de stabiliteits-score kan verdraaien.

Gelijkwaardigheid

Gelijkwaardigheid betreft variaties op één punt in de tijd als gevolg van het feit dat er een andere observeerder aangesteld is en steekproef van voorwerpen.

Een goede manier om gelijkwaardigheid tussen onderzoekers te vergelijken is om te kijken naar de gelijkwaardigheid tussen de metingen van dezelfde gebeurtenissen van de verschillende onderzoekers. Inter-relationele betrouwbaarheid wordt gebruikt bij zaken om te kijken hoe consequent de noteringen zijn.

Er mogen verschillen in antwoorden tussen twee steekproeven van items zijn, maar wanneer een persoon gelijkwaardig geclassificeerd wordt door elke test, dan heeft een test goede gelijkwaardigheid.

Vertraagde gelijkwaardigheids-vormen (delayed equivalent forms) is een combinatie van de test-re-test en de gelijkwaardigheidsmethode.

Onderzoekers kunnen alleen maar een beperkt aantal vragen in een instrument onderzoeken, waardoor er als oplossing vaak een tweede instrument wordt opgezet. In de regel is het lastig om deze op de stellen. Vaak worden dan ook de vragen gerandomiseerd geselecteerd over de twee instrumenten.

Interne consistentie

De derde benadering van betrouwbaarheid gebruikt alleen de administraties van een instrument of test om de interne consistentie of homogeniteit van de onderdelen/items te bepalen. De halve–opdeel techniek (split-half technique) wordt gebruikt als het meetgereedschap veel dezelfde vragen of verklaringen heeft waarop het onderwerp kan reageren. De resultaten zijn verdeeld per onderdeel in even of oneven nummers of in willekeurige geselecteerde helften. Wanneer twee helften correleren, als de resultaten van de correlatie hoog zijn, dan heeft het instrument een hoge betrouwbaarheid in de zin van een interne consistentie. Een hoge correlatie vertelt ons dat er een homogeniteit is tussen de onderdelen, alhoewel deze bedriegend kan zijn, wanneer de test erg lang is. Hierdoor heffen de extreme waarden elkaar op. De Spearman-Brown correctie formule kan gebruikt worden, om het effect van de test lengte aan te passen en de betrouwbaarheid van de gehele test te schatten. Echter, een probleem bij deze aanpak is dat de manier waarop de test wordt verdeeld, van invloed kan zijn op de interne consistentie. Er zijn twee methodes om de betrouwbaarheid van de testen te onderzoeken, zonder de test de hoeven splitsen:
de Kuder – Richardson formula 20 en de Cronbach’s coëfficiënt alfa.

Verbeteren van betrouwbaarheid

Een onderzoeker kan de betrouwbaarheid vergroten door het kiezen tussen de onderstaande opties:

• Minimaliseer de externe bronnen van variatie

• Condities waaronder de metingen plaatsvinden standaardiseren

• Het verbeteren van de onderzoeker zijn/haar consistentie door alleen gebruik te maken van goed getrainde, onder toezicht zijnde en gemotiveerde personen om het onderzoek af te nemen;

• Verbreed de steekproef van de onderzoeksvragen door het toevoegen van gelijke vragen aan het data-collectie instrument, of voeg meer mensen die observeren of gebeurtenissen toe aan het observerende onderzoek;

• Verbeter de interne consistentie van een instrument door data te verwijderen die verkregen zijn door het stellen van vragen die extreme reacties uitlokken.

Praktisch

Praktisch wordt ook wel omschreven als economisch, gemakkelijk en interpreteerbaar.

• Economisch: er moet een balans gevonden worden tussen het ideale onderzoeksproject en het beschikbare budget.

• Gemak: een meetapparaat wordt gemakkelijk bevonden wanneer het gemakkelijk te beheren is. Hoe complexer het concept, des te groter is de nood voor een duidelijke en complete instructie. Een instrument kan gemakkelijker gemaakt worden door goed te kijken naar het design en de lay-out.

• Interpreteerbaarheid: dit aspect is vooral relevant wanneer personen die de test niet hebben opgezet, de resultaten moeten interpreteren.

De belangrijkste elementen met informatie die interpretaties mogelijk maken zijn:

• Een verklaring van de functies waarvoor de test gemaakt was om te meten, en de procedures volgens welke de test was ontwikkeld;

• Gedetailleerde instructies voor de administratie;

• Toetsen voor de scores en instructies;

• Normen voor geschikte referentiegroepen;

• Bewijs voor de betrouwbaarheid;

• Bewijs ten aanzien van de inter-correlaties van sub-scores;

• Bewijs ten aanzien van de relaties van de test ten opzichte van andere metingen;

• Gidsen voor het gebruik van de test.

De natuur van meetschalen

Onderzoeksvragen met betrekking tot meten kunnen verdeeld worden in gestandaardiseerde schalen en op maat ontworpen schalen. Wanneer men een concrete meting uitvoert, gebruikt men de gestandaardiseerde schaalverdeling. Wanneer men meer abstracte en complexe constructies heeft, kunnen gestandaardiseerde metingen niet bestaan of niet een juiste ‘fit’ met een scenario geven. Voor deze situaties kan men een op maat ontworpen schaal opzetten.

Schalen

De procedure voor het toekennen van getallen (of andere symbolen) aan een eigenschap van voorwerpen, om een aantal van de eigenschappen van getallen toe te kennen aan de eigenschappen van de vragen.

Voor het selecteren/opstellen van een schaal is het belangrijk om rekening te houden met de volgende factoren, aangezien zij van invloed zijn op de betrouwbaarheid, validiteit en de bruikbaarheid van de schaal. Deze betreffende selectie of opstelling vereist beslissingen ten opzichte van de onderstaande 6 belangrijke elementen:

1. Studie doel;

2. Reactie vorm;

3. Mate van voorkeur;

4. Gegevens eigenschappen;

5. Aantal dimensies;

6. Schaal constructie.

1. Studie doel

Onderzoekers hebben vaak twee redenen om de houding van een respondent te meten. Ze willen iets weten over de respondent of ze willen iets weten over het gepresenteerde object of indicator.

2. Reactie vorm

Er zijn drie types van metende schalen; noteringen (rating), plaatsende (ranking), categoriserende (categorize).

Een noterende schaal wordt gebruikt als de ondervraagden scoren op een object zonder directe vergelijking te maken met een ander object. Een voorbeeld hiervan is het beoordelen van een auto op een schaal van 1 tot 5.

Plaatsende schalen beperken de studie deelnemer om een vergelijking te maken tussen twee of meer objecten. Ze worden bijvoorbeeld gevraagd welk object ze het meest aantrekkelijk vinden. Het voorbeeld met de auto zou zijn, om de respondenten te laten kiezen tussen auto’s.

Categorisatie vraagt de ondervraagden om zichzelf in een categorie te plaatsen. Een voorbeeld hierbij kan zijn dat respondenten aan moeten geven welke auto het beste bij hem zou passen, ten opzichte van hun leeftijd, etnische achtergrond etc.

3. Mate van voorkeur

De mate van voorkeur kunnen we opdelen in voorkeursmetingen (preference measurements) en niet-voorkeursmetingen (non-preference measurements). Voorkeursmetingen vragen de respondent een item te kiezen naar hun persoonlijke voorkeur.

Niet-voorkeursmetingen vragen een puur rationeel antwoord, waarbij bijvoorbeeld gekeken wordt naar welk item de meeste bronnen heeft of welk item meer karakteristieken bevat.

4. Gegevens eigenschappen

De gebruikte schaal hangt natuurlijk ook af van het type gegevens dat een vraag oplevert. Gegevens kunnen worden geclassificeerd als nominaal, ordinaal, interval en ratio. Het type gegevens bepaalt op welke manier deze geanalyseerd kan worden.

5. Aantal dimensies

Metende schalen zijn unidimensionaal of multi-dimensionaal. Met een unidimensionale schaal moet iemand alleen één eigenschap van het object of onderwerp meten. Multi-dimensional schaling erkent dat een object misschien beter beschreven kan worden door naar meerdere eigenschappen te kijken.

6. Schaal constructies

We kunnen meetschalen classificeren naar de methoden die we kunnen gebruiken om ze te bouwen. Vijf constructiebenaderingen worden gebruikt in onderzoeks-uitoefening:

1. Willekeurig: een schaal is op maat gemaakt om een eigenschap of indicatie te meten

2. In overeenstemming: rechters evalueren de items die moeten worden opgenomen

3. Item-analyse: meetschalen worden getest met een steekproef van deelnemers

4. Cumulatief: schalen worden gekozen door hun overeenstemming met de rangschikking van items met op- of aflopende onderscheidende vermogens

5. Factoring: schalen worden opgezet door inter-correlaties van items met andere studies

1. Onderzoeker heeft geen voordeel met een bijzondere schaal ten opzichte van validiteit en betrouwbaarheid.

2. De consensus schalen wordt beoordeeld en geëvalueerd met betrekking tot de actuele relevantie en eenduidigheid van de items.

3. In de item analyse wordt de totale score voor elke aparte schaal berekend.

4. In de cumulatieve aanpak, de goedkeuring van een item dat een extreme positie vertegenwoordigt, resulteert in de goedkeuring van alle items die minder extreme posities vertegenwoordigen.

5. Gemeenschappelijke factoren zijn verantwoordelijk voor de relaties bij factoring. Deze relaties worden statistisch gemeten door factor analyse en cluster analyse.

De onderzoeker bestudeert zowel de meettypes als de schaalconstructies wanneer hij een geschikte schaal selecteert. Dit onderwerp zal de rest van het hoofdstuk beslaan.

Antwoordmethoden

Antwoorden die niet goed vergelijkbaar zijn, kunnen omgezet worden door twee benaderingen die maken dat de antwoorden bruikbaarder zullen zijn. Allereerst moeten verschillende eigenschappen gescheiden worden en moet de respondent gevraagd worden om elk specifiek facet te beoordelen. Daarnaast kan de onderzoeker de vrije respons antwoorden (free-response reply) vervangen door middel van structurerende apparaten.

Ratingschalen

Ratingschalen kunnen gebruikt worden voor het beoordelen van eigenschappen van objecten zonder het hoeven refereren naar andere gelijksoortige objecten.

Aantal punten op de schaal

Het aantal mogelijke antwoorden dat gepast is zal per onderzoek en zelfs per vraag verschillen. Sommige onderzoekers zijn van mening dat hoe groter het aantal punten op een rating schaal, des te groter de gevoeligheid van het meten en de extractie van variantie zal zijn. Een groot aantal punten op een schaal zijn nodig wanneer nauwkeurigheid gewenst is en wanneer gebruik wordt gemaakt van een eendimensionale versus een multidimensionale schaal. Daarbij komt dat in cross-culturele metingen de cultuur de respondenten kan beïnvloeden naar een standaard meting.

Simpele houdingsschalen

• Simpele categorie schaal (dichotomous schaal) biedt twee wederzijdse exclusieve reactie -keuzes aan (ja/ nee). Deze schaal wordt vaak gebruikt voor demografische vragen (nominal).

• Multiple- choice, single response wordt toegepast als er meerdere keuzemogelijkheden zijn, maar waar er maar één gekozen kan worden (nominal).

• Multiple- choice, multiple- response scale (checklist) wordt toegepast als er één of meerdere alternatieven gekozen kunnen worden (nominal).

• Lik ert- schaal is de meest gebruikte variatie van de gesommeerde noteringschaal (summated rating scale). Gesommeerde schalen bestaan uit verklaringen die de gunstig of ongunstigheid uitdrukken ten opzichte van het object. De ondervraagde wordt gevraagd of hij/ zij het eens is met de verklaring. Elke reactie krijgt een nummer die in verband staat met het eens of oneens zijn (interval).

Semantic Differential Schalen

• Semantische-differentieschaal meet de psychologische betekenis van een houding van een voorwerp. Deze schaal wordt door managers gebruikt voor merkimago en andere marketingstudies. Dit is gebaseerd op het idee dat een object meerdere dimensies kan hebben. Betekenissen die geplaatst zijn in een multi-dimensionale ruimte worden ook wel semantische ruimtes genoemd. De methode bestaat uit een paar bipolaire noterende schalen, meestal met 7 punten waarbij 1 of meer ondervraagden 1 of meer concepten op elke schaal schat. De semantische differentie schaal heeft een aantal voordelen. Het produceert interval gegevens en het is een efficiënte manier om houdingen te verzekeren in richting en intensiteit voor een grote steekproef (interval).

Numerieke schalen

• Numerieke schalen hebben gelijke intervallen die hun numerieke schaalpunten scheiden. De verbale ankers dienen als de etiketten voor de extreme punten. De lineariteit, simpelheid en productie van ordinale/intervalgegevens maakt dit populair bij managers en onderzoekers (ordinal of interval).

• De veelvuldige noterende schaallijst is gelijk aan de numerieke schaalverdeling maar verschilt op twee manieren; het accepteert een omcirkelde reactie van de schatter en de lay-out geeft een visualisatie van de resultaten weer (interval).

• De gefixeerde som schaal helpt de onderzoeker proporties te ontdekken. Deze schaal wordt gebruikt voor gedrag en houdingen. Het produceert ratio gegevens (ratio).

• De stapelschaal wordt gebruikt als alternatief voor de semantische differentiatie schaal. Vooral wanneer het moeilijk is om bipolaire adjectieven te vinden die matchen met de onderzoekende vraag (ordinal of interval).

• De grafische noterende schaal is gecreëerd om onderzoekers de gelegenheid te geven om fijne verschillen waar te nemen. Theoretisch gezien is een oneindige rij van noteringen mogelijk zolang het uitvoerbaar is dat de ondervraagde toegewijd genoeg is om onderscheid te maken en hen op te nemen (ordinal, interval of ratio).

Fouten te vermijden bij ratingschalen

De waarde van ratingschalen voor metingen hangt af van de assumptie dat een persoon goede oordelen kan en wil maken. Voordat we deze ratings aannemen, moeten we de tendensen om fouten te maken meenemen in ons oordeel. We kunnen deze fouten onderverdelen in drie types:

1. Clementie/welwillendheid

2. Centrale tendentie

3. Halo effect

1. Clementie ontstaat wanneer een deelnemer of een ‘gemakkelijke oordeler’ (easy rater) is of een harde oordeler (hard rater). Bij een harde oordeler is sprake van negatieve clementie. Het gegeven is dat een oordeler sneller een positieve clementie heeft tegenover een bekende. Negatieve clementie kan gebeuren wanneer iemand zich bewust is van de positieve clementie en dit probeert tegen te gaan.

2. Oordelers zijn onwillig in het geven van extreme oordelen, en dit feit is goed voor de fout van centrale tendentie. Dit verschijnsel komt vooral voor wanneer oordelers het object of de eigenschap niet kennen. Om dit tegen te gaan kunnen de volgende stappen ondernomen worden:

• Pas de sterkte van de beschrijvende adjectieven aan;

• Maak de ruimte tussen de tussenliggende beschrijvende zinnen groter;

• Geef kleinere verschillen in betekenis tussen te stappen dichtbij het einde van de schaal, dan tussen de stappen dichtbij het midden van de schaal;

• Gebruik meer punten in de schaal.

3. Het halo effect is het systematische vooroordeel dat de oordeler introduceert door een gegeneraliseerde impressie van het onderwerp door te geven van de ene rating naar de andere. Het halo-effect is een doordringende fout. Het halo-effect is vooral moeilijk te ontwijken wanneer de bestudeerde eigenschap:

• Niet duidelijk gedefinieerd is

• Niet duidelijk geobserveerd is

• Niet vaak in een discussie betrokken is

• Reacties met anderen bevat

• Een kenmerk van moreel groot belang is

Plaatsende schalen (ranking)

Bij plaatsende schalen wordt het onderwerp meteen vergeleken met twee of meer onderwerpen en worden er keuzes over gemaakt. Wanneer er twee opties zijn, leidt dit nog niet tot problemen maar wanneer er meer dan twee keuzes aangeboden worden kan dit snel tot een gelijkstand leiden. Deze moeilijkheden kunnen vermeden worden door het gebruik van de onderstaande technieken.

• Als de gepaarde – vergelijkingsschaal (paired-comparison scale) wordt gebruikt kan de ondervraagde ondubbelzinnige houdingen uitdrukken door te kiezen tussen twee objecten. Het aantal beoordelingen kan berekend worden door de volgende formule: [ (n) (n-1)/ 2 ], waarbij n staat voor het aantal onderwerpen wat beoordeeld moet worden door de respondent. Het probleem met paarsgewijze vergelijkingen is dat er soms wel heel veel paren vergeleken moeten worden. De ondervraagde kan onverschillig worden of zal niet meer mee willen werken. Voor deze methode worden vaak ordinale data gebruikt, maar er zijn methodes om deze om te zetten naar interval methoden. Twee methoden hiervoor zijn:

• De law of comparative judgement

• Guilford’s composite-standard method

• De geforceerde plaatsende schalen (forced ranking scale) plaatst attributen die in relatie tot elkaar staan naast elkaar. Deze methode is sneller dan de gepaarde vergelijking en motiverend voor de ondervraagde. Een nadeel van deze methode is echter dat wanneer een participant tien of meer items moet rangschikken, de participant zorgeloos wordt met betrekking tot de test. Daarnaast kan deze methode alleen maar ordinale data voortbrengen.

• De vergelijkende schaal (comparative scale) is ideaal voor vergelijkingen tussen mensen, merken, processen etc., maar alleen als de ondervraagde bekend is met de standaard. De bekende standaard wordt als vergelijkingsmateriaal gegeven. We gebruiken deze methode vaak bij ordinale data.

De methode van de opeenvolgende intervallen (successive intervals) wordt soms gebruikt om de voorwerpen te sorteren in hopen of groepen die een opeenvolging van resultaten representeren. Vanuit het sorteren kan een interval schaal verder ontwikkeld worden. Dit wordt niet vaak gedaan.

Meetschaalconstructies

Willekeurige schalen (arbitrary)

We ontwerpen willekeurige schalen, door het vergaren van eenduidige en geschikte items ten opzichte van een gegeven onderwerp.
De voordelen van willekeurige schalen zullen hieronder worden gegeven:

• Gemakkelijk te ontwikkelen

• Niet duur

• Hoog specifiek ontwerp te ontwikkelen

Er zijn echter ook nadelen van willekeurige schalen die hieronder worden gegeven:

• Het ontwerp is subjectief

• Geen bewijs voor referentiekader participanten

Overeenstemmingsschalen (consensus)

Overeenstemmingsschalen vereisen items die geselecteerd worden door een panel van rechters, waarbij deze items geëvalueerd worden op:

• De relevantie met betrekking tot het onderwerp gebied

• De potentie voor dubbelzinnigheid

• Het niveau van de attitude wat ze representeren

Een bekende vorm van deze aanpak is de Thurstone gelijk weergegeven interval schaal (equal-appearing interval scale), ook wel de Thurstone schaal genoemd. Hierbij moeten de rechters verklaringen categoriseren op niveau van gunstigheid. De rechters hebben hierbij keuze uit elf niveaus waarop ze de verklaringen kunnen rangschikken. De verklaringen worden weergegeven op kaarten, waarbij elke kaart één verklaring bevat. De Thurstone schaal resulteert in een interval rating schaal voor het meten van attitudes, en is vooral zo belangrijk omdat deze schaal invloed heeft gehad op de Likert schaal en de semantische differentiële manier (zie hieronder). De nadelen van deze schaal waren echter dat er veel tijd, kosten en personeel vereisten nodig waren.

Item-analyse schaling

Item-analyse scaling is een procedure voor het evalueren van een item, gebaseerd op hoe goed deze onderscheid maakt tussen de personen die een hoge score hebben en de personen die een lage score hebben gehaald. De meest populaire schaal voor deze methode is de Likert schaal of de gesommeerde schaal.

De likert schaal is relatief gemakkelijk op te stellen in vergelijking met de gelijk weergegeven interval schaal. De eerste stap is het vergaren van een groot aantal verklaringen die aan twee criteria voldoen:

• Elke verklaring is relevant ten opzichte van de bestudeerde attitude

• Elke verklaring reflecteert een gunstige of ongunstige houding ten opzichte van deze attitude

Vervolgens worden mensen gevraagd om de verklaringen te lezen en het niveau van goedkeuring aan te geven, met behulp van een vijf-puntenschaal. Daarna worden de antwoorden van elke persoon toegevoegd aan elkaar, zodat er een totale score verkregen wordt. Tenslotte worden deze totale scores verdeeld en worden er proporties gekozen die de hoogste en de laagste totaal scores reflecteren.

Door een vergelijkende analyse te maken van de antwoordpatronen van elke verklaring van de leden van de twee groepen, kan men leren welke verklaringen consistent correleren met lage gunstigheid en vice versa.

De voordelen van de Likert schaal zijn de volgende:

• Gemakkelijk en snel op te stellen

• Elk item heeft een empirische test ondergaan voor onderscheidend vermogen

• Hoge betrouwbaarheid door beantwoording van elk item

• Groot volume van data door beantwoording van elk item

Een alom gebruikte indicator voor het testen van hoe goed verschillende items één schaal kunnen vormen is de Crombach’s alpha. De Cronbach’s alpha is de gemiddelde correlatie tussen alle items na correctie van het aantal items. De waardes kunnen tussen de -1 en +1 liggen, en een algemene standaard is dat een alpha >0,7 een goede schaal aangeeft. Houd bij deze methode wel rekening met het feit of de inhoud van de items, ook daadwerkelijk hetgeen inhoudt wat graag gemeten wil worden.

Cumulatieve schaling

Totale scores bij de cumulatieve scaling hebben dezelfde betekenis. Als van een persoon zijn totale score wordt gegeven, dan is het mogelijk om te voorspellen welke onderdelen als negatief of positief beoordeeld worden. Een baanbrekende schaal van dit type was de schalogram. Een schalogram analyse is een procedure om vast te stellen of een paar onderdelen een eendimensionale of multi- dimensionale schaal vormen.

Een schaal is eendimensionaal als de antwoorden in een patroon vallen waarin de bekrachtiging van het onderdeel de extreme positie resultaten reflecteert en ook de onderdelen bekrachtigd die minder extreem zijn. De schalogram en gelijkwaardige procedures voor het ontdekken van onderliggende structuren zijn vooral erg handig bij het beoordelen van gedragingen die erg gestructureerd zijn.

Factor schaling

Factor scaling bevat een variatie aan technieken die ontwikkeld zijn om twee problemen aan te pakken, namelijk:

• Hoe men omgaat met een universum van inhoud die multidimensionaal is

• Hoe men onderliggende dimensies die nog niet geïdentificeerd zijn door verkennend onderzoek kan ontdekken

Deze technieken zijn gemaakt om items te inter-correleren, zodat het niveau van onderlinge afhankelijkheid opgespoord kan worden.

De methode die hier besproken zal worden is de semantische differentiële methode (semantic differential method) ontworpen door Oswood, om psychologische betekenissen van een object met betrekking tot een individu te meten. Ze produceren hierbij een lange lijst van adjectieve paren die handig zijn voor attitudeonderzoek.

Door de factor analyseren van data, hebben onderzoekers geconcludeerd dat semantische ruimte multidimensionaal in plaats van eendimensionaal is.

Drie factoren droegen het meeste bij aan betekenisvolle beoordelingen van participanten:

• Evaluatie

• Potentie

• Activiteit

De evaluatiedimensie draagt ongeveer voor een half of driekwart bij aan de variantie. Potentie en activiteit dragen samen bij voor een kwart van de variantie in beoordelingen.

De semantische differentiële schaal zou moeten worden gebruikt bij elk onderzoeksprobleem. De semantische differentiële constructie beslaat de volgende stappen:

• Selecteer de concepten: de concepten bestaan uit zelfstandige naamwoorden, naamwoordzinnen of niet-verbale stimuli. Deze concepten worden gekozen naar oordeel van de onderzoeker en reflecteren de aard van de onderzoeksvraag.

• Selecteer de originele bipolaire woord paren, of paren die voldoen aan de behoeften. Wanneer we de items van Oswood willen gebruiken moeten ze aan de volgende criteria voldoen:

  • Men heeft minstens drie bipolaire paren nodig voor elke factor om evaluatie, potentie en activiteit te gebruiken. Deze moeten omgezet worden tot gemiddeldes voor elke factor, voor de betrouwbaarheid.

  • De schaal moet relevant zijn voor de concepten die beoordeeld zullen worden.

  • Schalen moeten stabiel zijn over het onderwerp en de concepten.

  • Schalen moeten lineair zijn tussen de tegenpolen en moeten door de oorsprong gaan. Wanneer hier niet aan voldaan wordt, wordt dit ook wel als robuust aangegeven (rugged-delicate).

Gevorderde schaaltechniek

Multi-dimensionale schaling (MDS) beschrijft de collectie van technieken die omgaan met de eigenschappen op een meer algemene manier dan de semantische differentiële manier. Met de MDS kan iemand objecten schalen op een manier die inzicht geeft in de relatie tussen de onderdelen. De MDS gegevensmethode verzorgt verschillende opties;

• rang/ordinale input (met interval input)

• volledige metrische (interval) en niet metrische modes (fully- and non-metric modes);

Deze technieken gebruiken proximities als input. Proximities is een index van waargenomen gelijkheden of ongelijkheden tussen objecten.

Er zijn drie soorten eigenschapruimtes die elk een multi-dimensionale kaart (map) vertegenwoordigen:

1. In een objectieve ruimte kan een product gepositioneerd worden in termen van prijs, smaak etc.

2. Een persoon zijn perceptie kan gepositioneerd worden in een subjectieve ruimte door gebruik te maken van gelijke dimensies.

3. Als derde kunnen we de wensen van het ideale product beschrijven.

Deze configuraties worden ook wel de verborgen structuur van de gegevens genoemd. Door deze gegevens is het probleem vaker veel makkelijker te begrijpen. Zie de schematische weergave van ideaal bier hieronder:

Spectrum van wat belangrijk is bij bier:

Prijs ----- Ideaal bier -----------------------------------------------------------------Smaak

Een andere benadering, die de collectie van technieken weergeeft is de verbonden techniek (conjoint analysis). Deze analyse wordt gebruikt om complexe keuzes te meten die multi eigenschappen behoeven om een keuze te maken. Het wordt vooral gebruikt bij de uitleg van het gedrag van de consument met talrijke toepassingen in productontwikkelingen en het brengen van producten op de markt.

De omvang schattende schaling (magnitude scaling) verzorgt toegang tot verhoudingsmetingen en opent nieuwe alternatieven voor managementproblemen die eerst alleen waren aangesproken door rang metingen.

Metingen in onderzoeken doen bestaat uit het toewijzen van getallen aan empirische gebeurtenissen aan de hand van een stel regels. Het meetproces beslaat 3 stappen:

1. Selecteren van observeerbare gebeurtenissen

2. Het ontwikkelen van mapping rules: een schema van getallen of symbolen die worden toegewezen aan bepaalde aspecten van de gebeurtenissen die worden gemeten.

3. Het toepassen van de mapping rules op elke observatie van die gebeurtenis.

Het doel van meten is om gegevens van zo hoog mogelijke kwaliteit, met daarin het laagste te leveren fouten voor het testen van hypotheses te krijgen.

Wat is de opbouw en het doel van een onderzoeksrapport? - Chapter 15

Presenteren van de resultaten

Korte rapporten zijn geschikt indien er een duidelijk en simpel probleem aanwezig is die niet erg uitgebreid en complex is. Een kort rapport is ongeveer vijf pagina’s lang. In het begin geef je een korte uitleg over de autorisatie van het onderzoek. Daarna behandel je het probleem in diepte en breedte. Vervolgens komen de conclusies en aanbevelingen met daarbij de bevindingen die dit ondersteunen. Het is handig om wel kopjes te gebruiken per onderdeel.

Een overdrachtsbrief zorgt voor het zogenaamd ‘vervoeren’ van het korte rapport. Het rapport dient direct te zijn, bevat enkel een paar grafieken om trends aan te tonen. Voor verdere informatie refereer je de lezer naar de onderzoeksafdeling van het bedrijf. Het doel hiervan is om informatie zo snel mogelijk te kunnen verspreiden in een makkelijk te lezen vorm. Dit soort rapporten worden vaak ook gebruikt indien de lezer relatief gezien weinig ervaring heeft met onderzoeksprojecten.

Van lange rapporten zijn er twee soorten: het technische rapport en het managementrapport. De keuze hangt af van welke onderzoeksbenadering er gebruikt wordt, het te bereiken publiek en de doelen van de onderzoeker.

In sommige gevallen heeft de bepaalde klant geen enkele ervaring op onderzoeksgebied en is enkel geïnteresseerd in de resultaten in plaats van de methodologie. In dit geval wordt het managementrapport gebruikt. Het is alsnog handig om een technisch rapport bij te leveren indien de klant later alsnog interesse heeft in de methodologie, etc. In een managementrapport is het handig om het zo te maken dat het makkelijk en snel te lezen is en dat de conclusies en implicaties gemakkelijk te begrijpen zijn. Het rapport bevat foto’s en grafieken die de ingewikkelde tabellen moeten vervangen. Zinnen zijn kort en direct.

Het technische rapport is veel gedetailleerder. Bijna alle verkregen informatie en data wordt hierin verwerkt. Andere onderzoekers zouden dit kunnen inzien omdat het volledige verhaal bevat met hoe en wat het onderzoek is uitgevoerd. Echter moet er wel gelet worden op het feit dat het rapport alleen essentiële informatie bevat. Een technisch rapport bevat ook een complete presentatie en analyse van deze relevante data en informatie. Conclusies en aanbevelingen moeten duidelijk gerelateerd zijn aan de bevindingen die gedaan zijn.

Indien de studie ook een wetenschappelijk doel heeft, komt het technische rapport het dichtst in de buurt van wat verwacht wordt van een wetenschappelijk onderzoek. Een academisch rapport heeft echter iets extra’s. Er is een substantieel theoretisch onderdeel aanwezig. Het rapport beschrijft de bevindingen in het licht van de gevonden theorie. De conclusies bevatten ook de bevindingen met daarbij de theorie en de impact van de bevindingen op de theorie.

De componenten van een rapport

Hier opvolgend worden de verschillende aspecten van een rapport behandeld met de vereisten per onderdeel.

Voorblad

Het voorblad moet een aantal dingen bevatten: de titel, datum, voor wie het bedoeld is en door wie het rapport is opgesteld. De titel moet daarnaast de volgende elementen bevatten:

• Variabelen die gebruikt zijn in de studie

• De relatie tussen de variabelen

• De populatie waarop dit onderzoek betrekking heeft

Beknopte samenvatting

Dit heeft twee doelen. Het kan functioneren als een korte versie van het rapport waarbij alle aspecten van het onderzoek aan bod komen. Daarnaast kan het ook een samenvatting zijn waarin alleen de belangrijkste bevindingen, conclusies en aanbevelingen naar voren komen. Twee pagina’s zijn voldoende. Academische rapporten bevatten ook zo’n samenvatting, echter wordt dit een abstract genoemd. Hierin wordt het probleem, de theorie, het onderzoeksdesign en de grootste bevinding(en). Deze abstract is vaak erg kort, ongeveer een halve pagina of minder.

Inhoudsopgave

Rapporten met meer dan tien pagina’s moeten een inhoudsopgave bevatten. Indien er vele tabellen, grafieken en andere figuren aanwezig zijn, moeten na de inhoudsopgave worden opgesomd in een zogenaamde inhoudsopgave van figuren en illustraties.

Inleiding

Hierin worden de aspecten van het onderzoek kort toegelicht: het probleem, de onderzoeksdoelen en achtergrondinformatie. Het moet voor de lezer duidelijk worden wat de toegevoegde waarde van het onderzoek is en waarom het de moeite waard is om het rapport te lezen. Een inleiding heeft de volgende functies:

• Introductie van het probleem

• Relevantie van het probleem aanduiden

• Een overzicht van het rapport

Om aan te duiden dat het onderzoek van belang is kan het volgende toegepast worden in je inleiding:

• We weten nog niet zoveel van dit onderwerp af

• Vele mensen denken dat dit probleem belangrijk is

• Het onderzoeksprobleem betreft een grote groep mensen en kan geld besparen

• Het onderzoek is op theoretisch gebied erg belangrijk.

Onderzoeksprobleem en onderzoeksdoelen

Hierin wordt het belang van het onderzoek geschetst. Dit gebeurt vaak in een vragende vorm. Indien je start met een waarom-vraag, kan geprobeerd worden om de geldigheid van bepaalde verklaringen te testen (verklarend onderzoek), of je kan proberen om een verklaring te vinden (verkennend onderzoek). Welke type beter geschikt is hangt af van wat er al bekend is en hoe complex het probleem is. Tenslotte beschrijf je de doelpopulatie in dit stuk.

Theorie

Dit bevat twee elementen: behandeling van de bestaande literatuur met betrekking tot het onderwerp en een deel waarin de theoretische ontwikkeling wordt behandeld met betrekking tot dit onderwerp. In theoretische studies bevat dit hoofdstuk een gedetailleerde beschrijving van en argumenten voor het ontwikkelde theoretische model. In kwantitatieve empirische onderzoeken wordt dit hoofdstuk gebruikt om wiskundige modellen te introduceren of om argumenten te geven voor de hypotheses. In kwalitatieve empirische onderzoeken wordt dit gebruikt om een kritisch te zijn over de theorie met afsluitend argumenten die betrekking hebben op de punten die je later wil maken.

Er zijn drie manieren waarvoor de theorie gebruikt kan worden:

• De theorie gebruiken om problemen te identificeren

• De theorie gebruiken om argumenten te vinden

• De theorie gebruiken om bewijs te vinden

Een goede theorie is gebaseerd op goede argumenten. Om te checken of een argument juist is, moet je jezelf de volgende vragen stellen:

• Wat wordt er precies beweerd?

• Welke redenen ondersteunen deze bewering?

• Welk bewijs heb ik voor deze redenen?

• Zijn er andere verklaringen voor het bewijs?

• Is er ander bewijs aanwezig?

Methodologie

Technische en academische rapporten bevatten dit zeer belangrijke onderdeel. Dit onderdeel is het enige waarin je kan laten zien hoeveel tijd en energie in het verzamelen en analyseren van data gestoken is. Het bevat de volgende onderdelen:

• De steekproeftrekking of de onderzoeksdeelnemers

• Onderzoeksdesign

• Dataverzameling

• Metingen

Data-analyse

Hierin wordt samengevat welke methode(s) gebruikt is/zijn om de data te analyseren. Ook moet duidelijk zijn waarom er voor deze methode(s) gekozen is.

Beperkingen

Het is belangrijk om aan te geven wat je beperkingen zijn in het onderzoek, hoewel vele onderzoekers dit willen vermijden. Hierin moet duidelijk worden welke problemen ondervonden zijn bij de methodologie of implementaties van data en de eventuele consequenties hiervan voor de geldigheid van de uitkomsten.

Resultaten

Dit is het grootste onderdeel van het onderzoek. Hier wordt meer de data beschreven dan interpretaties of conclusies geven. Bij kwantitatieve data is het handig om dit weer te geven in figuren, grafieken en/of tabellen. Alleen relevante verkregen data moet behandeld worden. Ondanks dat moet het data bevatten die je hypotheses ondersteunen maar ook die je hypotheses onderuit werken.

Conclusies

Eerst wordt er een korte samenvatting gegeven van de essentiële bevindingen. Vervolgens vertel je uiteindelijk of je je doelen behaald hebt met behulp van het onderzoek. Herinner de lezer eraan wat het doel was en de stappen die je hebt ondernomen. Zorg dat de conclusie in verband staat met de echte wereld door aanbevelingen te doen op basis van wat je geleerd hebt van je onderzoek. Daarnaast kun je behandelen wat er in de toekomst gedaan kan worden voor eventueel verder onderzoek.

Appendices

Deze bevatten vaak complexe tabellen, statistische testen, extra documenten, formulieren en vragenlijsten, gedetailleerde beschrijvingen van de gebruikte methodologie, instructies, en andere bewijsstukken.

Korte rapporten zijn geschikt indien er een duidelijk en simpel probleem aanwezig is die niet erg uitgebreid en complex is. Een kort rapport is ongeveer vijf pagina’s lang. In het begin geef je een korte uitleg over de autorisatie van het onderzoek. Daarna behandel je het probleem in diepte en breedte. Vervolgens komen de conclusies en aanbevelingen met daarbij de bevindingen die dit ondersteunen. Het is handig om wel kopjes te gebruiken per onderdeel.

Business Research Methods - Blumberg - 4e druk - BulletPoints

Hoofdstuk 1: Business- en managementonderzoeken

• Business research kan getypeerd worden als een systematisch onderzoek waarbij het doel is om van informatie te voorzien om managementproblemen op te lossen.

• Een managementdilemma is een probleem of kans dat een bepaalde beslissing van een manager nodig heeft.

• Een rapportagestudie wordt gebruikt om vaak een optelling van data te maken of om statistische gegevens te creëren.

• Een beschrijvende studie probeert antwoorden te vinden op de vragen wie, wat, waar, wanneer, en soms hoe. De onderzoeker probeert een onderwerp te beschrijven en definiëren waarbij er vaak een groep problemen, mensen of gebeurtenissen gecreëerd wordt.

• Indien er een geloofwaardige uitleg van een gebeurtenis gegeven kan worden, is het wenselijk om te kunnen voorspellen of en wanneer zo’n gebeurtenis weer gaat voorkomen. Dit is een voorspellende studie.

• Degelijke onderzoekers doen onderzoek volgens de wetenschappelijke methode. Hieronder worden negen kenmerken genoemd van zo’n onderzoeksmethode.

1. Doel is duidelijk beschreven

2. Onderzoeksproces is gedetailleerd weergegeven

3. Opzet van het onderzoek is grondig

4. Hoge ethische normen worden toegepast

5. Beperkingen in het onderzoek worden getoond

6. Adequate analyse van de behoeftes van de besluitvormers

7. Uitkomsten worden ondubbelzinnig gepresenteerd

8. Conclusies zijn rechtvaardig

9. Ervaring van de onderzoeker wordt getoond

• Het positivisme is een onderzoeksfilosofie die ontstaan is in de natuurwetenschap. Er bestaan drie basisprincipes:

1. De sociale wereld is extern en word objectief bekeken.

2. Onderzoek is waardevrij

3. Onderzoeker is onafhankelijk

• Het interpretivisme stelt dat de sociale wereld niet kan worden begrepen vanuit onderzoek dat gebaseerd is op de natuurwetenschap. Sociale wetenschappen vereist een ander soort onderzoeksfilosofie. Drie basisprincipes:

1. De sociale wereld is opgebouwd en heeft een subjectieve betekenis van mensen verkregen

2. De onderzoeker maakt deel uit van wat geobserveerd wordt

3. Onderzoek wordt gedreven door belangen.

• Het realisme is een onderzoeksfilosofie die principes deelt met het positivisme en het interpretivisme.

• Deductie is een vorm van gevolgtrekking waarbij de conclusie moet volgen uit gegeven redenen.

• Een inductie heeft niet dezelfde krachtige relatie tussen redenen en conclusies. Om iets te induceren trek je een conclusie uit een of meer feiten of stukjes bewijs.

• Inductie en deductie worden in onderzoek soms gebruikt in sequentie, dit wordt ook wel de double movement of reflective thought genoemd.

• Een concept is een verzameling van betekenissen of eigenschappen die verbonden zijn met bepaalde gebeurtenissen, voorwerpen, voorwaardes, situaties en gedrag.

• Een operationele definitie is specifiek toegepast op de situatie en is meetbaar. Deze definitie moet wel empirisch verantwoord zijn.

• Een variabele is eigenlijk een synoniem voor construct. Tijdens deze cursus wordt variabele aangeduid als een symbool waaraan we een waarde of getal toewijzen.

• Dichotome variabelen hebben enkel twee mogelijke waarden. Bijvoorbeeld werkzaam of werkloos, mannelijk/vrouwelijk, etc.

• Zoiets als temperatuur, leeftijd of een score zijn voorbeelden van continue variabelen. Deze kunnen een waarde aannemen van een bepaalde groep getallen, en is soms oneindig.

• In iedere relatie is er minimaal een onafhankelijke variabele en een afhankelijke variabele aanwezig.

• Een zogenaamde moderator is een onafhankelijke variabele die effect heeft op de relatie tussen een onafhankelijke en afhankelijke variabele.

• Daarnaast is er een mediator die door middel van de onafhankelijke variabele en een moderator de afhankelijke variabele beïnvloedt.

• Voorbeelden van controlevariabelen zijn leeftijd, geslacht, afkomst..

• We definiëren een bewering als een opmerking over concepten die als waar of niet waar kunnen worden beschouwd. Indien een bewering bedoelt is voor empirisch onderzoek, noemen we het een hypothese.

• Beschrijvende hypotheses zijn beweringen die het bestaan, omvang, vorm, etc. van een variabele benadrukken.

• Relationele hypotheses zijn beweringen die een bepaalde relatie tussen twee variabelen aanduiden m.b.t. een situatie.

• Bij causale hypotheses wordt er geïmpliceerd dat het bestaan of een verandering van de ene variabele leidt tot een bestaan of een verandering in de andere variabele.

Hoofdstuk 6: Steekproeven

• De unit van analyse beschrijft het niveau waarop het onderzoek wordt uitgevoerd en welke objecten worden onderzocht. De unit van analyse is afgeleid van een onderzoeksvraag. Eén onderzoeksvraag kan meerdere units van analyse bevatten.

• Een populatie is het totaal van elementen waarover we wat willen afleiden. Een telling (census) is een telling van alle elementen in een populatie. Een steekproef kader (sampling frame) is een lijst van elementen uit de populatie waaruit de steekproef genomen is.

• Een goede steekproef heeft de volgende kenmerken:

1. De gegevens zijn nauwkeurig en kennen geen vooroordelen;

2. De data zijn precies en kennen een lage standaard fout van de schatting.

• Soorten steekproeven:

1. Een waarschijnlijkheids-steekproef (probability sampling) is gebaseerd op het concept van een willekeurige selectie.

2. Een niet-waarschijnlijkheids-steekproef (non-probability sampling) is niet willekeurig geselecteerd en subjectief.

• Als elk element individueel uit de populatie wordt getrokken is er sprake van een onbeperkte steekproef (unrestricted sampling).

• Beperkte steekproeven (restricted sampling) zijn alle andere vormen van steekproeven.

• De onbeperkte simple random sample is de meest simpele vorm van een waarschijnlijkheids-steekproef. In deze steekproef heeft elk populatie element een bekende en gelijke kans van selectie.

• In het ontwerpen van de opzet van de steekproef moeten een aantal vragen beantwoord worden.

1. Wat is de relevante populatie?

2. Welke parameters zijn van belang voor de steekproef?

3. Wat is het steekproefkader? (sampling frame)

4. Wat is de geschikte steekproeven methode?

5. Hoe groot moet de steekproef zijn?

6. Hoeveel gaat de steekproef kosten?

• Alternatieve steekproefmethodes:

  • Systematische steekproeven (systematic sampling). Bij deze aanpak wordt elk zoveelste ‘k’ element getrokken voor een steekproef, waarbij men begint met een willekeurige start in de reeks van 1 tot k. Het k^de element wordt bepaald door het delen van de steekproefgrootte (sample size) door de populatiegrootte (population size).

  • Stratified steekproeven. Het proces waarbij de populatie is opgedeeld tot exclusieve sub-populaties of lagen (strata) door de onderzoeker zelf. Een voorbeeld is het opdelen van studenten in sub-populaties naar hun niveau.

  • Verhoudingsgewijze stratified steekproef. Bij een verhoudingsgewijze (proportionate) steekproef is elk strata duidelijk vertegenwoordigd, zodat de steekproef geproportioneerd is naar het deel van de strata ten opzichte van de hele populatie.

• Daarnaast zijn er ook niet-verhoudingsgewijze (non-probability) steekproeven. Bij deze steekproeven worden de steekproeven niet gelijkwaardig genomen uit de strata naar het aandeel wat zij in de populatie hebben, maar worden zij op gevoel getrokken.

• Cluster steekproeven. In een simpele willekeurig steekproef wordt elk element individueel geselecteerd. De populatie kan echter ook verdeeld worden in groepen van elementen waarbij men gebruik maakt van de natuurlijke selectie/verdeling die al in een populatie aanwezig is (hierbij kan men denken aan woonwijken).

  • De belangrijkste vorm van cluster steekproeven, zijn de gebied steekproeven (area sampling). Deze steekproef wordt vaak gebruikt bij populaties die kunnen worden geïdentificeerd aan de hand van de bijbehorende geografische gebieden.

• Dubbele steekproef. Het is economisch interessant en handig om informatie te verzamelen door middel van een steekproef uit een populatie en vervolgens deze informatie als basis te gebruiken voor het selecteren van sub-steekproeven.

• Bij niet-waarschijnlijkheids-steekproeven waar een subjectieve selectie plaats vindt, is de kans dat een element geselecteerd wordt onbekend.

  • Niet-waarschijnlijkheids-steekproeven worden ook wel gemaks-steekproeven (convenience sampling) genoemd.

  • Een niet-waarschijnlijkheids-steekproef die zich selecteert op criteria wordt wel een doelgerichte steekproef (purposive sample) genoemd.

  • In de eerste fase van de sneeuwbal methode worden individuen ontdekt. Ze worden wel of niet geselecteerd door de waarschijnlijkheidsmethode. De geselecteerde groep wordt dan gebruikt om anderen te lokaliseren die dezelfde eigenschappen hebben en die op zichzelf weer anderen lokaliseren.

Hoofdstuk 7: Datacollectie met enquêtes

• Er zijn drie condities waaraan een succesvol interview moet voldoen:

1. De participant moet de gerichte informatie hebben met betrekking tot de onderzoeksvragen.

2. De participant moet zijn/haar rol als een leverancier van nauwkeurige informatie in het interview begrijpen.

3. De participant moet over voldoende motivatie beschikken om mee te werken.

• De volgende drie factoren dragen bij aan de ontvankelijkheid van de participant:

1. De participant moet geloven dat de deelname aan het onderzoek aangenaam zal zijn en tevredenheid geeft.

2. De participant moet geloven dat het beantwoorden van de vragen een belangrijke en nuttige tijdsbesteding zal zijn.

3. De participant moet bepaalde mentale vooroordelen van de hand doen die hij of zij met betrekking tot de deelname heeft.

• Een goede introductie bestaat uit een identificatie van de interviewer en de betreffende organisatie, een beschrijving van het doel van het onderzoek, de identiteit van de sponsor, degene die de test afneemt en een adres waar deelnemers terecht kunnen met vragen. Daarnaast is de inhoud van het onderzoek belangrijk, de achtergrond van het onderzoek, de manier waarop de participant geselecteerd is, de vertrouwelijke aard van het interview en de voordelen van de onderzoeksbevindingen.

• Niet-antwoord fouten ontstaan wanneer de onderzoeker de persoon niet kan vinden om deze te onderzoeken of de onderzoeker heeft geen succes in het aanmoedigen van de persoon om deel te nemen aan het onderzoek.

• Oplossingen om fouten van een niet-antwoord te verminderen zijn:

  • Het vestigen en implementeren van call-back procedures.

  • Het creëren van een niet-antwoord steekproef en de resultaten hiervan wegen.

  • Het substitueren van een ander individu voor de missende participant.

• Call-backs maken het mogelijk, wanneer er genoeg pogingen worden gedaan, om de meeste participanten te bereiken.

• Bij de wegingsmethode behandelen we de niet-participanten als een nieuwe subpopulatie na meervoudige call-backs.

• De substitutiemethode kan gevaarlijk zijn omdat personen die thuis zijn, op systematische wijze verschillen van personen die niet thuis zijn. Personen die niet thuis zijn, zijn vaak jonger, beter opgeleid, meer stedelijk en hebben een hoger inkomen dan gemiddeld.

• CATI staat voor computer geassisteerde telefoon interview methode (computer-assisted telephone interviewing), waarbij telefooninterviews bijgestaan worden door het gebruik van de computer.

• Een persoonlijk interview is een twee-weg communicatie, beginnend bij een interviewer die informatie wil verkrijgen van de participant.

• Een intercept interview is minder duur. Mensen worden op bepaalde centrale locaties opgewacht. Dit zorgt er voor dat een interviewer minder hoeft te reizen en meer mensen kan interviewen in een korter tijdsbestek.

• ‘Probing’ is de techniek die wordt gebruikt voor het stimuleren van participanten om vollediger en relevanter te antwoorden. Dit moet neutraal zijn.

• Wanneer er een tijdslimiet is kan de interviewer een ‘shorthand’ systeem gebruiken die de essentie van de antwoorden behoudt, zonder hele zinnen te gebruiken.

• Responsfouten ontstaan wanneer de gerapporteerde data verschillen van de werkelijke data en kunnen vooral optreden tijdens het interview, of tijdens de voorbereiding van de data die voor de analyse gebruikt zal worden.

• Fouten van de participant (participant-initiated error) ontstaat wanneer een participant erin faalt om volledig en nauwkeurig te antwoorden, zowel bewust of vanwege onnauwkeurige of niet complete kennis.

• Fouten van de interviewer die resulteren uit bovengenoemde interviewtechnieken zijn de volgende:

1. er niet voor zorgen dat de respondent volledig mee wil werken;

2. het interview niet consistent en correct uitvoeren;

3. niet de juiste omgeving creëren voor het afnemen van een interview;

4. valse gegevens invullen;

5. de respondent onbehoorlijk beïnvloeden: door onbehoorlijke opmerkingen, nadruk op woorden, toon van de stem, lichaamstaal en het herformuleren van de vragen;

6. fouten maken bij het nauwkeurig en compleet noteren van antwoorden;

7. fysieke aanwezigheidsvooroordelen: zowel de interviewer zelf als de sociale afstand tussen beide kan een verdraaiend effect op de antwoorden hebben.

• Het telefonische interview is een unieke methode om informatie te verzamelen. Het is ook een van de goedkoopste methodes om informatie te verzamelen.

• Als een computer het telefonische interview uitvoert is er zelfs geen interviewer meer, dan worden de vragen gewoon gesteld door een computer. Wanneer dit zich voordoet is er sprake van computer-administered telephone survey.

• De non-contact verhouding (non-contact rate) zegt iets over de relatie van niet bereikte respondenten t.o.v. het totale aantal respondenten.

• De weigerverhouding (refusal rate) verwijst naar de verhouding van deelnemers waarbij de participant er voor heeft gekozen om de vragen niet te beantwoorden tegenover alle potentiële deelnemers.

• Zelfgemaakte interviews zijn alom vertegenwoordigd in de samenleving. Voorbeelden zijn evaluaties in hotels of restaurants, korte vragenlijsten in winkelcentra etc.

• Follow-ups helpen de antwoordverhoudingen te doen stijgen, doordat met elke follow-up meer antwoorden verkregen worden. Deze bijkomende informatie moet dan wel opwegen tegen de kosten met het verkrijgen van deze informatie.

• Voorafgaande kennisgeving (preliminary notification) blijkt voor meer antwoordverhoudingen en rendement te zorgen, maar follow-ups blijven echter een beter investering.

• Web-gebaseerde interviews:

  • Target web survey; De onderzoeker behoudt de controle over welke participanten meedoen aan het onderzoek. De onderzoeker verstuurt uitnodigingen naar gespecificeerde en geselecteerde mensen om mee te doen aan het onderzoek.

  • Selected survey; De onderzoeker heeft geen of weinig controle over welke participanten meedoen aan het onderzoek (denk hierbij aan een pop-up scherm, waarbij elke bezoeker van de site mee kan doen).

Hoofdstuk 12: Experimenteren

• Waarom gebeuren gebeurtenissen onder sommige voorwaarden en niet onder andere voorwaarden? Onderzoeksmethoden die antwoord geven op dit soort vragen, noemen we een oorzakelijke methoden (causal methods).

• Experimenten zijn studies waarbij de onderzoeker intervenieert in de werkelijkheid om een bepaalde causaliteit aan te tonen.

• Het volbrengen van de volgende activiteiten is essentieel voor de goede uitvoeringen van een gepland experiment, mits de onderzoeker beschikt over vindingrijkheid en creativiteit:

1. Het selecteren van relevante variabelen voor de test
2. Het specificeren van de niveaus van de behandelingen
3. Het controleren van de omgevingsfactoren en externe factoren; de experimentele omgeving
4. Het selecteren van een experimenteel ontwerp
5. Het selecteren en toewijzen van onderwerpen
6. Het pilot-testen, bijschaven en de uiteindelijke test uitvoeren
7. Het analyseren van de gegevens

• Interne validiteit is de mate waarin de conclusies die je trekt ook daadwerkelijk een causaliteit aantonen. Externe validiteit is de mate waarin de conclusies te generaliseren zijn over tijd, personen en situaties.

• De hoekstenen van de echte experimentontwerpen zijn:

1. Dat ze bestaan uit een experimentele groep (ook wel behandelgroep genoemd) en uit een controle groep.
2. Dat de onderzoeker verzekert dat de experimentele en controle groep aan elkaar gelijk zijn door de gerandomiseerde selectie van deelnemers aan de groepen of door matching (hierboven besproken).

• Pre-test-post-test controle groep ontwerp: dit ontwerp bestaat uit een experimentele- en een controle groep door gerandomiseerde selectie.

• Post-test-only controle groep ontwerp: in dit ontwerp zijn de voor-test metingen weggelaten. Deze zijn ook niet echt nodig wanneer men gebruik maakt van een gerandomiseerde selectie. Men gaat er dan vanuit dat er geen verschillen tussen de controle- en de experimentgroep bestaan.

• De experimentele benadering kan ook gecombineerd worden met een survey benadering. Een voorbeeld hiervan is de factorial survey, ook wel vignette survey genoemd. De onderzoeker presenteert de respondent een korte en expliciete beschrijving van een situatie, en de respondent vraagt vervolgens de situatie te beoordelen of een beslissing te maken.

• Een quasi-experiment is inferieur aan een echt experiment ontwerp, maar is gewoonlijk superieur aan voor-experimentele ontwerpen wanneer deze met zorg uitgevoerd wordt. Quasi-experimenten zijn met name nuttig voor het bestuderen van effecten van goed gedefinieerde gebeurtenissen.

• De voordelen van een laboratoriumonderzoek zijn onmiskenbaar: de onderzoeker heeft het vermogen om de onderzoeks-setting volledig te controleren en om externe invloeden te weren. Echter, deze controle is ten koste van een kunstmatige setting.

• Veldexperimenten worden uitgevoerd in een natuurlijke setting/omgeving en vaak weten deelnemers niet eens dat hun gedrag in de gaten wordt gehouden.

• Non-gelijke controle groep ontwerp: Dit ontwerp verschilt van de pre-test-post-test doordat noch de test, noch de controle groepen gerandomiseerd geselecteerd zijn. Merk hierbij op dat de onderzoeker de groepen niet gerandomiseerd geselecteerd heeft, maar dat hij gebruikt heeft gemaakt van natuurlijke groepen.

• Tijd-series en vergelijkingsgroepen: Een tijd-serie ontwerp introduceert herhaaldelijk observaties voor en na de behandeling/het onderzoek, en maakt het mogelijk voor deelnemers om op te treden als hun eigen controles.

• Er moet bij een tijd-serie, net als bij een pre-test-post-test, sprake zijn van een controlegroep.

Hoofdstuk 13: Vragenlijsten en andere meetinstrumenten

• Administratieve vragen identificeren de participant, de interviewer, de interview locatie en de omstandigheden.

• Classificatie vragen zijn in het algemeen de demografische variabelen die het mogelijk maken om de antwoorden van de participanten te categoriseren en zo bepaalde patronen te ontdekken.

• Doelvragen pakken de onderzoeksvragen van een specifiek onderzoek aan. We kunnen deze vragen onderscheiden in gestructureerde vragen (structured questions) en ongestructureerde vragen (unstructured questions).

• Gestructureerde vragen geven de participant een vaste set keuzes, vaak gesloten (closed) vragen genoemd.

• Ongestructureerde vragen beperken de participant niet in zijn/haar antwoorden maar geven een frame, waarbinnen de antwoorden moeten liggen, ook wel open-einde (open-ended) vragen genoemd.

• Een diepte (in-depth) interview moedigt de participant aan om zoveel mogelijk informatie in een niet-gebonden omgeving te geven.

• Een vermomde vraag (disguised question) is gemaakt om de vraag zijn ware doel te verbergen. Een doel of sponsor wordt verborgen bij een studie als de onderzoeker gelooft dat de deelnemer anders zal reageren als een van beide bekend zouden zijn.

• De inhoud van de vragen wordt grotendeels bepaald door de onderzoeksvragen. Onderstaande vragen helpen een onderzoeker bij het opstellen en selecteren van vragen.

1. Zou deze vraag gesteld moeten worden?

2. Heeft de vraag gepast bereik en dekking?

3. Kan de deelnemer adequaat antwoorden?

4. Willen de deelnemers deze vraag beantwoorden?

• Frustrerend is het als mensen een vraag niet begrijpen als die wel zorgvuldig is opgeschreven. Voor een deel kan de oorzaak zijn een gebrek aan woordkennis.

1. Wordt de vraag gesteld in termen die de respondent begrijpt?

2. Bevat de vraag woorden die maar op één manier uitgelegd kunnen worden?

3. Bevat de vraag niet ondersteunende of misleidende vooronderstellingen?

4. Bevat de vraag bevooroordeelde verwoordingen?

5. Is de vraag correct gepersonaliseerd?

6. Zijn er adequate alternatieve gepresenteerd binnen de vraag?

• Een derde grote beslissing die moet worden genomen bij ontwerpen van vragen is welk vorm en vorm en structuur opgelegd worden aan de deelnemer. De verschillende reactie strategieën bieden de volgende mogelijkheden aan;

  • Ongestructureerde reactie (open einde reactie);

  • Gestructureerde reactie (gesloten reactie).

• Vrije-reactie-strategie: stelt een deelnemer in staat een volledig eigen antwoord te formuleren.

• ‘Dichotomous’ reactiestrategie: een onderwerp geeft duidelijke dichotomous keuzes weer. Iets is een feit of niet, iets heeft wel of niet plaats gevonden. Dichotomous vragen geven tegenovergestelde antwoord-mogelijkheden, terwijl in de praktijk iemand niet altijd tussen twee extremen zal kiezen.

• Multiple-choice-strategie: deze vragen zijn geschikt als er meer dan twee alternatieven zijn of we zoeken naar gradaties in voorkeuren, interesse of overeenkomst. In het laatste geval kunnen noterende vragen gesteld worden.

• Checklist reactiestrategie: als er een ondervraagde gevraagd wordt waarom hij/zij de trein heeft genomen kan dit aan de hand van een checklist aangekruist worden. Checklist generen nominale gegevens.

• Ratingstrategie: ratingvragen vragen de deelnemer om elke factor te positioneren op een schaal, verbaal, numeriek of grafisch. Over het algemeen genereren noterende schaal structuren rang gegevens. Sommige voorzichtige vervaardigde schalen generen interval gegevens.

• Rankingstrategie: deze strategie wordt gebruikt wanneer het belangrijk is om de relatieve volgorde van de alternatieven te weten.

• De introductie moet deelnemers motiveren om deel te nemen aan het onderzoek. Het moet genoeg vertellen over de vragen die gesteld zullen worden. Dit kan gedaan worden door de onderwerpen te benoemen. Door de onderwerpen bekend te maken kunnen de deelnemers beslissen of ze interesse hebben en hoeveel nuttige informatie voor het onderzoek zij kunnen verstrekken. In de inleiding wordt de tijd die het kost om deel te nemen aan het onderzoek vermeld. Ook het doel van de studie wordt vaak duidelijk gemaakt.

Hoofdstuk 14: Het doen van metingen en meetschalen

• Metingen in onderzoeken doen bestaat uit het toewijzen van getallen aan empirische gebeurtenissen aan de hand van een stel regels. Het meetproces beslaat 3 stappen:

1. Selecteren van observeerbare gebeurtenissen.

2. Het ontwikkelen van mapping rules: een schema van getallen of symbolen die wordt toegewezen aan bepaalde aspecten van de gebeurtenissen die worden gemeten.

3. Het toepassen van de mapping rules op elke observatie van die gebeurtenis.

• Bij het doen van onderzoek kunnen variabelen in twee groepen verdeeld worden, objecten en eigenschappen. Objecten omvatten alledaagse dingen zoals tafels, stoelen etc. Objecten zijn daarnaast de niet tastbare dingen zoals genen, neutronen etc. Eigenschappen zijn de karakteristieken van het object. In letterlijk opzicht meten onderzoekers niet objecten of eigenschappen. Zij meten indicaties van de objecten of de indicaties van de eigenschappen van de objecten.

• Met nominale gegevens verzamel je informatie over een variabele die van nature of door ontwerp in twee of meer categorieën verdeel kan worden die wederzijds exclusief zijn en gezamenlijk alle mogelijk opties bevatten. Het tellen van leden in elke groep is de enige bewerking die met deze gegevens uit te voeren is.

• Ordinale gegevens omvatten de karakteristieken van de nominale schaal en een indicator van ordening. Ordinale gegevens zijn mogelijk als de transivity hypothese is voltooid. Deze hypothese verklaart dat als a groter is dan b en b is groter dan c, dan is a groter dan c.

• Intervalgegevens hebben de kracht van nominale en ordende gegevens plus een extra kracht. Zij fuseren het begrip van gelijkheid van het interval. De afstand tussen 1 en 2 is gelijk aan de afstand tussen 2 en 3.

• Ratiogegevens verenigen alle voordelen van de voorgaande gegevens soorten plus de bepaling voor het absolute nul punt of de oorsprong. Ratio gegevens geven de actuele hoeveelheid van de variabele weer

• Het meetgereedschap moet een nauwkeurige teller van de indicator zijn waarin we geïnteresseerd zijn. Bovendien moet het makkelijk en efficiënt te gebruiken zijn. Hieronder drie criteria voor het beoordelen van meetapparatuur:

1. Validiteit (validity): de mate waarin een test meet naar wat we willen meten.

2. Betrouwbaarheid (reliability): heeft te maken met nauwkeurigheid en precisie.

3. Uitvoerbaarheid (practicality): heeft te maken met een groot aantal factoren zoals kosten en gemak.

• De inhoudelijke validiteit van een meetinstrument is de mate waarin het instrument zorgt ervoor zorgt dat de onderzoeksvragen beantwoord worden. Als het instrument een representatieve steekproef bevat van de onderwerpen van het onderzoek, dan is de inhoudelijke validiteit goed.

• Criterion validity reflecteert het succes van de metingen die gebruikt worden voor voorspellingen of schattingen. Men zou bijvoorbeeld een uitkomst willen voorspellen of schattingen willen maken betreffende het bestaan van een huidige conditie of huidig gedrag. Deze schattingen zijn respectievelijk voorspelbaar en concurrerend in validiteit.

• Om constructieve validiteit te evalueren moeten we zowel de theorie als het meetinstrument evalueren. Constructieve validiteit is de mate waarin een operationalisatie ook daadwerkelijk een abstract onderwerp meet. Bijvoorbeeld of ‘op tijd komen op je werk’ ook daadwerkelijk een goede operationalisatie is van ‘werkmotivatie’. Uiteraard moeten er meer factoren zijn voor de operationalisatie van motivatie.

• Een meting is betrouwbaar als de resultaten consistent zijn. Betrouwbaarheid is een noodzakelijke bijdrage aan validiteit maar is op zich niet voldoende voorwaarde voor validiteit.

• Een meting wordt stabiel genoemd als resultaten met herhaalde metingen van dezelfde persoon met hetzelfde instrument gelijk zijn aan elkaar.

• Gelijkwaardigheid betreft variaties op één punt in de tijd als gevolg van het feit dat er een andere observeerder aangesteld is en steekproef van voorwerpen. Een goede manier om gelijkwaardigheid tussen onderzoekers te vergelijken is om te kijken naar de gelijkwaardigheid tussen de metingen van dezelfde gebeurtenissen van de verschillende onderzoekers.

• De derde benadering van betrouwbaarheid gebruikt alleen de administraties van een instrument of test om de interne consistentie of homogeniteit van de onderdelen/items te bepalen. De halve–opdeel techniek (split-half technique) wordt gebruikt als het meetgereedschap veel dezelfde vragen of verklaringen heeft waarop het onderwerp kan reageren.

• Wanneer men een concrete meting uitvoert, gebruikt men de gestandaardiseerde schaalverdeling. Wanneer men meer abstracte en complexe constructies heeft, kunnen gestandaardiseerde metingen niet bestaan of niet een juiste ‘fit’ met een scenario geven. Voor deze situaties kan men een op maat ontworpen schaal opzetten.

• Ratingschalen kunnen gebruikt worden voor het beoordelen van eigenschappen van objecten zonder het hoeven refereren naar andere gelijksoortige objecten.

• Simpele houdingsschalen:

  • Simpele categorieschaal (dichotomous schaal) biedt twee wederzijdse exclusieve reactiekeuzes aan (ja/ nee). Deze schaal wordt vaak gebruikt voor demografische vragen (nominal).

  • Multiple-choice, single response wordt toegepast als er meerdere keuzemogelijkheden zijn, maar waar er maar één gekozen kan worden (nominal).

  • Multiple-choice, multiple response scale (checklist) wordt toegepast als er één of meerdere alternatieven gekozen kunnen worden (nominal).

  • Likert- schaal is de meest gebruikte variatie van de gesommeerde noteringschaal (summated rating scale). Gesommeerde schalen bestaan uit verklaringen die de gunstig of ongunstigheid uitdrukken ten opzichte van het object. De ondervraagde wordt gevraagd of hij/ zij het eens is met de verklaring. Elke reactie krijgt een nummer die in verband staat met het eens of oneens zijn (interval).

• Semantische-differentieschaal meet de psychologische betekenis van een houding van een voorwerp. Deze schaal wordt door managers gebruikt voor merkimago en andere marketingstudies. De methode bestaat uit een paar bipolaire noterende schalen, meestal met 7 punten waarbij 1 of meer ondervraagden 1 of meer concepten op elke schaal schat.

• Numerieke schalen hebben gelijke intervallen die hun numerieke schaalpunten scheiden. De verbale ankers dienen als de etiketten voor de extreme punten.

• De schaal van ordinale/intervalgegevens is lineair, simpel en productief. Door deze eigenschappen wordt de schaal populair bij managers en onderzoekers (ordinal of interval).

• De veelvuldige noterende schaallijst is gelijk aan de numerieke schaalverdeling maar verschilt op twee manieren. Het accepteert een omcirkelde reactie van de schatter en daarnaast geeft de lay-out een visualisatie van de resultaten weer (interval).

• De gefixeerde somschaal helpt de onderzoeker proporties te ontdekken. Deze schaal wordt gebruikt voor gedrag en houding. Het produceert ratio gegevens (ratio).

• De stapelschaal wordt gebruikt als alternatief voor de semantische differentiatie schaal. Vooral wanneer het moeilijk is om bipolaire adjectieven te vinden die matchen met de onderzoekende vraag (ordinal of interval).

• De grafische noterende schaal is gecreëerd om onderzoekers de gelegenheid te geven om fijne/ moeilijk waarneembare verschillen waar te nemen. Theoretisch gezien is een oneindige rij van noteringen mogelijk zolang het uitvoerbaar is dat de ondervraagde toegewijd genoeg is om onderscheid te maken en hen op te nemen (ordinal, interval of ratio).

• Bij plaatsende schalen wordt het onderwerp meteen vergeleken met twee of meer onderwerpen en worden er keuzes over gemaakt. Wanneer er twee opties zijn, leidt dit nog niet tot problemen maar wanneer er meer dan twee keuzes aangeboden worden kan dit snel tot een gelijkstand leiden.

• We ontwerpen willekeurige schalen, door het vergaren van eenduidige en geschikte items ten opzichte van een gegeven onderwerp.

• Overeenstemmingsschalen vereisen items die geselecteerd worden door een panel van rechters, waarbij deze items geëvalueerd worden op:

1. De relevantie met betrekking tot het onderwerp gebied

2. De potentie voor dubbelzinnigheid

3. Het niveau van de attitude wat ze representeren

• Item-analyse scaling is een procedure voor het evalueren van een item, gebaseerd op hoe goed deze onderscheid maakt tussen de personen die een hoge score hebben en de personen die een lage score hebben gehaald.

• Totale scores bij de cumulatieve scaling hebben dezelfde betekenis. Als van een persoon zijn totale score wordt gegeven, dan is het mogelijk om te voorspellen welke onderdelen als negatief of positief beoordeeld worden.

• Factorscaling bevat een variatie aan technieken die ontwikkeld zijn om twee problemen aan te pakken, namelijk:

  • Hoe men omgaat met een universum van inhoud die multidimensionaal is;

  • Hoe men onderliggende dimensies die nog niet geïdentificeerd zijn door verkennend onderzoek kan ontdekken.

• Multi-dimensionale schaling (MDS) beschrijft de collectie van technieken die omgaan met de eigenschappen op een meer algemene manier dan de semantische differentiële manier. Met de MDS kan iemand objecten schalen op een manier die inzicht geeft in de relatie tussen de onderdelen.

Hoofdstuk 15: Resultaten presenteren

• Korte rapporten zijn geschikt indien er een duidelijk en simpel probleem aanwezig is die niet erg uitgebreid en complex is.

• Een overdrachtsbrief zorgt voor het zogenaamd ‘vervoeren’ van het korte rapport. Het rapport dient direct te zijn, bevat enkel een paar grafieken om trends aan te tonen.

• Van lange rapporten zijn er twee soorten: het technische rapport en het managementrapport. De keuze hangt af van welke onderzoeksbenadering er gebruikt wordt, het te bereiken publiek en de doelen van de onderzoeker.

• In sommige gevallen heeft de bepaalde klant geen enkele ervaring op onderzoeksgebied en is enkel geïnteresseerd in de resultaten in plaats van de methodologie. In dit geval wordt het managementrapport gebruikt.

• Het technische rapport is veel gedetailleerder. Bijna alle verkregen informatie en data wordt hierin verwerkt. Andere onderzoekers zouden dit kunnen inzien omdat het volledige verhaal bevat met hoe en wat het onderzoek is uitgevoerd.

• Een academisch rapport heeft echter iets extra’s. In dit onderzoek is een substantieel theoretisch onderdeel aanwezig. Het rapport beschrijft de bevindingen in het licht van de gevonden theorie.

• Het voorblad moet een aantal dingen bevatten: de titel, datum, voor wie het bedoeld is en door wie het rapport is opgesteld. De titel moet daarnaast de volgende elementen bevatten:

1. Variabelen die gebruikt zijn in de studie

2. De relatie tussen de variabelen

3. De populatie waarop dit onderzoek betrekking heeft

• Een beknopte samenvatting heeft twee doelen. Het kan functioneren als een korte versie van het rapport waarbij alle aspecten van het onderzoek aan bod komen. Daarnaast kan het ook een samenvatting zijn waarin alleen de belangrijkste bevindingen, conclusies en aanbevelingen naar voren komen.

• Rapporten met meer dan tien pagina’s moeten een inhoudsopgave bevatten. Indien er vele tabellen, grafieken en andere figuren aanwezig zijn, moeten deze na de inhoudsopgave worden opgesomd in een zogenaamde inhoudsopgave van figuren en illustraties.

• In de inleiding worden de aspecten van het onderzoek kort toegelicht: het probleem, de onderzoeksdoelen en achtergrondinformatie. Het moet voor de lezer duidelijk worden wat de toegevoegde waarde van het onderzoek is en waarom het de moeite waard is om het rapport te lezen.

• Bij het hoofdstuk Onderzoeksprobleem en onderzoeksdoelen wordt het belang van het onderzoek geschetst. Dit wordt vaak gedaan in een vragende vorm.

• De theorie bevat twee elementen: behandeling van de bestaande literatuur met betrekking tot het onderwerp en een deel waarin de theoretische ontwikkeling wordt behandeld met betrekking tot dit onderwerp.

• Technische en academische rapporten bevatten de methodologie. Dit onderdeel is het enige waarin je kan zien hoeveel tijd en energie in het verzamelen en analyseren van data gestoken is.

• Het bevat de volgende onderdelen:

1. De steekproeftrekking van de deelnemers van het onderzoek

2. Onderzoeksdesign

3. Dataverzameling

4. Metingen

• Bij data-analyse wordt samengevat welke methode(s) gebruikt is/zijn om de data te analyseren. Ook moet duidelijk zijn waarom er voor deze methode(s) gekozen is.

• Het is belangrijk om aan te geven wat je beperkingen zijn in het onderzoek, hoewel vele onderzoekers dit willen vermijden. Hierin moet duidelijk worden welke problemen ondervonden zijn bij de methodologie of implementaties van data en de eventuele consequenties hiervan voor de geldigheid van de uitkomsten.

• De resultaten bevatten het grootste onderdeel van het onderzoek. Hier worden de data beschreven en vervolgens de interpretaties of conclusies geven. Bij kwantitatieve data is het handig om dit weer te geven in figuren, grafieken en/of tabellen. Alleen relevante verkregen data moeten behandeld worden. Ondanks dat moeten de data je hypotheses ondersteunen maar ook die je hypotheses onderuit werken.

• In de conclusie wordt een korte samenvatting gegeven van de essentiële bevindingen. Vervolgens wordt verteld of de doelen behaald zijn met behulp van het onderzoek. Herinner de lezer eraan wat het doel was en de stappen die ondernomen zijn. Zorg dat de conclusie in verband staat met de echte wereld door aanbevelingen te doen op basis van wat de onderzoeker geleerd heeft van zijn onderzoek. Daarnaast kun je behandelen wat er in de toekomst gedaan kan worden voor eventueel verder onderzoek.

• Appendices: deze bevatten vaak complexe tabellen, statistische testen, extra documenten, formulieren en vragenlijsten, gedetailleerde beschrijvingen van de gebruikte methodologie, instructies, en andere bewijsstukken.