Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

Hoorcollege 1

Onderscheid tussen kwantitatief en kwalitatief onderzoek zit op verschillende niveaus. Zo is er onderscheid tussen de methodologie, de (onderzoeks)methoden en het onderzoek.

De methodologie is de benadering van het onderzoek. Het is een houvast om onderzoek op een juiste manier te doen. De methodologie is terug te vinden in de keuzes op grond van onderzoeksonderwerpen, dataverzameling en –analyse, enz. Methodologie omvat:

• Een voorkeur voor bepaalde methoden;
• Een filosofisch perspectief, of een verzameling aannames (over wat ‘de werkelijkheid’ is, over de rol van de onderzoeker enz.);
• Een systematische volgorde van stappen in de onderzoeksprocedure nadat een methode gekozen is.

Er zijn verschillende filosofische perspectieven:

• Positivisme: de werkelijkheid (empirie) is objectief waar te nemen; de wetenschap is waardevrij en objectief, een onderzoek is (dus) gericht op het testen van theorie.
• Interpretativisme: de werkelijkheid kan alleen toegankelijk worden gemaakt m.b.v. sociale constructies (zoals taal); wetenschap kan niet waardevrij of objectief zijn, en onderzoek is (dus) gericht op het begrijpen van betekenis/zin.

Positivisme:

• Wereld is een op zichzelf staande werkelijkheid;
• Onderzoeker kan de werkelijkheid objectief en afstandelijk onderzoeken;
• Onderzoek draait om het verzamelen van meetbare feiten;
• Opdelen van de werkelijkheid is mogelijk.

Interpretativisme:

• Wereld is ‘sociaal geconstrueerd’, betekenis is subjectief;
• Onderzoeker is deel van het onderzochte;
• Onderzoek draait om betekenis die mensen geven aan de wereld;

• Kijken naar het gehele plaatje;
• Generaliseerbaarheid niet groot belang.

Kwalitatief is niet (alleen maar)…

• Het gebruik van tekst/kwalitatieve (categorische) gegevens;
• Exploratief van aard zonder sterk geformuleerde richting;
• Een onbeperkt gebruik van variabelen en te onderzoeken onderwerpen;
• Veel diepgang en veel open vragen.

Het onderscheid is wel…

1. Holistisch (kwalitatief) versus Analytisch (kwantitatief);
2. Context gebonden (1 branche, specifiek) versus Generaliserend (heel NL bijv.);
3. Participerend en Interveniërend versus Afstandelijk en Observerend;
4. Intersubjectief en Inhoudelijk (aanbeveling, maar niet volgens de regels) versus Procedureel en Objectief (iedereen mee eens, volgens de regels).

Kwantitatief onderzoek:

Voordelen: objectief en waardevrij, mogelijkheid tot het toetsen van een hypothese.

Nadelen: weinig tot geen (diep) contact met mensen in het veld, statistische analyses gebaseerd op variabelen die, in de context van werkelijke interactie, arbitrair vastgesteld zijn.

Kwalitatief onderzoek

Voordelen: gebaseerd op ‘werkelijke’ data, ‘wat, waarom en hoe’ in plaats van ‘hoeveel’, houdt rekening met context, geschiedenis en politiek.

Nadelen: Subjectief, want afhankelijk van interpretaties, validiteit en betrouwbaarheid niet altijd gewaarborgd.

Gastcollege

Het gastcollege ging over social media analyses. Veel data is te vinden op internet over iemand, zonder dat je diegene kent. Deze data kan ingezet worden voor analysedoeleinden. Een methode hiervoor is de sentimentenanalyse: tweets bijvoorbeeld worden ingedeeld in positief, neutraal en negatief. Een nadeel hiervan is dat veel extremen worden gevonden, waardoor het lastig is om de data te generaliseren. Ook sarcasme kan moeilijk te herkennen zijn, waardoor het lastig is om data te automatiseren.

De net promoter score is een betere methode. Promotors zijn mensen die een 9 of 10 geven op de vraag of zij het bedrijf aan zouden bevelen. Detractors zijn mensen die hierop een antwoord van 0-6 geven.

Net promotor score = % promotors - % detractors.

Er is wel volume nodig voor zo’n analyse. Per bedrijf verschilt het aantal tweets bijvoorbeeld wat hiervoor nodig is. Ook is deze analyse arbeidsintensief en duur.

Finchline explore is een programma dat helpt bij het analyseren van bronnen en informatie. De invloed die iemand heeft op internet kan gemeten worden door het programma Klout en houdt rekening met het aantal volgers, het aantal reacties/personen en de context.

Een superpromoter is iemand die betrokken is bij je merk/bedrijf, zijn mening hierover deelt en veel invloed heeft. Een influencer is iemand die als autoriteit wordt gezien op jouw vakgebied maar niet per se een voorstander van je merk.

Thematische analyses zijn woorden die met zoekopdrachten worden gecombineerd en geanalyseerd. Door dit te doen kan de thematiek rond een onderwerp gevonden worden.

Hoorcollege 2

Kwalitatieve interviews

Voordelen: efficiënt in termen van tijd en middelen, nuttig voor het meten van de attitude en waarden.

Nadelen: minder werkelijk voorkomende data, geen directe toegang tot de ‘feiten’, geen inzicht in de ‘ervaringen’.

Soorten interviews: vereiste vaardigheden

• Gestructureerd interview: neutraliteit; geen improvisatie; training gericht op consistentie.
• Semi-gestructureerd interview: verbinding/contact met geïnterviewde; begrip van het doel van het onderzoek.
• Ongestructureerd onderzoek: flexibiliteit; verbinding/contact met geïnterviewde; actief luisteren.
• Focus groep: organisatievaardigheden; flexibiliteit; vermogen om op de achtergrond te blijven zodat de groepsdynamiek kan ontstaan.

De onderzoeksvraag bepaalt het soort interview!

Potentiële problemen bij interviews:

• Gebrek aan vertrouwen;
• Gebrek aan tijd;
• Level of entry/elite bias;
• Hawthorne effect;
• Dubbelzinnig taalgebruik;
• Interviews kunnen ook gewoon mislukken.

Criteria voor een goed interview:

• Onderzoeksvraag: past het interview type bij de onderzoeksvraag?
• Interview type: kan het interview type methodologisch correct worden toegepast? Wordt er niet tussen interviewtypes heen-en-weer gesprongen?
• Interviewer: zijn de interviewers in staat dit type interview te gebruiken?
• Geïnterviewde: is dit type interview passend bij de te onderzoeken groep personen?
• Ruimte (scope) voor de geïnterviewde: kan de geïnterviewde zijn/haar verhaal kwijt gegeven de interviewvragen?
• Interactie: kunnen de interviewers de gewenste mate van interactie verkrijgen?
• Doel bij interpretatie/analyse: is het onderzoek gericht op een analyse van heldere, begrensde antwoorden, of op complexe, multi-dimensionele patronen en context?
• Gewenste generalisatiemogelijkheden.

De rollen van een interviewer kunnen taak georiënteerd zijn of relatie georiënteerd.

De taken van een interviewer zijn:

• Inleiden van het interview;
• Het stellen van vragen;
• Het evalueren van de antwoorden;
• Doorvragen om geïnterviewden meer uitgebreide, meer relevante antwoorden te laten geven;
• Het opnemen, noteren van de antwoorden;
• Het interview leiden aan de hand van twee rollen.

Er zijn twee soorten interview protocollen. Een protocol gebaseerd op vragen schetst de verwachte inhoud van het interview met behulp van een aantal vragen die de interviewer van plan is te stellen. Een protocol gebaseerd op onderwerpen bestaat uit een lijst van gebieden en kwesties waarover de interviewer wil komen te spreken. Deze worden vaak in een format gegoten dat kan dienen als checklist, zodat het makkelijker wordt om bij te houden welke onderwerpen al zijn besproken.

Interview protocol: de introductie

• Achtergrondinformatie;
• Hoe de resultaten zullen worden gerapporteerd;
• Structuur van het interview: thema’s en volgorde;
• Wat gebeurt er met versterkte informatie (anonimiteit)?;
• Rol verwachtingen: ieders taken;
• Maak duidelijk wanneer de inleiding is afgelopen en het vraag-antwoord deel begint.

Interview protocol: de body

• Inleidende vraag;
• Subonderwerpen Onderwerpen 1 – 2 – 3;
• Rangschik de vragen in een gewenste/logische volgorde en neem ze op in je interviewprotocol.

Interview protocol: stellen van vragen

• Stel de vragen in een niet-leidende manier;
• Stel de vragen op een begrijpelijke manier.

Interview protocol: evalueren van antwoorden

• Validiteit van het antwoord;
• Volledigheid van het antwoord;
• Relevantie van het antwoord;
• Helderheid van het antwoord.

Interview protocol: doorvragen/probing

• De openingsvraag herhalen of verhelderen;
• Het antwoord herhalen of samenvatten;
• Expliciet doorvragen op een ongerichte manier;
• Expliciet doorvragen op een gerichte manier;
• Stil doorvraag- en luistergedrag (knikken, hmm, ja, echo).

Interview protocol: silent probing

• Wacht een ogenblik in stilte en kijk de geïnterviewde verwachtingsvol aan;
• Oogcontact;
• Houding;
• Knikken.

Interview protocol: afsluiting

• Introduceer de afsluiting van het interview;
• Vraag of dingen mogelijk buiten beschouwing kunnen blijven;
• Bedank de geïnterviewde;
• Herhaal wat er gebeurt/regelingen met de resultaten van het interview;
• Een korte evaluatie van het interview.

Een goed interview focust op de wereld van het subject. Een sfeer van samenwerking creëren is ook belangrijk. De interviewer kan een serieuze bijdrage leveren, door alvorens het interview zowel de taakgeoriënteerde als de relatiegeoriënteerde rol voor te bereiden en een oprechte interesse in de geïnterviewde tijdens het interview te ontwikkelen.

Interviews met meerdere personen

Een interview met meerdere personen wordt gebruik als op zichzelf staande methode of in combinatie met andere methoden (surveys, observatie). Er zijn verschillende types: groep interview, groep discussies en focus groepen. De rol van de moderator is meer een facilitator van de groep-interactie dan een vragensteller.

Een interview wordt gehouden als een persoonlijke opinie of gedrag diepgaand geanalyseerd moet worden. Een groepsdiscussie wordt gehouden als in korte tijd verschillende opinies op een rij moeten worden gezet; een groepsproces nagebootst moet worden; interactie geobserveerd moet worden of de output visueel materiaal moet zijn en er plaats is voor associatieve en projectieve technieken.

Voorbereiden van een groepsdiscussie:

• Houd rekening met inrichting/keuze onderzoekruimte;
• Probeer je in te leven tijdens het maken van een checklist;
• Kleed je ‘gepast’;
• Kijk naar de lijst van deelnemers;
• Vang deelnemers op buiten interviewruimte;
• Leid ze zelf binnen;
• Uitleg en kennismaking;
• Stel eerste vraag…

Hoe blijft de groepsdiscussie aan de gang?

• Blijf je inleven in de groep;
• Wees onzichtbaar zichtbaar;
• Probeer ‘probleempjes’ subtiel non-verbaal op te lossen, pas als dat niet lukt minder subtiel (= verbaal);
• Probeer tempo discussie aan te passen aan groep;
• Verlies oogcontact niet.

Een kwalitatief marktonderzoeker is:

• Nieuwsgierig;
• Inlevingsvermogen;
• Mensenmens, maar ook:
• Lichte ‘terugtrek’ neiging/introvertie;
• Interesse in menselijk gedrag;
• Goed en snel kunnen analyseren en verwoorden;
• Goed kunnen ‘schakelen’ tussen respondent (mensenkant) en je klant (commercie).

Deel 2

Wetenschap is het ontwikkelen van kennis binnen een bepaalde discipline. Theorieën zijn nodig om kennis te structuren, in te kaderen en vervolgonderzoeken te generen.

Inductief is het ontwikkelen van observatie/case naar een hypothese/theorie. Deductief is het ontwikkelen van hypothese/theorie naar test/observatie. In de wetenschappelijke praktijk is er vaak een wisselwerking tussen deductief en inductief.

Het gebruik van kwalitatief onderzoek in wetenschappelijk onderzoek is vaak (maar niet alleen) met als doel het generen (inductief) van hypotheses, oplossingen en interventies van groepen.

Vroeger was de wetenschappelijke methodologie afhankelijk van de discipline waarin onderzoek gedaan werd. Nu is er sprake van pragmatisme: de methode is afhankelijk van de onderzoeksvraag.

Kwalitatief onderzoek wordt gebruikt als er sprake is van een onderzoeksvraag die een gevoelig onderwerp, onontgonnen gebied of complexe situatie betreft.

Mogelijke nadelen van kwalitatief en kwantitatief onderzoek:

Kwantitatief: geen oog voor context & individuele verschillen.

Kwalitatief: niet generaliseerbaar, zelfrapportage niet altijd accuraat, sociaal wenselijkheid.

Triangulatie is de combinatie van verschillende methoden. Sterktes en zwaktes van kwantitatief en kwalitatief compenseren elkaar.

Hoorcollege 3

Een observationeel onderzoek is het observeren van gedrag in een “natuurlijke” setting. Kenmerken observationeel onderzoek:

• Omgeving: volledig natuurlijk vs. simulatie;
• Gestructureerd vs. ongestructureerd: in welke mate gespecificeerd?
• Observator zichtbaar of niet: is de observator duidelijk aanwezig?
• Inmenging onderzoeker: onderzoeker als deelnemer (“complete participant”) of als buitenstaander (“complete observer”).

Ongestructureerd: veelzijdigheid, nieuwe ideeën/mogelijkheden. Dit is een goed begin voor een kwantitatieve studie.

Gestructureerd: van te voren nauwkeurig afbakenen wat precies gemeten wordt, wat ‘telt’ als gedrag. Dit is extra belangrijk wanneer een hypothese wordt getoetst (dus als deductief instrument).

In een ongestructureerde setting kan er subjectiviteit bij het observeren ontstaan. Motivaties en verwachtingen sturen percepties. Pas dus op voor tunnelvisie.

De structuur kan helpen om een open blik te houden, bijvoorbeeld door een checklist of software.

Bij het kiezen van de omgeving is de afweging de controle die gehouden kan worden in een simulatie versus de externe validiteit die daardoor misschien niet meer gewaarborgd kan worden.

De overwegingen bij de wel of niet aanwezigheid van de onderzoeker zijn: krijgen we te maken met sociaal wenselijk gedrag, treedt het Hawthorne effect op (gaan deelnemers sowieso beter presteren omdat ze aan een onderzoek meedoen, ongeacht of ze in de controle groep of experimentgroep zitten?), moet de inhoud gestuurd worden, is het ethisch verantwoord om aanwezig te zijn? Daarnaast is er ook nog directe (fysiek aanwezig) en indirecte observatie (technologie gebruiken om resultaten te meten zoals smart meters/GPS of sporen gebruiken, zoals slijtage van banden/looppaden). 

Overwegingen bij observeren

De kansen van observeren:

• Meer ‘natuurlijk’ gedrag in natuurlijke setting;
• Omzeilen van sociaal wenselijkheid.

De risico’s van observeren:

• Subjectiviteit;
• Arbeidsintensief;
• Toegang & toestemming;
• Ethische overwegingen.

Aan de hand van observatie en daarna onderzoek kunnen bepaalde risico’s omzeild worden.

Gastcollege Noldus

Noldus is een groot bedrijf, gevestigd in Wageningen, met meer dan 5700 klanten in 75 landen. Er werken 126 mensen voor Noldus. Het bedrijf ontwikkelt professionele software, hardware en geïntegreerde oplossingen voor observatieonderzoek. De sensoren worden ontwikkeld om menselijk gedrag te meten op allerlei manieren en voor allerlei soorten gedrag.

Gedrag wordt dus vooral gemeten met de sensoren. Maar wat valt er onder gedrag? Gedrag zijn activiteiten, taken, interacties, gebaren, gezichtsuitdrukkingen, stemgebruik, uitspraak, bewegingen en lichaamshoudingen.

Als er geen techniek wordt gebruikt voor observatie wordt het onderzoek uitgevoerd door een onderzoeker die kijkt naar het gedrag van de proefpersonen en zijn observaties opschrijft op papier en er wordt een klok gebruikt voor tijdinformatie. De nadelen van dit soort observatie zijn:

• Tijdens het schrijven, zijn er geen observaties;
• Er ontstaat subjectieve data;
• Kleine opnamecapaciteit;
• Arbeidsintensieve analyse.

De oplossing voor deze nadelen is een event recorder. Observer XT is de software die gebruikt wordt voor de gestructureerde observaties. Creëer een coderingsschema voor of tijdens de observatie en maak aantekeningen van gedrag door het simpel intypen van een toets. Dit zal resulteren in een event-log die time-stamped events bevat die gesynchroniseerd kunnen worden met multimodal data:

• Video’s (1 of meer);
• Fysiologische data;
• Oogbewegingsdata;
• Etc.

Met de software kan systematisch worden geobserveerd/genoteerd wie doet wat, wanneer, waar en met wie. Wie is een proefpersoon (of meerdere), what is gedrag, when is een tijd (automatisch geregistreerd), where is een modifier en with whom is ook een modifier.

Er zijn drie stappen om Observer XT te gebruiken:

1. set-up;
2. observe;
3. analyze.

De set-up bepaalt de resultaten: voer een pilot study uit en check of de resultaten met je verwachtingen kloppen.

Gedrag kan op twee manieren vastgelegd worden:

State events zijn gedragingen die plaatsvinden gedurende een tijdsperiode, zoals kijken naar patiënt of het gesprek samenvatten. Het heeft dus een duur.

Point events zijn gedragingen die alleen plaatsvinden voor één moment in de tijd of de duur is niet van belang, zoals het stellen van een vraag of knikken. Het heeft dus geen duur.

Mutually exclusive gedragingen zijn 1 tegelijk, en uitsluitbaar: de stop hoeft niet gecodeerd te worden, want wanneer een nieuwe activiteit/gedraging begint eindigt automatisch de andere.

Not exhaustive: de gedragingen zijn niet wederzijds uitsluitbaar en dus kunnen meerdere gedragingen/activiteiten tegelijk plaatsvinden.

Modifiers geven een gedraging nauwkeuriger weer of beperken het toepassingsgebied. Ze moeten georganiseerd worden in groepen. Een voorbeeld: als het gedrag bijvoorbeeld het stellen van een vraag is, dan kan de eerste modifier groep het type vraag zijn (open of gesloten) en de tweede modifier de hoeveelheid empathie zijn (empathische vraag of een zakelijke vraag).

Er kunnen vele soorten verschillende statistieken berekend worden met de software.

Hoorcollege 4

De gebruikelijke systematiek bij het verzamelen naar analyseren van data: de onderzoeksloops:

• Informatiebehoefte achterhalen;
• Onderzoeksopzet opstellen;
• Dataverzameling organiseren;
• Data-analyse uitvoeren;
• Resultaten en conclusies (be)schrijven.

Zie voor het onderzoekslusje slide 4.

In de wetenschappelijke systematiek worden de volgende stappen genomen:

1. Doel duidelijk gedefinieerd;
2. Onderzoeksprocedures gedetailleerd beschreven;
3. Degelijke uitvoering;
4. Ethische standaarden;
5. Openheid over beperkingen;
6. Gepaste data-analyse;
7. Goedgeschreven rapport;
8. Gerechtvaardigde conclusies;
9. Ervaring onderzoeker duidelijk maken.

De systematiek van toegepast onderzoek: vanuit een concrete vraag/probleem worden bestaande theorieën/kennis toegepast. Doel is het probleem oplossen.

De systematiek van fundamenteel onderzoek: vanuit theorie, minder directe relatie met concreet probleem. Doel is het ontwikkelen van een theorie.

Kijk voor de empirische cyclus van deze twee systematieken naar de slides!

Reduceren = schrappen van de informatie die niet relevant is voor het beantwoorden van de onderzoeksvraag. Reduceren is dus weglaten en dat is een cruciaal onderdeel. Eerst de data omzetten/uitwerken naar tekst, zodat onderlinge vergelijking mogelijk is. Daarna moeten emoties en opmerkingen over incidenten/niet exemplarische cases uit de tekst worden gehaald. Daarop moet een aparte analyse losgelaten worden.

Combineren van allerlei methoden/data is triangulatie (ook: het combineren van minimaal twee andere invalshoeken). Een driehoeksmeting is een meting waarbij men gebruikmaakt van de eigenschap van een driehoek dat de driehoek volledig is bepaald als we één zijde (de basis) en de aanliggende hoeken kennen.

Types triangulaties:

• Data triangulatie;
• Onderzoekstriangulatie;
• Theoretische triangulatie;
• Methodische triangulatie.

Triangulatie is niet een manier om ‘de’ validiteit vast te stellen, maar kan het best worden begrepen als een strategie om verschillende kanten van de werkelijkheid te laten zien (en dan leidt tot diepte, complexiteit en rijkheid).

In de praktijk wordt er veel gebruik gemaakt van de combinatie van kwalitatief en kwantitatief onderzoek.

Coderen = het toekennen van een betekenis aan data. Dit kan met behulp van bijvoorbeeld software gedaan worden.

Deel 2

De means-end chain is de middel-doel keten. Attributes worden omgezet naar consequences naar values. Dit leidt tot een keten van concrete attributes à abstract attributes à functional benefits à psycho-socological consequences à instrumental values à terminal values. (zie hiervoor ook de slides!)

Laddering is het opstellen van attributen, voordelen, consequenties en waarden die daarbij horen onder elkaar, zodat er een soort ‘ladder’ ontstaat waarin een redenering wordt gedaan voor de waarde die iets heeft. Bij gedrag horen instrumentele waarden, bij doelen eindwaarden. Laddering heeft de volgende volgorde, waarin de volgende stap elke keer gebaseerd wordt op de vorige:

• Eindwaarden;
• Instrumentele waarden;
• Psychosociale gevolgen;
• Functionele gevolgen;
• Abstracte kenmerken;
• Concrete kenmerken.

Stap 1 is de dataverzameling. Dit is het inventariseren en achterhalen van de (product/dienst) kenmerken die (potentiële) kopers en gebruikers hanteren. Dit kan bijvoorbeeld m.b.v. projectieve technieken, zoals de Kelly’s Reporting Grid Technology. Zie voor een voorbeeld de slides.

Andere voorbeelden van projectieve technieken:

• Associatietechnieken: woord associaties, merk persoonlijkheden en woorden & plaatjes.
• Completering procedures: zinnen worden afgemaakt of merken worden in ‘mappen’ ingedeeld.
• Constructie technieken: projectieve/indirecte vragen worden gesteld, stereotypering/typologieën worden gemaakt of bubble drawing (in een plaatje krijgt iemand die wat zegt een wolkje met tekst erin).
• Expressietechnieken: rollenspelen.
• Ordeningstechnieken.

Stap 2 houdt zich ook bezig met dataverzameling. Door het gebruik van een projectieve techniek, kunnen bijv. merken/producten onderling vergeleken worden of gemeenschappelijke kenmerken en belangrijkste kenmerken achterhaald worden.

Stap 3 is de data-analyse. Er kan een constructie van de frequentie matrix gemaakt worden.

Stap 4 is de elicitatie van A-C-V structuren. Hierbij wordt geprobeerd te achterhalen welke (impliciete) structuur de geïnterviewden gebruiken.

Hoorcollege 5

De manier om kwalitatieve data te analyseren is gebaseerd op de inhoud van de teksten. Er zijn hierin twee stromingen:

• Analyse gebaseerd op het kwantificeren van kwalitatieve data met als doel statistische verbanden ontdekken;
• Analyse gebaseerd op de Grounded Theory (=de gefundeerde theoriebenadering) met ontwikkeling (en provisorische verificatie) van hypothesen en theorieën uit empirische data.

Het kwantificeren van kwalitatieve data bestaat uit verschillende dingen:

• Tellen van woorden, tekstblokken en fragmenten;
• Woordtellingen aggregeren in categorieën;
• Het aantal categorieën en thema’s gebruiken om conclusies te trekken over de inhoud en context;
• Inhoudsanalyse gebruiken om relaties tussen de thema’s te schetsen.

De Grounded Theory bestaat ook uit verschillende handelingen:

• Diverse manieren van het coderen van tekstfragmenten;
• ‘Spelen en vergelijken’ van de codering met nieuwe data;
• Continue interactie heeft tot doel om concepten als het ware tevoorschijn te laten komen (emergence);
• Gericht op het ontwikkelen van in toenemende mate abstracte en complexe conceptuele structuur;
• Het inleven en begrijpen van de materie om van daaruit conclusies te trekken, met als doel ontwikkeling van hypothesen en theorieën uit empirische data.

De Grounded Theory heeft troublesome trinity (een lastige drievuldigheid):

1. Theoretical sampling;
2. Constant comparison;
3. Saturation.

De Grounded Theory maakt gebruik van voorlopige aannames. Daarna worden er casussen verzameld en geïnterpreteerd, en al die casussen worden vergeleken en weer opnieuw bemonsterd in een steekproef. Uiteindelijk komt hier dan een theorie uit. Zie ook de slide!

Analysestap 1: het labelen = ‘open coderen’:

• Toekennen van namen, steekwoorden en omschrijvingen aan tekstfragmenten/delen van een tekst.
• Het moet een zinvolle reductie zijn, waarbij iets wordt gezegd over individu, situatie, groep of proces.
• Ermee stoppen als er zich geen nieuwe labels meer aandienen.

Open coderen wordt op verschillende manieren gedaan:

• De codes worden toegekend aan betekenisvolle stukjes tekst/fragmenten;
• Regel-voor-regel, zin-voor-zin, paragraaf-voor-paragraaf;
• Niet teveel labels; maar kan meer dan één;
• De codes worden eerst dicht op de tekst/inhoud geplaatst;
• Elke code is in deze fase voorlopig: constante aanpassing op basis van de data en voortschrijdend inzicht;
• Een code kan terugkomen in de gehele tekst (alle interviews, hele casus);
• Je eigen keuzes!! Er is geen goed/fout à wel kwalitatief betere/minder goede analyses.

Analysestap 2: labels/codes ruimtelijk ordenen en er verbanden tussen vinden:

• Startpunt: een verzameling codes/labels/concepten;
• Werkwijze: zoeken naar verschillen en overeenkomsten, qua inhoud en abstractiegraad.
• Ordening wordt sterk bepaald door: wat wil je weten? Waarom wil je het weten? Vanuit welk perspectief verricht je het onderzoek?

Analysestap 3: het interpreteren en benoemen van de labelstructuur = axiaal coderen:

• Startpunt: geordende concepten/labels;
• Werkwijze: zoeken naar (inhoudelijke) verwantschap en terugbrengen tot categorieën.
• Ontstane patronen herkennen als: beschrijvende analyses of causale procesanalyses.
• Axiaal coderen is het verfijnen en onderscheiden van de categorieën die met de open coding ontstaan en het definiëren van relaties tussen categorieën.

Analysestap 4: de geldigheid van de labeling vaststellen:

• Startpunt: min of meer een ‘definitieve’ labeling structuur;
• Werkwijze: nieuwe informatie beoordelen met bestaande labeling (= constant comparison).
• Labeling voldoende/grotendeels dekkend? Zo niet, dan de labeling aanpassen. Zo ja, dan mogelijkheid om te generaliseren.

Analysestap 5: het definiëren van de kernthema’s = ‘selectief coderen’:

• Startpunt: een verzameling (sub)categorieën;
• Werkwijze: definiëren/precies omschrijven van de kernthema’s, zodat anderen ermee kunnen werken.
• Ondubbelzinnig te definiëren? Zo niet, dan kernlabel toevoegen of opsplitsen. Zo ja, dan niveau bereikt van begrip of thema.

Analysestap 6: het vaststellen van de intersubjectiviteit:

• Startpunt: de eind- en tussenresultaten;
• Werkwijze: checken/controleren op betrouwbaarheid/intersubjectiviteit door de teksten door een andere onderzoeker te laten analyseren.
• Levert analyse dezelfde resultaten op? Zo niet, dan indeling en labeling ter discussie stellen. Zo ja, dan sprake van intersubjectiviteit.

Analysestap 7: het beantwoorden van de vraagstelling = ‘theoretical codering’:

• Startpunt: een soort vraagstelling;
• Werkwijze: verschillende benadering per vraagstelling.
• Onderlinge verbanden te ontdekken en visueel weer te geven? Zo niet, dan terug naar oorspronkelijke data. Zo ja, dan een begin van een theorie te formuleren.

De theorie is een raamwerk voor het organiseren van kennis. Een conceptueel model is een visuele weergave van een theorie, er staan variabelen/concepten in en relaties. Het waarom en wanneer is niet weergegeven in dit conceptueel model, dat moet namelijk verklaard worden in de tekst.

In een conceptueel model moeten de concepten meetbaar zijn en de relaties moeten weergegeven worden in een oorzaak-gevolg verband.

Het verschil tussen een conceptueel model en de theorie is dat de theorie mogelijke verklaringen geeft voor een verschijnsel, terwijl een model die mogelijke verklaringen en oplossingsrichtingen grafisch weergeeft.

De onderzoeksopzet van een kwalitatief onderzoek is als volgt:

1. Doel van de studie: beschrijven of theorie ontwikkelen of (soms) toetsen van hypotheses;
2. Onderzoeksdoelen en onderzoeksvragen: heldere formulering onderzoeksdoel. En niet te brede/smalle onderzoeksvragen.
3. Conceptueel model: als het gebaseerd is op een theorie, dan een ‘volledig’ conceptueel model. Als het maar gedeeltelijk bekend is, dan alleen een conceptueel model voor de thema’s die onderzocht moeten worden.
4. Dataverzameling: beschrijving van de methodes voor dataverzameling en data-analyse.

Gastcollege over textmining

Op basis van kwantitatieve analyse kun je veel te weten komen over een klant, maar het vertelt je niet wat een klant bezig houdt. Deze informatie wordt wel gegeven aan bijv. het callcenter, als reactie op een open vraag in marktonderzoek en door het geven van een mening op blogs, fora etc. Tekstanalyse maakt het mogelijk deze data te analyseren.

Het is voor bedrijven interessant deze data te analyseren, omdat veel analyses nu worden gedaan op gestructureerde data, terwijl naar schatting 80% van de data binnen bedrijven ongestructureerd is. Naast interne data is er ook online data uit blogs, fora en andere social media berichten. Deze data is via de ‘reguliere’ kwantitatieve technieken moeilijk te analyseren. De ongestructureerde data bevat een schat aan waardevolle informatie.

Text mining werkt in drie stappen:

1. Woorden worden omgezet naar concepten, daarna naar typen en dan naar categorieën;
2. Sentiment wordt gegeven;
3. Combineren met andere klantgegevens.

De eerste stap begint met woorden, waarop je hulpmiddelen toepast. Verwijder troep, stopwoorden vaststellen, stemming bepalen, synoniemen opzoeken, woord combinaties zoeken en eigen inzicht toepassen. Deze woorden en woordcombinaties worden concepten genoemd.

De concepten moeten handmatig worden ingedeeld in verschillende types, waarbij meestal meerdere concepten in één type worden ingedeeld. De verschillende types zijn de bouwblokken voor de categorieën. Categorieën kunnen ook nog subcategorieën bevatten.

Als de categorieën eenmaal zijn ingedeeld kan er worden gekeken naar de samenhang tussen de verschillende categorieën. Op deze manier worden interessante inzichten verschaft, waarop verder ingezoomd kan worden.

Nu volgt de tweede stap. Een sentiment is positief, negatief of neutraal. Sentiment is te herkennen aan woorden, zoals leuk of slecht, maar ook aan versterkende of ontkrachtende woorden als niet leuk of heel slecht. Sentiment is daarnaast context gevoelig, bijvoorbeeld ‘ik stap over van X naar Y’. Het is ook af te leiden aan gebruiken, zoals #fail.

Er zijn wat problemen met sentiment extractie. Zo zijn er mixed signals, cynisme, een ontbrekende context of zakelijk taalgebruik. Een sentiment analyse is niet per definitie feilloos. Goede programmatuur kan rond de 80% van het sentiment goed classificeren. Dat is niet veel slechter dan een mens.

De sentimenten moeten daarna gerelateerd worden aan concepten, types en categorieën. Een sentiment analyse geeft zeer bruikbare resultaten.

De derde stap in text mining gaat over het nemen van beslissingen, door klant data toe te voegen. Klant data geeft context aan text mining analyses. Door dit te doen wordt ongestructureerde data ‘actionable’ gemaakt.

Conclusies

• Text mining is een interessant onderzoeksinstrument;
• Naast data reductie en analyse is de manier van presenteren erg belangrijk;
• Het is zowel een ‘science’ als een ‘art’;
• Actiegerichte vertaling maakt het bruikbaar in de praktijk;
• The voice of the customer ligt voor het grijpen, dichterbij dan je denkt.

Hoorcollege 6

Een opzet of ontwerp = een standaard aanpak om een onderzoek op te zetten, te faseren en uit te voeren. Een casestudy is in de diepte een persoon, situatie, locatie of situatie als geheel in de context te onderzoeken. Een survey is in de breedte meerdere eenheden onderzoeken, op basis van diverse bronnen, met verschillende methoden. Een veld experiment is de (geplande) verandering onderzoeken op behaalde effecten, door wel/niet ingrijpen.

Er zijn drie verschillende kwalitatieve benaderingen:

• Case study: een onderzoeksthema bestuderen aan de hand van een concreet geval;
• Entografisch onderzoek: het beschrijven van de sociale structuur en de cultuur van een specifieke groep;
• Gefundeerde-theoriebenadering: het ontwikkelen van een theorie (door middel van constante vergelijking).

Varianten op het thema Casestudy:

• Comparative studies (vergelijkende studies): vergelijking van meerdere casussen aan de hand van bepaalde dimensies;
• Retrospective studies (terugkijkend onderzoek): casus reconstructie (bijvoorbeeld een biografie);
• Longitudinal studies (studies over een (lange) periode): herhaald bekijken van een verzameling subjecten gedurende (lange) tijd.

Wat is Casestudy?

• In de diepte onderzoeken; het fenomeen in zijn geheel/in samenhang (holisme), in haar natuurlijke, alledaagse (real-life) context bestuderen.
• Gebruikmakend van een variëteit aan databronnen en analyse methoden om één (of meerdere) casus(sen) te construeren en op te lossen.
• Individuen, groepen, organisaties, processen en gebeurtenissen als onderwerp, met interesse in feitelijk gedrag of de producten daarvan (handelingen, interacties, uitspraken etc.).

Er zijn eenvoudige versus complexe cases. Dit hangt af van de mate waarin de case vooraf kan worden afgebakend, en de verschijnselen goed zijn vast te stellen. Er zijn ook enkelvoudige versus meervoudige cases. Gaat het om een unieke gebeurtenis (niet te ensceneren gebeurtenis) danwel geplande interventie?

Casestudy: ‘actionable insights’:

• Directe observatie: dit bevat een waargenomen feit; een waarneming waarin een essentiële behoefte, drijfveer of een emotie zich weerspiegelt.
• Duiding: het beantwoordt de ‘waarom’-vraag en helpt/leert het bedrijf de diepere betekenis van de klantenfeit te begrijpen.
• Doorvertaling: het is actie gestuurd, geeft richting aan activiteiten die voordelen gaan opleveren, en dus door het bedrijf opgepakt moeten worden.

Niet-participerend of natuurlijke observatie is een observatie vanaf de ‘buitenkant’, waarin geen (of weinig) interactie plaatsvindt en de onderzoeker een toeschouwer is. Participerend of gemanipuleerde observatie is het spreken en interactie met mensen, van ‘binnenuit’. Er is veel interactie en de onderzoeker is een deelnemer.

Er is ook onderscheid tussen:

• Verborgen en niet-verborgen observaties: is de respondent zich bewust dat hij deelneemt aan een onderzoek?
• Reactief en niet-reactief (unobtrusive) observaties: wordt de respondent wel/niet om een reactie en actieve medewerking gevraagd?

Er zijn negen dimensies in sociale situaties:

1. Actor: de personen die betrokken zijn;
2. Act: enkele handeling van een persoon;
3. Activity: een verzameling gerelateerde handelingen van de personen;
4. Event: een verzameling aan elkaar gerelateerde activiteiten;
5. Space: de fysieke ruimte(s);
6. Object: de fysieke dingen die aanwezig zijn;
7. Time: de volgorde/opeenvolging in de tijd;
8. Goal: de doelen die de personen proberen te bereiken;
9. Feeling: de emoties (gevoeld en/of geuit).

Een response bias treedt op als de respondent een systematische fout maakt. Voorbeelden zijn het halo-effect, de welwillendheidsfout, de centrale tendentie fout, de logische fout, het ja-knikken en sociaal wenselijke antwoorden.

Een observer bias treedt op wanneer de observator op de hoogte is van het doel van het onderzoek en daardoor onbewust de waarnemingen en de resultaten subjectief waarneemt en beoordeelt. Het onderzoek kan hierdoor niet meer als betrouwbaar worden opgevat, omdat de waarnemingen en resultaten niet objectief zijn waargenomen en gedocumenteerd.

Kortom, hoe natuurlijker, minder gestructureerd en verborgen, hoe betrouwbaarder en ‘ongekleurder’ de informatie (minder response bias). Er is wel grotere kans op een vertekening doordat een observator dat wat hij observeert verkeerd interpreteert vanwege zijn/haar verwachtingen van het onderzoek (observer bias).

Action research is:

• Kwalitatief veldexperiment: een vorm van zelfreflectie via onderzoek.
• Geplande verandering, meestal met het doel om de situatie van de respondenten te verbeteren.
• Participatie: onderzoek om samen tot verbetering te komen.
• Emancipatie: startpunt is vaak ontevredenheid van respondenten over huidige situatie.

Action research is vaak een onderzoek met mensen in plaats van over mensen.

Bijlage 1: De Kübler-Ross change curve

Gastcollege

Gastcollege van Viktor Kas, consultant bij RWE/Essent.

Vraag: hoe kunnen we onze performance verbeteren en tegelijkertijd onze kosten beheersen?

Bijna alle grote organisaties streven in toenemende mate naar het implementeren van Lean en Operational Excellence te bereiken. De stappen die hiervoor doorlopen moeten worden:

1. Definieer de waarde van product of dienst vanuit klantperspectief;
2. Identificeer/visualiseer de waardestroom en elimineer verspillingen;
3. Creëer continue flow;
4. Schakel om naar een vraaggestuurd systeem: ‘pull i.p.v. push’;
5. Streef naar perfectie door continu te verbeteren.

Energiebedrijven hebben minder geld, moeten meer leveren voor de klant en voor aandeelhouders. Het vergde een enorme cultuurverandering voor Essent om haar marktleiderspositie te behouden en te veranderen in een Lean organisatie. De cultuurverandering zat ‘m vooral in het feit dat mensen betrokken moesten worden bij ‘continue verbetering’, om verspilling uit drijven middels Lean.

Om dit toch voor elkaar te krijgen, heeft Essent het programma ‘Huis op Orde’ ontwikkeld, om middels Lean meer waarde te creëren. Er zijn drie waardes belangrijk:

1. Klantwaarde: bij Essent krijgen klanten wat ze willen;
2. Medewerker waarde: medewerkers hebben plezier in hun werk en ontwikkelen zich;
3. Financiële waarde: er worden klinkende financiële resultaten behaald.

Om dit te realiseren helpen wij business units 16 weken met het uitrollen van het programma, waarbij drie resultaten centraal staan: Vaardigheden ontwikkelen van de organisatie + een uniforme manier van werken introduceren = financiële resultaten verbeteren.

Dé onderzoekstechniek binnen Lean is Root Cause Problem Solving:

1. Definieer probleem en doelstelling;
2. Meet de feiten;
3. Analyseer de grondoorzaken;
4. Genereer verbeteringen;
5. Implementeer verbeteringen;
6. Controleer en “borg” door standaardisatie.

Deze techniek biedt teams structuur om te discussiëren over problemen/oplossingen. Het zorgt daarnaast dat werkelijke grondoorzaken van het probleem worden weggenomen (geen ‘brandjes blussen’). Als laatste verbetert het ook nog de performance.

Om klantbehoeften en –tevredenheid in beeld te brengen, kan het Kano-model gebruikt worden:

Dit model structureert uitkomsten van interviews en visualiseert klantenbehoeften en –tevredenheid. Het laat daarnaast perceptieverschillen zien (tussen klant en eigen rating), het is een ‘praatplaat’ en het zet gemakkelijk aan tot actie.

Bijlage 2

Om gedragspatronen in het team/de organisatie te doorbreken, kan de ijsberg analyse gebruikt worden. Zie hiervoor de slide! Er wordt gekeken naar welke situatie onwenselijk was, of het vaker voor komt, welke structuren die patronen in standhouden en vanuit welke overtuigingen deze structuren/patronen ontstaan.

Deze analyse maakt gedrag/patronen bespreekbaar die normaal wellicht niet besproken worden. Het maakt ook inzichtelijk welke structuren en overtuigingen ten grondslag liggen aan die patronen. Daarnaast stelt het je in staat om op verschillende niveaus te interveniëren. Als laatste: het proces an sich verhoogt vaak de teamcohesie/het vertrouwen.

Om de (interne) klant en leverancier met elkaar in gesprek te laten gaan en gerichte verbeteracties overeen te komen, kan een ketenarena gebruikt worden. Een ketenarena brengt een gesprek op gang tussen klant en leverancier en biedt een platform om elkaar te begrijpen. Het biedt ook een platform om gericht oplossingen te generen. Daarnaast brengt het alle stakeholders bij elkaar zodat beslissingen kunnen worden gemaakt.

Hoorcollege 7

De werkelijkheid kan objectief worden waargenomen. Goed onderzoek is waardevrij, en leidt tot algemene, wetmatige inzichten. Betrouwbaarheid en validiteit zijn belangrijke criteria in het bepalen van de kwaliteit van kwantitatief onderzoek.

Betrouwbaarheid is de mate waarin een observatie consistent is met een algemeen patroon (herhaalbaar). (Interne) validiteit is de mate waarin je meet wat je werkelijk wilt meten (en niet iets anders).

Betrouwbaarheid is ook de mate waarin een meetinstrument consistente resultaten oplevert bij herhaalde metingen en de mate waarin een meetinstrument robuust is (goed werkt onder verschillende omstandigheden en op verschillende tijdstippen). Bedreigingen voor de betrouwbaarheid:

• Subjectiviteit;
• Onduidelijke definities;
• Gebrek aan structuur;
• Gebrekkige vastlegging van onderzoeksmethode.

Interne validiteit heeft te maken met geloofwaardigheid: meet ik wat ik wil meten, of meet ik eigenlijk iets anders? Mogelijke bedreigingen voor interne validiteit:

• Observer bias (observatie);
• Sociaal wenselijkheid bij zelfrapportage (interviews);
• Groepsdruk (focus groepen).

Externe validiteit is: in welke mate kunnen conclusies van het onderzoek worden gegeneraliseerd naar bredere populatie/setting/theorie?

Ethiek heeft te maken met het feit dat het onderzoek geen negatieve gevolgen mag hebben voor deelnemers. Bedreigingen waarmee ethiek te maken krijgt:

• Misleiding;
• Gevoelige onderwerpen;
• Privacy.

Oplossingen voor het wegnemen van ethiek bedreigingen:

• Anonimiseren van data;
• Geïnformeerde toestemming vragen;
• Debriefing geven.

De verschillende criteria moeten goed tegen elkaar afgewogen worden. De interne validiteit kan wel eens tegenover ethiek komen te staan. Onbetrouwbaar onderzoek leent zich niet goed voor generalisatie. Er moet een balans worden gezocht tussen ethische richtlijnen en onderzoeksdoeleinden.

Kwalitatief onderzoek is meer gericht op het begrijpen van en betekenis geven aan individueel/specifiek gedrag en bijbehorende fenomenen. Het is moeilijker om betrouwbaarheid, interne en externe validiteit 1 op 1 toe te passen op kwalitatief onderzoek, omdat het meer maatstaven zijn voor kwantitatief onderzoek. Echter, er moet wel rekening mee gehouden worden in het ontwerp en de interpretatie van kwalitatieve onderzoeken. Om de kwaliteit in kwalitatief onderzoek te waarborgen moeten “bij de methode-passende” criteria worden ontwikkeld en gebruikt.

Kwaliteitscriteria bij het afnemen van interviews:

• Elke respondent moet een vraag op dezelfde manier opvatten;
• Antwoorden moeten op dezelfde manier gecodeerd worden.

Dit kan bereikt worden door:

• Pre-testing van interviews;
• Interviewer training;
• Gesloten antwoorden;
• Inter-rater reliability bewerkstellingen bij open vragen.

Kwaliteitscriteria bij het rapporteren van interviews:

• Low-inference descriptors:
  • Neem alle face-to-face interviews op;
  • Maak nauwkeurige en volledige transcripties;
  • Presenteer stukken letterlijke data (citaten) in je tekst.

Kwaliteitscriteria bij tekstanalyse en observeren:

• Bij het coderen en bij het maken van categorieën spelen betrouwbaarheidsissues;
• Dit vraagt om een vorm van standaardisatie;
• Inter-rater reliability: verschillende onderzoekers geven de zelfde interpretatie.

Om de betrouwbaarheid van kwalitatief onderzoek te waarborgen, kunnen verschillende aanpakken gebruikt worden. Maak bij het verzamelen van data helder wat van het subject komt en wat interpretatie van de onderzoeker is. Bij interviewen/tekstanalyses moet er in trainingen duidelijk gemaakt worden welke taken gestandaardiseerd zijn en moet er voor vergelijkbaarheid gezorgd worden, door steeds te controleren. Het onderzoeksproces blijft betrouwbaar als er gedocumenteerd wordt wat er gebeurt. 

Het probleem in kwalitatief onderzoek is dat er vaak uitspraken worden gedaan in een specifieke context. Daarom is generalisatie niet altijd even relevant voor kwalitatief onderzoek.

Er zijn verschillende vormen van generalisatie:

• Representatieve generalisatie: resultaten zijn representatief voor grotere populaties;
• Inferentiële generalisatie: hetzelfde fenomeen wordt ook gezien in andere omstandigheden;
• Theoretische generalisatie: het geobserveerde biedt steun voor een meer algemene theorie.

Samengevat kunnen we zeggen dat klassieke kwaliteitscriteria belangrijk zijn, maar niet zaligmakend voor kwalitatief onderzoek. De betrouwbaarheid is een volledige beschrijving en verifieerbare categorisering van gegevens. Generalisatie houdt zich niet alleen maar bezig met generalisatie naar een bredere populatie.