Hoorcollege 4 - Betrouwbaarheidsinterval

Inferentie: is het verband statistisch significant?

Waarom zou een onderzoek niet statistisch significant zijn? Het probleem is dat de associatie (het verband dat je ziet) uit een steekproef komt. Het is niet interessant om te weten of er een associatie is in de steekproef, maar of er daadwerkelijk een verband is in de hele populatie. Misschien was er in de steekproef een toeval, of misschien is het in de steekproef zo gebeurd dat er een associatie ontstaat terwijl deze er in de populatie niet is. Zie sheet 4 Inferentie: Is het verband statistisch significant? Deze sheet gaat over het verband tussen geslacht en het goedkeuren van prostitutie. Je kan zien dat mannen vaker prostitutie goedkeuren dan vrouwen, maar dat het verschil heel klein is. Het gemiddelde is wel wat hoger maar het scheelt niet veel. De vraag is nu of het toevallig is dat er een verschil zichtbaar is. Misschien is het zo gebeurd dat alleen de vrouwen in de steekproef wat minder tolerant zijn dan de mannen, maar dat dit niet hoeft te gelden voor de hele populatie. Hierover gaat de statistische significantie: is de associatie ook geldig voor de hele populatie?

Om de statistische significantie te bepalen is de betrouwbaarheidsinterval nodig, wat in dit hoorcollege wordt besproken. Volgende week wordt er dieper ingegaan op de t, df en de p-waarde (zie sheet 4).

Een steekproef is een (klein) aantal scores die uit het totaal van de scores wordt genomen.

Een populatie is de totale verzameling van scores De inferentie betekent of de associatiemaat in de steekproef geldig is voor de hele populatie.

Herhaling week 3: normale verdeling

Elke score op een normale verdeling kan je weergeven als een (gestandaardiseerde) z-score. Hierbij is het gemiddelde 0, en de standaard deviatie 1.

De formule om dit te berekenen is:

Score - gemiddelde

Standaard deviatie

Zie voorbeeld op sheet 6 Normale verdeling. Soms is een verdeling normaal, maar vaak is dat niet zo. De gestandaardiseerde scores zijn soms handig, maar de normale verdeling is een theoretische basis van statistiek.

Eigenlijk is de normale verdeling de z-scores en de verdeling van de observaties de theoretische basis voor de statistiek. Een basis om te veronderstellen of iets statistisch significant is of niet. In Hoorcollege 4 staan de volgende onderwerpen centraal:

• de steekproefverdeling

• de centrale limietstelling

• de statistische significantie en de betrouwbaarheidsinterval

• de hypothese

Een steekproefverdeling is een abstract concept en het is niet hetzelfde als een verdeling van alle scores. De gemiddelde lengte van mannen en vrouwen is 1,77m maar eigenlijk weet niemand dat voor 100% zeker: niemand heeft de lengte van alle Nederlanders gemeten. Om te weten hoe lang alle Nederlanders zijn is er een steekproef genomen van 25 mensen. Uit deze steekproef komt een gemiddelde lengte van 1,75m. Deze gemiddelde lengte zit dicht bij het gemiddelde lengte van alle Nederlanders, dus waarschijnlijk klopt het wel. Bij een nieuwe steekproef van 25 mensen wordt het gemiddelde van 1,80m gemeten. Ook dit is ook realistisch en ligt dicht bij het gemiddelde van 1,77m. Bij een andere steekproef zie je dat het gemiddelde 1,58m is, en is dus een enorme uitschieter ten opzichte van het gemiddelde.

Er is een hele specifieke verdeling voor het gemiddelde. Een steekproefverdeling is een verdeling van alle gemiddelde van de steekproef. De meeste gemiddelden liggen dicht bij het populatiegemiddelde maar soms zitten er uitschieters bij. De steekproefgemiddelde zijn daarom ook normaal verdeeld.

Centrale limietstelling: stelling 1

Als een variabele in de populatie normaal verdeeld is (dus de lengte bijvoorbeeld), heeft de verdeling van de steekproefgemiddelden de volgende eigenschappen:

• De steekproefgemiddelden zijn normaal verdeeld

• Het gemiddelde van alle steekproeven is de zelfde waarde als de gemiddelde van de populatie

• De standaardafwijking van de verdeling is standaardafwijking van de variabele in de populatie gedeeld door √N.

Bij de verdeling van de gemiddelde lengte (zie sheet 15), is de gemiddelde lengte 1,76. Bij de tweede verdeling is de steekproefgemiddelden N=50. De meeste gemiddelden liggen heel dicht bij de echte gemiddelden (1,76m), maar je krijgt ook veel gemiddelden die hier ver vanaf liggen. De deze normale verdeling laat zien met hoeveel standaard afwijkingen we te maken hebben met de grote van de steekproef.

Hoe groter de N, hoe kleiner de standaardafwijking. Als er een kleine steekproef is, kunnen de gemiddelden ver uit elkaar liggen. Als de steekproef groot is, is de kans heel klein dat je een gemiddelde krijgt dat ver af ligt van het gemiddelde.

Centrale limietstelling: stelling 2

Wat als de variabele niet normaal verdeeld is of de verdeling niet bekend is? Centrale limietstelling 1 zegt dat als de variabele normaal verdeeld is je dit weet, maar hoe weet je of een populatie normaal verdeeld is? Soms is een populatie niet normaal verdeeld. Stelling 2 van de centrale limietstelling zegt dat het niet uitmaakt, als de N (de populatie) maar groot genoeg is. Bij een grote steekproef maakt het niet uit dat de variabele normaal verdeeld is: de eigenschappen in centrale limietstelling 1 zijn dan toch waar:

• Het gemiddelde van alle steekproeven is het gemiddelde van de populatie

• De steekproefgemiddelden zijn normaal verdeeld

• De standaardafwijking van de verdeling is de standaarddeviatie √N

Het boek gaat er vanuit dat een steekproef (N) van 100 mensen groot genoeg is.

Omdat er niet gezegd kan worden dat het gemiddelde van de steekproef precies hetzelfde is als het gemiddelde van de populatie, moet de betrouwbaarheidsinterval gepresenteerd worden. De betrouwbaarheidsinterval geeft de kans weer dat er een goed steekproefgemiddelde is.

Voorbeeld 1: er is 95% kans dat het gemiddelde van de hele populatie 1.75 +/- 4 cm is.

Voorbeeld 2: met 95% zekerheid kunnen we niet zeggen dat vrouwen in de populatie anders denken over prostitutie van mannen. Het ligt namelijk zo dicht bij dat het verschil in de populatie waarschijnlijk niet zo is.

De bedoeling van de betrouwbaarheidsinterval:

Omdat er niet gezegd kan worden dat het gemiddelde van de steekproef precies hetzelfde is als het gemiddelde van de populatie , is er altijd een foutmarge. De betrouwbaarheidsinterval geeft aan dat er een geschatte zone is met een linker en rechtergrens waarbinnen met een bepaalde zekerheid (doorgaans 95%) de ware score ligt.

Het uitrekenen van de betrouwbaarheidsinterval:

Stap 1: het risico niveau bepalen. Hoeveel zekerheid wil je hebben? Hoeveel risico ben je bereid te nemen dat het gemiddelde binnen de grenzen blijft? Het gebruikelijke is 0,05 (het alpha niveau), dat betekent 95% zekerheid. Het betekent dat er 5% kans is dat het echte gemiddelde toch niet binnen deze grenzen ligt.

Stap 2: vind de ‘kritieke’ z-score voor het alpha niveau. Je moet de score vinden waar in de normaalverdeling 5% achter blijft. In de normale verdeling moet de grenzen worden gevonden waar 95% binnen zit 5% buiten. Voor het berekenen van de z-score ga je naar de tabel. Je gat zoeken waar B 47,5 is en C 2,5. Je ziet dat de z score 1,96 is. Dit is de kritieke z-score voor het zekerheidsniveau 95%. Dit blijft altijd hetzelfde.

Stap 3: het berekenen voor de betrouwbaarheidsinterval. Hier is een formule voor.

Je neemt het gemiddelde dat je hebt van de steekproef. Daar tel je de waarde van de interval bij op. Eerste komt de kritieke z-score. Daar komt dan de standaarddeviatie gedeeld door de wortel van N -1 bij.

Bijvoorbeeld: je hebt een steekproef van 20 mensen. Je hebt gevonden dat de gemiddelde waarde 1,75 is, de standaarddeviatie is 12. Wat is nou de betrouwbaarheidinterval?

Betrouwbaarheidinterval = 175 + 1,96(12/(√25-1)) = 175 +/- 1,2 cm.

Het echte gemiddelde ligt dus tussen 173,8 en 176,2

Assumpties

Er zijn een aantal aandachtspunten voor het maken van een steekproef. Je hebt een aselecte steekproef (random steekproef) nodig. Iedereen in de populatie heeft een even grote kans om gekozen te worden. De kans om gekozen te worden moet voor iedereen hetzelfde zijn. Toch kan het dan zijn dat de steekproef er anders uitziet dan de populatie, maar daarmee moet rekening worden gehouden. Je kan bijvoorbeeld in je steekproef (toevallig) een ander gemiddelde krijgen

Statistische significantie: hypothese toetsen.

Het toetsen van hypotheses is de statistische significantie. De statistische significantie geeft aan of het verband in de steekproef ook geldig is voor de hele populatie. Wat verklaart het verschil of een associatie?

• Verklaring A: het verschil is het resultaat van een steekproefeffect

• Verklaring B: het is een echt verschil tussen de twee populaties (populatie-effect)

Verklaring A noemen we de 0-hypothese. Er is dan geen associatie. Als er wel een associatie is heet het een onderzoekshypothese. De onderzoekshypothese zou bijvoorbeeld kunnen zijn dat mannen anders denken over prostitutie dan vrouwen. De kans dat de associatie een resultaat is van eens steekproefeffect is, is de t, df en p-waarde van belang, die in het volgende hoorcollege worden besproken en berekend

Hoorcollege 5 – T-toets

Significantie-toetsen

Er zijn verschillende significantie-toetsen die afhankelijk zijn van het meetniveau en andere assumpties. De juiste samenhangtoetsen zijn:

• Bij een intervalmeting hoort een Pearson r t-toets

• Bij een ordinale meting hoort een Spearman rho t-toets

• Bij een nominale meting hoort een kruistabel met chi-kwadraat (X-kwadraat)

• Bij een vergelijking van gemiddelden (interval/nominaal) hoort een t-toets voor twee gemiddelden, t-toets voor één gemiddelde (‘special case’).

Er zijn vijf stappen om te bepalen of een onderzoek significant is:

1. Assumpties

2. Formuleren hypothese (wat is de kans dat de 0 hypothese klopt?)

3. Bepaal het kritieke gebied

4. Bereken de toets statistiek

5. Beslissing en inhoudelijke conclusie

T-toets voor één gemiddelde (‘one sample t-test’)

Het doel van de t-toets voor één gemiddelde is om te kijken of een specifieke populatie (een bepaalde groep) verschillend is van de algehele populatie. De t-toets voor één gemiddelde heeft een aantal kenmerkende eigenschappen:

• Het gemiddelde van de hele populatie is bekend (er is geen steekproef)

• Het gemiddelde van de groep is bekend voor een steekproef. Een voorbeeld hiervan is het onderzoek van Healey (zie sheet 7: t-toets voor één gemiddelde (‘one sample t-test’)). In dit onderzoek werd het effect onderzocht van een rehabilitatie programma op werkprestaties. De onderzoeksvraag die beantwoord werd was of ex-alcoholisten meer of minder betrouwbare werknemers waren dan andere werknemers. Er werd een steekproef genomen van 127 rehab alcoholisten. Zij waren gemiddeld 6,8 dagen per jaar afwezig, terwijl een normale werknemer gemiddeld 7,2 dagen per jaar afwezig waren.

Om te bepalen of een onderzoek significant is moet er als eerst gekeken worden naar de assumpties. De volgende stappen is het formuleren van hypotheses en het bepalen van het kritieke gebied. Tot slot moeten de statistische toetsen berekend worden en moet er een beslissing en (inhoudelijke) conclusie genomen worden.

Stap 1: Assumpties. Er zijn een aantal assumpties ten aanzien van de steekproef:

Er moet een aselecte steekproef zijn. Iedereen in de populatie moet een even grote kans hebben om gekozen te worden. De steekproefverdeling moet normaal zijn. Om te bepalen of de steekproefverdeling normaal is, moet je kijken naar de centrale limietstelling. De steekproef moet een interval meetniveau hebben.

Stap 2: Hypotheses. Er moet altijd een nulhypothese worden opgesteld (H0) en een onderzoekshypothese (H1). Een nulhypothese stelt dat er geen verschil is tussen twee variabelen (dus X leidt niet tot Y). Een onderzoekshypothese stelt dat er wel een verschil is tussen twee variabelen (dus X leidt tot Y). De statistische toets beantwoordt de vraag wat de kans is dat H0 waar is.

Stap 3: Bepaal het kritieke gebied. Als je een zekerheidsniveau wilt hebben van 99% is alfa 0,01. Bij een zekerheidsniveau van 95% is alfa 0,05. Alfa is altijd tweezijdig: dus bij een zekerheidsniveau van 95% is het c-gebied 0.025 en de z-score. 1.96. Dit is de grens van 95% zekerheid). Een t-verdeling heeft meer extreme waarden dan een normaal verdeling (ook wel z-verdeling of gestandaardiseerde scores genoemd. Ook geld dat hoe groter de steekproef is, hoe dichter bij de normaal verdeling, en is de verdeling dus minder vlak. Wanneer je een getal neemt dat groter is dan de steekproef moet je de z-verdeling gebruiken. De Degrees of Freedom (df) wordt berekend door N te verminderen met twee. Dus:

Degreefs of Freedom (df) = N – 2.

Stap 4: Toets-statistiek.

De standaarddeviatie van de observatie wordt berekend door de verdeling te delen door de wortel van N. De formules die gebruikt moeten worden om de statistiek te toetsen staan op de sheet (M. Beerkens, Hoorcollege 5, Sheet 17).

Stap 5: Beslissing en (inhoudelijke) conclusie. Uit de statistische toets is gebleken hoe groot de p-waarde is. Het ligt aan het kozen alfa niveau of het onderzoek significant is of niet, en of het onderzoek geld voor de hele populatie. Wanneer er een zekerheidsniveau van 95% is moet de alfa kleiner zijn dan 0,05 om het onderzoek als significant te beschouwen. Bij een p-waarde die kleiner is dan 0,05 kan de nulhypothese verworpen worden. Als de p-waarde groter is dan 0,05 is de kans dat het verschil in de steekproef niet geldig is voor de populatie veel groter, en kan de nulhypothese dus niet verworpen worden.

Verschil nulhypothese en onderzoekshypothese

• Nul hypothese (H0): geen associatie / geen verband. De uitkomsten zijn dus dezelfde als de gemiddelde van de populatie.

• Onderzoekshypothese (H1): wel een verband. De uitkomsten zijn niet hetzelfde als de gemiddelde van de populatie.

De vraag aan het begin van het hoorcollege (van Healey) was of ex-alcoholisten nu meer of minder betrouwbare werknemers? Om deze onderzoeksvraag te beantwoorden moet er worden gekeken naar hoe vaak ze afwezig zijn. Er was een steekproef met respondenten die hadden deelgenomen aan het programma. De gemiddelde afwezigheid van een ex-alcoholist was 6,8 dagen. Op te bepalen waar deze 6,8 op de normaal verdeling ligt waarbij het de gemiddelde afwezigheid van de hele populatie op 7,8 ligt is intuïtief. De vraag is dan ook of de uitkomst van de steekproef dicht bij het gemiddelde van de hele populatie ligt of er juist ver vanaf ligt.

Je kan dit uitzoeken door gebruik te maken van de z-score (zie stap t/m 5). De z-score voor het gemiddelde is 0, de z-score voor 6,18 is 3,15. Je moet dan de tabel gebruiken om te kijken wat de kans is. Als je de z-score 3,15 opzoekt in het boek zie je dat er minder dan 0,008% kans is dat de gemiddelde van deze populatie klopt. Deze kans is heel klein, dus de kans dat de steekproef significant is, is zeer groot.

Hoorcollege 6 - Significantietoets

Bij een associatiemaat moet je je vragen of de associatie daadwerkelijk klopt. Is de associatie significant? Hiervoor heb je een X-kwadraat toets nodig voor de nominale meting (kruistabel), een t-toets voor Spearman rho voor een ordinale meting, een t-toets voor Pearson-r voor een interval meting en een t-toets voor twee gemiddelden voor een interval/nominale meting.

T-toets voor één gemiddelde vs. twee gemiddelden

Bij deze t-toets wil je kijken of de gemiddelden tussen twee verschillende hetzelfde. Je hebt twee t-toetsen: één voor 1 gemiddelde en één voor 2 gemiddelden. Bij 1 gemiddelde is er sprake van een specifiek geval. Er is één groep waarvan je het gemiddelde van deze steekproef weet. Meestal is er namelijk geen gemiddelde van de hele populatie. Bij een t-toets voor 2 gemiddelden heb je de gemiddelden van twee steekproeven. Deze twee gemiddelden wil je voor de t-toets met elkaar vergelijken. Een voorbeeld van een t-toets voor twee gemiddelden is de acceptatie van prostitutie door mannen en vrouwen. Er zijn twee groepen met twee gemiddelden (een groep mannen en een groep vrouwen). Je ziet twee verschillende gemiddelden, maar de vraag is of dit verschil ook daadwerkelijk zo is in de populatie.

In dit hoorcollege staat de t-toets voor 2 gemiddelden centraal. De decrease of freedom (df), t-score en p-waarde heb je nodig om te kijken of iets significant is. De decrease of freedom en de t-score heb je nodig om de p-waarde te krijgen. De p-waarde zegt iets over de significantie van de resultaten. De p-waarde heb je nodig voor de conclusie omdat de uikomst iets zegt over de significantie van het onderzoek.

Het berekenen van de significantie

Een voorbeeld is een groep van 50 mensen (N = 50). Dit is een kleine steekproef. Er zijn 19 mannen en 31 vrouwen. Het gemiddelde voor mannen is 6,0 en het gemiddelde voor vrouwen is 5,06. Er is dus een verschil zichtbaar, maar is dit verschil ook significant? Ongeacht welke toets je doet, moet je vijf stappen doornemen:

Stap 1: assumpties. De assumpties moeten kloppen, anders kan je die niet gebruiken. Je moet een a-selecte steekproef nemen van de hele populatie. Bovendien moet er een interval meetniveau zijn en een normale steekproefverdeling. Dit heeft te maken met de normaalverdeling van de variabelen (maar een grote steekproef is ook voldoende).

Assumpties zijn dus iets om te weten in eerste instantie. Als de N kleiner is dan 30 of groter van 100, moet je de verdeling checken. Als de steekproef groter is dan 100 is het goed, je kan dan zeggen dat door de centrale limietstelling de verdeling normaal is. Als de steekproef kleiner is dan 30, is de steekproef niet normaal verdeeld. Als de steekproef tussen de 0 en 100 ligt is het belangrijk om te kijken wat de verdeling is van de meningen binnen de steekproef. De verdeling van de meningen valt op te maken uit de histogram. Je wilt dan graag zien dat er een normaal verdeling uitkomt.

Stap 2: hypothese.

De 0 hypothese is belangrijk. Bij een nulhypothese is er geen verband. De nulhypothese is wat we willen toetsen tijdens de significantietoets. Het gemiddelde van de groep mannen is gelijk aan het gemiddelde van groep 2. Wat is de kans dat in de populatie het gemiddelde van de mannen precies hetzelfde is als het gemiddelde van de groep vrouwen. Wat is het toeval dat mannen en vrouwen in de steekproef anders lijken, maar in de populatie niet?

H0: u1= u2 (geen verschil, nulthypothese)

H1: u1≠ u2 (of u1> u2 -> eenzijdige toets)

Stap 3: bepaal het kritieke gebied. Wat is de kritieke waarde die je moet gebruiken om te zeggen dat het verschil wel of niet significant is? De grens van het kritieke gebied moet als eerst bepaald worden (de kritieke t-waarde). De t-verdeling is de bepaling van de verdeling de je moet gebruiken. Vervolgens moet je het zekerheidsniveau vaststellen: hoeveel risico wil je nemen dat je een conclusie hebt die niet klopt? Meestal gebruiken we 95 of 99% als zekerheidsniveau. Dat betekent dat de alfa 0,05 is als je 95% gebruikt, of 0,01 is wanneer je een zekerheidsniveau van 99% gebruikt. Het tweede keuzemoment is de eenzijdig of tweezijdig keuzetoets. Bij een tweezijdige keuzetoets moet je kijken of de gemiddelden verschillend zijn. Bij een eenzijdige toets moet je toetsen of groep 1 groter os kleiner is dan groep 2.

De degrees of freedom is een wiskundig concept. Hier is de formule N1 + N2 – 2. In dit geval: 19 + 31 – 2 = 48. De kritieke waarde komt uit de t-tabel. (zie sheet 11). Het zekerheidsniveau en de vrijheidsgraad kan worden opgezocht in de tabel aan het einde van het boek. In dit geval is de vrijheidsgraad 2,02.

De nulhypothese stelt dat er geen verschil is. Het verschil tussen mannen en vrouwen is dan 0. (zie sheet 12). Als er in de populatie geen verschil is, is het verschil in de meeste steekproeven ook 0. Soms gebeurd het wel dat het verschil tussen mannen en vrouwen wel heel groot is (door een steekproeffout). Er kan dan sprake zijn van een toeval.

Stap 4: de t-waarde

De formule staat op de sheet (sheet 13). Het belangrijkste voor de formule is de grote van het verschil van het gemiddelde. Je moet het gemiddelde van de vrouwen aftrekken van het gemiddelde van de mannen. Verder is de N ook belangrijk voor de formule. Hoe groter de steekproef, hoe makkelijker het is om een grote t te krijgen. Daarbij komt ook dat hoe groter de steekproef is, hoe makkelijker het is om een nulhypothese te verwerken. De uitkomst van de t-waarde is 1,23, en ligt voor de 2,02 (het kritieke gebied). Dit betekent dat de kans groter is dan 5%. Er is dus geen significantie. Je kan niet met zekerheid zeggen dat het verschil in de steekproef ook daadwerkelijk te zien is in de populatie.

Stap 5: de conclusie:

t nulhypothese kan niet worden verworpen. Er is meer dan 5% kans dat het verschil toevallig is. In de tabel schrijf je dat zo op:

t-score = 1,23

df: 48

p: 0,22

Als de p heel klein is schrijf je p =

Als je een grote steekproef hebt is makkelijker de nulhypothese te verwerpen. Het is dan makkelijker te bewijzen dat iets daadwerkelijk significant is.

Bij het toetsen van hypotheses kan je de nulhypothese verwerpen en een alternatieve aannemen, of je vindt onvoldoende bewijs tegen de H0 en waardoor je deze niet mag verwerpen (=“conservatief”).

Er zijn twee fouten te onderscheiden in de statistiek

De type 1 fout: in deze fout wordt H0 verworpen, maar eigenlijk was de H0 waar. Ten onrecht is H0 dus verworpen.

De type 2 fout: Uit de resultaten blijkt dat de H0 niet verworpen mag worden (p>0,05) maar eigenlijk is H1 waar.

Significantietoets voor Pearson r en Spearman rho

Zie tabel 2 sheet 23. 34% van de mening over prostitutie wordt verklaard door de leeftijd. De andere verklaring is dat 1% van de omzeiling van belasting door contante betaling wordt verklaard door de leeftijd. De formule om de signifianctie te berekenen staat op de sheet. R in de formule is R-kwadraat.

Ook bij de significantietoets voor Pearson r en Spearman rho moeten er weer vijf stappen worden ondernomen:

Stap 1: assumpties. Die hebben te maken met het feit of je Pearson r bruikbaar is of niet. Er moet een a-selecte steekproef zijn, een interval meting en een normale steekproefverdeling.

Stap 2: formuleren van de hypothese:

H0: De Pearson r in de populatie is 0.

H1: De Pearson r in de populatie is niet 0 (alternatieve hypothese)

Stap 3: bepaal het kritieke gebied

Bepaal opnieuw de t-verdeling. Is alfa = 0,01 of 0,05. Is er een tweezijdig toets of een eenzijdige toets?

Stap 4: beteken de toetsstatistiek

De formule om dit te berekenen is:

T = r x √ (N-2)/(1-r²)

Stap 5: besligging en inhoudelijke conclusie

|t| > t* => H0 kan verworpen worden

Leeftijd heeft een statistiesch signifianct effect op de mening over prostitutie