Hoe maak je schattingen voor statistische inferentie? – Chapter 5

5.1 Hoe maak je puntschattingen en intervalschattingen?

Steekproefdata is te gebruiken voor het schatten van parameters die informatie geven over de populatie, zoals het gemiddelde en proporties. Bij kwantitatieve variabelen schat je het populatiegemiddelde (bijvoorbeeld hoeveel geld er gemiddeld is besteed aan medicijnen in een bepaald jaar). Bij categorische variabelen schat je populatieproporties voor de categorieën (bijvoorbeeld wie er wel of geen zorgverzekering heeft in een bepaald jaar).

Er zijn twee typen parameterschattingen:

• Puntschatting (een getal dat de beste schatting is).

• Intervalschatting (een interval rond een puntschatting, waarvan je denkt dat de populatieparameter erin valt).

Er is een verschil tussen een estimator (de schattingsmethode) en een estimate point (de schatting zelf). De estimator is het schatten op zich, het estimate (point) is het getal dat eruit komt. Zo is een steekproef een estimator voor de populatieparameter en is bijvoorbeeld 0.73 een schatting van de proportie van de populatie die gelooft in liefde op het eerste gezicht.

Een goede schatting heeft een steekproefdistributie die 1) gecentreerd is rond de parameter, en 2) een zo klein mogelijke standaardfout heeft.

Een schatting is niet vertekend (unbiased) wanneer de steekproefdistributie gecentreerd is rond de parameter. Helemaal natuurlijk wanneer het steekproefgemiddelde ook daadwerkelijk de populatieparameter is. In dat geval is is ӯ (steekproefgemiddelde) gelijk aan µ (populatiegemiddelde). ӯ is dan een goede estimator voor µ.

Een schatting kan ook vertekend (biased) zijn en dan is het steekproefgemiddelde geen goede schatting van het populatiegemiddelde. Meestal zit het steekproefgemiddelde er dan onder, want de extremen in de steekproef kunnen nooit meer zijn dan die uit de populatie, alleen maar minder. Dus de distributie en variatie in de steekproef is dan kleiner, waardoor de steekproefvariatie de populatievariatie onderschat.

Het is ook wenselijk dat een estimator een kleine standaardfout heeft. Er is sprake van een efficiënte estimator wanneer de standaardfout kleiner is dan die van andere estimators (bijvoorbeeld als de standaardfout van de mediaan kleiner is dan de standaardfout van het gemiddelde).

Stel dat je een normale verdeling hebt. Bij een normale verdeling is de standaardfout van de mediaan 25% groter dan de standaardfout van het gemiddelde. Het gemiddelde van de steekproef ligt dichterbij het gemiddelde van de populatie dan de steekproefmediaan. Het steekproefgemiddelde is dan een efficiëntere estimator dan de steekproefmediaan.

Een goede estimator is onpartijdig (unbiased; de steekproefdistributie is gecentreerd rond de parameter) en efficiënt (kleinste standaardfout).

Meestal gebruik je gewoon het steekproefgemiddelde als estimator voor het populatiegemiddelde, de steekproefstandaarddeviatie als estimator voor de populatiestandaarddeviatie, etc. Dit wordt aangeduid door een circumflex (dakje) op een symbool,  (mu-dakje) betekent een schatting van het populatiegemiddelde µ.

Een betrouwbaarheidsinterval is een intervalschatting voor een parameter. In dit interval vallen betrouwbare schattingen van de parameter. Je kijkt hiervoor naar de distributie van de steekproef, wat vaak een normale verdeling is. Voor een betrouwbaarheidsinterval met 95% zekerheid, valt de schatting van de parameter binnen twee standaardfouten van het gemiddelde. In de praktijk vermenigvuldig je eerst de standaardfout met de z-waarde. De uitkomst tel je dan bij de puntschatting op en trek je van de puntschatting af, waarmee je twee getallen krijgt, die samen het betrouwbaarheidsinterval vormen. Je kunt nu met 95% zekerheid zeggen dat een populatieparameter tussen deze twee getallen ligt. De z-waarde maal de standaardfout noem je ook wel de foutmarge (margin of error).

Dus een betrouwbaarheidsinterval is: de puntschatting ± de foutmarge.

Het betrouwbaarheidsniveau is de kans dat de parameter daadwerkelijk binnen het betrouwbaarheidsinterval valt. Dit is een nummer dat bijna 1 is, zoals 0.95 of 0.99.

5.2 Hoe bereken je het betrouwbaarheidsinterval voor een proportie?

Nominale en ordinale variabelen zorgen voor categoriale data (bijvoorbeeld ‘mee eens’ en ‘niet mee eens’). Als je hier uitspraken over wilt doen, kun je geen gemiddelden berekenen. Je gebruikt dan proporties of percentages. Een proportie valt tussen de 0 en de 1, en een percentage tussen de 0 en de 100.

De onbekende proportie van een populatie wordt aangeduid met het teken: π. Dit kan bijvoorbeeld het deel van de bevolking zijn dat het eens is met de stelling dat er meer lantaarnpalen moeten komen. De steekproefproportie is de puntschatting van de populatieproportie. Hiermee schat je de populatie proportie. Je geeft de steekproefproportie aan met het teken  (want het is een schatting van de daadwerkelijke proportie).

Aangezien de centrale limietstelling van toepassing is op de verdeling van het steekproefgemiddelde, heeft dit de vorm van een normale verdeling (want het gaat om een steekproefgrootheid). Omdat het een normale verdeling is, valt 95% binnen twee standaarddeviaties van het gemiddelde. Dit wordt gebruikt als het betrouwbaarheidsinterval. Voor het berekenen van een betrouwbaarheidsinterval is de standaardfout nodig. Omdat de standaardfout van de populatie vaak onbekend is, wordt de standaardfout van een schatting uit de steekproef gebruikt. Dit wordt aangeduid als se. De formule voor de schatting van de standaardfout vanuit de steekproef is:

De z-waarde is hetgeen waarmee de standaardfout vermenigvuldigd moet worden. Bij een normale verdeling staat de kans op z standaardfouten van het gemiddelde gelijk aan het betrouwbaarheidsniveau. Voor een betrouwbaarheidsinterval van 95% en 99% is z gelijk aan 1.96 en 2.58. Een 95% betrouwbaarheidsinterval voor de proportie π wordt dan:

 ± 1,96(se)

De algemene formule voor een betrouwbaarheidsinterval is:

 ± z(se)

Betrouwbaarheidsintervallen worden afgerond tot twee getallen achter de komma.

Een grotere steekproef geeft een accurater betrouwbaarheidsinterval. Een grotere n zorgt voor een kleinere standaardfout, en een preciezer betrouwbaarheidsinterval. Meer specifiek: de steekproefgrootte moet verviervoudigen om de precisie te verdubbelen.

De foutkans (error probability) is de kans dat de parameter niet binnen het ingeschatte betrouwbaarheidsinterval valt. Dit wordt aangegeven met α (de Griekse letter alpha), en is 1 – betrouwbaarheidsniveau. Bij een betrouwbaarheidsniveau van 0.98 is de foutkans bijvoorbeeld 0.02.

Als de steekproef te klein is, zegt het betrouwbaarheidsinterval niet zoveel omdat de foutkans te groot is. Als vuistregel moeten minstens 15 observaties binnen een categorie vallen en minstens 15 observaties buiten een categorie.

5.3 Hoe bereken je het betrouwbaarheidsinterval voor een gemiddelde?

Een betrouwbaarheidsinterval berekenen voor een gemiddelde gaat op dezelfde manier als voor een proportie. Ook bij een gemiddelde is het betrouwbaarheidsinterval: puntschatting ± foutmarge. De foutmarge bestaat hier uit een t-score (in plaats van een z-score) maal de standaardfout. De t-score komt uit de t-distributie, een verdeling die betrouwbaarheidsintervallen geeft voor alle steekproefgroottes, zelfs hele kleine steekproeven. De standaardfout wordt berekend door de standaarddeviatie van de steekproef (s) te delen door de wortel van de steekproefgrootte (n). De puntschatting is in dit geval het steekproefgemiddelde ȳ.

De formule voor het berekenen van een 95% betrouwbaarheidsinterval voor een populatiegemiddelde µ met gebruik van de t-distributie is:

ȳ ± t_0.025 (se) waarbij   en df = n – 1

Bij t-scores is het betrouwbaarheidsinterval wat wijder dan normaal. De t-distributie lijkt op de normale verdeling maar dan met een iets minder hoog opstaande bel. De t-distributie is symmetrisch vanaf het gemiddelde 0.

De standaarddeviatie van de t-distributie hangt af van de vrijheidsgraden (degrees of freedom), aangeduid als df. De standaarddeviatie van de t-distributie is daarmee ietsje groter dan 1. De vrijheidsgraden worden als volgt berekend: df = n – 1.

Hoe groter de vrijheidsgraden (df), hoe meer de t-verdeling gaat lijken op een normale verdeling. De verdeling wordt dan steeds puntiger. Bij df > 30 zijn ze bijna identiek.

De t-scores zijn te vinden op internet of in statistiekboeken. Een 95% betrouwbaarheidsinterval heeft bijvoorbeeld een t-score van t_0.025.

Een statistische methode wordt robuust genoemd met betrekking tot een bepaalde aanname als zelfs wanneer die aanname teniet wordt gedaan, de methode goed functioneert. Zelfs als de verdeling niet geheel normaal is, kan met de t-distributie een betrouwbaarheidsinterval voor een gemiddelde worden berekend. Deze methode werkt echter niet bij extreme uitschieters of als de verdeling erg scheef is.

Een standaardnormale verdeling is een verdeling waarbij de vrijheidsgraden oneindig zijn (de oneindigheid wordt aangegeven door het symbool ).

De t-distributie was ontdekt door Gosset, die toen onderzoek deed voor een brouwerij en in het geheim artikelen publiceerde onder de naam Student. De t-distributie wordt daarom nu Student's t genoemd.

5.4 Hoe kies je de steekproefgrootte?

Om de steekproefgrootte te bepalen, moeten eerst de gewenste foutmarge en het gewenste betrouwbaarheidsniveau worden bepaald. De gewenste foutmarge wordt aangeduid als M.

De formule voor het vinden van de juiste steekproefgrootte om een populatieproportie in te schatten, is:

Hierbij is de z-score degene voor het gekozen betrouwbaarheidsinterval, zoals 1,96. De z-score wordt bepaald door de kans dat de foutmarge niet groter dan M is. De steekproefproportie π kan worden geraden of veilig op 0,50 worden ingeschat.

De formule voor het vinden van de juiste steekproefgrootte om een populatiegemiddelde in te schatten, is:

Hierbij geldt wederom dat de z-score bij het gekozen betrouwbaarheidsinterval hoort, zoals z = 1,96 bij 0,95. De standaarddeviatie van de populatie σ moet geschat worden.

De gewenste steekproefgrootte hangt naast de foutmarge en het betrouwbaarheidsniveau ook af van de variabiliteit. Als de data erg verspreid ligt, is een grotere steekproefgrootte nodig.

Andere factoren kunnen ook invloed hebben op het kiezen van de steekproefgrootte. Hoe complexer de analyse en hoe meer variabelen worden onderzocht, hoe groter de steekproef moet zijn. Ook tijd en geld spelen een rol. Als het onvermijdelijk is dat de steekproef klein is, worden van elke categorie twee nep-observaties toegevoegd, zodat de formules voor het betrouwbaarheidsinterval bruikbaar blijven.

5.5 Wat houden de meest aannemelijke schatter en bootstrap-methoden in?

Behalve gemiddelden en proporties, kunnen ook andere statistieken nuttig zijn voor het beschrijven van de data. Om puntschattingen te maken, ook voor andere statistieken, ontwikkelde R.A. Fisher de methode genaamd de meest aannemelijke schatter. Dit is een schattingsmethode die als schatting van een parameter die waarde kiest, waarvoor de aannemelijkheidsfunctie maximaal is. De aannemelijkheidsfunctie kan ook worden weergegeven als een curve, waarmee visueel gelijk duidelijk kan worden waar het hoogste punt van aannemelijkheid ligt. Hoe aannemelijk een parameterwaarde is, wordt gemeten aan de kans op het vinden van een steekproefuitkomst bij die waarde van de parameter.
Deze manier heeft drie voordelen, met name bij grote steekproeven: 1) ze zijn efficiënt: andere estimators hebben geen kleinere standaardfouten en liggen ook niet dichterbij de parameter, 2) ze zijn niet vertekend (minder vertekening wanneer de steekproef groter wordt), en 3) ze hebben meestal een normale steekproefverdeling.

Fisher ontdekte dat het gemiddelde een meer aannemelijke schatter is dan de mediaan. Alleen bij uitzonderingen is de mediaan nuttiger, zoals erg scheef verdeelde data.

Als de vorm van de populatiedistributie niet bekend is, kan de bootstrap methode worden gebruikt. Software behandelt dan de steekproef alsof het de populatiedistributie is en genereert er een nieuwe 'steekproef' bij, dit proces wordt vele malen herhaald. De bootstrap methode kan op deze manier bijvoorbeeld de standaardfout en het betrouwbaarheidsinterval vinden.

TentamenTickets

• Bootstrap methoden worden pas recent aan boeken over statistiek toegevoegd. Of docenten hier vragen over zullen stellen op tentamens, zal afhangen van de docenten en in hoeverre ze mee willen gaan in recente ontwikkelingen.

• De proportie van de populatie wordt aangeduid met pi (π), hiermee wordt niet het getal pi bedoeld.

• Als je tijd wilt winnen bij het berekenen van betrouwbaarheidsintervallen, leer dan uit je hoofd dat voor betrouwbaarheidsintervallen van 95% en 99% de z-score gelijk is aan 1.96 en 2.58.