H C   3   -   4   M E I   2 0 2 3

Regressie

SLR = simple linear regression

MLR = multiple linear regression

Significantie

• Om te testen of de lineaire relatie ook significant is, zijn er twee toetsen om uit te voeren:
  • Toets 1: toets voor de helling (hoe schuin de lijn loopt) » bepaald of de ‘helling’ significant anders is dan nul
    • Dit kun je testen door een t-toets
    • De resultaten zijn te vinden in de output
  • toets 2: toets voor de verklaarde variantie  » de toets bepaald of de proportie van bepaalde variantie significant groter is dan nul
    
    • Het kan worden getest door middel van een F-toets
    • Resultaten zijn te vinden in de output
• Gebruik van alfa is een keuze. Een keuze om een nul-hypothese op basis van de ingestelde alfa wel of niet te verwerpen. Daardoor kunnen er onterecht nulhypotheses verworpen worden.

Coëfficiënten (SLR)

• Bij SLR is de gestandaardiseerde regressiecoëfficiënt bèta gelijk aan de correlatiecoëfficiënt r
• Het meet de toename/afname van Y in standaarddeviaties (standaardafwijkingen) wanneer X met 1 SD toeneemt.
• Voorbeeld 1: E+ of E- staat voor de decimaal zoveel plekken naar voren of naar achteren schuiven (dat zou een heleboel decimalen geven dus daarom wordt het zo neergezet)

Aannames over lineaire regressiemodellen

Validiteit: past je data bij je onderzoeksvraag? Wanneer dit niet het geval is ben je eigenlijk iets anders aan het meten

• Er is een lineaire relatie tussen IV en DV
• IV en DV zijn beide op interval/ratio niveau
• De residuen zijn normaal verdeeld » dit kun je checken d.m.v. een histogram van de residuen
• De residuen zijn gelijk verdeeld (homoscedasticiteit)
  
  • Dit betekent dat er overal langs de regressielijn sprake moet zijn van gelijke spreiding van de restanten/residuen.
  • Je kunt dit checken door een spreidingsdiagram van de residuen (op de y-as) en x-variabele of voorspelde waarde op de x-as
• Er moeten geen uitschieters zijn (je moet voorzichtig zijn met wat je een uitschieter noemt) » ze zijn niet goed voor het statistisch model maar kan soms wel horen bij de populatie/doelgroep die je onderzoekt

Homoscedasticiteit vs. heteroscedasticiteit

• homoscedasticiteit: gelijke verdeling van residuen (geen waarneembaar patroon)
• heteroscedasticiteit: verdeling van de residuen heeft de vorm van een vlinderdas of trechtervorm (op z'n kant) 

Meervoudige lineaire regressie  

• In een regressiemodel kunnen we meerdere variabelen toevoegen
• Dit schrijf je als:

• De regressievergelijking wordt op dezelfde manier bepaald

Een paar dingen om te weten

• Het toevoegen van meer onafhankelijke variabelen (voorspellers) aan een model zal altijd:
  • Meer van de variatie van de afhankelijke variabele verklaren
  • De gemiddelde voorspellingsfout verminderen
  • Met meer voorspellers zal R² altijd toenemen
• Het toevoegen van meer voorspellers zal niet altijd:
  
  • Leiden tot een beter model
  • Betekenen dat deze voorspellers significant zijn
  • Met meer voorspellers zal de SE (standaardfout) altijd afnemen want de nauwkeurigheid van de voorspellers neemt toe
• De toename in R² en de afname van de SE zullen niet altijd significante veranderingen zijn
• De significantie van individuele voorspellers kan getest worden door gebruik te maken van een t-toets in de output

Coëfficiënten (MLR)

• Gestandaardiseerde regressiecoëfficiënten zetten variabelen op dezelfde schaal (SD’s)
• De grootste gestandaardiseerde coëfficiënt wijst op de voorspeller met de meeste impact

Significantie (MLR)

Het testen van significantie in MLR werkt een beetje anders:

• Toets 1: toets voor de verklaarde variantie
  • Dezelfde toets als bij SLR
  • Het is een toets om de significantie te meten van het hele model (met alle voorspellers)
• Toets 2: toets voor de ‘helling’
  
  • Het is een toets om de significantie van een enkele voorspeller te meten (dus één per keer)
  • Het kan worden gebruikt om het model te verbeteren
    
    • Spaarzaam/zuinig
    • Zo nauwkeurig maar tegelijk zo makkelijk mogelijk

Toets voor een enkele voorspeller

• De test bepaald of de regressiecoëfficiënt voor één voorspeller significant anders is dan nul
• Dit kan worden getest door een t-toets
• De resultaten kunnen worden gevonden in de output
• Als een voorspeller niet significant is in het model, kan een eenvoudiger model worden gebruikt zonder die voorspeller. Maar doe dit slechts één voor één! Verwijder nooit meerdere variabelen tegelijk op basis van de t-test.

Aannames

• De aannames voor MLR zijn hetzelfde voor die van SLR
• De aannames kunnen gecheckt worden door middel van grafieken (bijv. een histogram van de residuen om de aanname van normaalverdeling te controleren)