Theory of Science and Philosophy of science?

Hoorcollege 12

Vorige colleges waren de klassieke testtheorie.

Onvolkomenheden KTT:

• Theorie over testscores
  • Weinig informatief over afzonderlijke items
• Schatting betrouwbaarheid testscore
  • Afhankelijk van populatie(variatie)
• Aanname over toevallige meetouft
  • Meetfout is onafhankelijk van niveau respondent
• Aanname over meetniveau testscore
  • Niet statistisch te toetsen
• Beperkingen in vergelijken respondenten
  • Betrouwbaar voor middengroepen
• Inefficiëntie
  • Alle respondenten moet hele test maken
• Betrouwbaarheid is steeds afhankelijk van de steekproef.
• Mensen die goed zijn of vaardig zijn, worden niet meegenomen in de Klassieke TestTheorie.
• Test vooral in het midden van het bereik is hij goed. Aan de buitenkanten minder betrouwbaarheid.
• Weinig mogelijk vragen zo veel mogelijk antwoorden. Dat is inefficiënt bij de KTT.

Item-responstheorie (IRT)

• IRT komt tegemoet aan de onvolkomenheden KTT
• Het is een theorie over itemscores in plaats van testscores
• Schatting van psychometrische

Wetenschap als roeping (Science as a vocation) is een artikel geschreven door Weber over zaken die nog steeds actueel zijn. In dit artikel beschrijft Weber dillema’s zoals het nut van onderzoek. Verder bespreekt hij ook hoe er bijvoorbeeld les moet worden gegeven. Bovendien bespreekt hij het verschil tussen de systemen die landen gebruiken.

Amerikaans vs. Duits systeem

In het begin beschrijft Weber het verschil tussen een onderzoeker worden in Duitsland en in de Verenigde Staten. In Duitsland begin je als privaatdocent waarna de onderzoeker colleges geeft waar hij voor betaald wordt. De docent krijgt

Hoorcollege 9

Voor een schaalscore wil je eendimensionaliteit.

Factoranalyse gaat alleen over relaties binnen een test.

• Meerdimensionaliteit: clusters van items die samenhangen.
• Eendimensionaliteit: alle items hangen samen.

Factoranalyse helpt ons iets daarover te zeggen. Een of meer achterliggende verklaring voor de verzameling van items. Dan kan je uiteindelijk 1 schaalscore gebruiken voor een onderwerp.

Doelen factoranalyse:

1. Beoordelen dimensionaliteit van test
2. Realiseren van datareductie

Aantal variabelen is hier items. Kan ook testscores zijn. Die tests bevatten weer meerdere items. 

• Boven is een verwachting proberen te bevestigen: het klopt.
• Onder is zonder verwachtingen en kijken hoe het zit.
• Test is tweede factoranalyse
• Items is eerste factoranalyse.

De tien opgaven kunnen vervangen worden door twee scores. --> datareductie. De eerste 5 voor F1 (factorscore) en de laatste 5 voor F2. Dit is dus van 10 naar 2 variabelen, dus dat is datareductie.

Stappen in factoranalyse:

Stap

Hoorcollege 7

Academica die maken het probleem: zij maken de biases en de fouten. De wetenschap doet dat niet. Dat is dus anders. Papers analyseren. In de psychologie en psychiatrie wordt 90% steun gevonden voor de hypothese. Dat is een verdacht hoog percentage. Er liggen veel problemen aan dat statement ten grondslag.

Publicatie bias

• Gedrag tijdens het publicatieproces dat papers met positieve resultaten bevoordeelt over papers met negatieve resulaten

Reviewer bias

• Editors en reviewers bevoordelen papers met positieve resultaten

File-drawering

• Onderzoekers proberen negatieve resultaten niet te publiceren

Dan krijg je een oververtegenwoordiging van positieve resultaten ten opzichte van hoeveel er is uitgevoerd.

Beloningsstructuur gericht op o.a. het aantal publicaties. Dit leidt tot:

Vertekenende onderzoekspraktijken

• Gedrag tijdens het onderzoek dat leidt tot overschatting van bewijs voor hypothese
• Niet hetzelfde als fraude, veel subtieler
• Wijdverbreid, niet  alleen in de psychologie
• Onderzoekers zijn/waren zich niet