Summary and Study Notes - Advanced Research Methods and Statistics (2019/2020 - UU)
- 2191 keer gelezen
Pre-registration = stating as clearly and specifically as possible what you plan to do, and how, before doing it, in a manner that is verifiable by others. Publication bias = scientists publish only the significant results, because journals mostly publish only the significant studies. Harking (hypotheses after results known) = changing or creating the hypotheses after seeing the results.P-hacking = researchers collect or select data or statistical analyses until nonsignificant results become significant. Selective reporting = when you only report the significant results. In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur. Vanwege de toename in Registered Reports zijn er steeds meer journals en wetenschappers die ook non-significante resultaten publiceren, waardoor publicatie bias wordt verminderd. Daarnaast helpt pre-registratie mee aan het reproduceren en repliceren van studies. Er worden geen opmerkingen gedaan die betrekking hebben tot het tentamen. Er worden geen tentamenvragen behandeld. Open sciencePre-registrationThe results have to be beyond the control of a scientist, but at the same time the results are the most important thing for a scientist to make a good reputation. That’s why scientists often publish only the significant results = publication bias. Harking (hypotheses after results known) = changing or creating the hypotheses after seeing the results. If you look at one hypothesis, your...
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
In this bundle Lecture Notes are shared for the course Advanced Research Methods and Statistics for Psychology of Psychology Bachelor 2/3 at the University of Utrecht.
For a complete overview of the summaries & study service offered by JoHo and the available printed summaries for this course, visit the Summary Shop University of Utrecht - Bachelor 2/3 on JoHo.org.
Study materials from the preceding course MTS3 are also included in Dutch.
Multiple linear regression. A multiple linear regression involves 1 outcome and multiple predictors. It is important to check to what extent the model explains the variation and the slope of the regression line. MLR examines a model where multiple predictors are included to check their unique linear effect on Y.
The model of MLR. We have an observed outcome which is the score of a participant. We have a predicted score, which is based on the model and some error in prediction.
Types of variables. The types you can conclude in an MLR are interval and ratio level, this are continuous variables. You can distinguish continuous variables from categorical variables, normal and ordinal. The MLR requires continuous outcome and continuous predictors. But categorical predictors can be included as dummy variables (only as predictor, not as outcome).
Hierarchical MLR. A hierarchical MLR is based on more models. The first model is to look if the predictors are good. The second model is to look if the additional variables are a good addition as predictor. The question is if the first model if better than the second model. This implies a lot of hypotheses that you can test. For each model you can make a hypothesis if there is a good fit.
In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur.
Er worden geen recente ontwikkelingen besproken.
De assumpties die gelden voor een MLR worden niet behandeld in het college, maar via Grasple. Eveneens zijn deze assumpties belangrijk om te weten voor het tentamen.
Er worden geen tentamenvragen behandeld.
Galton (1874) noticed that the number of firstborns among eminent scientists was remarkably large. Researchers started to study relation birth order with IQ and observed a significant positive relation. But does this mean that being a first born is the reason you have a high IQ? To investigate that you have to critical review how the study is performed. For example, representative sample, reliable measures of variables, correct analyses and interpretations? It is important to realize that association is not the same as causation. There can be an alternative variable that actually caused the relationship. This can be investigated by multiple linear regression.
A linear regression is about adding variables to your model.
Two things are important to check if the regression is a good
.....read moreModeration = the effect of predictor X1 on outcome Y is different for different level of a second predictor X2. This is the same as an interaction effect. There are two ways you can plot a moderation. The theoretical relation, where a second predictor influence the relationship between X and Y. And a statistical model, where three variables influence Y: the first predictor, the second predictor and the interaction effect.
Mediation = the effect of the independent variable on a dependent variable is explained by a third intermediate variable. There are two types of mediation: complete or partial mediation. When there is still a relationship between the two current variables (X and Y), there is partial mediation. When all the effect is through the intermediate variable (M), there is complete mediation.
In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur.
Er worden geen recente ontwikkelingen besproken.
Er worden geen opmerkingen gedaan die betrekking hebben tot het tentamen.
Er worden geen tentamenvragen behandeld.
Multiple predictors in a regression model can have different types of relations with the outcome. Linear additive model = two predictors for each of them they have a linear relationship with the outcome variable and these effects add up.
Moderation = the effect of predictor X1 on outcome Y is different for different level of a second predictor X2. This is the same as an interaction effect. There are two ways you can plot a moderation. The theoretical relation, where a second predictor influence the relationship between X and Y. And a statistical model, where three variables influence Y: the first predictor, the second predictor and the interaction effect. From the statistical model it is not sure which variable is the moderator, you can see this clearly in the theoretical model. In the equation is there the intercept, the two main effects and the interaction effect (which is the product of the two variables).
In the analysis you do a hierarchical regression, whereby you have a model with just the main effects and a model where you include the interaction effect. When the interaction model is significant, there is a moderation effect. But further investigation of interaction is needed and called. You can do this with simple slope analysis = where you can look at the slope of the two different groups of the moderator. The scores are -1 SD and + 1 SD of the average. The steeper the slope, the larger the effect.
Inflated type I error = there is no effect in the population, but your analysis will say there is an effect. This error will be
.....read moreAssumptions. In the lecture there are five different assumptions discussed: outliers, multicollinearity, homoscedasticity, linearity and normality distributed residuals. Look at the notes at the end in this document.
Bootstrapping. You use bootstrap when distributions are not in agreement with the assumptions causing.
Mediation = the relationship between an independent variable and a dependent variable via the inclusion on a third hypothetical variable, the mediator variable. When you do mediation you always have to use bootstrap, because there is an indirect effect.
In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur.
Er worden geen recente ontwikkelingen besproken.
Er worden geen vragen gesteld over effects size op het tentamen.
Er worden geen tentamenvragen behandeld.
Assumptions and violations
ANOVA. ANOVA is about comparing groups means on a continuous variable. It is called analysis of variance because the analysis separated between groups variation (variance explained by group) and within group variation (unexplained/residual variance). There is a difference when the between group variation is large compared to the within group variation. If the difference is significant is dependent on the unexplained variation, which is the within group variance. ANOVA test if the between group is big compared to the within group variation. If the within group variance is small, then the difference could be significant.
ANCOVA = comparing groups means while controlling for a covariate. In an ANCOVA there is always a categorical predictor (factor) and a covariate, which is a continuous variable.
Assumptions of ANCOVA are:
In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur.
Er worden geen recente ontwikkelingen besproken.
Er worden geen opmerkingen gedaan die betrekking hebben tot het tentamen.
Er worden geen tentamenvragen behandeld.
ANCOVA = comparing groups means while controlling for a covariate. ANOVA is about comparing groups means on a continuous variable. It is called analysis of variance because the analysis separated between groups variation (variance explained by group) and within group variation (unexplained/residual variance). There is a difference when the between group variation is large compared to the within group variation. If the difference is significant is dependent on the unexplained variation, which is the within group variance. ANOVA test if the between group is big compared to the within group variation. If the within group variance is small, then the difference could be significant.
Two groups: teen moms and adult moms, question do the babies differ in their cognitive abilities. The variables are age of mother, which is categorized in teen and adult and the variable cognitive ability. But there are other things that influence cognitive ability of the babies, for example IQ. You don’t know exactly which caused the difference (if it’s IQ or the age of the moms). To tangle this problem, you can control by IQ through add it as a variable. This is analysis of covariance (ANCOVA) = there is another predictor that may can influence the outcome.
In an ANCOVA there is always a categorical predictor (factor) and a covariate, which is a continuous variable. If you want to include IQ, what we have
.....read moreMANOVA = multivariate version of a basic ANOVA. Factor is independent variable that is categorical. Outcome is dependent variable that is continuous. An ANOVA has one outcome variable and a MANOVA has more outcome variables. With MANOVA, with one test, two or more groups are compared on multiple dependent variables simultaneously.
Contrast testing = alternative to post-hoc comparisons. This are planned comparisons, therefore you don't need alpha corrections.
In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur.
Er worden geen recente ontwikkelingen besproken.
Er worden geen opmerkingen gedaan die betrekking hebben tot het tentamen.
Er worden geen tentamenvragen behandeld.
MANOVA = multivariate version of a basic ANOVA. Factor is independent variable that is categorical. Outcome is dependent variable that is continuous. An ANOVA has one outcome variable and a MANOVA has more outcome variables. 2x3 ANOVA means there are 2 factors, one with 2 levels and one with 3 levels. Main effect is when you look at just one factor. Interaction effect is when you look at the relation between the two factors.
Other things you need to know about factorial ANOVA
Effect sizes for all effects are partial eta squared = how much variation is explained by the factors. Contrast testing as alternative to (explanatory) post-hoc pairwise comparisons. If an ANOVA is significant but it compares more than two means, you only know that the means are not the same. Post-hoc comparisons search after the analysis how the groups differ (this is an exploratory approach wherefor you need a type I correction). Better is to test only the pre-specified hypotheses. Therefore, you don’t need alpha corrections à more power. This are planned
.....read morePre-registration = stating as clearly and specifically as possible what you plan to do, and how, before doing it, in a manner that is verifiable by others.
Publication bias = scientists publish only the significant results, because journals mostly publish only the significant studies.
Harking (hypotheses after results known) = changing or creating the hypotheses after seeing the results.
P-hacking = researchers collect or select data or statistical analyses until nonsignificant results become significant.
Selective reporting = when you only report the significant results.
In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur.
Vanwege de toename in Registered Reports zijn er steeds meer journals en wetenschappers die ook non-significante resultaten publiceren, waardoor publicatie bias wordt verminderd. Daarnaast helpt pre-registratie mee aan het reproduceren en repliceren van studies.
Er worden geen opmerkingen gedaan die betrekking hebben tot het tentamen.
Er worden geen tentamenvragen behandeld.
Pre-registration
Solution is to make results a dead currency in quality evaluation. The results shouldn’t have so much influence. You can make this happen by pre-registration. Researchers decide already what their hypotheses, procedures and analyses are before data collection. It doesn’t matter what the results are, if you do what you planned, you will get published. Pre-registration = stating as clearly and specifically as possible what you plan to do, and how, before doing it, in a manner that is verifiable by others. In your introduction you state your research question and your hypothesis. In your method
.....read moreRepeated measures analysis. The same outcome variable is measured multiple times in the same people.
Mixed design. This design has two factors: within factor and between factor. In mixed designs there can be an interaction effect.
Assumption of sphericity = = variances of all difference scores are equal. The test for sphericity is called the Mauchly’s test.
In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur.
Er worden geen recente ontwikkelingen besproken.
Er worden geen opmerkingen gedaan die betrekking hebben tot het tentamen.
Er worden geen tentamenvragen behandeld.
When you have an outcome variable which is measured multiple times, then we speak of a repeated measures analysis or a mixed design.
Designs with one or more within factors are called repeated measures designs.
Designs with at least one between and at least one within factor are formally called mixed designs (but often also repeated measures). Note: all analyses in Firk et al. are done controlling for IQ mother (the covariate): mixed ANCOVA.
Repeated measures analysis (RMA)
The same outcome variable is measured multiple times in the same people. For example, at different occasions (longitudinal research) or in different conditions (experimental research). It is not always possible to do a within factor analysis because you don’t get each person in each condition. Advantages of within subjects’ design:
Dependency of data across conditions requires analysis technique that takes that into account (this is a assumption). Why not a regular ANOVA? Because we know how the data is collected, we know that the means are dependent. So, we know to do a repeated measures analysis.
Homogeneity of variance (another assumption) is tested with the assumption of sphericity = variances of all difference scores are equal. The test for sphericity is called the Mauchly’s test. Test results are sensitive to sample size, always also inspect descriptive information on size of violation. If you have a really large sample, even the smallest violations become significant. How severe the sphericity is, can you find under Epsilon. The severity is a number between 0 and 1. Hereby, 1 means perfect sphericity. The lower bound tells you the minimum score of
.....read moreIn dit hoorcollege worden de verschillende analyses in SPSS uitgelegd en voor gedaan die je moet kunnen voor het SPSS tentamen.
In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur.
Dit is niet van toepassing.
Je hoeft geen simple effects analyse te kunnen maken, maar je moet wel de output kunnen lezen.
De voorbeeldvragen in dit college zijn een goede representatie van de vragen die in het tentamen gesteld kunnen worden.
Descriptive statistics
What is the mean age of the participants? Analyze --> descriptive statistics --> descriptives --> mean.
What is the maximum observed age? Analyze --> descriptive statistics --> descriptives --> maximum.
What is the number of participants with an age of 20? Analyze --> descriptive statistics --> frequencies.
How many women have a low income? Analyze --> descriptive statistics --> crosstabs.
What is the Pearson correlation coefficient between age and depression? Analyze --> correlation --> bivariate.
Multiple regression
Regression --> linear --> dependent and independent variables --> next --> add new independent variables --> statistics: R2 change --> statistics: check for multicollinearity (collinearity diagnostics) --> save: standardized (2x), Mahalanobis and Cook’s. With mahalanobis and cook’s you get new variables to check the assumption with histograms. Cook distance below 1 is good. For homoscedasticity you have to check the residuals of the standardized values with a scatter plot. Homoscedasticity = variation must be the same around the zero-line for every score.
Moderation
Regression --> PROCESS --> Y, X and Moderation --> Moderation = model 1 --> Options: mean center, -1SD, Mean, + 1SD and p < .05.
When interaction is not significant, there is no moderation.
Mediation
Regression --> PROCESS --> Y, X and Mediator --> Mediation = model 4 --> Options: total effect model.
Look at the total, direct and indirect effect and if they are significant (for indirect effect look at CI and if the 0 is included). If there is a significant direct and indirect effect, there is partial mediation. If there is only indirect effect, there is complete mediation.
.....read more
1. The number of respondents in the dataset is ...
2. The mean score on intelligence is ...
3. The maximum observed score on intelligence is ...
4. The number of respondents with 2 siblings in condition 1 (social skills) is...
Perform an analysis of variance to answer the question whether the mean intelligence differs between the experimental conditions.
5. The value of partial eta squared of the effect of condition is ...
6. The F-value of the effect of condition is ...
Perform a two-way analysis of variance to answer the question whether the mean intelligence differs between the conditions, and if this effect is dependent on the number of siblings (family size).
7. Levene’s test of homogeneity of variance gives a p-value of ...
8. The p-value of the effect of family size is...
Perform a multivariate analysis of variance to answer the question whether people with and without siblings differ on the three scales of personality.
9. The value of Wilks’ Lambda of the effect of siblings is...
10. The partial eta squared of the effect of siblings on personality scale 2 is...
Perform a multivariate analysis of variance to answer the question whether people with and without siblings differ on the three scales of personality, and whether this effect is different for men compared to women.
11. The p-value of the test of homogeneity of covariance matrices is...
12. The p-value of Wilks’ Lambda of the effect of sex is...
1. Scroll down in the data to view the number of respondents.
2. Analyze --> Descriptive Statistics --> Descriptives --> Variable Intelligence --> OK
3. Analyze --> Descriptive Statistics --> Descriptives --> Variable Intelligence --> OK
4. Analyze --> General Linear Model --> Univariate --> DV: intelligence and Fixed Factor: condition and family size --> Options: Descriptive Statistics --> Continue --> OK
5 & 6. Analyze --> General Linear Model --> Univariate --> DV: intelligence and Fixed Factor: condition --> Options: Descriptive Statistics and Estimates of Effect Size --> Continue --> OK
7 & 8. Analyze --> General Linear Model --> Univariate --> DV: intelligence and Fixed Factor: condition and family size --> Options: Descriptive Statistics, Estimates of Effect Size and Homogeneity Tests --> Continue --> OK
9 & 10. Analyze --> General Linear Model --> Multivariate --> DV: intelligence and Fixed Factor: condition --> Options: Descriptive Statistics and Estimates of Effect Size --> Continue --> OK
11 & 12. Analyze --> General Linear Model --> Multivariate --> DV: intelligence and Fixed Factor: condition and family size --> Options: Descriptive Statistics --> Continue --> OK
Logistische regressie. Kan een predictor/set van predictoren de kan op gebeurtenis Y voorspellen. Als voorbeeld: kunnen het aantal lessen, geslacht en leeftijd voorspellen of iemand wel/niet slaagt voor het rijexamen? Het doel van een lineaire regressie is het voorspellen van een interval of ratio variabele op basis van één of meerdere predictoren.
Odds. De verhouding tussen het deel dat wel gaat stemmen en wat niet gaat stemmen. De odds is het aantal keer 1 gedeeld door het aantal keer 0.
Odds ratio. Odds van sekse 1 (vrouw) gedeeld door odds van sekse 0 (man).
In dit college worden geen andere onderwerpen besproken dit niet worden behandeld in de literatuur.
Er worden geen recente ontwikkelingen besproken.
Op het tentamen moet je de output van een logistische regressie kunnen lezen en je moet zelf de kans, odds en odds ratio kunnen berekenen.
Er worden geen tentamenvragen behandeld.
Logistische regressie lijkt het meest op een lineaire regressie. Het heeft 1 afhankelijke variabele (dichotoom) en 1 of meer onafhankelijke variabele (minimaal interval of dummies). Het verschil met lineaire regressie is dat daar de afhankelijke variabele minimaal interval niveau moet hebben, maar bij logistische regressie moet het de variabele dichotoom is. Kan een predictor/set van predictoren de kan op gebeurtenis Y voorspellen. Als voorbeeld: kunnen het aantal lessen, geslacht en leeftijd voorspellen of iemand wel/niet slaagt voor het rijexamen? Het doel van een lineaire regressie is het voorspellen van een interval of ratio variabele op basis van één of meerdere predictoren.
Dichotome afhankelijke variabelen
Voorbeeld Y is stemmen (dichotoom), 0 = niet stemmen en 1 = wel stemmen. X is intelligentie (interval). In plaats van dat bij een lineaire regressie de residuen rondom de gehele regressielijn lopen, is er bij een logistische regressie maar een keuze uit 2 opties dus heb je maar op 2 punten residuen. We voorspellen niet de kans dat iemand 1 scoort maar een link-functie op die kans. Deze link-functie noemen we de logit link-functie. Deze functie is de log van de kans gedeeld door 1 minus de kans van de regressiefunctie.
Als er geen relatie is tussen X en de kans op Y, ziet de regressielijn eruit als een horizontale lijn.
Als er wel een relatie is, ziet de regressielijn eruit als een S-curve met twee asymptoten.
Hoe sterk de relatie is, kan worden afgelezen aan hoe steil de regressielijn omhooggaat.
Systematische review. Review van bestaande literatuur volgens richtlijnen om een systematische en overzichtelijke samenvatting te krijgen van de onderzoeken, om beter te kunnen begrijpen wat er al precies is onderzocht.
Meta-analyse. Kwantitatieve benadering voor het systematisch samenvatten van de resultaten van afzonderlijke onderzoeken.
Fixed effects model. De gemiddelde effectgrootte is gelijk in studies in de populatie
Random effects model. De gemiddelde effectgrootte varieert over studies in de populatie
In dit college wordt extra informatie besproken waaraan geen literatuur is gekoppeld.
Er worden geen recente ontwikkelingen besproken.
Je hoeft niet alle stappen letterlijk uit je hoofd te kennen, maar je moet wel weten wat elke stap inhoudt.
Er worden geen tentamenvragen behandeld.
De hoeveelheid onderzoek die we doen is enorm aan het toenemen, waardoor er veel onderzoeken zijn over hetzelfde onderwerp. Er is daarom behoefte om deze onderzoeken samen te vatten in de vorm van een systematische review of meta-analyse. Systematische review = review van bestaande literatuur volgens richtlijnen om een systematische en overzichtelijke samenvatting te krijgen van de onderzoeken, om beter te kunnen begrijpen wat er al precies is onderzocht. Meta-analyse = kwantitatieve benadering voor het systematisch samenvatten van de resultaten van afzonderlijke onderzoeken.
Traditionele review vs. systematische review
Gebrek aan regels | Wetenschappelijke regels om fouten te reduceren |
Methodologie is niet transparant | Expliciete en reproduceerbare methodologie |
Verschillende reviewers komen tot verschillende conclusies | Regelmatige updates (Cochrane/Campbell) |
Geen updates |
|
Een systematische review is een systematische identificatie, evaluatie en synthese van alle relevantie studies over een specifiek onderwerp, gebaseerd op een expliciete en voorgeschreven methodologie.
Procedure systematische review
Manipulatiecheck. Controleren van de aanname of participanten uit verschillende condities inderdaad verschillen op de veronderstelde onafhankelijke variabele.
Intructionele manipulatiecheck. Dit zijn subtiele manipulaties die alleen in de instructie worden benoemd, bijvoorbeeld het veranderen van de naam van de test/spel/sollicitant. Hierbij moet gecontroleerd worden of de participanten wel worden gemanipuleerd.
In dit college wordt extra informatie besproken waaraan geen literatuur is gekoppeld.
Er worden geen recente ontwikkelingen besproken.
Er worden geen opmerkingen gemaakt over het tentamen.
Er worden geen tentamenvragen behandeld.
Interne validiteit = de mate waarop de onderzoeksmethode een goed antwoord kan geven op de onderzoeksvraag.
Experimenteel onderzoek
Causaliteit heeft een aantal voorwaarden:
Voor causaliteit heb een je experiment nodig, omdat je dan alles kan controleren behalve die ene variabele die je gaat meten. Het doel van een experimenteel onderzoek is het vaststellen van causale relaties. Alleen variabele X is oorzaak van verandering in variabele Y. Variabele X wordt niet gemeten, maar gemanipuleerd. We moeten controleren of de manipulatie van variabele X gelukt is.
Manipulatiecheck
Manipulatiecheck = controleren van de aanname of participanten uit verschillende condities inderdaad verschillen op de veronderstelde onafhankelijke variabele. Onafhankelijke variabele = experimentele conditie. Veronderstelde onafhankelijke variabele = psychologisch construct. Manipulatiecheck is extra test om te kijken of de participanten wel verschillen op de veronderstelde onafhankelijke variabele. Een manipulatiecheck geeft een indicatie van de interne validiteit (validiteit van onderzoek) en de begripsvaliditeit (validiteit van test/meting) = de mate waarin een meting aan zijn doel beantwoordt: meet de test het bedoelde begrip of (ook) iets anders? Beoordeling door de te kijken naar verbanden tussen jouw meting en andere metingen van hetzelfde begrip – relatie onafhankelijke variabele en veronderstelde onafhankelijke variabele. Een manipulatiecheck is belangrijk om causale conclusies te trekken over de relatie tussen de (veronderstelde) onafhankelijke en afhankelijke variabele. Een manipulatiecheck geeft een indicatie van de validiteit van het onderzoek en de meting. Maar de validiteit is nog steeds beperkt. Bij gebruik van één manipulatiecheck blijft het lastig om álle alternatieve verklaringen uit te sluiten.
Instructionele manipulatiecheck
Dit zijn subtiele manipulaties die alleen in de instructie worden benoemd, bijvoorbeeld het veranderen van de naam van de test/spel/sollicitant. Een woord verschil kan een grote invloed hebben op wat je meet. Hoe ontdek je of participanten de instructies goed lezen? Hoe ga je
.....read moreJe vertrek voorbereiden of je verzekering afsluiten bij studie, stage of onderzoek in het buitenland
Study or work abroad? check your insurance options with The JoHo Foundation
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
Field of study
Add new contribution