Artikelsamenvatting bij Annual research review developmental computational psychiatry van Hauser et al. - Chapter

Waar gaat dit artikel over?

Veel psychiatrische stoornissen ontstaan tijdens de kindertijd en de puberteit. Het is ook in deze perioden dat het brein substantieel groeit en zich reorganiseert. Het is echter nog onduidelijk hoe psychiatrische stoornissen samenhangen met hersenontwikkeling. In dit artikel wordt er besproken hoe men dit kan onderzoeken, namelijk door de modellering van de computationele functies van het brein met betrekking tot cognitieve computaties en dit te relateren aan hersenontwikkeling.

Uit onderzoek naar psychiatrische stoornissen blijkt dat veel van deze stoornissen (zoals ADHD, dyslexie, OCD) tijdens ontwikkelingsperioden ontstaan, dus tijdens de kindertijd of de puberteit. Echter is het meeste onderzoek gericht op volwassenen en is er dus weinig onderzoek naar de ontwikkeling van deze stoornissen. Omdat veel psychiatrische stoornissen zich zo vroeg voordoen, is het belangrijk om te weten hoe deze stoornissen zich ontwikkelen.

Waarom zijn computaties belangrijk voor ontwikkelingspsychiatrie?

In tegenstelling tot wat neurowetenschappers vaak doen, dus bepalen waar in het brein precies iets gebeurt, kan er beter worden onderzocht hoe dingen in het brein gebeuren. Dit betekent dat men moet proberen te begrijpen hoe computaties worden uitgevoerd in de hersenen, en hoe deze computaties soms fout gaan. Op deze manier kan men de mechanismen van psychiatrische stoornissen beter begrijpen.

Om hersenfuncties te begrijpen is het belangrijk om te bepalen welke computaties er in neuronale populaties plaatsvinden. Veel cognitieve constructen, zoals ‘leren’, ‘cognitieve flexibiliteit’, of ‘besluitvorming’ zijn gebaseerd op een psychologisch niveau. Echter is het niet zo dat het brein deze taxonomie volgt. Dit betekent dat het niet waarschijnlijk is dat één hersengebied verantwoordelijk is voor bijvoorbeeld ‘cognitieve flexibiliteit’. In plaats daarvan is het waarschijnlijk zo dat er meerdere processen tegelijkertijd plaatsvinden die leiden tot verschillende computaties die worden uitgevoerd door verschillende neuronale populaties. Om te bepalen hoe er stoornissen plaatsvinden moet men dus goed begrijpen hoe neuronale populaties informatie integreren om een cognitief proces uit te laten voeren. Eén manier om dit te onderzoeken is gebaseerd op het idee dat het brein een informatieverwerkingsmachine is. Om deze machine te begrijpen kan men principes vanuit kunstmatige intelligentie toepassen.

Hoe verloopt computationele modellering van neuronen tot cognitie?

Computationele modellen kunnen worden verdeeld in twee typen. Het eerste type beschrijft wat de neurale populaties computeren en het tweede type beschrijft hoe een algoritme wordt toegepast op neuraal niveau. Deze modellen worden ook wel algoritmische en implementatie modellen genoemd.Implementatie modellen beschrijven hoe neuronale populaties informatie verwerken en hoe zij interacteren tijdens het oplossen van een taak. Deze modellen beschrijven dus hoe computaties plaatsvinden in het brein. Dit zijn echter wel hele complexe modellen. In dit artikel worden daarom alleen algoritmische modellen besproken.

Wat zijn algoritmische modellen?

Er zijn verschillende typen algoritmische modellen, zoals leren op basis van versterking, Bayesiaanse modellen en diepe neurale netwerken. Een voordeel van dit type modellen is dat zij een duidelijk beeld geven van de computationele mechanismen van cognitieve processen. Dit zorgt ervoor dat men mechanismen kan koppelen aan symptomen. Deze modellen zijn dus ‘generatief’ en niet ‘descriptief’, wat betekent dat zij voorspellen hoe gedrag (of neurale activiteit) wordt gegenereerd. Een voordeel van generatieve modellen is dat zij gebruikt kunnen worden om voorspellingen te maken over hoe een agent (een persoon) zal presteren. Daarnaast kan met behulp van simulatie worden vastgesteld hoe goed het model is.

Wat zijn voorbeelden van algoritmische modellen?

Versterkend leren (RL; reinforcement learning) is gebaseerd op een aantal modellen, waarbij het kernprincipe is dat agenten proberen om zoveel mogelijk belongingen te verkrijgen. Volgens RL leert een agent op basis van vallen en opstaan wat wel en wat geen goede gedragingen zijn. Volgens RL is het dus zo dat een agent voorspellingen maakt over wat er zal gebeuren wanneer hij of zij een bepaalde gedraging zou vertonen (zou hij of zij een beloning krijgen, of zou hij gestraft worden?). Om dit te beslissen denkt de persoon terug aan eerdere ervaringen. Hierbij vergelijkt hij wat hij verwachtte dat er zou gebeuren (de uitkomst) met wat er eigenlijk gebeurde (de verwachting). Het verschil tussen de uitkomst en de verwachting is de voorspellingsfout (PE; prediction error). De PE beschrijft of een uitkomst beter of slechter was dan dat men verwachtte (positief of negatief) en hoeveel de uitkomst verschilde van de verwachting (de magnitude). Deze PE wordt dan gebruikt bij het maken van toekomstige voorspellingen. Uit onderzoek blijkt dat PE-signalen te zien zijn in het brein. Specifiek werd er waargenomen dat neuronen in het dopaminerge systeem van de middenhersenen vuurden wanneer een uitkomst beter was dan verwacht (een positieve PE). Wanneer een uitkomst slechter was dan verwacht (een negatieve PE) dan vuurden deze neuronen minder. Deze PE-signalen lijken dus heel erg op de fasische dopamine activiteit die wordt waargenomen in de hersenen. Daarnaast is het ook zo dat medicijnen die invloed hebben op dopamine problematische belonings-gerelateerde PE bij volwassenen kan verhelpen.

Wat is er nog meer bekend over PE?

PE is vaak onderzocht met betrekking tot versterkend leren. Recentelijk is echter gebleken dat PE’s ook belangrijk zijn in andere domeinen, zoals leren over pijn, moeite, en sociale evaluatie. Ook deze PE’s lijken gecodeerd te zijn in dopaminerge hersengebieden. Zo is het ventrale striatum een belangrijk gebied waarin leren plaatsvindt over beloningen in geld, maar ook beloningen op sociaal gebied, zoals erkenning. Deze PE’s beïnvloeden niet alleen de mate van leren, maar ook mensen hun zelfvertrouwen. Zo bleek uit onderzoek dat mensen hun zelfvertrouwen toenam wanneer anderen lieten blijken dat zij deze persoon mochten, maar ook wanneer de PE positief was en dat mensen er dus achter kwamen dat anderen hen nog meer mochten dan dat zij dachten. Uit onderzoek blijkt daarnaast ook dat het dopamine systeem niet alleen bestaat uit mesolimbische paden, maar ook uit een mesocorticaal pad waarbij er wordt geprojecteerd naar prefrontale hersengebieden zoals naar het dorsomediale prefontale cortex (dmPFC). Uit onderzoek is bekend dat de dmPFC moeite encodeert, dus hoe moeilijk het is om te kiezen tussen twee opties.

Zijn er ook computaties die niet gebaseerd zijn op PE?

Er zijn ook andere RL-gerelateerde mechanismen ontdekt in de hersenen. Bijvoorbeeld tijdens planning. Zo is het gebleken dat de hersenen RL-principes gebruiken om complexe, hiërarchische planningstaken te voltooien. Echter moet dit nog beter onderzocht worden. Hiervoor is het echter belangrijk dat er uitwisseling van informatie plaatsvindt tussen neurowetenschap en ontwikkelingspsychiatrie. Daarnaast, om te begrijpen hoe computaties veranderen gedurende het leven hoe deze invloed hebben op psychiatrische stoornissen, is het belangrijk dat men leert hoe neurale systemen die de computaties beïnvloeden (bijvoorbeeld dopamine) zich ontwikkelen.

Hoe kan men de ontwikkeling van trajecten vaststellen?

Het brein is continu aan verandering onderhevig. Vooral tijdens de kindertijd en de puberteit zijn er veel veranderingen. Zo is er bijvoorbeeld eerst een toename van grijze stof, wat tijdens de puberteit weer juist afneemt. Dit komt waarschijnlijk door ‘pruning’ (het afsnoeien van corticale verbindingen zodat neurale connecties selectiever en efficiënter worden). Dit gebeurt in verschillende hersengebieden, dus niet overal in het brein. Zo ontwikkelen de sensorische en motorgebieden in het brein zich relatief vroeg en de prefrontale cortex relatief laat.

Hoe ontwikkelt dopamine zich?

Er is meer bekend over hoe corticale hersengebieden zich ontwikkelen. Er is minder bekend over hoe de ontwikkelingstrajecten van neurotransmitters, zoals dopamine. Dit is echter wel belangrijk, omdat dopamine een belangrijke rol heeft bij RL en omdat het een belangrijke rol speelt bij veel stoornissen. Het is vrij moeilijk om dopamine ontwikkeling vast te stellen, omdat neurale populaties die dopamine vrijgeven vaak in hele kleine gebieden in de middenhersenen zijn die heel gevoelig zijn voor beweging; dit maakt het moeilijk om neuroimaging technieken hierop toe te passen. Een andere uitdaging is dat de ontwikkeling van een systeem afhangt van een aantal factoren, zoals de patronen en de configuratie van de receptoren.

Veel onderzoekers bestuderen nu daarom dopamine ontwikkeling in knaagdieren. Hierbij wordt er gekeken naar drie aspecten van ontwikkeling: de ontwikkeling van dopamine neuronen, de groei van dopamine projecties, en de dichtheid van dopaminereceptoren. Hieruit blijkt dat dopamine neuronen redelijk vroeg ontstaan tijdens de hersenontwikkeling. Een foetus van 6-8 weken heeft al functionerende dopamine neuronen. Daarnaast blijkt dat de beschikbaarheid van dopamine neuronen verschilt per hersengebied op basis van ontwikkelingsfase. In het ventrale striatum neemt de dichtheid van dopaminereceptoren toe tijdens de kindertijd en is er een piek waar te nemen rond de puberteit waarna het weer afneemt. Daarnaast blijkt het ook, uit onderzoek met knaagdieren, dat de dopamine in limbische gebieden (waaronder het ventrale striatum) een ander ontwikkelingstraject doorloopt dan dopamine in de prefrontale gebieden.

Wat is de rol van computationele mechanismen voor ontwikkeling en psychiatrie?

Er is weinig onderzoek gedaan naar hoe computationele mechanismen zich mettertijd ontwikkelen. Het is te verwachten dat complexe taken, zoals leren, een langer ontwikkelingstraject hebben dan simpele taken. Uit onderzoek is wel gebleken dat adolescenten het meest gevoelig zijn voor positieve beloningen vergeleken met kinderen en volwassenen. Dit heeft waarschijnlijk te maken met dat de prefrontale cortex zich later ontwikkelt en dat daarom volwassenen beter in staat zijn om hun gevoeligheid voor beloningen te controleren. Er is weinig bekend over andere vormen van PE leren. Er zijn wel een paar eerste studies over besluitvorming, zoals bijvoorbeeld modelgebaseerd redeneren. Een belangrijk aspect van RL-algoritmen is dat de omgeving waarin mensen zich bevinden vaak onbekende aspecten heeft. Dit is een belangrijk principe in modelgebaseerd redeneren. Volgens onderzoeken naar dit type redeneren ontstaat het pas tijdens de adolescentie en is deze vaardigheid pas volledig ontwikkeld tijdens de volwassenheid.

Computationele tekorten bij psychiatrische stoornissen

In veel psychiatrische stoornissen ervaren patiënten problemen bij het maken van keuzes of tijdens het leren. Zo is er sprake van verstoord PE leren bij onder andere psychose, OCD, ADHD, en depressie. Er is echter heel weinig onderzoek gedaan naar de ontwikkeling van deze tekorten. In één studie met ADHD-patiënten bleken er al PE-tekorten te zijn tijdens de adolescentie. Dit zorgt ervoor dat zij meer impulsief keuzes maken. Daarnaast zijn er sommige stoornissen waarbij de ontwikkeling nog belangrijker is dan bij andere stoornissen, zoals bijvoorbeeld apathie en zelfvertrouwen. Apathie wordt beschreven als een gebrek aan motivatie en een onvermogen om doelgerichte acties uit te voeren. Het is een symptoom dat bij meerdere stoornissen voorkomt. Het is al bekend dat veel van deze stoornissen ontstaan tijdens de adolescentie. Computationele theorieën hebben apathie beschreven als een compromis tussen beloning en moeite (een trade-off). Het zou zo kunnen zijn dat de mesolimbisch en mesocorticale gebieden minder gedifferentieerd zijn in deze personen. Dit kan leiden tot een bias in beloning en moeite representaties (beloningen lijken kleiner dan dat ze zijn en moeite lijkt meer dan dat het eigenlijk is). Omdat mesocorticale projecties zich pas laat ontwikkelen kan het zijn dat apathie ontstaat tijdens de adolescentie, wanneer mesocorticale groei en signalen verstoord raken. Dit kan leiden tot een disbalans tussen striataal en prefontaal dopamine. Naast apathie is ook laag zelfvertrouwen iets wat vaak voorkomt bij verschillende psychiatrische stoornissen, zoals bij depressie, angst en eetstoornissen. Deze stoornissen ontstaan ook vaak tijdens de adolescentie. De adolescentie is een periode waarin men extra gevoelig is voor wat leeftijdsgenoten over hen denken en waarin sociale afwijzing vaker geïnternaliseerd wordt. Dit internaliseren zou ertoe kunnen leiden dat adolescenten stemmingsstoornissen of angststoornissen ontwikkelen. Echter zijn de precieze, onderliggende mechanismen nog niet voldoende onderzocht. Een voorbeeld van hoe computationele psychiatrie hierbij kan helpen is de studie naar de invloed van sociale PE’s op zelfvertrouwen. Hieruit bleek dat voor volwassenen voor wie sociale PE’S zwaarder wegen, deze PE’s meer invloed hadden op hun symptomen. Deze bevindingen kunnen dus gebruikt worden om te begrijpen hoe sociale feedback wordt geïnternaliseerd op een algoritmisch en een neuraal niveau. Bij adolescenten is het dus zo dat er waarschijnlijk een overexpressie is van sociale PE’s. Dit leidt ertoe dat zij afwijzing eerder zullen internaliseren. Deze bevindingen kunnen ook worden gebruikt voor behandeling.

Wat zijn de conclusies?

Om te begrijpen hoe de hersenen informatie verwerken en hoe dit fout kan gaan tijdens bepaalde ontwikkelingsperioden, kan men gebruik maken van computationele strategieën. Om dit te bereiken moet er een samenwerking komen tussen computationele psychiatrie en ontwikkelingsneurowetenschappen. Dit zou helpen om te begrijpen waarom veel psychiatrische stoornissen ontstaan tijdens bepaalde ontwikkelingsperioden, zoals de kindertijd en de adolescentie.