Hoofdstuk 12: Evolutie van de machines

Is er iets speciaals aan mensen waardoor we kunnen denken, zien, horen, voelen en verliefd worden? Iets dat ons een verlangen geeft om goed te zijn, een liefde voor schoonheid en een verlangen naar iets daarbuiten? Of zijn al deze capaciteiten slechts producten van een ingewikkeld mechanisme in ons lichaam? Met andere woorden, ben ik gewoon een machine? En kunnen de machines die we maken dan ook al die dingen en meer doen? Met andere woorden, zou er machinebewustzijn (MC) of kunstmatig bewustzijn (AC) kunnen zijn? Als dat zou kunnen, hebben we misschien een soort morele verantwoordelijkheid voor onze creaties. We kunnen ook ontdekken dat hun bestaan ​​onze opvattingen over ons eigen bewustzijn verandert.

Zijn geesten zoals machines?

Sinds de Oude Grieken bestaat het idee dat we machines zijn. In de zeventiende eeuw beweerde Descartes dat het menselijk lichaam een ​​mechanisme was, maar dat geen enkel mechanisme in staat was om te spreken en rationeel te denken - daarvoor waren cogitans of denkmateriaal nodig.

Onder degenen die zijn dualisme verwierpen was Gottfried von Leibniz die zijn beroemde allegorie van de molen bedacht. Stel je een machine voor waarvan de constructie hem in staat stelde te denken, voelen en waarnemen. Stel je dan voor dat de machine werd vergroot met dezelfde verhoudingen, zodat we erin konden gaan, zoals het betreden van een windmolen. Binnenin zouden we alleen stukken vinden die op elkaar werken en nooit iets om de perceptie te verklaren. Hieruit concludeerde hij dat om perceptie te verklaren, we moeten zoeken naar een eenvoudige substantie in plaats van de werking van een machine, die nooit de eenheid kan hebben die bewustzijn heeft. Net als de molen, als we nu in ons brein kijken, kunnen we de radertjes en balken en muren zien die het brein maken, maar niet iets dat ons bewustzijn lijkt te geven.

Tegenwoordig is de vraag, met alles wat we weten over onze anatomie en psychologie, niet zozeer: 'Ben ik een machine?' Maar 'Wat voor soort machine ben ik?', En, voor onze doeleinden hier, 'waar past' ik 'in? 'en' Waar past bewustzijn in? 'Deze antwoorden kunnen we zoeken in zowel biologisch onderzoek of proberen na te bootsen met behulp van kunstmatige intelligentie.

In de biologie heeft de wetenschap achtereenvolgens steeds meer van de mechanismen van perceptie, leren, geheugen en denken uitgelegd, en daarmee alleen de oude open vraag over bewustzijn versterkt. Dat wil zeggen, wanneer al deze vermogens volledig zijn uitgelegd, zal er ook rekening worden gehouden met bewustzijn of nog steeds worden weggelaten?

Vanuit de kunstmatige richting zijn betere machines ontwikkeld, wat leidt tot de voor de hand liggende vraag of ze al bewust zijn, of dat ze ooit zouden kunnen zijn. Als machines alle dingen die we doen, net zo goed zouden kunnen doen als wij, zouden ze dan bewust zijn? Hoe kunnen we vertellen? Zouden ze echt bewust zijn of gewoon zombies die bewustzijn simuleren? Zouden ze echt echt begrijpen wat ze zeiden en lezen en deden, of zouden ze gewoon doen alsof ze het begrepen? Is er een verschil? We komen op dezelfde vraag die door het hele boek galmt - is er iets extra's dat is weggelaten?

Zijn er geest-achtige machines?

Vanaf de vierde eeuw voor Christus maakten de Grieken uitgebreide marionetten, en later complete automatische theaters, met bewegende vogels, insecten en mensen, allemaal bewerkt door snaren en vallende motoren. Deze machines bootsten levende wezens na in de zin dat ze zich zo bewogen, maar pas veel later werd het idee van denkmachines mogelijk.

In de achttiende eeuw werd automaat enorm populair, met de beroemdste waaronder een fluitspelende jongen, een eend met een spijsverteringsstelsel en de vroegste schaakmachine, de ‘Turk’. Automata bleef fascineren en bang maken, en in 1818 vatte Mary Shelley deze angst vast in haar roman over het monster van Frankenstein. Maar al snel begon de technologie te worden gebruikt voor meer wetenschappelijke doeleinden.

Nu was er veel ontwikkeling met kleine machines, waarvan je de meeste al kent uit eerdere cursussen, dus ik ga ze niet allemaal bespreken. Raadpleeg pagina 305-307 als u er meer over wilt lezen. Ik ga gewoon door naar de ontwikkeling van AI.

Hoewel computers snel sneller, kleiner en flexibeler werden, hingen aanvankelijke pogingen om AI te maken af ​​van een menselijke programmeur die programma's schreef die de machine vertelde wat te doen met behulp van algoritmen die informatie verwerkten volgens expliciet gecodeerde regels. Dit wordt nu - meestal door zijn critici - aangeduid als GOFAI (uitgesproken als ‘goofy’) of ‘Good Old-fashioned AI’. Dus, realistisch gezien, waren deze machines verre van bewust. Een probleem voor GOFAI is dat menselijke gebruikers de verwerkte informatie behandelen als dingen die symbool staan ​​in de wereld, maar deze symbolen zijn niet gegrond in de echte wereld voor de computer zelf. Dus een computer kan bijvoorbeeld de spanningen en spanningen op een brug berekenen, maar het zou niets van bruggen weten of er iets om geven; het is net zo goed het berekenen van schommelingen op de aandelenmarkt of de verspreiding van een dodelijk virus. Evenzo kan het plausibele antwoorden op getypte vragen afdrukken zonder een idee te hebben van wat het deed. Omdat dergelijke machines alleen symbolen manipuleren volgens formele regels, wordt deze traditionele benadering ook regel-en-symbool AI genoemd. Het is als een driejarig kind dat 'f * ck de monarchie' roept, elke keer als het een foto van de koninklijke familie ziet - niet omdat het begrijpt wat het betekent, maar omdat het zijn vader het altijd heeft horen zeggen.

Searle had een theorie met twee versies: ‘Strong AI’ en ‘Weak AI’. Volgens Strong AI zou een computer met het juiste programma intelligent zijn en een geest hebben net als wij. Een geest hebben is niets anders dan het juiste programma uitvoeren. Volgens Weak AI kunnen computers de geest simuleren en denken, beslissen, enzovoort, simuleren, maar ze kunnen nooit een echte geest, echte intentionaliteit, echte intelligentie of echt bewustzijn creëren, alleen als als bewustzijn. Dit is als de computer van een meteoroloog die stormen en sneeuwstormen kan simuleren, maar nooit met sneeuw zal uitblazen.

Wat zijn recente ontwikkelingen in de informatica?

Connectionism

In de jaren tachtig ontstond ‘connectionism’, een nieuwe aanpak op basis van kunstmatige neurale netwerken (ANN's) en parallel gedistribueerde verwerking. Een deel van de motivatie was om het menselijk brein nader te modelleren, hoewel ANN's uit de eenentwintigste eeuw extreem eenvoudig zijn in vergelijking met menselijke hersencellen. De vele soorten netwerken omvatten terugkerende, associatieve, meerlagige en zelforganiserende. Het grote verschil met GOFAI is dat ANN's niet zijn geprogrammeerd: ze zijn getraind. Om een ​​eenvoudig voorbeeld te nemen, stel je voor dat je naar foto's van mensen kijkt en beslist of ze mannelijk of vrouwelijk zijn. Mensen kunnen dit gemakkelijk doen (hoewel niet met 100% nauwkeurigheid) maar kunnen niet uitleggen hoe ze het doen. We kunnen dus geen introspectie gebruiken om een ​​machine te leren wat te doen. Met een ANN hoeven we dat niet te doen. In begeleid leren kan het systeem een ​​reeks foto's worden getoond en produceert voor elk een output: mannelijk of vrouwelijk. Als dit verkeerd is, worden de synaptische gewichten aangepast en wordt het netwerk de volgende weergegeven, enzovoort. Hoewel het begint met willekeurige reacties, kan een getraind netwerk nieuwe gezichten correct onderscheiden, evenals gezichten die het eerder heeft gezien.

ANN's zijn nuttig voor vele doeleinden, waaronder het herkennen van handschrift, het besturen van robots, mijnbouwgegevens, het voorspellen van marktschommelingen en het filteren van spam, en kunnen binnenkort in veel meer toepassingen worden gebruikt zoals zelfrijdende auto's. De connectionistische – computationele debatten gaan door, maar dat geldt ook voor de geleidelijke beweging van het begrijpen van cognitie als manipulatie van statische symbolen naar het behandelen ervan als een continu dynamisch systeem dat niet gemakkelijk kan worden onderverdeeld in afzonderlijke staten.

kennis

De machines die tot nu toe zijn beschreven, zijn allemaal zonder lichaam, ingesloten in dozen en communiceren alleen met de wereld via mensen. Wanneer robots voor het eerst aan het werk worden gezet, kunnen robots hoogstens slechts enkele eenvoudige, goed gespecificeerde taken uitvoeren in zeer gecontroleerde omgevingen, zoals in speciale blokwerelden waarin ze de blokken moesten vermijden of verplaatsen. Deze benadering leek destijds verstandig omdat deze was gebaseerd op een impliciet geestesmodel dat op dezelfde manier was ontlichaamd. Het veronderstelde de behoefte aan nauwkeurige representaties van de wereld, gemanipuleerd door regels, zonder de rommeligheid van armen, benen en echte fysieke problemen. We kunnen dit contrasteren met een kind dat leert lopen. Ze heeft de regels van het lopen niet geleerd; ze staat gewoon op, valt om, probeert het opnieuw, botst tegen de salontafel en loopt uiteindelijk. Evenzo wordt een kind dat leert praten ook niet de regels geleerd; in het begin maakt ze fragmenten van geluiden die ze hoort en gebaren die ze ziet, stukjes, ontleedt ze woorden verkeerd en maakt ze zichzelf uiteindelijk begrepen.

De connectionistische benadering is veel realistischer dan GOFAI, maar laat toch iets belangrijks achter. Misschien is het belangrijk dat het kind wiebelende benen heeft, dat de grond niet vlak is en dat er echte obstakels in de weg staan ​​en geen gespecialiseerde laboratoriumomgeving.

Andy Clark probeerde hersens, lichaam en wereld weer samen te brengen. 'Gelukkig voor ons', zei hij, 'menselijke geesten zijn geen ouderwetse CPU's die vastzitten in onveranderlijke en steeds zwakere lichamelijke schalen. In plaats daarvan zijn ze de verrassend plastic geesten van diep belichaamde agenten '. Wat hij bedoelt met 'diep belichaamd' is dat elk aspect van ons mentale functioneren afhangt van onze intieme verbinding met de wereld waarin we leven. Onze 'overmatige' geest en onze perceptie, leren, verbeelding, denken en taal zijn allemaal gecreëerd door hersenen die in wisselwerking staan ​​met lichamen en hun omgevingen, zowel fysiek als sociaal.

Deze kijk op de echte wereld is een stuk eenvoudiger dan velen die we tot nu toe hebben gehad. Het biedt de beperkingen en feedback die perceptie, intelligentie en bewustzijn mogelijk maken. Menselijke intelligentie is niet alleen ‘herkenningsintelligentie’: het gaat om het gebruik van begrip om autonome realtime beslissingen te nemen. Op deze manier machines maken betekent het bouwen van echte, fysieke, autonome agenten die zich in de echte wereld verplaatsen en van onder naar boven werken in plaats van van boven naar beneden. Het heeft geen zin dat een auto zonder bestuurder een witte bestelwagen herkent die snel vertraagt, tenzij hij de huidige situatie kan beoordelen en ontwijkende maatregelen kan nemen. Deze aanpak wordt soms gesitueerde robotica of gedragsgebaseerde (in tegenstelling tot kennisgebaseerde) robotica genoemd.

Intelligente vertegenwoordiging

De traditionele AI ging ervan uit dat intelligentie draait om het manipuleren van representaties, maar experimenten hebben aangetoond dat dit niet het geval hoeft te zijn. Rodney Brooks en zijn collega's bij MIT hebben bijvoorbeeld vele jaren gewerkt aan het bouwen van robots zonder interne representaties. Brooks 'wezens' kunnen ronddwalen in complexe omgevingen zoals kantoren of laboratoria vol mensen en taken uitvoeren zoals het verzamelen van afval. Ze hebben verschillende besturingslagen, die elk een eenvoudige taak uitvoeren als reactie op de omgeving. Deze worden indien nodig bovenop elkaar gebouwd en hebben beperkte verbindingen waardoor de ene laag een andere kan onderdrukken of blokkeren. Dit wordt ‘subsumption architecture’ genoemd omdat de ene laag de activiteit van een andere laag kan overnemen. Brooks robot Allen, bijvoorbeeld, had drie lagen:

1. de laagste verhinderde hem andere objecten aan te raken door hem te laten wegrennen van obstakels maar anders stil te blijven zitten
2. de tweede liet hem rondwandelen zonder ergens tegenaan te botsen
3. de derde liet hem verkennen door naar verre plaatsen te zoeken en deze te proberen te bereiken.

Correctiesignalen bediend tussen alle drie. Het algehele gedrag van een dergelijk wezen ziet er intelligent uit voor een waarnemer, maar, zegt Brooks, ‘Het is alleen de waarnemer van het schepsel die een centrale representatie of centrale controle toeschrijft. Het schepsel zelf heeft er geen; het is een verzameling van concurrerend gedrag '. Er zijn veel andere theorieën zoals deze.

Dit alles is zeer relevant voor het begrijpen van bewustzijn. Samen met GOFAI gaat het idee dat bewuste ervaringen mentale modellen of innerlijke representaties van de wereld zijn. Hoewel intuïtief aannemelijk, is dit idee problematisch. Het is bijvoorbeeld niet duidelijk hoe een mentaal model een ervaring kan zijn, noch waarom sommige mentale modellen bewust zijn, terwijl de meeste dat niet zijn.

Het wegnemen van representaties kan sommige problemen oplossen, maar het roept anderen op. In het bijzonder heeft de niet-representatieve benadering problemen met het omgaan met ervaringen die niet worden aangedreven door voortdurende interactie met de buitenwereld, zoals redeneren, verbeelden en dromen. Over representatietheorieën, is het gemakkelijk om te denken dat wanneer je droomt te verdrinken in enorme golven, je hersenen representaties van zee, water en golven construeren en de dood simuleren; maar als er geen representaties zijn, wat zou het kunnen doen?

Wat is de Turing-test?

Turing stelde zichzelf de vraag, 'kan een machine denken?' Om dit uit te zoeken, stelde hij een test voor een machine voor om te zien of deze dacht dat mensen dat doen. Turing koos voor zijn test iets speciaals: of een computer een gesprek met een mens kon voeren.

Eerst beschreef hij ‘het imitatiespel’, dat al een populair gezelschapsspel was. Het doel van dit spel is dat een ondervrager of rechter (C) beslist welke van twee personen een vrouw is. De man (A) en de vrouw (B) zijn in een andere kamer zodat C hen niet kan zien of hun stemmen kan horen en alleen kan communiceren door vragen te stellen en getypte antwoorden te ontvangen. A en B proberen allebei te antwoorden zoals een vrouw zou doen, dus de vaardigheid van C ligt in het stellen van de juiste vragen. Turing gaat verder: "We stellen nu de vraag:" Wat gebeurt er als een machine de rol van A in dit spel speelt? "Zal de ondervrager zo vaak verkeerd beslissen wanneer het spel wordt gespeeld als wanneer het spel wordt gespeeld? tussen een man en een vrouw? Deze vragen vervangen onze oorspronkelijke 'Kunnen machines denken?'

Turing geeft een kritiek op zijn eigen test. Hij wijst erop dat het de intellectuele en fysieke capaciteiten van een persoon netjes scheidt en voorkomt dat schoonheid of kracht de dag wint. Anderzijds kan het te zwaar tegen de machine worden gewogen. Een mens die zich voordoet als een machine, zou altijd falen als hij op rekenkunde zou worden getest en hij vraagt ​​zich af of deze test oneerlijk is, omdat machines misschien iets kunnen doen dat moet worden omschreven als denken, maar dat heel anders is dan wat een mens doet. Hij concludeert echter dat als een machine het spel naar tevredenheid zou kunnen spelen, we ons geen zorgen hoeven te maken over dit bezwaar.

Kan een machine bij bewustzijn zijn?

Met andere woorden, is er ‘iets wat het is om’ een machine te zijn? Of zou er ooit iets kunnen zijn? Zou er een wereld van ervaring voor de machine kunnen zijn? Wat we echt willen vragen is of een kunstmatige machine bewust kan zijn; of we een bewuste machine konden maken. Deze vraag is veel moeilijker dan de al moeilijke vraag van Turing. Toen hij vroeg 'Kan een machine denken?', Kon hij argumenten over definities doorbreken door een objectieve test voor het denken in te stellen. Dit werkt gewoon niet voor bewustzijn. Veel mensen hebben een sterke intuïtie dat er niets willekeurig aan is. Ofwel voelt de machine echt, heeft hij echt ervaringen, en lijdt hij echt vreugde en pijn, of doet hij dat niet. Deze intuïtie kan natuurlijk helemaal verkeerd zijn, maar het staat de vraag 'kunnen machines bewust zijn?' Als een kwestie van definitie in de weg. Ten tweede is er geen duidelijk equivalent van de Turing-test voor bewustzijn. Als we het erover eens zijn dat bewustzijn subjectief is, dan is de enige die kan weten of een bepaalde machine bewust is, de machine zelf, en het heeft dus geen zin om naar een objectieve test te zoeken.

Het probleem wordt duidelijker als je probeert een test uit te vinden die dit probleem test. Een enthousiaste robotbouwer zou bijvoorbeeld kunnen suggereren dat haar machine als bewust zou tellen als deze huilde wanneer ze werd geprikt, antwoordde 'ja' wanneer gevraagd of het bewust was, of smeekte mensen om het niet uit te zetten. Maar de scepticus zou zeggen: 'Het moet alleen een audio-opname hebben en een paar eenvoudige sensoren erin. Het doet alleen maar alsof het bewust is. Het is een zombie die zich gedraagt ​​alsof hij bij bewustzijn is, waarmee we terug zijn bij de zombie / zimbo-discussie.

Gezien deze moeilijkheden lijkt het misschien onmogelijk om vooruitgang te boeken met de kwestie van machinebewustzijn, maar we moeten niet zo gemakkelijk opgeven. We kunnen er zeker van zijn dat er betere en slimmere machines zullen worden gebouwd en dat mensen blijven ruziën over of ze bij bewustzijn zijn.

Zijn bewuste machines onmogelijk?

Er zijn verschillende plausibele - en niet zo plausibele - manieren om te beweren dat machines nooit bewust kunnen zijn. Hier zijn de belangrijkste bezwaren;

• • De ziel. Bewustzijn is het unieke vermogen van de menselijke ziel die alleen door God aan ons wordt gegeven. God zou geen ziel geven aan een door mensen gemaakte machine, dus machines kunnen nooit bewust zijn.
  • Biologie. Alleen levende, biologische wezens kunnen bewust zijn, daarom kan een machine, die is vervaardigd en nietbiologisch, dat niet zijn.
  • Machines zullen nooit ... Er zijn enkele dingen die geen enkele machine kan doen, omdat die dingen de kracht van bewustzijn vereisen, die ze niet heeft. Machines zullen nooit verliefd worden of er mooi uit willen zien of extra moeite doen vanwege de sociale context.

Wat is de Chinese kamer?

Searle stelde de Chinese Room voor als een weerlegging van Strong AI - dat wil zeggen de bewering dat het implementeren van het juiste programma alles is dat nodig is voor begrip. Het wordt meestal gebruikt om intentionaliteit en betekenis te bespreken met betrekking tot AI.

‘Stel dat je opgesloten bent in een kamer en een grote hoeveelheid Chinees schrift krijgt. Stel verder dat je absoluut geen Chinees kent, noch geschreven noch gesproken. In deze kamer heb je veel Chinese ‘squiggles’ en ‘squoggles’, samen met een Engelstalig regelboekje. Mensen buiten de kamer passeren twee partijen Chinees schrift die, zonder dat u het weet, een verhaal zijn in het Chinees natuurlijk, en enkele vragen over het verhaal. Het regelboekje vertelt je welke squiggles en welke squoggles je moet gebruiken om terug te sturen als antwoord op welke ‘vragen’. Na een tijdje word je zo goed in het volgen van de instructies dat vanuit het gezichtspunt van iemand buiten de kamer je ‘antwoorden’ even goed zijn als die van een native Chinese spreker. Vervolgens geven de buitenstaanders je een verhaal en vragen in het Engels, waarop je deze beantwoordt zoals een native Engels spreker zou doen - omdat je een native Engels spreker bent. Dus uw antwoorden zijn in beide gevallen niet te onderscheiden. Maar er is een cruciaal verschil. In het geval van de Engelse verhalen begrijp je ze echt. In het geval van de Chinese verhalen begrijp je niets. '

Dus hier hebben we jou, opgesloten in je kamer, die zich gedraagt ​​als een computer die zijn programma uitvoert. Je hebt inputs en outputs, en het regelboekje om de symbolen te manipuleren, maar je begrijpt de Chinese verhalen niet. De moraal van het verhaal is dit: een computer met een programma over Chinese verhalen begrijpt niets van die verhalen, in het Engels of Chinees of in een andere taal, omdat je alles hebt wat een computer heeft en je Chinees niet begrijpt.

Ik ga niet ingaan op de reacties op dit verhaal, want net als het Mary- of zombie-zimbo probleem is er geen oplossing voor. Denk er maar eens over na, denk ik.

Wat is de magische X?

 Stel dat mensen een of ander magisch ingrediënt 'X' hebben, waardoor ze zich echt bewust zijn. Als we een bewuste machine wilden maken, zouden we misschien doorgaan met uitzoeken wat X is en het in een machine stoppen, of we zouden een machine zo kunnen bouwen dat X vanzelf zou ontstaan. De machine zou dan, theoretisch tenminste, bewust zijn.

AI-onderzoeker Igor Aleksander pakt fenomenologie aan als 'het zelfgevoel in een perceptuele wereld' en vertrekt vanuit zijn eigen introspectie om dit op te splitsen in vijf belangrijke componenten of axioma's. Hij gebruikt deze vervolgens als criteria voor een bewuste machine. Deze componenten hebben veel theorieën overspannen en ze zijn:

1. 1 Perceptie van zichzelf in een ‘daarbuiten’ wereld.
2. Verbeelding van gebeurtenissen in het verleden en fictie.
3. Innerlijke en uiterlijke aandacht.
4. Wil en planning.
5. Emotie.

Vindt het me leuk?

Toen Tamagotchis halverwege de jaren negentig op de speelplaatsen kwam, begonnen kinderen over de hele wereld te zorgen voor hersenloze kleine virtuele dieren, afgebeeld op kleine schermen met een lage resolutie in kleine plastic doosjes. Deze jonge verzorgers namen de tijd om hun virtuele huisdieren te ‘wassen’ en ‘te voeren’ en huilden toen ze stierven. Maar zo snel als de hype toesloeg, verdween het ook weer.

De Tamagotchi hadden het goed gehad met de zorgzame aard van kinderen, maar toen verdwenen ze grotendeels, misschien omdat de doelgastheren snel immuun werden voor zo'n eenvoudige truc. Meer recent zijn mensen net zo verslaafd geraakt aan het gebruik van hun telefoons om gevechten te vinden en te bestrijden met 3D-dieren die op de loer liggen in echte omgevingen, met verhalen over spelers die van kliffen vallen en in voormalige concentratiekampen ronddwalen op zoek naar de Pokémon GO-wezens. Wij mensen lijken de meest opzettelijke voorwendselen te kiezen voor andere mensen, dieren, speelgoed, machines en digitale entiteiten. Deze tactiek van het toekennen van mentale toestanden aan andere systemen kan waardevol zijn om ze te begrijpen of er op de juiste manier mee om te gaan, maar is geen nauwkeurige gids voor hoe die andere systemen echt werken. Overweeg bijvoorbeeld de robots die de muur volgen en waarvan het bruikbare gedrag voortkwam uit een paar sensoren en enige inherente vertekening. Of denk aan de even eenvoudige robots die pucks in hopen kunnen verzamelen. Ze zwerven rond met een schopachtige verzamelaar aan de voorkant die ofwel pucks opschept waar ze tegenaan stoten of ze laat vallen als er teveel zijn. Als gevolg hiervan worden de pucks na enige tijd verzameld in stapels. Waarnemers nemen gemakkelijk aan dat de robots ‘proberen’ om de pucks te verzamelen. In werkelijkheid hebben de robots geen doelen, geen plannen, geen kennis van wanneer ze zijn geslaagd en helemaal geen interne representaties.

Dus vind het je leuk? De harde waarheid is; waarschijnlijk niet. Het beseft waarschijnlijk niet eens dat je bestaat.