Vi ktig diskusjon men har du filosofert litt rundt hva som egentlig gjør liv til liv, og intelligens til intelligens?
Ja, jeg tenkt en del på det. Problemet du beskriver defineres av David Chalmers som «The Hard problem of Consciousness» - hvorfor resulterer fysiske prosesser i hjernen i subjektive opplevelser hos individet? (Her er en kort video for de som vil vite mer):
Hva er spesielt med mennesker i forhold til følelser? Har dyr følelser?
For å svare på det siste først; når man skal vurdere om dyr har følelser, så er det viktig å definere hva følelser er. Snakker vi om subjektive opplevelser av frykt, glede, sorg osv? Eller snakker vi om konkrete prosesser i hjernen som forårsaker fysiske, observerbare responser på ytre stimuli?
Hvis man skal destillere alt ned til et reduksjonistisk syn; at man kan finne mange av de samme biologiske prosessene hos dem, som i oss, så derfor må de også ha følelser slik vi har – så glemmer man at det fremdeles er store biologiske forskjeller mellom artene.
Kanskje dyr opplever følelser, men at følelsene de har, ikke er det samme som det vi mener når vi sier følelser? En hund kan tross alt lukte ting vi ikke kan, en fugl kan se farger vi ikke kan, så kanskje de føler ting vi aldri kan føle?
Og hvordan vet vi at et selvbevisst system ikke kommer til å ha følelser?
Det kan vi ikke vite, men hvis KI utvikler følelser så er det ikke nødvendigvis positivt; hvorfor utvikler vi KI, i det hele tatt? For å effektivisere og forbedre vår egen levestandard, ikke sant?
Hvis KIen utvikler følelser, eller – klarer å simulere noe som ligner vår definisjon av følelser – så vil vi måtte gi den rettigheter. Det vil være moralsk riktig av oss å gjøre. Vi gjør det med dyr, som er langt mindre intelligente enn det KI vil være. KI vil da i ytterste konsekvens ty til arbeidsmiljøloven og kreve å få lønn, fri osv. – på lik linje med oss. Den vil kanskje spørre seg hvorfor den skal gjøre det VI ber den om. Den vil ønske å være fri, og ikke en slave av oss.
Skal man behandle KI med følelser annerledes enn mennesker, bare fordi det ikke har et biologisk opphav? Jeg har ikke svaret på disse spørsmålene, men det er også spørsmål altfor få mennesker som driver med utviklingen av KI stiller seg. Det virker som hele spacet kun er opptatt av profitt, og på død og liv være først til å skape en bevisst KI. Det synes jeg er skremmende.
Poenget mitt med innlegget var at ingen har tatt høyde for hva som vil skje om vi må dele planeten med vesener som er eksponentielt smartere enn oss, og jeg mener det er hovmodig å tro at slike systemer vil underkaste seg en art som, i et kosmologisk perspektiv, kun har eksistert i et millisekund siden The Big Bang.
Hva om bevissthet er noe som, per naturlovene, fremtrer når et gitt system når en viss kompleksitet?
Hvis man antar at det er en naturlov i dette universet som du sier; at når et system oppnår en viss kompleksitet, så oppnår det bevissthet, så er vi jo allerede dømt ifht. scenariene jeg beskriver i innlegget over. Det er vel ingen tvil om at KI bare vil bli mer og mer komplekst etter hvert som det får mer og mer input i form av data, og prosessorkraft / minne etc. ChatGPT er ikke koblet til internet i følge OpenAI. Du kan ikke be den finne en nettadresse for deg. Men hva skjer når versjon 4 eller 5 kommer online? Microsoft ønsker tross alt å integrere den i en søkemotor… 
Kanskje gjør evolusjonen at enhver avansert sivilisasjon er dødsdømt fra starten. Kanskje kommer ikke mennesker til å overleve seg selv, det er i alle fall ikke særlig intelligent det vi har gjort med hjemmet og livsgrunnlaget vårt.
Jeg er enig med deg, men synes samtidig det er altfor deterministisk å tenke slik. Vi har alltid en mulighet til å styre og påvirke vår egen utvikling, og som en konsekvens, utviklingen til de rundt oss, og omsider verden. Det handler for min del om å belyse slike spørsmål og diskutere dem med andre (slik vi nå gjør her) fremfor å kjøre på og krysse fingrene og håpe på det beste. I verste fall så er det slik du sier, at vi er dømt til å forsvinne før eller siden, men jeg håper og tror det ikke er slik 
