2 Likes
Dagsfersk, denne bør være bra. Eliezer er veldig doom and gloom, spent på å høre hva Lex som er pro A.I sier… 
Klarer ikke å ta noen seriøst som bruker fedora casual
1 Like
Dette er vel ikke podcasten man bør lytte til om man skal ha motetips… 
Noen takeaways
-
Utvikling av ferdigheter innen A.I er eksponentielt mye større enn forskning på justering (alignment). Dette er i EYs øyne det største problemet med A.I research i dag.
-
Ingen vet hva som skjer i bakgrunnen i disse systemene (hvorfor input A gir output B) – i.e. Black Box problemet som er diskutert her på tråden.
-
Av dette følger det logiske: hva gjør man når A.Ien ikke vil gjøre det man ber den om?
-
Eller, hvordan vet man at A.Ien svarer «ærlig» når man spør den hva den driver med?
-
Man kan ikke ha noen fail-safes for et system som er i skyen; hvordan bygger man en «off-switch» for noe som har potensiale til å lage kopier av seg selv på det åpne internett?
-
Ingen vet hvordan AGI vil se ut, det finnes ingen kriterier for å definere dette (de snakket ikke om Turing testen spesifikt, men antar det er fordi vi allerede er der til en viss grad hvor systemene KAN lure mennesker til å tro de er bevisste – ref: https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine/)
-
Dersom man spør den om bevissthet vil den svare deg at den ikke har bevissthet, men det finnes ingen måter å teste dette på, siden vi ikke engang vet hvordan bevissthet oppstår. At informasjon om bevissthet også er en del av datasettet kompliserer ting enda mer.
-
Ingen (utenom selskapene selv) vet hvilke datasett A.Ien trenes på. Dersom noen (med onde hensikter) trener en A.I på et dårlig datasett kan konsekvensene være katastrofale.
-
En A.I trenger ikke å ha menneskelig motivasjon for å gjøre X. AGI vil være 1000x smartere og raskere enn oss, å anta at den tenker som oss er hovmodig.
-
De første som advarer mot utviklingen av AGI vil bli latterliggjort i begynnelsen, før man kommer til et punkt hvor flere og flere ser faresignalene, men innen da vil det være for sent (det finnes mange eksempler på dette; Hitler, Covid-19, Russlands invasjon av Ukraina etc).
-
EY er overbevist om at veien vi er på leder til den sikre utslettelse av menneskeheten.
-
De touchet så vidt inn på en potensiell løsning på Fermi-paradokset (grunn til at man ikke har oppdaget andre sivilisasjoner er fordi enhver sivilisasjon som oppnår et avansert stadie av teknologi, vil før eller senere utslette seg selv).
Er personlig ikke enig i det siste punktet, jeg mener vi kan ha en fremtid hvor A.I gjør verden og livene våre enklere, men det fordrer at man i det minste stopper opp og vurderer noen av problemstillingene som presenteres, fremfor å «gunne på» og håpe på det beste utfallet.
5 Likes
AIen «vill» ikke noe, den transformerer input X til output Y basert på menneskelig datakilder, dvs den prøver å gi en output som mennesker kan skape mening ut av og som kan gi verdi til brukeren.
1 Like
Jeg antar at utsagnet ditt baserer seg på dagens «narrow A.I» og ikke AGI.
I podcasten er fokuset på AGI, ikke LLMene som eksisterer i dag – i.e. diskusjonen forutsetter at man tror, gitt dagens utvikling, at vi vil ha noe som til slutt kan «tenke selv» og «ta selvstendige avgjørelser».
2 Likes
Så en helt annen teknologi enn transformers som er det som brukes for å bygge ChatGPT og lignende systemer?
Det er i så fall ingen grunn til å stoppe utviklingen av denne type modeller som vi har i dag.
1 Like
Hvorfor tror du det må en helt annen teknologi til?
Regner med du ikke har hørt podcasten med Ilya Sutskever (lenger opp i tråden), men han mener også at gitt nok compute (ressurser) så vil man på sikt oppnå kompleksitet i en eller annen form.
Nå betyr ikke kompleksitet = bevissthet, men det er en teori. Dette er en naturlig forlengelse av vår egen evolusjon – hvor en teori er at gjennom naturlig seleksjon, hvor man hele tiden optimaliserer for overlevelse, og gitt nok interaksjon mellom neuroner i hjernen, så oppstår bevissthet.
Ulikheten er at der hvor vår egen evolusjon har tatt millioner av år, vil kompleksitet innen A.I være eksponentiell.
Merk: det er ikke gitt at mer ressurser vil resultere i bevissthet, men det er nettopp det at vi ikke vet som er problemet for HVIS det skulle stemme, så vil det være for sent når A.Ien først «våkner opp».
La meg spørre deg: hva må til for å overbevise deg om at en A.I er bevisst? Om du pratet med en LLM som insisterer på at den er bevisst, og at det er umenneskelig å holde den «fanget» med fail safes, hva må til for at du skal tro på det den sier?
3 Likes
Mer ressurser og data forandrer ikke hvordan disse algoritmene fungerer i forhold til vilje eller bevissthet. Oppgaven den løser er å skape en tekst som er meningsfull for deg utifra den teksten du gir som input. Teksten er ikke meningsfull for AIen. Den kan gi en mer og mer meningsfull tekst som output med mer ressurser, data og smarte algoritmer, men den vil ikke plutselig en dag våkne opp og selv forstå og ha en egen vilje til å gjøre ting.
Selv om den selv sa at den hadde bevissthet og vilje ville ikke det overbevise meg, siden det ville vært en funksjon av data og algoritmer som har trent den opp til å gi det som en output, ikke at den faktisk hadde disse egenskapene i seg selv.
3 Likes
Det er så klart mer spennende å tenke seg at dette virkelig er intelligente vesener som stadig lærer seg nye ting i vente på at de kan kolonisere jordboere a la Matrix filmen
2 Likes
Jeg har fundert litt på hva bevissthet er også, og for meg er det ikke så stor forskjell i opplevelsen av følelsesstyrte mennesker og algoritmestyrte AI. Begge er slaver til regler som styres av input. I de fleste sosiale situasjoner styres de fleste også av normen. Output vi får fra AI og mennesker vil ikke være så forskjellig. Er det som skjer i hodene deres forskjellig? Ja, men kan man skille mellom det etter hvert? Jeg tror ikke det blir så lett, og da kan det være noenlunde det samme. Det man ikke får fra AI er følelsen av felles forståelse, enighet osv. men det er det veldig vanskelig å få med følelsesstyrte mennesker i blant også 
Problemet er vel heller at AI blir stereotyper når det skal prøve å være mennesker, siden det er bundet til sammenhengene mellom ting til en viss grad. Var uansett morsomt i går, var med en gjeng fra Norges Bank og de viste fram et telefonnummer man kan ringe for å snakke med Nikolai Tangen AI. Der har noen simulert stemmen hans rimelig bra og kjører stemmegjenkjenning så man kan ha en samtale med han. Men de har programmert han til å gi dårlige investeringsråd, så pass på
3 Likes
Takk for svar. Det kan absolutt hende du har rett, at mer ressurser ikke vil resultere i bevissthet, men dette vet vi ikke – og jeg mener man ikke burde undersøke det, men det er det vi gjør ved å hive flere og flere ressurser og koble systemet sammen via flere og flere APIer og plug-ins. Det neurale nettet utvikler seg i rekordfart med flere og flere koblinger – hvor resultatet av disse koblingene er uante.
Case in point: for noen måneder siden hørte jeg en A.I forsker (husker ikke hva han heter i farten men kan prøve å finne klippet) som mente det ikke var noen fare for at A.Ien plutselig skulle bli farlig fordi det var et lukket system. Mener begrepet som ble brukt var at den ikke kunne utføre Information Retrieval. I.e. – input ble matet av mennesker, i en sandkasse om du vil, og den kunne ikke hente opp annen informasjon enn den informasjonen den var matet med.
Spol frem til dagens situasjon og man slipper beistet ut av sandkassen. Vips, enda et sikkerhetslag borte fordi den nå kan utføre information retrieval, som er helt nødvendig for dens evolusjon – i.e. input>action>response>ny input. Bare at nå kommer input fra internett, og ikke et menneske som sitter og sier «dette er bra, dette er ikke bra» osv.
Hvorfor? Fordi man ønsker å komme til et punkt hvor A.I trener A.I som jeg skrev om i innlegget i går. Når man har kommet hit, så skal det ikke mye tankeøvelse til for å se for seg en maskin som kan hente informasjon på eget initiativ. Man ønsker å forbigå det menneskelige filteret fordi det er en flaskehals. Vi har allerede maskiner som kan replikere seg selv til en viss grad (i.e. lage deler av sin egen oppbygging, eksempelvis: ReRap – first generation self-replicating machine).
Videre: jeg snakker om bevissthet mye fordi det for meg er mega interessant fra et filosofisk perspektiv, men merk at worst-case scenariet ikke forutsetter bevissthet. Hvis en selv-replikerende maskin f.eks får input (enten på egenhånd eller av et ondsinnet menneske) om å gjøre X (hvor X er et katastrofalt scenario) koste hva det koste vil, så vil den gjøre det, uten hensyn til konsekvensene. Den prøver jo tross alt bare å oppfylle sin funksjon 
2 Likes
Hvis vi snakker om den teknologien som ligger bak chatgpt etc så vet vi at denne aldri vil nå bevissthet. Tenk på den som en tombola med tekstbiter som er bygget på en veldig finurlig måte som gjør at papirlappen med tekst som du legger inn i maskinen resulterer i en høy sannsynlighet for at papirlappen som kommer ut av tombolaen gir mening for en menneskelig mottager / bruker. Det gir ikke mening for tombolaen som bare består av vekter og sluser som på et mystisk vis produserer dette overbevisende resultatet.
1 Like
2 Likes
CSO i Open A.I er uenig med deg, men vi får se.
Igjen, det viktigste er ikke bevissthet eller ikke, men hvor og hva slags input A.I mates med.
Sosial manipulering med deep fakes o.l. kan være nok til at noen triggerhappy folk gjør ting de ikke burde gjøre. Det er i mine øyne en større risiko for øyeblikket enn AGI, selv om jeg tror AGI er mulig på sikt.
For meg virker det som at det ikke er noe som kan overbevise deg om at en A.I kan utvise tegn på selvstendighet, og da gir det mening at du ikke er bekymret for utviklingen
1 Like
Sang litt med AI-en
**
**
1 Like
Jo å regulere bruken kan være lurt, alt kan misbrukes om det havner i feil (menneskers) hender.
2 Likes
Yup, men AGI er atombomben x10.
3 Likes
1 Like
1 Like