«You are preaching to the choir» Jeg er helt enig med deg!
1 Like
Det overrasker meg at man avfeier bekymringene rundt utviklingen av AI med «se hvor dum ChatGPT er». Det er IKKE ChatGPT man er bekymret for! 
LessWrong er en fantastisk side som har veldig mange gode artikler om A.I. Jeg sakser derfra (spesielt interessant er resultatene fra undersøkelsen og hvor fort man har redusert tidslinjen frem mot “above human level”). Mine uthevinger under.
AIs aren’t as smart as rats, let alone humans.
Isn’t it sort of early to be worrying about this kind of thing?
Maybe. It’s true that although AI has had some recent successes – like DeepMind’s newest creation AlphaGo defeating the human Go champion in April – it still has nothing like humans’ flexible, cross-domain intelligence. No AI in the world can pass a first-grade reading comprehension test. Facebook’s Andrew Ng compares worrying about superintelligence to “worrying about overpopulation on Mars” – a problem for the far future, if at all.
But this apparent safety might be illusory. A survey of leading AI scientists show that on average they expect human-level AI as early as 2040, with above-human-level AI following shortly after. And many researchers warn of a possible “fast takeoff” – a point around human-level AI where progress reaches a critical mass and then accelerates rapidly and unpredictably.
Editor’s note: This post was published in 2016. Since then, AI researchers have designed systems that can accomplish a variety of cognitive tasks at a level comparable to a human. For example, GPT-4 can write computer programs, poetry, play chess, etc. It scores better than 89% of humans on the SAT, LSAT and the Bar Exam.
The rapid development of A.I has exceeded the most exuberant of optimist. This has given more weight to the fast-take off scenario. The survey of leading AI Scientists now expect we will have above human level AI within 2028.
2 Likes
Ok? Er ikke det bra da?
Fortsatt mennesker som vil ha kontrollen.
“Å nei de kan gjøre ting bedre enn oss…”
Det kan mobilen, google, en kalkulator, roboter, osv også. Selvkjørende biler er vel snart bedre sjåfører enn de menneskelige om det ikke allerede har skjedd…
Hvorfor er det skremmende og ikke positivt med smartere verktøy som kan hjelpe oss? AI er ikke noen mystiske vandrende vesener som kan gjøre hva de vil, de krever en enorm maskinpark som kan justeres, slås av og på, og omprogrammeres etter behov…
Er allerede massiv sensur av hva AI har som output. Den sensuren vil bare bli sterkere og sterkere og vanskeligere å omgå ettersom AI’en blir bedre trent opp. Og på ett eller annet tidspunkt vil den koble inn myndighetene og sende politiet hjem til deg hvis du skriver “lag ett dikt om at en offentlig politiker, kjendis, byråkrat, whatever er slem og dum og bør skytes.” Og det er jo hva folk vil ha uansett har pandemien vist - mer sensur av alt. Så jeg kan ikke fatte at man skal stoppe opp utviklingen bare fordi vi marsjerer taktfast mot ett samfunn som har totalovervåkning av befolkningen - det er hva folket ønsker.
Syntes det er svært mye skremselspropaganda fra folk som elsker konspirasjonsteorier.
Det er også helt utopisk å tenke at man trenger 6 måneder pause. Jeg forstår politikk såpass godt uten at jeg er en ekspert at jeg kan garantere at det er 0.0000000001% sjanse - eller mindre - for at politikere skal vedta gode logiske framtidsrettede regler rundt AI i løpet av 6 måneder.
Hva har gått så galt med AI hittil? Ca ingenting? Kjør på videre, og lag reguleringer når ting begynner å brekke, så vi faktisk kan konkret velge å forbedre samfunnet når vi vet hva vi har å forholde oss til. I stedet for å stoppe opp alt fordi vi elsker å leke strutser.
3 Likes
Til dere som syntes man skal pause for 6 måneder:
Det pågår en debatt om opphavsrettigheter for bilder som brukes til å trene AI og opphavsrettigheter knyttet til output - er det eid av den som har generert output, ingen, eller hvem?
Tror dere at politikere har vedtatt gode regler for dette som tar hensyn til alle parter i løpet av 6 måneder?
Hvis de ikke klarer noe så enkelt, hvordan skal de klare å “regulere fornuftig” alt rundt AI på 6 måneder?
Det er knapt tid til å starte en diskusjon …
3 Likes
Jeg er ikke noe særlig bekymret for hva AI kan gjøre når folk med gode hensikter tar det i bruk.
Isaac Asimov har forresten skrevet endel bøker som tar for seg smarte roboter (AI). Interessant lesing. Solaria | Asimov | Fandom er der roboter nok var mest brukt.
Problemet med AI ser jeg ikke for meg at går an å regulere.
1 Like
For meg er det fullstendig åpenbart at jeg heller vil at vestlige selskaper som frykter å bli saksøkt skal jobbe med dette fritt enn at Joe Biden - verdens mektigste mann - skal sette seg inn i alle problemstillingene og finne en god måte å regulere det på.
Det er folkevalgte politikere som må regulere dette. Har dere sett hva slags politikere vi velger oss og som har makta?
Er samfunnet tjent med at vi i vesten stopper opp og overlater til Kina å utvikle denne teknologien videre? Da kan ingenting gå galt selvsagt?
2 Likes
Innen ti år fungerer ikke kryptering lenger pga QC, altså alt av sikkerhet ut av vinduet. Men det er så klart mye mer spennende å frykte at AIen koloniserer menneskeheten
2 Likes
Altså, problemet virker å være at myndigheter rundt omkring i verden som klarer å avlytte dagens krypterte trafikk kan låse opp dataene om f.eks. 10 år som du sier.
Kryptering ser ut til å kunne fungere fint etterpå, kan bare ikke bruke nøyaktig samme teknikk som i dag. Så egentlig ikke noe nytt? For gamle krypteringsmetoder er relativt lette å knekke i dag. Det er en grunn de ikke brukes lengre.
2 Likes
Du risikerer å miste kontroll over bankkontoer, alle dine data og brukerkontoer, krypto osv
Dette er riktig nå, men vil det være riktig for alltid?
For tiden trenes A.Iene med RLHF approach (reinforcement learning from human feedback).
Det er mennesker i loopen, men Ilya Sutskever, CSO for Open A.I har sagt målet er å få A.I til å trene A.I slik at menneske ikke trenger å være i loopen. Dette er en potensiell vei mot AGI.
Allerede nå eksperimenterer man med dette, hvor mennesker kun er i loopen for å mate A.Ien med reward (reinforcement) for outputen – mens alt av input kommer fra tidligere A.I. modeller.
Målet er å kutte mennesket fra loopen slik at narrow AI vi har i dag, blir AGI i fremtiden.
Når det gjelder denne pausen så er jeg enig med deg, det er utopisk å tenke at politikere eller myndigheter klarer å gjøre noe som helst på seks måneder 
1 Like
Tror egentlig ikke vi klarer å tenke oss til hvordan livet med AGI fungerer. Den vil jobbe så raskt at man ikke kan følge med på den som menneske.
Det du sier nå er at Post-quantum cryptography - Wikipedia ikke vil lykkes? Det var da veldig pessimistisk?
Først, det er en voldsom premie i effektivisering med AI, det er ingenting feil med det (noen navlebeskuere ser at jobber forsvinner, jeg ser bort i fra det). Men her synes jeg du og er naiv i din forståelse og har ikke helt skjønt at problemet, for de fleste som prater om “AGI skremselspropaganda” tenker overhode ikke på de eksterne tingene du peker på. altså hva folk får til output av en sånn en, effekten det har på person / samfunn, helt irrelevant. Det er det interne problemet, med hva som foregår inne i AGI’en vi er veldig bekymret for. Dens internaliserte “theory of mind” (om den noen gang kommer dit at vi kan kalle det det)
- Vi vet ikke hvordan den tenker, så vi vet ikke at menneskeheten fortsetter å ha kontrollen.
- Intelligensen er sterkt akselererende, helt uten noen moralske begrensninger så uten “massiv” sensur ville det nok vært mange som lett fikk svar de ikke bør få.
- Sensureringen løser ikke det interne problemet, om den får evne til å handle (det er ikke vanskelig å gi den det allerede nå) altså “agency” så vet vi ikke hvilke i menneskelige termer “verdier” den har, for en maskin som dette så kan vi kalle verdier for “neste stegs prediksjoner”. Vi vet ikke hva de er, eller kan bli eller hvordan de påvirkes av læringen og hvilke utfallsrom den når. Og det kan være ekstremt uheldig, når vi er i eksponentiell vekst i “nivået” på disse maskinlærings modellene.
At en politisk prosess skal oppnå noe er utopi, jeg håper dette oppropet er og blir en altruistisk gentlemans agreement om å finne noen hypoteser som kan prøves for å få kontroll på dette inner alignment problemet. Spilleteori, tilsier at det skjer ikke, og det er bare å kjøre på i cutthroat capitalism
4 Likes
I min levetid, sure. For alltid er irrelevant begrep for min del. Man kan tenke seg en framtid hvor menneskeheten dør ut men sender AI-styrte romskip til andre solsystemer… så langt inn i evigheten bryr jeg meg ikke om.
Ja. Men det betyr ikke at vi mister kontrollen.
Og bra er det.
Hvis du antar at vi skaper skynet, hvor en AI begynner å masseprodusere roboter med våpen for å utrydde menneskeheten, uten at vi har noen som helst mulighet til å slå av strømnettet osv, så sure.
Men ellers vil vi ha kontroll over dens eksistens gjennom kontroll på det fysiske.
Er det mulig at vi skaper en verden hvor en AI kan få tilgang på atomvåpen og starte 3. verdenskrig, enten ved ett uhell (en idiot som ber den om å gjøre det, og den bare omgår alt av sikkerhet som en dum maskin), eller bevisst? Sure. Jeg leser nok fiksjon til å ha vært innom mange scenarioer.
Men problemet er for min del overhodet ikke knyttet til selvbevisst AI. So what?
Det er ikke spesielt relevant hvordan den tenker. Hvis vi ikke liker hvordan den tenker (målt på output) kan vi gå tilbake til forrige versjon og trene en ny en. Og vi vet faktisk ikke så mye om hvordan mennesker tenker heller når alt kommer til alt.
Jeg er mot sensur av det meste, så jeg er allerede av den oppfatning at alt for mange ikke får den informasjonen de ønsker å få. Og dette vil bare strammes mer og mer inn framover. Jeg syntes folk burde ha tilgang til mye mer informasjon og resultater fra AI enn det som skjer i dag.
For å være klar her: jeg har ingenting til overs for “moralen” som sier at vi ikke skal få lov til å se noe negativt om Joe Biden eller Donald Trump. Sure, Putin er i en egen klasse, men sensuren er der allerede. Og vil bare bli sterkere og mer konsistent med tiden. Dette er den spede begynnelsen.
Og hva slags moral er dette? Jo, amerikansk politisk korrekthet. Liker du det er det sikkert fint, men syntes du det er noe faens idioti som meg, så er det å foretrekke at man kan få usensurert “farlig” informasjon - som at politikere har negative sider - framfor at alt skal sensureres i hjel.
Det som skjer med AI som trener AI er at man verifiserer output konstant, og så kjører man på med mer og mer trening og selekterer ut de som gir best resultater. “Moralen” vil gjenspeile de som trener den opp, uansett om AI selv kjører gjennom 100 iterasjoner eller 10 000 iterasjoner mellom hver gang man tester output. Og når du finner svakheter så vil de tettes.
Om noen år er jeg helt sikker på at sensuren er ekstremt mye bedre enn den er i dag. Rett og slett fordi man har utviklet det og trent den opp bedre. Betyr det at jeg liker det bedre? Nei? Det er amerikansk politisk korrekthet.
Og dere er bekymret for at disse verktøyene ikke skal læres opp til å bli gode nok til å sensurere? Dette er nybegynnerstadiet … folk later som om det er problemer fordi de “lurer” AI til å gi informasjon når de insisterer, mens det i utgangspunktet er sensurert? Vel, over tid vil sensuren bli bortimot perfekt så det problemet løser seg selv. Mitt problem er at det er alt for mye sensur, men det kan jeg fint leve med når samfunnet ønsker så mye sensur. Selv om det er plagsomt. Og det skaper ikke noe enormt nytt problem utover at vi går inn mot helt ekstremt mye mindre ytringsfrihet framover.
Politisk korrekt nok for AI tydeligvis … litt morsomt også syntes jeg Siste setning er dog implisitt rasistisk mot hvite mennesker, men det er helt greit for min del. Og hvis nok amerikanere klager? Da blir vel denne typen vitser også sensurert bort…
Det er selvsagt at AI vil på sikt få mulighet til å handle i visse omstendigheter. I hvor stor grad? Kommer an på hvor det er nyttig nok. Som sikkerhetsvakt? Som selvkjørende bil? Som robotstyrer av en McDonalds restaurant? Jeg tenker det er helt flott og fint. Og det er sikkert noe som går galt på veien, og så fikser vi det og går videre.
Jeg er også klar over at vi dreper griser som har intelligensnivå rundt 3-5 åringer eller noe fordi bacon er godt. Så hvis vi må ha selvbevisst AI som slaver så fikser vi nok det også. “Å nei, det kan vi ikke” - da får vi gi dem mindre prosessorkraft og strøm da så de ikke blir selvbevisste nok …
4 Likes
Det ser ikke ut som du betviler at den kan bli smartere enn oss. Men du er fortsatt helt i den fysiske verden, tenk enda lengere, hva vi nå klarer å skalere opp dette like fort og får en som er smartere enn oss i 2030. Er den smartere enn oss, så har den antakelig overhode ingen problem med å gjøre mye mer subtile ting enn å nuke planeten. Social engineering, få mennesker til å gjøre det den vil, overbevisende og fengende taler som justerer politiske system, finne opp escape mechanisms ala internett ormer, som seeder backuper eller bred disitrubusjon av seg selv.
Blir for enkelt. Hvis du gjør dette, shutter de som vi ikke liker outputen til, så gir vi evolusjonært bias og avler frem de som er er gode, og de som tilsynelatende er det for å ikke blir avlivet før de kan “rømme” / ta hevn / hindre gjentagelse. Det samme kan sies om mennesker, men disse maskinene vil være i stand til å utvikle ny og bedre utgave av sin egen modell (som i dag på en måned kanskje 3, men sannsynligvis også eksponentielt raskere) og bli enda smartere i en maskinell evolusjon.
AI morsomheter et al. dette er guard rails satt av mennesker som skal styre outpjatten.
6 Likes
Risiko betyr ikke 100% sjanse for at noe inntreffer, det betyr at det er en viss sjanse for at de taper kappløpet og konsekvensene vil være dramatiske…
1 Like
Morsomt eksempel, som viser at ChatGPT fortsatt ikke helt har dreisen på logikken i menneskelig meningsveksling. Her forteller person A en vits, person B responderer og så sier person A “I’ve got one for you too”, som om det var person B som dro den første vitsen.
2 Likes
2 Likes
Leder av AI selskap mener utviklingen er skremmende og må pauses i 6 måneder
2 Likes