Jeg tror at i ytterste konsekvens er det en Nick Bostrom-type frykt for at en AGI kunne utslette menneskeheten. Jeg kan ikke se noen prinsipiell grunn til at det ikke kunne skje.

Merk mine ord — AI er langt farligere enn atomvåpen.

Vi må bruke ingeniørarbeidet til å løfte oss selv opp til en vitenskap om AI-er før vi bygger den superintelligente AI-en, slik at den ikke dreper oss alle.

Jeg tror det er viktig at folk forstår at dette ikke bare er science fiction; det er ikke bare fryktretorikk – det er en reell risiko som vi må tenke på, og vi må finne ut på forhånd hvordan vi skal håndtere den.

OpenAI trener stadig kraftigere AI-systemer med målet om til slutt å overgå menneskelig intelligens på alle områder. Dette kan være det beste som noensinne har skjedd menneskeheten, men det kan også være det verste hvis vi ikke går frem med forsiktighet.

Jeg begynte med betydelig håp om at OpenAI ville stille opp og oppføre seg mer ansvarlig når de kom nærmere å oppnå AGI. Det ble gradvis klart for mange av oss at dette ikke ville skje. Jeg mistet gradvis tillit til OpenAI-ledelsen og deres evne til å håndtere AGI på en ansvarlig måte, så jeg sa opp.

Utvikling av overmennskelig maskinintellekt er sannsynligvis den største trusselen mot menneskehetens fortsatte eksistens.

Å lykkes med å skape AI vil være den største hendelsen i menneskehetens historie. Dessverre kan det også bli den siste, med mindre vi lærer å unngå risikoene.

Vi kan fortsatt regulere de nye AI-verktøyene, men vi må handle raskt. Mens atomvåpen ikke kan oppfinne kraftigere atomvåpen, kan AI skape eksponentielt kraftigere AI.

Min vurdering er at sjansen for at noe går virkelig katastrofalt galt på et nivå som truer den menneskelige sivilisasjon, kan være et sted mellom 10 og 25 prosent.

Utviklingen av fullstendig kunstig intelligens kan bety slutten for menneskeheten... Den vil ta av på egen hånd, og omdesigne seg selv i stadig økende tempo.

Vi ser den mest destruktive kraften i historien her. Vi vil få noe som er smartere enn det smarteste mennesket.

Bekymringen er virkelig at vi vil bygge maskiner som er så mye mer kompetente enn oss at selv den minste avvik mellom deres mål og våre egne kan ødelegge oss.

Det kommer, uansett kommer det veldig snart, og jeg er ikke sikker på at samfunnet er helt klar for det ennå.

En av de største risikoene for fremtidens sivilisasjon er AI.

I verste fall – og dette er viktig å påpeke – er det som å slukke lyset for oss alle.

Jeg er i den leiren som er bekymret for superintelligens. Først vil maskinene gjøre mange jobber for oss uten å være superintelligente. Noen tiår etter det vil intelligensen være sterk nok til å være en bekymring.

Vi finner stadig nye sårbarheter. Hver dag er det noen som bryter sikkerhetsbegrensningene i Claude og andre modeller. [...] Jeg er faktisk dypt bekymret for at vi om to-tre år vil nå et punkt der modellene kan utføre svært farlige ting innen vitenskap, ingeniørarbeid, biologi, og da kan et sikkerhetsbrudd bli et spørsmål om liv eller død.

Det er vanskelig å se hvordan man kan hindre aktører med onde hensikter fra å bruke det til onde formål. Jeg tror vi må bekymre oss mye for det.

Vi må ta risikoene ved AI like alvorlig som andre globale utfordringer, som klimaendringer [...] Det tok det internasjonale samfunnet for lang tid å koordinere en effektiv global respons på dette, og vi lever nå med konsekvensene. Vi har ikke råd til samme forsinkelse med AI.

Kraftige AI-systemer har en god sjanse til bevisst og irreversibelt å frata menneskeheten makt. Dette er en mye mer sannsynlig feilmodus enn at menneskeheten utsletter seg selv med destruktive fysiske teknologier.

Jeg tar scenariet med eksistensiell risiko alvorlig nok til at jeg ville pause utviklingen.

Hvis jeg ser at internasjonal koordinering ikke skjer, eller skjer i liten grad, er det mer sannsynlig enn ikke at vi utryddes.

Hvis du bygger noe som er mye smartere enn oss, ikke bare litt smartere... men det er mye smartere enn vi er, som vi er i forhold til hunder, liksom, et stort sprang. Da er det i seg selv ganske farlig.

En AI trenger ikke nødvendigvis å hate oss eller ønske å drepe oss, vi kan bare være i veien eller irrelevante for hvilket som helst fremmed mål den har.

mens vi raser mot AGI eller til og med ASI, vet ingen for øyeblikket hvordan en slik AGI eller ASI kan gjøres til å oppføre seg moralsk, eller i det minste oppføre seg som tiltenkt av utviklerne og ikke vende seg mot mennesker

Siden vi ikke virkelig vet hvor raskt teknologiske fremskritt innen AI eller andre steder (f.eks. bioteknologi) vil komme, er det best å komme i gang med oppgaven med å bedre regulere disse typene kraftige verktøy med en gang.

Vi bygger faktisk, akkurat nå, uhyggelige, superkompetente, amoralske psykopater som aldri sover, tenker mye raskere enn oss, kan lage kopier av seg selv og ikke har noe menneskelig ved seg i det hele tatt. Hva kan vel gå galt?

Selv om vi «vinner» det globale kappløpet om å utvikle disse ukontrollerbare AI-systemene, risikerer vi å miste vår sosiale stabilitet, sikkerhet og muligens til og med vår art i prosessen.