Förra veckan skrev vi om hur forskare som arbetar med några av världens mest avancerade AI-system mår allt sämre av tekniken de själva är med och utvecklar. Nu går flera nuvarande och tidigare forskare på OpenAI och Google DeepMind ett steg längre: AI-företagen borde sakta ner.
I en serie intervjuer varnar forskarna framför allt för utvecklingen av självförbättrande AI – system som kan lära sig nya saker och förbättra sina egna förmågor med allt mindre mänsklig inblandning. Oron är att utvecklingen till slut kan gå snabbare än människans förmåga att förstå och kontrollera systemen.
”Tävlar med ögonbindel”
Juan Felipe Cerón Uribe, som arbetar med AI-anpassning på OpenAI, beskriver situationen som att de ledande AI-laboratorierna tävlar mot varandra med ”ögonbindel”. Enligt Cerón Uribe borde utvecklingen ske betydligt försiktigare. Problemet är att konkurrensen mellan företagen samtidigt driver dem att hela tiden bygga kraftfullare modeller. Geoffrey Irving, som tidigare arbetat på både OpenAI och DeepMind, tycker inte heller att konkurrensen är ett tillräckligt argument för att fortsätta i samma tempo. Om ett företag anser att tekniken är farlig kan det helt enkelt välja att sakta ner, menar han.
Minst tio procents risk att AI utrotar mänskligheten
Neel Nanda, forskare på Google DeepMind, drar det hela ett par steg till. Han säger att han själv uppskattar risken för att AI i slutändan orsakar mänsklighetens utrotning till minst tio procent. Många forskare är oroliga över det som kallas för rekursiv självförbättring. Det innebär i praktiken att ett AI-system blir bättre på att förbättra AI. En förbättrad version kan därefter bli ännu bättre på samma uppgift, vilket i teorin skulle kunna skapa en utveckling där människan får allt svårare att hänga med.