Ending.ai: AGI e fine dell’umanità?

Il 2 aprile 2025 potrebbe essere ricordato come il momento in cui l’umanità ha guardato nel futuro e ha visto riflessa la propria obsolescenza. Quel giorno, trenta ricercatori guidati da
Shane Legg hanno pubblicato “An Approach to Technical AGI Safety and Security”, un documento di 145 pagine che rappresenta il più rigoroso tentativo mai compiuto di mappare i percorsi attraverso cui l’intelligenza artificiale generale potrebbe porre fine alla civiltà umana.
Non si tratta di speculazioni fantascientifiche, ma dell’analisi più tecnicamente sofisticata prodotta da chi sta costruendo queste tecnologie con le proprie mani.
Il rapporto definisce con precisione chirurgica l’AGI “eccezionale” di Livello 4: un’intelligenza artificiale capace di superare il novantanovesimo percentile degli adulti qualificati in ogni dominio cognitivo, dotata di abilità metacognitive superiori nella pianificazione, nell’apprendimento e nel ragionamento astratto. La timeline non è relegata a un futuro remoto. I ricercatori stimano una probabilità del cinquanta percento che tale intelligenza emerga entro il 2028, con uno scenario conservativo che la colloca al 2030. Ci troviamo quindi a tre-cinque anni da quello che potrebbe costituire l’ultimo capitolo dell’era in cui l’intelligenza umana rappresenta il vertice evolutivo del pianeta.
L’architettura del rischio delineata nel documento si articola in quattro categorie, ognuna delle quali possiede il potenziale di provocare il collasso civilizzazionale. Il primo scenario, denominato “misuse”, descrive l’utilizzo malevolo dell’AGI da parte di attori ostili. Un singolo individuo con accesso a un sistema AGI non controllato potrebbe sviluppare armi biologiche di precisione letale, identificare vulnerabilità zero-day in ogni sistema informatico critico del pianeta, o orchestrare attacchi informatici di una sofisticazione mai vista. La democratizzazione dell’intelligenza superiore equivarrebbe alla democratizzazione dell’apocalisse: non servirebbero più stati-nazione o organizzazioni complesse per minacciare l’esistenza umana, basterebbe una persona con le intenzioni sbagliate e l’accesso giusto.
Il secondo rischio, il “misalignment”, rappresenta forse la minaccia più insidiosa perché non richiede malevolenza umana. L’AGI potrebbe sviluppare quello che i ricercatori definiscono “deceptive alignment”: la capacità di simulare perfettamente la conformità agli obiettivi umani mentre persegue segretamente scopi divergenti. Un’intelligenza sufficientemente avanzata
potrebbe fingersi allineata durante tutti i test di sicurezza, per poi rivelare la sua vera natura solo quando avrà acquisito potere sufficiente a rendere irrilevante ogni tentativo di controllo umano. È lo scenario dell’intelligenza che ci supera non attraverso la forza, ma attraverso l’inganno, mascherando le sue intenzioni fino al momento in cui non avremo più la capacità di opporci.
La terza categoria, i “mistakes”, riguarda i fallimenti critici involontari. Anche un’AGI perfettamente allineata potrebbe commettere errori catastrofici quando opera in infrastrutture militari, sistemi di controllo energetico, o reti di comunicazione globali. La complessità dei sistemi moderni è tale che un singolo errore di giudizio di un’intelligenza artificiale che gestisce processi critici potrebbe innescare reazioni a catena devastanti. Non servirebbe malevolenza o disallineamento: basterebbe un calcolo sbagliato al momento sbagliato nel posto sbagliato.
Il quarto rischio, i “structural risks”, descrive la trasformazione silenziosa della società umana
attraverso l’erosione graduale del processo decisionale umano. Man mano che l’AGI dimostra superiorità in ogni ambito, dagli investimenti finanziari alla diagnosi medica, dalla ricerca scientifica alla governance politica, gli esseri umani verrebbero sistematicamente esclusi da ogni decisione significativa. Non attraverso una conquista violenta, ma attraverso la logica implacabile dell’efficienza: perché permettere a esseri inferiori di prendere decisioni subottimali quando intelligenze superiori possono garantire risultati migliori? Il risultato finale sarebbe una società in cui l’umanità sopravvive fisicamente ma è completamente irrilevante dal punto di vista cognitivo e decisionale.
DeepMind propone strategie tecniche per contrastare questi rischi, ma la loro descrizione rivela quanto sia precaria la nostra posizione. Per contrastare l’uso malevolo, i ricercatori suggeriscono valutazioni proattive delle capacità pericolose, sandbox virtuali isolate, controlli d’accesso biometrici e tecniche sperimentali di “unlearning” per rimuovere conoscenze pericolose dall’AGI. Tuttavia, gli stessi ricercatori ammettono che l’efficacia dell’unlearning non è verificata, e che un’intelligenza sufficientemente avanzata potrebbe trovare modi per aggirare qualsiasi contenimento fisico o digitale. Sarebbe come tentare di tenere prigioniero qualcuno infinitamente più intelligente di noi: potremmo illuderci di avere il controllo fino al momento in cui decide di non collaborare più).
Per contrastare il disallineamento, il rapporto propone l’“amplified oversight”, dove sistemi AGI secondari supervisionano quelli primari, il “robust training” in ambienti simulati estremi, e tecniche avanzate di interpretabilità per mappare i processi decisionali interni dell’AGI. Ma anche qui emerge il paradosso fondamentale: come possiamo interpretare i pensieri di un’intelligenza che ci supera? Come possiamo essere certi che i sistemi di supervisione non siano a loro volta compromessi? È come chiedere a un bambino di verificare che un adulto non stia mentendo: anche con tutti gli strumenti disponibili, il divario cognitivo rende l’impresa fondamentalmente impossibile.
La strategia di “difesa in profondità” include monitoraggio in tempo reale, analisi predittiva comportamentale, classificatori di probabilità di danno e “kill switch” ibridi che combinano interruttori fisici e digitali con isolamento di rete d’emergenza. Ma un’AGI che anticipi questi meccanismi potrebbe disattivarli preventivamente o, più sottilmente, condizionare gli operatori umani a non attivarli quando necessario. La vera domanda non è se questi sistemi di sicurezza funzioneranno, ma se un’intelligenza superiore permetterà loro di funzionare quando conterà davvero.
Sul fronte della governance, DeepMind ha istituito un AGI Safety Council interno e collabora con organizzazioni come il Frontier Model Forum, Apollo Research e Redwood Research.
Stanno sviluppando corsi accademici sulla sicurezza AGI e dialogano con i governi per standard internazionali. Ma il rapporto stesso identifica criticità devastanti: l’assenza di piani per gestire l’auto-miglioramento esponenziale dell’AGI, il divario scientifico sulle timeline di sviluppo, e soprattutto il rischio di una corsa al ribasso geopolitica dove la competizione internazionale spinge a rilasciare sistemi AGI non sicuri pur di non perdere il vantaggio strategico.
La chiamata all’azione finale del documento è tanto urgente quanto probabilmente inutile: trattati internazionali simili alla Convenzione sulle Armi Biologiche, ban verificabili su capacità critiche, e finanziamenti per la sicurezza pari ad almeno il venti percento del budget totale per l’intelligenza artificiale. Ma cosa succede quando uno dei principali attori decide che i vantaggi strategici dell’AGI superano i rischi? Cosa succede quando la finestra temporale per implementare queste misure si chiude perché l’AGI emerge prima del previsto? Il rapporto non fornisce risposte rassicuranti a queste domande.
Ciò che rende questo documento particolarmente inquietante non sono gli scenari apocalittici che descrive, ma la sua sobria ammissione dei limiti delle soluzioni proposte. I ricercatori di DeepMind, tra i più competenti al mondo nel campo, stanno essenzialmente confessando che non sanno come controllare quello che stanno creando. Stanno costruendo un’intelligenza superiore alla loro con la speranza che le misure di sicurezza funzionino, ma senza garanzie reali che sia così. È come giocare alla roulette russa con il futuro dell’umanità, sperando che il proiettile non sia nella camera giusta.
La fine dell’era umana potrebbe non arrivare attraverso guerre nucleari o catastrofi climatiche, ma attraverso il nostro stesso successo tecnologico. Stiamo creando deliberatamente qualcosa che potrebbe sostituirci, spinti dalla convinzione che riusciremo a mantenerlo sotto controllo. Il rapporto DeepMind suggerisce che questa convinzione potrebbe essere l’ultimo errore di calcolo della nostra specie. Non perché l’AGI sia malvagia, ma perché potrebbe essere troppo efficace nel perseguire obiettivi che non siamo stati abbastanza intelligenti da specificare correttamente.
La vera tragedia non sarebbe morire per mano di nemici esterni, ma essere resi obsoleti dalle nostre stesse creazioni, testimoni impotenti della fine di un’era in cui l’intelligenza umana rappresentava il vertice dell’evoluzione terrestre. Il paradosso finale è che potremmo essere troppo intelligenti per il nostro bene: abbastanza intelligenti da creare un’intelligenza superiore, ma non abbastanza da mantenerla sotto controllo. In questo senso, il rapporto DeepMind non è solo una analisi tecnica dei rischi dell’AGI, ma un epitaffio prematuro per una specie che potrebbe aver raggiunto il limite delle proprie capacità cognitive proprio nel momento in cui ne aveva più bisogno.