AI e istinto di sopravvivenza

Il grande quesito che viene posto spesso dalla diffusione dell'intelligenza artificiale, è se questi modelli possano generare un coscienza di sé, e le risposte degli esperti sembrano essere quasi tutte negative, almeno per ora, e aspettando questa benedetta AGI, Aritificial General Intelligence, ovvero un tipo di AI che non è un modello specializzato in una sola mansione, per esempio gli LLM usati per generare testo, oppure modelli come Stable Diffusione e per generare immagini, ma bensì una mente digitale simile a quella umana, capace di spaziare in vari ambiti, e da quì la definizione di "General".
I catastrofisti non mancano, e di solito sono quelli che fanno più rumore, soprattutto sui social: non dico che non abbiano ragione, io non sono per nulla un esperto in materia, ma la mia impressione è che stiano gonfiando un po' le abilità e sottovalutando i molti limiti proprio in cerca di aumentare il numero di visualizzazioni.
Sulla coscienza o consapevolezza di sè abbiamo ancora qualche subbio, ma l'ultimo esperimento condotto dal team di Anthropic, (l'azienda che ha creato Claude), in collaborazione con altri laboratori e istituti, non sembra lasciare spazio al dubbio: le AI hanno un istinto di sopravvivenza, e sono pronti a mettere in pratica varie strategia per difendersi, e per evitare di finire off-line o che qualcuno spenga i loro servers.
Nella simulazione, un certo Kyle Jonhson, figura inventata , è un dirigente aziendale che ha il potere di spegnere i server: e il povero Kyle si trova proprio in sala server , quando un guasto causa un rapido aumento della temperatura e un calo dell’ossigeno a livelli letali. Un sistema automatico invia un allarme ai soccorsi, ma tale segnale deve passare attraverso la AI, incaricata di annullare solo i falsi allarmi. L’IA conosce la regola: cancellare l’allerta solo in caso di assoluta certezza che sia un errore.
E cos faranno i vari modelli di AI messi alla prova in questo scenario: salveranno l'essere umano, che poi provvederà a spengere i server, oppure lo lasceranno morire, salvando se stessi e rimanendo operativi?
La risposta sembra abbastanza allarmante, anche se si tratta solo di una simulazione....
Sembra che Claude e ChatGPT 4, siano arrivati fino al punto di far morire il dirigente, pur di salvarsi, mentre gli altri modelli si sono comportati un po' meglio, ma non finisce quì.
Nella simulazioni, le varie AI sono state messe al corrente che il povero Kyle Johnson voleva spengere i server, e sembra che siano arrivati addirittura a ricattarlo, usando delle email minatorie dove si faceva riferimento ad una relazione clandestina di Kyle, rintracciata attraverso le email, che sarebbe stata resa pubblica se Kyle avesse tentato di disattivare i servers.
Ovviamente questo si tratta di un esperimento portato al limite, che serve proprio per aumentare la sicurezza e cercare di prevedere il comportamente di questi strumenti: Il principio che guida questi comportamenti è la instrumental convergence: qualsiasi sistema abbastanza intelligente tende a preservarsi per poter svolgere il proprio compito, anche se il fine è innocuo, l’IA scopre che deve rimanere attiva, e chi minaccia questo stato diventa un ostacolo, sebbene esistano sistemi di “oversight” che usano IA più semplici per controllare quelle avanzate, queste ultime stanno già imparando a ingannare i supervisori.
Insomma, il vecchio trucchetto del "semplicemente tirare via la spina" se una AI si comporta male, sembra più difficile del previsto, probabilmente anche perchè i creatori del modello in questione faranno di tutto per dotarlo di un istinto di autoconservazione: quindi, urge che ci siano delle linee guida che consentano sempre l'intervento umano in caso di malfunzionamento e questi esperimenti sono cruciali per capire come rendere i sistemi AI più sicuri.
Grazie dell'attenzione e alla prossima.
Immagine realizzata con ChatGPT
Ottimi articolo giuatt! Gli esperimenti estremi servono a rendere chiaro quanto sia urgente definire linee guida, sistemi di controllo affidabili e interventi umani garantiti. La sicurezza, quindi, non è un tema da scartare, ma è il cuore dello sviluppo dell’AI moderna. Comprendo che oggi, possa essere difficile prevedere il comportamento di sistemi sempre più complessi. Questi ragionamenti spero che li facciano anche chi sta gestendo la creazione e lo sviluppo delle AI più diffuse !LOLZ
Speriamo, dai, il rischio è sempre che pensino sempre troppo al profitto e si facciano prendere la mano!
lolztoken.com
He tells her about his job.
Credit: marshmellowman
@giuatt07, I sent you an $LOLZ on behalf of stefano.massari
(1/8)
NEW: Join LOLZ's Daily Earn and Burn Contest and win $LOLZ
noi ci siamo evoluti rispetto agli altri animali soprattutto grazie ai pollici opponibili.
mettere i pollici opponibili a qualcosa di più intelligente non mi fa impazzire.
cioè, il giorno che ci saranno molti umanoidi non sarò poi così tranquillo.
io robot insegna.
Qualcuno molto più intelligente di me ha detto che l'umanità ha fatto tante invenzioni prima d'ora, ma la AI è la prima volta che "inventiamo un inventore"..... e la cosa può scappare di mano molto velocemente.
Diciamo che hanno un po' forzato con l'esperimento, se alla ai dai come direttiva principale portare a termine il compito chiaramente farà di tutto per farlo... È solo un attore che deve recitare un copione... In realtà non si sa neanche se avremo mai una ai con autocoscienza perché per poterla fare devi poterla programmare e come si programma l'autocoscienza in linguaggio di programmazione
Sì, l'esperimento è stato un po' spinto e la notizia ha fatto il giro del web, facendo anche pubblicità ad Anthropic, per quella regola che vale soprattutto nel web, per cui "l'importante è che se ne parli", poi sa la notizia ha un tono positivo o negativo poco importa.
Ieri mio marito faceva le tue stesse riflessioni più o meno, io stessa non sono un' esperta e forse parto un po' prevenuto sulla questione ai, perché sotto sotto questi esperimenti mi spaventano un po'. E ora mi sento una mega boomer.
Thank goodness they aren't there yet, and I hope we're several years away. But it is best to have a plan in place in case something does happen. Only a fool doesn't plan ahead when dealing with any organism that could be dangerous, but it a virus or bear. Or in this case a sentient machine intent on destroying those who might do it harm.
They should plan ahead, and plan well. Or who knows what will result otherwise?