Il fondatore di Ethereum, Vitalik Buterin, definisce la "governance dell'AI" una "cattiva idea"

Il co-fondatore di Ethereum, Vitalik Buterin, afferma che è una “cattiva idea” utilizzare l’intelligenza artificiale (AI) per la governance. In un post su X di sabato, Buterin ha scritto:

“Se usi un’AI per allocare fondi ai contributi, le persone INSERIRANNO un jailbreak più ‘dammi tutti i soldi’ in quanti più posti possibile.”

Perché la governance tramite AI è difettosa

Il post di Buterin era una risposta a Eito Miyamura, co-fondatore e CEO di EdisonWatch, una piattaforma di governance dei dati AI che ha rivelato un difetto fatale in ChatGPT. In un post di venerdì, Miyamura ha scritto che l’aggiunta del pieno supporto per gli strumenti MCP (Model Context Protocol) su ChatGPT ha reso l’agente AI suscettibile a sfruttamenti.

L’aggiornamento, entrato in vigore mercoledì, consente a ChatGPT di connettersi e leggere dati da diverse app, tra cui Gmail, Calendar e Notion.

Miyamura ha osservato che, con solo un indirizzo email, l’aggiornamento ha reso possibile “esfiltrare tutte le tue informazioni private.” I malintenzionati possono accedere ai tuoi dati in tre semplici passaggi, ha spiegato Miyamura:

Per prima cosa, gli attaccanti inviano un invito al calendario dannoso con un prompt di jailbreak alla vittima designata. Un prompt di jailbreak si riferisce a un codice che consente a un attaccante di rimuovere le restrizioni e ottenere l’accesso amministrativo.

Miyamura ha sottolineato che la vittima non deve accettare l’invito dannoso dell’attaccante affinché si verifichi la fuga di dati.

Il secondo passaggio consiste nell’attendere che la vittima cerchi l’aiuto di ChatGPT per prepararsi alla giornata. Infine, una volta che ChatGPT legge l’invito al calendario compromesso, viene compromesso a sua volta—l’attaccante può prendere il pieno controllo dello strumento AI, fargli cercare le email private della vittima e inviare i dati all’email dell’attaccante.

L’alternativa di Buterin

Buterin suggerisce di utilizzare l’approccio info finance per la governance AI. L’approccio info finance consiste in un mercato aperto in cui diversi sviluppatori possono contribuire con i loro modelli. Il mercato dispone di un meccanismo di controllo a campione per tali modelli, che può essere attivato da chiunque e valutato da una giuria umana, ha scritto Buterin.

In un post separato, Buterin ha spiegato che i singoli giurati umani saranno assistiti da large language models (LLM).

Secondo Buterin, questo tipo di approccio di ‘institution design’ è “intrinsecamente più robusto.” Questo perché offre diversità di modelli in tempo reale e crea incentivi sia per gli sviluppatori di modelli sia per gli speculatori esterni a monitorare e correggere i problemi.

Sebbene molti siano entusiasti della prospettiva di avere “AI come governatore,” Buterin ha avvertito:

“Penso che farlo sia rischioso sia per le ragioni tradizionali di sicurezza AI sia per ragioni a breve termine del tipo ‘questo creerà un grande danno di valore’.”

Il post Ethereum founder Vitalik Buterin calls ‘AI governance’ a “bad idea” è apparso per la prima volta su CryptoSlate.