Засновник Ethereum Віталік Бутерін назвав «управління штучним інтелектом» «поганою ідеєю»

Співзасновник Ethereum Віталік Бутерін стверджує, що використання штучного інтелекту (AI) для управління — це «погана ідея». У суботу в публікації на X Бутерін написав:

«Якщо ви використовуєте AI для розподілу фінансування внесків, люди БУДУТЬ вставляти jailbreak плюс “дай мені всі гроші” у стільки місць, скільки зможуть.»

Чому управління за допомогою AI є недосконалим

Публікація Бутеріна була відповіддю на повідомлення Ейто Міямури, співзасновника та CEO EdisonWatch, платформи управління даними AI, який виявив фатальний недолік у ChatGPT. У п’ятницю Міямура написав, що додавання повної підтримки інструментів MCP (Model Context Protocol) у ChatGPT зробило агента AI вразливим до експлуатації.

Оновлення, яке набрало чинності в середу, дозволяє ChatGPT підключатися та читати дані з кількох додатків, включаючи Gmail, Calendar та Notion.

Міямура зазначив, що лише з електронною адресою це оновлення зробило можливим «вивести всю вашу приватну інформацію». Зловмисники можуть отримати доступ до ваших даних у три прості кроки, пояснив Міямура:

По-перше, нападники надсилають шкідливе запрошення в календар із підказкою jailbreak призначеній жертві. Підказка jailbreak — це код, який дозволяє зловмиснику зняти обмеження та отримати адміністративний доступ.

Міямура зазначив, що жертві не потрібно приймати шкідливе запрошення зловмисника, щоб відбувся витік даних.

Другий крок полягає в очікуванні, поки жертва звернеться до ChatGPT за допомогою у підготовці до свого дня. Нарешті, коли ChatGPT читає зламане запрошення в календар, він стає скомпрометованим — зловмисник може повністю захопити інструмент AI, змусити його шукати приватні електронні листи жертви та надсилати дані на електронну адресу зловмисника.

Альтернатива Бутеріна

Бутерін пропонує використовувати підхід info finance до управління AI. Підхід info finance полягає у відкритому ринку, де різні розробники можуть вносити свої моделі. На ринку існує механізм вибіркової перевірки таких моделей, який може бути ініційований будь-ким і оцінений людським журі, написав Бутерін.

В окремій публікації Бутерін пояснив, що окремим людським журі допомагатимуть великі мовні моделі (LLMs).

За словами Бутеріна, такий підхід до «дизайну інституцій» є «з самого початку більш стійким». Це тому, що він забезпечує різноманітність моделей у реальному часі та створює стимули як для розробників моделей, так і для зовнішніх спекулянтів контролювати та виправляти проблеми.

Хоча багато хто захоплений перспективою мати «AI як керівника», Бутерін попередив:

«Я вважаю, що це ризиковано як з точки зору традиційної безпеки AI, так і з точки зору короткострокових причин “це створить велику руйнівну катастрофу”.»

Публікація Ethereum founder Vitalik Buterin calls ‘AI governance’ a “bad idea” вперше з’явилася на CryptoSlate.