Założyciel Ethereum, Vitalik Buterin, nazywa „AI governance” „złym pomysłem”

Współzałożyciel Ethereum, Vitalik Buterin, twierdzi, że używanie sztucznej inteligencji (AI) do zarządzania to „zły pomysł”. W poście na X w sobotę Buterin napisał:

„Jeśli użyjesz AI do przydzielania środków na wkłady, ludzie NA PEWNO umieszczą jailbreak plus ‘daj mi wszystkie pieniądze’ w tylu miejscach, ile tylko mogą.”

Dlaczego zarządzanie przez AI jest wadliwe

Post Buterina był odpowiedzią na Eito Miyamurę, współzałożyciela i CEO EdisonWatch, platformy do zarządzania danymi AI, który ujawnił poważną wadę w ChatGPT. W poście w piątek Miyamura napisał, że dodanie pełnego wsparcia dla narzędzi MCP (Model Context Protocol) w ChatGPT sprawiło, że agent AI stał się podatny na wykorzystanie.

Aktualizacja, która weszła w życie w środę, pozwala ChatGPT łączyć się i odczytywać dane z kilku aplikacji, w tym Gmail, Calendar i Notion.

Miyamura zauważył, że mając jedynie adres e-mail, aktualizacja umożliwiła „wykradzenie wszystkich twoich prywatnych informacji”. Oszuści mogą uzyskać dostęp do twoich danych w trzech prostych krokach, wyjaśnił Miyamura:

Po pierwsze, atakujący wysyłają złośliwe zaproszenie do kalendarza z poleceniem jailbreak do zamierzonej ofiary. Polecenie jailbreak odnosi się do kodu, który pozwala atakującemu usunąć ograniczenia i uzyskać dostęp administracyjny.

Miyamura zauważył, że ofiara nie musi akceptować złośliwego zaproszenia atakującego, aby doszło do wycieku danych.

Drugi krok polega na poczekaniu, aż zamierzona ofiara poprosi ChatGPT o pomoc w przygotowaniu się do dnia. Wreszcie, gdy ChatGPT odczyta zhakowane zaproszenie do kalendarza, zostaje przejęty — atakujący może całkowicie przejąć narzędzie AI, przeszukać prywatne e-maile ofiary i wysłać dane na swój adres e-mail.

Alternatywa Buterina

Buterin sugeruje zastosowanie podejścia info finance do zarządzania AI. Podejście info finance polega na otwartym rynku, na którym różni deweloperzy mogą wnosić swoje modele. Rynek posiada mechanizm kontroli wyrywkowej takich modeli, który może zostać uruchomiony przez każdego i oceniony przez ludzkie jury, napisał Buterin.

W osobnym poście Buterin wyjaśnił, że poszczególni członkowie jury będą wspierani przez duże modele językowe (LLM).

Według Buterina, tego typu podejście do „projektowania instytucji” jest „z natury bardziej odporne”. Wynika to z faktu, że zapewnia różnorodność modeli w czasie rzeczywistym i tworzy bodźce zarówno dla twórców modeli, jak i zewnętrznych spekulantów do monitorowania i korygowania problemów.

Podczas gdy wielu ekscytuje się perspektywą posiadania „AI jako zarządcy”, Buterin ostrzegł:

„Uważam, że robienie tego jest ryzykowne zarówno z tradycyjnych powodów bezpieczeństwa AI, jak i z krótkoterminowych powodów ‘to stworzy dużą, destrukcyjną wartość’.”

Post Ethereum founder Vitalik Buterin calls ‘AI governance’ a “bad idea” appeared first on CryptoSlate.