Sakana AI giới thiệu Text-to-LoRA: Siêu mạng để tạo bộ điều hợp LLM dành riêng cho tác vụ

Công ty AI có trụ sở tại Nhật Bản Sakana trí tuệ nhân tạo đã giới thiệu một phương pháp mới gọi là Text-to-LoRA, một kiến ​​trúc siêu mạng được thiết kế để tạo ra các mô-đun Thích ứng bậc thấp (LoRA) dành riêng cho tác vụ cho các mô hình ngôn ngữ lớn (LLM) dựa trên mô tả tác vụ dạng văn bản.

Phương pháp này lấy cảm hứng từ các hệ thống sinh học, đặc biệt là cách các sinh vật sống có thể nhanh chóng thích nghi với các kích thích của môi trường bằng cách sử dụng đầu vào hạn chế—chẳng hạn như cách thị lực của con người điều chỉnh theo các điều kiện ánh sáng khác nhau. Ngược lại, các LLM hiện đại, mặc dù có năng lực và kiến ​​thức rộng, thường đòi hỏi phải tinh chỉnh tốn nhiều công sức và các tập dữ liệu lớn để thích ứng với các nhiệm vụ cụ thể.

Text-to-LoRA, hay T2L, giải quyết thách thức này bằng cách đào tạo một siêu mạng để diễn giải lời nhắc ngôn ngữ tự nhiên mô tả một tác vụ và sau đó tạo ra một bộ điều hợp LoRA tương ứng được tối ưu hóa cho tác vụ đó. Kết quả thử nghiệm cho thấy T2L có thể mã hóa hiệu quả nhiều mô-đun LoRA đã tồn tại từ trước. Mặc dù quá trình nén gây ra một số mất mát, nhưng các bộ điều hợp kết quả vẫn đạt được hiệu suất tương đương với các bộ điều hợp được điều chỉnh trực tiếp cho tác vụ.

Ngoài ra, T2L chứng minh khả năng khái quát hóa các tác vụ mới không thấy trong quá trình đào tạo, miễn là có mô tả rõ ràng dưới dạng văn bản. Điểm mạnh của hệ thống nằm ở hiệu quả của nó—nó tạo ra các bộ điều hợp LoRA thông qua một bước tạo đơn giản, nhẹ, không cần tinh chỉnh thêm cho từng tác vụ cụ thể.

Sự phát triển này làm giảm các rào cản liên quan đến việc tùy chỉnh các mô hình nền tảng, giúp người dùng có ít chuyên môn kỹ thuật hoặc tài nguyên tính toán hạn chế có thể tạo ra các hành vi mô hình chuyên biệt chỉ bằng ngôn ngữ tự nhiên.

Sakana nâng cao AI lấy cảm hứng từ thiên nhiên 

Sakana AI là một tổ chức nghiên cứu AI có trụ sở tại Tokyo, chuyên khám phá sự phát triển AI thông qua các phương pháp chịu ảnh hưởng của các hệ thống tự nhiên. Thay vì dựa vào các mô hình đơn lẻ, quy mô lớn, công ty tập trung vào việc kết hợp nhiều mô hình nhỏ hơn, tự chủ để hoạt động như một tập thể phối hợp, rút ​​ra những điểm tương đồng về mặt khái niệm với các hệ thống sinh học như đàn cá. Chiến lược này nhấn mạnh vào khả năng thích ứng, hiệu quả trong việc sử dụng tài nguyên và khả năng mở rộng quy mô dài hạn.

Công ty gần đây giới thiệu Máy Darwin Gödel, một tác nhân AI tự sửa đổi có khả năng sửa đổi mã của chính nó. Lấy cảm hứng từ thuyết tiến hóa, hệ thống này duy trì một dòng dõi các tác nhân biến thể, cho phép thử nghiệm và tinh chỉnh liên tục trên một phổ rộng các kiến ​​trúc tự cải thiện.