Cohere giới thiệu Tiny Aya, Mô hình AI đa ngôn ngữ nhỏ gọn cho triển khai địa phương

Tóm tắt

Tiny Aya của Cohere giới thiệu một hệ thống AI đa ngôn ngữ nhỏ gọn, cung cấp hiệu suất dịch thuật và tạo nội dung chất lượng cao trên hơn 70 ngôn ngữ, đồng thời vẫn đủ hiệu quả để chạy trực tiếp trên phần cứng người dùng.

Công ty AI Cohere đã giới thiệu Tiny Aya, một mô hình đa ngôn ngữ nhỏ gọn được thiết kế để cung cấp hiệu suất dịch thuật, hiểu ngôn ngữ và tạo nội dung chất lượng cao, trong khi vẫn đủ nhỏ để chạy trên các thiết bị tiêu dùng. Theo công ty, Tiny Aya nhằm mở rộng AI đa ngôn ngữ vượt ra ngoài các ngôn ngữ web phổ biến bằng cách kết hợp kiến trúc hiệu quả với nghiên cứu tập trung vào đa dạng ngôn ngữ. Như trong tài liệu nêu rõ, mô hình “bao gồm hơn 70 ngôn ngữ*, trong đó có nhiều ngôn ngữ ít tài nguyên hơn từ khắp nơi trên thế giới,” và được xây dựng để hoạt động tại chỗ mà không phụ thuộc vào hạ tầng đám mây quy mô lớn.

Phiên bản ra mắt gồm TinyAya‑Base, một mô hình tiền huấn luyện có 3,35 tỷ tham số, và TinyAya‑Global, một phiên bản được tinh chỉnh theo hướng dẫn nhằm duy trì hiệu suất ổn định trên 67 ngôn ngữ. Cohere cũng giới thiệu các biến thể chuyên biệt theo vùng miền nhằm tăng cường khả năng trong các cộng đồng ngôn ngữ cụ thể trong khi vẫn duy trì phạm vi đa ngôn ngữ rộng lớn. Công ty lưu ý rằng các mô hình này được hỗ trợ bởi một bộ dữ liệu tinh chỉnh đa ngôn ngữ mới và các tiêu chuẩn đánh giá nhằm chuẩn hóa việc đánh giá và thúc đẩy nghiên cứu thêm. Một đoạn trích nổi bật cho biết Tiny Aya “cung cấp hiệu suất cân đối, mạnh mẽ trên 67 ngôn ngữ được hỗ trợ,” định vị nó như một lựa chọn thực tế cho các nhà phát triển làm việc trong các môi trường ngôn ngữ đa dạng.

Cohere nhấn mạnh rằng Tiny Aya được thiết kế để duy trì sự ổn định giữa các ngôn ngữ ít được đại diện trực tuyến, chống lại sự mất cân bằng hiệu suất thường thấy trong các hệ thống đa ngôn ngữ. Báo cáo kỹ thuật kèm theo ra mắt mô tả các phương pháp như cải thiện tokenization, tự nhiên hóa dữ liệu tổng hợp và chiến lược hợp nhất mục tiêu, mà công ty cho rằng giúp bảo tồn sắc thái ngôn ngữ trong khi vẫn cho phép huấn luyện hiệu quả. Tài liệu cũng nhấn mạnh rằng quá trình huấn luyện sau cùng “được thực hiện trên một cụm GPU H100 64 đơn,” nhấn mạnh trọng tâm của dự án vào hiệu quả hơn là tính toán quy mô lớn.

Tiny Aya Củng Cố AI Đa Ngôn Ngữ Với Hiệu Suất Ổn Định, Tokenization Hiệu Quả Và Các Mô Hình Vùng Miền Chuyên Biệt

Các đánh giá hiệu suất cho thấy Tiny Aya cạnh tranh hoặc vượt qua các mô hình đa ngôn ngữ hiện có cùng kích thước, đặc biệt trong dịch thuật, tạo nội dung mở và lý luận toán học cho các ngôn ngữ ít tài nguyên hơn. Cohere nhấn mạnh tính nhất quán trong hành vi của mô hình trên các môi trường ngôn ngữ khác nhau, mô tả nó như một hệ thống được xây dựng cho khả năng sử dụng thực tế thay vì tối ưu hóa cho các tiêu chuẩn hẹp. Thiết kế tokenizer giảm thiểu phân mảnh giữa các hệ thống chữ viết, giảm số lượng token trên mỗi câu và nâng cao hiệu quả suy luận trên phần cứng tại chỗ. Tài liệu cho biết Tiny Aya “đạt hiệu quả tokenization cao nhất trên phần lớn các ngôn ngữ được đánh giá,” hỗ trợ mục tiêu tiếp cận của nó.

Gia đình mô hình bao gồm các biến thể tập trung theo vùng miền—TinyAya‑Earth, TinyAya‑Fire và TinyAya‑Water—mỗi cái được tối ưu hóa cho các nhóm ngôn ngữ khác nhau trong khi vẫn duy trì khả năng áp dụng toàn cầu. Cohere định vị các mô hình này như nền tảng cho sự phát triển dựa trên cộng đồng, khuyến khích các nhà nghiên cứu tùy chỉnh chúng cho các ngôn ngữ mới nổi, lĩnh vực mới và các khung đánh giá địa phương. Như kết luận trong tài liệu, công ty hình dung “một hệ sinh thái sôi động của nhiều mô hình, do nhiều tiếng nói định hình,” thay vì một hệ thống đa ngôn ngữ duy nhất chi phối.