Menurut laporan, peneliti NVIDIA dan MIT merilis Lightning OPD (Offline On-Policy Distillation), sebuah kerangka pasca-pelatihan baru untuk model bahasa besar yang menghilangkan kebutuhan untuk terus menjalankan model pengajar selama pelatihan. Dengan menghitung sebelumnya log-probabilitas model pengajar secara offline, kerangka ini meningkatkan efisiensi pelatihan 4x sambil membebaskan semua sumber daya GPU untuk pelatihan model siswa.
Dalam pengujian pada 8 GPU NVIDIA H100, Lightning OPD berhasil mendistilasi Qwen3-30B-A3B-Base (model MoE dengan 30 miliar parameter) dan meraih 71,0 pada tolok ukur AIME 2024, sedangkan OPD standar kehabisan memori pada perangkat keras yang sama. Untuk model Qwen3-8B yang lebih kecil, kerangka ini hanya membutuhkan 30 jam GPU untuk mencapai 69,9 poin.
Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke
Penafian.
Artikel Terkait
Depthfirst Menemukan Celah Internet Kritis dengan Biaya Sepersepuluh dari Mythos Milik Anthropic
Menurut BlockBeats, pada 12 Mei, startup keamanan siber berbasis AI Depthfirst mengumumkan bahwa model penemuan kerentanan AI buatan sendiri telah menemukan beberapa celah keamanan kritis yang terlewat oleh Mythos milik Anthropic, dengan klaim total biayanya hanya sepersepuluh dari yang diperlukan pihak tersebut. CEO Depthfirst, Qasim Mithani, menyatakan perusahaan dapat "menyelesaikan pekerjaan seharga $1.000 yang Mythos butuhkan $10.000 untuk dikerjakan" dengan mengoptimalkan arsitektur model
GateNews5menit yang lalu
IPO Cerebras Pekan Ini dengan Penilaian $55 Miliar, Memberi OpenAI Potensi Kepemilikan 11%
Menurut Odaily, produsen chip kecerdasan buatan Cerebras akan melantai minggu ini dengan valuasi IPO senilai 55 miliar dolar AS. Komitmen investasi OpenAI sebesar 200 miliar dolar AS dapat memberinya saham 11% di perusahaan tersebut.
GateNews42menit yang lalu
Cerebras Tayang Publik Minggu Ini dengan Penilaian $5,5B; Saham 11% OpenAI Bisa Menghasilkan Lebih dari $5B
Menurut The Information, perusahaan pembuat chip AI Cerebras akan melantai pekan ini dengan valuasi IPO senilai 5,5 miliar dolar AS. Komitmen investasi OpenAI sebesar 20 miliar dolar AS berpotensi memberinya saham 11% di perusahaan tersebut, yang bisa menghasilkan lebih dari 5 miliar dolar AS dalam bentuk hasil.
GateNews42menit yang lalu
SAP Berinvestasi di n8n, Menggandakan Penilaian Platform Otomatisasi Workflow hingga 5,2 miliar dolar AS
Menurut Bloomberg, SAP berinvestasi pada n8n pada Selasa, menggandakan valuasi platform otomasi workflow tersebut menjadi 5,2 miliar dolar AS. Raksasa perangkat lunak Jerman itu juga menandatangani perjanjian kemitraan multi-tahun dengan n8n untuk mengintegrasikan alat platform ke dalam platform pembangun agen AI SAP, Joule Studio, menurut pernyataan SAP.
GateNews1jam yang lalu
Startup AI White Circle Menyelesaikan Putaran Seed $11M dengan Eksekutif OpenAI, Anthropic
Menurut Odaily, startup AI White Circle baru-baru ini menyelesaikan putaran pendanaan seed senilai $11 juta dengan partisipasi dari eksekutif OpenAI Romain Huet dan peneliti Anthropic Durk Kingma, di antaranya. Perusahaan ini menyediakan API terpadu untuk pemantauan real-time atas input dan output model bahasa besar, yang dirancang untuk mendeteksi halusinasi, serangan prompt injection, konten berbahaya, model drift, dan perilaku pengguna yang berbahaya. Platform ini juga mendukung kebijakan kes
GateNews1jam yang lalu
Artificial Analysis Merilis Tolok Ukur Agen Pengekodean; Zhipu GLM-5.1 Menempati Peringkat Pertama di Antara Model Open-Source
Artificial Analysis merilis Index Agen Koding baru hari ini untuk mengevaluasi bagaimana model AI berperforma saat digabungkan dengan framework agen di berbagai tolok ukur utama, termasuk SWE-Bench-Pro-Hard-AA, Terminal-Bench v2, dan SWE-Atlas-QnA. Zhipu GLM-5.1 menempati peringkat pertama di antara model open-source dalam evaluasi, menunjukkan performa terdepan pada skenario agen koding di dunia nyata.
GateNews1jam yang lalu
