За повідомленнями, дослідники NVIDIA та MIT випустили Lightning OPD (Offline On-Policy Distillation) — нову посттренувальну методику для великих мовних моделей, яка усуває потребу тримати модель-вчителя запущеною під час навчання. Завдяки попередньому обчисленню лог-імовірностей моделі-вчителя офлайн фреймворк підвищує ефективність навчання у 4 рази, одночасно звільняючи всі ресурси GPU для тренування моделі-студента.
Під час тестування на 8 GPU NVIDIA H100 Lightning OPD успішно дистилювала Qwen3-30B-A3B-Base (MoE-модель із 30 мільярдами параметрів) і досягла 71,0 на бенчмарку AIME 2024, тоді як стандартна OPD на тій самій апаратній платформі вичерпала пам’ять. Для меншої моделі Qwen3-8B фреймворк вимагав лише 30 GPU-годин, щоб досягти 69,9 бала.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
Пов'язані статті
Інтерв’ю про блокчейн у районі Бонні з Eric Trump: обговорює США AI, енергетику та біткоїн, розкриває, що Трамп приватно досі називає його «honey»
台灣 блокчейн YouTuber「邦ні блокчейн» нещодавно взяв інтерв’ю в Eric Trump, поговоривши про американську біткоїн-майнінг-компанію American Bitcoin, криптовалютну політику адміністрації Трампа, конкуренцію США в сфері AI та енергетики, а також про те, чому Eric Trump особисто долучився до індустрії цифрових активів. Син Трампа: США мають перемогти в енергетиці, AI та криптовалюті У ході інтерв’ю Eric Trump неодноразово підкреслював, що ключовим наративом уряду Трампа є «дати США перемагати в усіх сф
ChainNewsAbmedia5хв. тому
Законодавці-республіканці вимагають розслідування щодо особистих інвестицій Altman на $3,75 мільярда та конфліктів інтересів OpenAI
Як повідомляє ChainCatcher, нещодавно голова Комітету з нагляду Палати представників США Джеймс Комер зажадав від генерального директора OpenAI Сема Альтмана розкрити інформацію про його особисті інвестиції та потенційні конфлікти інтересів із OpenAI. Запит Комера зосереджений на великому інвестпортфелі Альтмана, який становить приблизно $3,5 мільярда чистого капіталу, зокрема частки в Helion, Stripe і Reddit. Зокрема, як повідомляє Wall Street Journal, Альтман підштовхував OpenAI інвестувати $5
GateNews1год тому
TT Chain інтегрує систему безпеки AegisAI для захисту RWA 11 травня
Згідно з оголошенням TT Chain від 11 травня, мережа L2 блокчейну інтегрувала AI-інфраструктуру безпеки AegisAI, керовану ШІ, у свою екосистему реальних активів. Співпраця підвищує захист токенізованих транзакцій активів і кросчейн-операцій завдяки розширеному виявленню загроз та можливостям аудиту смартконтрактів. Автономні AI-агенти AegisAI виявляють фішингові атаки, запобігають спробам несанкціонованого доступу та в режимі реального часу ідентифікують уразливості в смартконтрактах. TT Chain за
GateNews2год тому
AI-стартап Wispr обговорює раунд фінансування за оцінкою $2B станом на 12 травня
За повідомленням PANews, стартап зі штучного інтелекту Wispr проводить переговори про залучення фінансування 12 травня з оцінкою в 2 мільярди доларів.
GateNews2год тому
Сем Альтман сьогодні дасть свідчення в позові Маска проти OpenAI $38M
За даними BlockBeats, Сем Альтман має дати свідчення сьогодні (12 травня) у федеральному суді в Окленді, штат Каліфорнія, у справі позову Ілона Маска проти OpenAI. Альтман виступить після того, як голова ради директорів OpenAI Брет Тейлор завершить свої свідчення. Маск подав позов у 2024 році, стверджуючи, що OpenAI, Альтман і президент Грег Брокман порушили первинну неприбуткову та публічну місію компанії. Маск заявляє, що його приблизно $38 мільйонів донатів були використані для несанкціонован
GateNews3год тому
Depthfirst виявляє критичні вразливості в інтернеті за витрат у десяту частину бюджету Anthropic «Mythos»
За даними BlockBeats, 12 травня стартап у сфері кібербезпеки на основі ШІ Depthfirst оголосив, що його власнорозроблена модель виявлення вразливостей на основі ШІ знайшла кілька критичних проблем безпеки, яких Mythos від Anthropic не помітив, стверджуючи, що загальні витрати становили лише одну десяту від витрат останнього. CEO Depthfirst Qasim Mithani заявив, що компанія може «завершити роботу за $1,000, яку Mythos мав би виконувати за $10,000», оптимізувавши архітектуру моделі для продуктивнос
GateNews3год тому
