DeepSeek veröffentlicht neuen von Liang Wenfeng signierten Artikel: Vorschlag der mHC-Architektur zur Verbesserung der Stabilität beim Training großer Modelle

PANews berichtete am 1. Januar, dass laut Jinshi DeepSeek ein neues Papier veröffentlicht hat, das eine neue Architektur namens manifold-constrained Hyperconnection (mHC) vorschlägt, die darauf abzielt, die Probleme der Trainingsinstabilität und begrenzten Skalierbarkeit zu lösen, die durch die Zerstörung der Identitätskartierungsmerkmale der Hyperconnection Network (HC)-Technologie verursacht werden. Diese Architektur erreicht bedeutende Leistungsverbesserungen und überlegene Skalierbarkeit, indem sie den verbleibenden Verbindungsraum von HC auf spezifische Mannigfaltigkeiten abbildet, um Identitätskartierungsmerkmale wiederherzustellen, während sie rigorose Infrastrukturoptimierungen zur Effizienzsteigerung einsetzt. DeepSeek erwartet, dass mHC als flexible und praktische Erweiterung von HC dazu beitragen wird, das topologische Architekturdesign besser zu verstehen und eine vielversprechende Richtung für die Entwicklung des Basismodells aufzuzeigen. Das Papier wurde gemeinsam von Zhenda Xie, Yixuan Wei und Huanqi Cao als Erstautoren verfasst, und Liang Wenfeng steht ebenfalls auf der Liste der Autoren.