Tether startet KI-Trainingsrahmen für Smartphones und Consumer-GPUs

Tether hat kürzlich einen neuen KI-Trainingsrahmen vorgestellt, der die Feinabstimmung großer Sprachmodelle direkt auf Verbraucherequipment wie Smartphones und Nicht-Nvidia-GPUs ermöglicht. Das System, Teil der QVAC-Plattform, nutzt die BitNet-Architektur von Microsoft in Kombination mit LoRA-Technik, um den Speicherbedarf und die Rechenkosten erheblich zu reduzieren.

Laut Tether unterstützt das Framework plattformübergreifende Kompatibilität mit Chips von AMD, Intel, Apple Silicon und mobilen Qualcomm-GPUs. Ingenieure können Modelle mit bis zu 1 Milliarde Parametern auf Smartphones in weniger als zwei Stunden feinabstimmen und sogar auf 13 Milliarden Parameter auf mobilen Geräten erweitern.

Die BitNet-Technologie reduziert den VRAM-Bedarf im Vergleich zu 16-Bit-Modellen um bis zu 77,8 % und beschleunigt die Inferenz auf mobilen GPUs. Tether betont auch das Anwendungspotenzial, etwa im föderierten Lernen, um die Abhängigkeit von Cloud-Diensten zu verringern.

Diese Entwicklung spiegelt den Trend wider, dass Krypto-Unternehmen in KI und Recheninfrastruktur expandieren, parallel zur Entwicklung von KI-Agenten in der Branche.