Gradient stellt das verteilte Reinforcement-Learning-Framework Echo-2 vor und plant die Einführung der RLaaS-Plattform Logits

Foresight News Meldung: Das verteilte KI-Labor Gradient hat Echo-2, ein Framework für verteiltes Reinforcement Learning, veröffentlicht, das darauf abzielt, die Effizienz bei KI-Forschungs- und Trainingsprozessen zu verbessern. Das Framework erreicht dies durch die Entkopplung von Learner und Actor auf Architekturebene, um die Nachtrainingskosten großer Modelle zu senken. Laut offiziellen Angaben kann das Framework die Nachtrainingskosten für ein 30B-Modell von 4500 US-Dollar auf 425 US-Dollar reduzieren.

Echo-2 nutzt Speicher- und Rechenentkopplungstechnologien für asynchrones Training (Async RL) und unterstützt das Auslagern der Sampling-Rechenleistung auf instabile Grafikkarten-Instanzen sowie auf heterogene Grafikkarten basierend auf Parallax. Das Framework kombiniert Techniken wie bounded staleness, fehlerresistente Scheduling-Algorithmen und das eigens entwickelte Lattica-Kommunikationsprotokoll, um die Trainingseffizienz zu steigern, während die Modellgenauigkeit erhalten bleibt.

Darüber hinaus plant Gradient die Einführung der RLaaS-Plattform Logits, die sich derzeit in der Vorregistrierungsphase für Studierende und Forscher befindet.