Elon Musk affirme que Colossus2 entraîne actuellement 7 modèles simultanément, avec un maximum de 100k milliards de paramètres

D’après le suivi de 1M AI News, SpaceX et le fondateur de xAI, Elon Musk, a publié sur X en disant que le supercalculateur de SpaceXAI, le cluster d’entraînement Colossus 2, entraînait actuellement simultanément 7 modèles :

1. Imagine V2, la prochaine génération de modèles de génération d’images et de vidéos
2. 2 variantes d’un modèle à 1 billion de paramètres
3. 2 variantes d’un modèle à 1,5 billion de paramètres
4. Un modèle à 6 billions de paramètres
5. Un modèle à 10 billions de paramètres

Il a ajouté la remarque « encore des choses à rattraper à faire » (Some catching up to do). Auparavant, plusieurs médias avaient rapporté que le prochain modèle phare de xAI, Grok 5, aurait une taille d’environ 6 billions de paramètres, ce qui correspond au 6T de la liste. Le modèle à 10 billions de paramètres n’avait jamais fait l’objet d’annonces publiques auparavant.

Dans son message, Musk utilise « SpaceXAI » pour désigner l’entité issue de la fusion entre SpaceX et xAI. Les deux sociétés ont finalisé la fusion en février de cette année, avec une valorisation d’environ 1,25 billion de dollars. Colossus 2 est mis en ligne le 1 月 17 日, et c’est le premier cluster mondial d’entraînement d’IA de niveau gigawatt, avec une mise à niveau prévue vers 1.5GW ce mois-ci.