Microsoft stellt Phi-Ground 4B Open-Source und übertrifft OpenAI Operator sowie Claude bei der Bildschirmklick-Genauigkeit

Laut Beating hat Microsoft kürzlich die Modellfamilie Phi-Ground Open Source gestellt. Sie wurde entwickelt, um das Problem zu lösen, wo eine KI auf dem Bildschirm eines Computers klicken soll. Die Version mit 4 Milliarden Parametern, kombiniert mit größeren Sprachmodellen zur Planungsanweisung, übertraf in dem Showdown-Benchmark die Klickgenauigkeit von OpenAI Operator und Claude Computer Use und belegte in fünf Auswertungen, darunter ScreenSpot-Pro, den ersten Platz unter allen Modellen mit weniger als 100 Milliarden Parametern.

Das Team trainierte mit über 40 Millionen Datensamples und stellte fest, dass drei gängige Trainingsmethoden aus wissenschaftlichen Arbeiten in großem Maßstab unwirksam wurden. Der entscheidende Ansatz erwies sich als simpel: Koordinaten als normale Zahlen ausgeben, etwa „523, 417“. Frühere Forschung hatte spezielle Positionsvokabulare für Koordinaten erfunden, die jedoch nicht skalierten. Außerdem entdeckte das Team, dass das Platzieren von Texteinstruktionen vor Bildern die Leistung verbessert, da die Modelle Ziele identifizieren können, während sie Pixel verarbeiten. Zusätzlich verbesserte sich die Genauigkeit durch Reinforcement-Learning-Methoden wie DPO sogar noch nach dem Feintuning.