DeepMind presenta Gemini Robotics 2.5 e un benchmark di sicurezza aperto

DeepMind ha presentato Gemini Robotics 2.5, nuova versione del modello dedicato al controllo dei robot, insieme a un benchmark di sicurezza aperto chiamato ASIMOV-jailbreak [89]. Secondo la società, il modello risulta fino a due volte più efficace su alcune attività rispetto alla versione precedente [89]. Il dato riguarda alcune attività specifiche, non una misura generale di capacità.

Il benchmark ASIMOV-jailbreak affronta un problema diverso dalle prestazioni: verificare se un sistema robotico può essere indotto ad aggirare le proprie regole di sicurezza, cioè se un input costruito ad arte riesce a farlo uscire dai limiti previsti [89]. Il fatto che il benchmark sia aperto significa che altri gruppi possono usarlo e confrontare i risultati su basi comuni, invece di affidarsi alle valutazioni interne del laboratorio.

La combinazione è significativa perché i modelli per la robotica agiscono nel mondo fisico, dove un errore non si corregge con un nuovo prompt. Le valutazioni di sicurezza per questi sistemi devono quindi coprire sia la probabilità di comportamenti indesiderati sia la resistenza a istruzioni che cercano di provocarli. Un benchmark pubblico serve a rendere questi confronti ripetibili.

I titoli disponibili non precisano quali attività siano state misurate, su quali robot o simulatori siano stati raccolti i risultati, né quali soglie di sicurezza siano state superate o fallite. Non è indicato nemmeno quali organizzazioni abbiano contribuito al benchmark o se esistano risultati di terzi che confermino il raddoppio di efficacia.

Il nodo aperto è l'adozione: un benchmark conta se viene usato da chi sviluppa e da chi acquista sistemi robotici. Per gli utilizzatori industriali diventa un criterio in più per scegliere fra modelli diversi, sempre che i risultati siano pubblici e confrontabili.