Gemini 2.5 прошла Pokemon Blue Всего пару месяцев назад Claude посадили играть в покемонов, где модель успешно застряла на одном моменте. Cейчас у Gemini 2.5 Pro вышло пройти игру полностью. Достижение заметное, но не означает превосходство одной модели над другой — модели запускали в разных средах с разным доступом к инфе. К примеру, помимо картинки, Gemini получала некоторые данные напрямую из движка игры и имела несколько подсказок по прохождению в промпте, без этого у модели играть не выходит. Да и в тренировочных данных ллм было полно инфы и советов по прохождению, с новой игрой было бы сложнее. Вообще хотелось бы чтобы это оформили в виде бенчмарка, но тут важно чтобы не пришли юристы Нинтендо и не засудили всех причастных. А как такое появится, там и до спидранов недалеко.

Gemini 2.5 прошла Pokemon Blue Всего пару месяцев назад Claude посадили играть в покемонов, где модель успешно застряла на одном моменте. Cейчас у Gemini 2.5 Pro вышло пройти игру полностью. Достижение заметное, но не означает превосходство одной модели над другой — модели запускали в разных средах с разным доступом к инфе. К примеру, помимо картинки, Gemini получала некоторые данные напрямую из движка игры и имела несколько подсказок по прохождению в промпте, без этого у модели играть не выходит. Да и в тренировочных данных ллм было полно инфы и советов по прохождению, с новой игрой было бы сложнее. Вообще хотелось бы чтобы это оформили в виде бенчмарка, но тут важно чтобы не пришли юристы Нинтендо и не засудили всех причастных. А как такое появится, там и до спидранов недалеко.