Автомобилем управляли через систему openpilot. ИИ получал изображения с камер, после чего отдавал команды рулю, газу и тормозам. Между конусами нужно было пройти всю трассу, не выехав за ее границы. На каждую модель давали до трех попыток.
С первого раза у Astra не получилось. Машина прошла примерно половину маршрута и остановилась перед поворотом. Во второй попытке модель добралась до конца за 5 минут 22 секунды. Ехала она почти шагом — средняя скорость не достигла даже одной мили в час.
У конкурентов дела шли хуже. Claude Fable 5.1 осилила 45% маршрута, Grok 4.6 — 11%, GPT-5.6 Sol — всего 6%. Чаще всего модели теряли правильное положение машины относительно конусов и не успевали нормально скорректировать траекторию.
После неудачного заезда ИИ разрешали изучить собственные ошибки перед следующей попыткой. Для исследователей было важно проверить не только способность модели отдавать команды машине, но и то, сможет ли она сама понять, где ошиблась, и изменить поведение во время нового старта.
Управление выглядело совсем не так, как обычная поездка. После каждого действия ИИ заново анализировал изображение и решал, что делать дальше. Из-за этого автомобиль двигался рывками и надолго задерживался перед следующей командой.
Успешный заезд Astra обошелся в 6,6 млн токенов стоимостью $7,74. Скорость машины специально ограничили, а рядом все время находился человек, который мог в любой момент вмешаться и нажать на тормоз.