Новый искусственный интеллект под названием DrEureka, основанный на большой языковой модели в стиле ChatGPT 4, эффективно научил четвероногого робота балансировать и даже ходить на мяче для йоги. Сперва система обучила робота в виртуальной среде, симулируя настоящую физику, а затем машина использовала полученные знания в реальном мире. Более того, как показали испытания, ИИ учит роботов лучше, чем человек.
Для эксперимента один из разработчиков DrEureka выбрал робота с открытым исходным кодом Unitree Go1. При помощи нескольких подсказок ИИ написал код, который создал систему вознаграждений и штрафов для обучения механизма в виртуальном пространстве. После этого нейросеть создала параметры трения, массы и прочих аспектов, чтобы робот обучался на основе реальных законов физики.
Впрочем, команда обнаружила, что ИИ всё равно нужно контролировать, в противном случае он будет стремиться к максимальной производительности и начнёт обманывать симуляцию. К примеру, в одном из примеров виртуальный робот обнаружил, что может двигаться быстрее, если упрётся бедром в землю и будет волочить его за собой. Однако в реальной жизни это может привести к перегреву двигателей и другим повреждениям.
Поэтому исследователи поручили нейросети быть осторожной, и в ответ она создала функции безопасности, чтобы гарантировать плавность движений и нормальную ориентацию туловища в пространстве. Оказалось, DrEureka обучает своего подопечного намного эффективнее, чем это делают люди. Всё дело в том, что в отличие от людей ИИ не разбивает задачи на маленькие изолированные шаги, а обучает всему и сразу. Поэтому команда уже готовится предоставить нейросети обратную связь из реального мира на основе видеопотока, чтобы DrEureka мог не только считывать, но и видеть свои ошибки.
