Китайская AGIBOT открыла датасет AGIBOT WORLD 2026: демонстрации робота-манипулятора, записанные не в лаборатории, а в реальных коммерческих и бытовых пространствах. Материал выложен в экосистеме LeRobot, собирается по отдельным задачам и сопровождается симметричными симуляционными данными.

Для команды, которая делает робота, систему машинного зрения или автоматизацию операции, полезны здесь три вещи:

  • готовый формат обучения — структура LeRobot v2.1, где политика обучается без конвертации: Parquet-эпизоды с состоянием и действиями плюс видеопотоки камер;
  • три слоя разметки — от формулировки подзадачи до примитивного навыка и рамки объекта, то есть можно учить связку «человеческая фраза → конкретное действие», а не только воспроизведение траектории;
  • пары «реальность и цифровой двойник 1:1» — симуляционная версия тех же сцен опубликована в проекте GenieSim, поэтому гипотезу можно проверить и до доступа к чужому железу.

Что лежит в датасете

Данные собирались на платформе AGIBOT G2: колёсная база, поворотные голова и пояс, две руки с многопальцевыми кистями AGIBOT OmniHand и Swift Picker. Карточка датасета перечисляет синхронизированные модальности: RGB и RGB-D, тактильные сигналы, облака точек LiDAR, IMU и полные состояния суставов.

Видеоканалы в описании схемы — это обзорная камера observation.images.top_head, камеры на запястьях hand_left и hand_right, а также head_depth, две фишай-камеры головы, задняя фишай-камера и стереопара. Векторы состояния и действия расписаны по полям: state/joint/position, state/joint/velocity, state/left_effector/position, state/right_effector/position, action/joint/position, action/robot/velocity.

Файловая структура стандартна для LeRobot: meta/ со схемой и статистикой, data/ с Parquet-файлами (один файл — один эпизод) и videos/ с MP4 (один файл — один видеопоток одного эпизода). Главный манифест — meta/info.json: там тип робота, число эпизодов и кадров, частота кадров, описание признаков и шаблоны путей.

Разметка добавлена поверх стандартной спецификации тремя слоями.

СлойЧто хранитДля чего используется
Task Frame (подзадачи)интервал кадров [start, end), формулировка на естественном языке, флаг успехаобучение длинным составным задачам, отбор успешных сегментов
2D Bounding Boxкатегория объекта, нормализованные координаты, камера, привязка к рукеобъектно-условные политики, привязка фразы к области кадра, разбор захвата
Instruction Segmentsпоследовательность примитивных навыков («Pick», «Place» и т. п.) с границамипостановка задачи как цепочки шагов, разбор ошибок на уровне операции

Почему сборка отличается от «ещё одной записи демонстрации»

В пресс-релизе ключевое отличие — free-form сборка: телеоператор действует по фактической обстановке, а не повторяет заранее написанный скрипт. Производитель заявляет рост разнообразия внутри эпизода и лучшую обобщаемость по категориям объектов, начальным конфигурациям и последовательности шагов.

Три приёма, которые влияют на качество данных:

  1. Whole-body control. Руки, пояс и кисти управляются согласованно, поэтому запись описывает робота как единую систему, а не отдельную манипуляторную ось.
  2. Телеуправление от первого лица за пределами прямой видимости. Восприятие оператора совмещено с восприятием робота, что делает управление непрерывным и переносимым.
  3. Сбор с силовым контролем. В данные попадают контактная динамика и обратная связь по усилию, а не только геометрическая траектория.

Отдельно отмечено, что траектории с восстановлением после ошибки не выбрасываются, а сохраняются и размечаются. Для обучения это corrective prior: модель видит не только «как правильно», но и «как выйти из неверного состояния». Прежняя версия датасета, AgiBot World Colosseo (статья на arXiv от 9 марта 2025 года), заявляла проверку с участием человека на конвейере сбора.

Контекст: пять фаз и что уже было

AGIBOT WORLD 2026 публикуется пятью этапами, привязанными к направлениям исследований в embodied AI. Первый — имитационное обучение: сотни часов реальных данных, преимущественно из коммерческих и сервисных пространств, где описания задач, последовательности действий, метки атомарных навыков и разметка объектов связаны между собой.

Затем, по данным карточки и связанного challenge, идут поднаборы «богатое взаимодействие» и «обучение с подкреплением по человеческой обратной связи», а соревнование 2026 года разбито на два трека: понимание и манипуляция в открытом мире, моделирование мира и предсказание.

Точка отсчёта важна: предыдущий релиз того же проекта (AgiBot World Colosseo) заявлял более 1 млн траекторий, 217 задач и пять сценариев развёртывания, а обученная на нём общая политика GO-1 по утверждению авторов давала в среднем на 30 процентов лучше результат, чем предобученная на Open X-Embodiment, и более 60 процентов успеха на сложных задачах. Это заявления производителя и его собственной статьи — независимого подтверждения у них нет, и воспроизводить цифры придётся на своей постановке.

Что с этим реально сделать

Практичный вход — не скачивать всё, а проверить совместимость. В карточке есть пример структуры и содержимого — служебный срез объёмом около 7 ГБ, скачивание по отдельной задаче через git sparse-checkout (пример пути вида 20260315/tar/task_3777) и утилита split_episode.py, которая по разметке Task Frame режет длинный эпизод на фрагменты с одной инструкцией.

Дальше логика проверки такая: выбрать 5-10 задач, близких к вашей операции; собрать baseline поведенческого клонирования на LeRobot; определить критерий успеха на своих эпизодах и частоте кадров; сравнить, насколько политика, обученная на чужой морфологии, вообще доезжает до вашего захвата и геометрии.

Отдельная польза для своих проектов — методика разметки. Три слоя аннотаций, сохранение recover-траекторий и флаг результата подзадачи — это готовый образец того, как стоит собирать данные на собственном участке, если задача дойдёт до обучения политик.

Границы и риски

  • Лицензия CC BY-NC-SA 4.0 (указана в параметрах карточки датасета). Некоммерческое использование плюс обязательное указание автора и распространение на тех же условиях. Для коммерческого продукта нужны отдельные договорённости с правообладателем; «открыто» здесь означает «открыто для исследований».
  • Привязка к морфологии. Данные сняты на G2 с конкретной рукой, поясом и колёсной базой. Перенос на другую платформу — это ретаргетинг действий и пересчёт частоты/задержек, и он не бесплатен.
  • Распределение среды. Коммерческие и бытовые сцены китайского рынка: ассортимент, планировки и предметы могут не совпасть с вашим доменом, и обобщаемость надо мерить именно на своём наборе объектов.
  • Инфраструктура. Полный набор распространяется через Hugging Face и git-lfs с доступом по токену; скачивание целиком и обучение потребуют дискового пространства, сети и GPU-ресурса.
  • Проверяемость заявлений. Часы, объёмы и проценты успеха исходят от самого AGIBOT; независимого аудита на дату нашей проверки мы не нашли.
  • Русскоязычный контекст. Отдельных технических разборов именно AGIBOT WORLD 2026 на русском на 13.10.2026 нам встретить не удалось, поэтому формулировки стоит сверять по первоисточнику, а не по пересказам.

Полезные ссылки