Encord и Zander Labs тестируют сбор данных на основе мозговых волн для обучения физического ИИ

Что происходит на складе в Сан-Леандро

На складе в Сан-Леандро, Калифорния, компания Encord, специализирующаяся на инструментарии для работы с данными для обучения ИИ, проводит эксперимент с использованием гарнитур, измеряющих мозговые волны. Пилоты — так здесь называют роботренировщиков — в гарнитурах с камерами и сенсорами выполняют различные действия, например, вытаскивают блоки из башни Дженга. Гарнитура была разработана немецким стартапом Zander Labs, который занимается нейронаукой.

По словам Люкаса Герке, нейробиолога из Zander Labs, объем мозговой активности, задействованной в каждый момент задачи, дает подсказки разработчикам моделей: это помогает определить, когда необходимо применить наиболее ресурсоемкие модели.

Почему данных не хватает

Encord считает, что главным ограничением для развития человекоподобных и складских роботов является не архитектура моделей, а нехватка реальных физических данных для обучения. Как сказал Винит Велмуруган, руководитель отдела обучения роботов в Encord, ранее работавший в лаборатории робототехники OpenAI и в Berkshire Grey: «Данных просто не существует». По его оценкам, для прорыва потребуется набор данных примерно в пять раз больше, чем видеокорпус YouTube.

Компания была основана для помощи в аннотировании данных и оценке моделей для машинного зрения. Однако, когда клиенты — ведущие робототехнические компании — начали применять сквозное обучение для задач манипуляции, Encord поняла, что должна сама производить тренировочные данные, а не просто управлять ими.

Новые методы сбора данных

Encord использует два основных источника: «эгоцентричное» видео, снятое на камеры, закрепленные на рабочих, и данные от роботов, управляемых удаленно. Пилоты в Сан-Леандро работают с установками «ведущий-ведомый» — спаренные роботизированные руки, одна из которых управляется человеком, а другая повторяет движения. Так собираются данные для задач вроде разлива кофе по чашкам или складывания фишек для покера.

Кроме мозговых волн, Encord тестирует набор датчиков на предплечье для регистрации электрических сигналов в мышцах. Это должно помочь создать 3D-модель положения руки в любой момент времени. Все данные аннотируются физическими описаниями, например «правая рука затягивает болт», что, по оценкам Велмуругана, делает их в 100 раз ценнее «мусорных эго-данных» при цене лишь в 20 раз выше.

Что это значит

Эксперимент Encord и Zander Labs находится на стадии пробного запуска. Цель — построить начальный набор данных, размеченный мозговой активностью, прогнать его через модели клиентов и оценить, улучшает ли он производительность, прежде чем решать о масштабировании. Успех может изменить экономику создания физического ИИ, но пока это лишь один из подходов в борьбе за данные.