DeepLoco учится не только ходить, но и бить по мячу

Обучение ходьбе носит иерархический характер. или так, кажется, предлагает DeepLoco. Нет, это не безумие глубокого обучения, а ходьба с глубоким обучением — и это выглядит неплохо.

Задача научить робота ходить заключается в том, что это выглядит легко. Вы просто достигаете равновесия, а затем ставите одну ногу перед другой. Если вы когда-либо видели практически любое видео, на котором робот пытается ходить, вы вполне можете решить, что это гораздо более сложная задача, чем вы думали вначале.
DeepLoco, и да, я должен признать, что в наши дни слишком много вещей называется DeepSomething, это попытка научиться ходить, используя иерархический подход. Сначала сеть изучает низкоуровневый контроль конечностей, чтобы уверенно ходить. Затем сеть более высокого уровня изучает, как лучше всего использовать способности более низкого уровня для навигации по местности. Это очень похоже на то, как мы это делаем — ноги переходят в ходьбу, и мы ищем лучший способ двигаться.
Сети обучаются с использованием обучения с подкреплением. То есть сетям не говорят, как ходить, а только насколько хорошо они справляются.
«Результаты демонстрируются на моделируемом трехмерном двуногом человеке. Контроллеры низкого уровня изучены для различных стилей движения и демонстрируют надежность в отношении возмущений на основе силы, вариаций ландшафта и интерполяции стилей. через местность, ведение футбольного мяча в указанное место и перемещение через статические или динамические препятствия ».
Результаты, представленные на SIGGRAPH 2017, впечатляют:

Если вы хотите узнать больше о том, как все это работает, посмотрите полное видео:

Было бы хорошо, если бы этот или аналогичный алгоритм применялся к настоящему роботу. Моделирование — это хорошо, но в реальном мире есть способ бросить неожиданное в потенциальных пешеходов.
У исследовательской группы есть несколько идей, куда двигаться дальше:
«Интересным направлением было бы изучение враждебного и кооперативного поведения между несколькими персонажами, например, для игры в тег или для предотвращения столкновений при пересечении путей. В будущем мы также надеемся, что сможем напрямую научиться управлять 3D-моделями, управляемыми мускулами. »