Max Home IndustryЗвучит замечательно. Если бы только его можно было заказать к сезону праздников. Однако это может стоить вам намного больше, чем предполагает ценник в 400 долларов. У кого-нибудь есть подкрепление?
В настоящее время обучение с подкреплением (RL) широко используется в искусственном интеллекте. Вы не говорите системе, что правильно или неправильно, вы просто предоставляете обратную связь в виде вознаграждения, соответствующего действию и его результату. Теория RL не особенно сложна, но применять ее можно. Системы RL, как правило, очень медленно обучаются, а тренировочные циклы продолжаются и продолжаются.
Amazon хочет побудить нас заняться искусственным интеллектом, и в частности RL, и на конференции Re: Invent в этом году одним большим объявлением была DeepRacer. Он описывается как гоночный автомобиль в масштабе 1/18 — хотя неясно, что это за масштабная модель, так как это выглядит очень странно:
Это вид автомобиля спереди, и вы можете видеть камеру, которая используется для навигации по трассе. Создается впечатление, что рекламный отдел Amazon считает, что передняя часть — это острый конец многих рекламных снимков — см. Фото в конце.
Характеристики оборудования довольно скромные:
Обратите внимание, что он использует довольно маленький процессор и не большой объем памяти. Причина в том, что обученные модели RL сравнительно легки для работы. Программное обеспечение используется довольно интересно. Операционная система — это хорошо известная ROS — операционная система роботов, работающая под управлением Ubuntu. Система технического зрения — это Intel OpenVINO, основанная на OpenCV / TensorFlow и способная использовать аппаратное ускорение, обеспечиваемое графическими процессорами или Intel Neural Compute Stick. Однако похоже, что в DeepRacer нет никакого аппаратного ускорения — возможно, использование некоторых USB-портов для нескольких нейронных вычислительных модулей может дать вашему DeepRacer преимущество над остальными.
Аппаратное обеспечение будет стоить около 400 долларов, когда оно будет доступно, где-то в следующем году, но если вы закажете его сейчас, вы можете получить его всего за 249 долларов — выгодная сделка. И да, многие захотят купить его и присоединиться к лиге DeepRacer:
Лига — соревнуйтесь в первой в мире глобальной автономной гоночной лиге, соревнуйтесь за призы и славу и получите шанс пройти в гранд-финал AWS DeepRacer, чтобы выиграть желанный кубок AWS DeepRacer.
Все очень весело, но …
Обучение с подкреплением непросто, и, несмотря на заверения в том, что вам нужно только базовое программирование на Python, я предполагаю, что вам понадобится гораздо больше. Кажется, есть какое-то нестандартное программное обеспечение для устройства. Для обучения и тестирования модели предоставляется тренажер на ипподроме. В четырехэтапном разделе «Приступая к работе» говорится, что вы можете создать модель, потренироваться на симуляторе, внести в таблицу лидеров, чтобы показать, насколько хорошо вы справляетесь, а затем развернуть модель на модели гоночного автомобиля, чтобы опробовать ее на практике. В данном случае дьявол кроется в деталях — тренируйтесь на тренажере.
Если вы посмотрите на это немного подробнее, DeepRacer основан на Amazon SageMaker для моделей глубокого обучения, новом AWS RoboMaker для симулятора, Kinesis для видеопотоков, а также на хранилище S3 и CloudWatch для журналов. Таким образом, вы будете сильно привержены использованию AWS, и, хотя у этих сервисов есть бесплатные уровни, вы, вероятно, превысите их и в конечном итоге потратите реальные деньги. Например, у SageMaker есть 2-месячный ограниченный бесплатный период, после которого вы платите в соответствии с размером используемого экземпляра машины. Система с умеренной производительностью будет стоить от 0,25 до 0,50 долларов в час и намного дороже, если вы хотите использовать графические процессоры.
Возможно, Amazon планирует заключить специальную сделку по времени вычислений, но, учитывая количество компьютерного оборудования и время, которое вы должны потратить на RL, чтобы заставить его работать, DeepMind потребовалось 5000000 минут вычислительного времени с использованием графических процессоров для обучения. играть в игры Atari — не думаю, что это может быть так щедро.
Итак, DeepRacer выглядит забавно, но вполне может стоить вам намного больше, чем заявленная цена в 400 долларов.