Нао играет музыку, как человек

Возможно, вы видели много милых видео Нао играть на музыкальном инструменте, но они в основном были закрыты петли — то есть, если вы взяли инструмент прочь Нао будет продолжать играть. В этом видео все по-другому; Нао видит и слышит инструмент и настраивает свою игру, чтобы получить лучший звук.

Это одна из проблем с робототехникой — вы можете сделать их более способными, чем они есть на самом деле. Возьмите робота-гуманоида, как Нао и положить ударный инструмент перед ним. Все, что вам нужно сделать, чтобы получить мелодию из робота является программа набора абсолютных предварительно вычисленных движений — например, см. Нао играет Jingle Bells. Каждая нота будет поражена, а также вы запрограммировали каждое движение. Если что-то меняется, как удаление инструмента, то робот просто продолжает, но удар по воздуху и не делает звука.

До тех пор, пока вы знаете это, однако, это действительно выглядит, как будто Нао играет на инструменте в чем-то вроде того, как человек игрок может. 

В этом случае вы были бы правы в принятии этого предположения. 

Робот использует свои бортовые камеры для обработки изображений, необходимых для локализации каждого бара металлофона. Затем обратная кинематика используется для вычисления движений, необходимых для того, чтобы добраться от того места, где рука, держащая молоток, находится в правильном баре. Обратите внимание, что вам нужно не только положение, но окончательная скорость, так что нота ударил правильно. Учитывая примечание sequenece необходимо обратный кинематики вычисляет хороший совместный набор движения, чтобы играть всю мелодию.

Хорошей дополнительной особенностью является то, что микрофон робота используется для мониторинга качества производимого звука. Если звук слишком тихий, то в следующий раз он попадает сильнее и так далее.  он даже проверяет, что частота является правильной в случае, если она находится вне согласования с инструментом и попал в неправильную ноту. 

Это означает, что впервые вы можете запрограммировать Nao играть мелодию, просто предоставив оценку и ожидать, что она будет играть на любом инструменте типа, а не только конкретный пример, который был использован в демо. 

Взгляните на видео для тонкостей того, что происходит: 

Кажется, что движения precomputed до мелодию играет, и если вы заметили x4 и x16 скорости в различных точках это, очевидно, занимает некоторое время. Возможно, вы не захотите ждать, пока Нао разработает, как лучше всего играть длинное музыкальное произведение. Тем не менее, все это вопрос скорости и скорости все это вопрос правильного оборудования (ну почти всегда). В принципе, вы могли бы дать Нао счет, и он может быть воспроизведен по-человечески. 

Что дальше — другие инструменты, очевидно. Хотя для некоторых инструментов, фортепиано производительности сказать, Нао понадобится еще несколько пальцев. 

Если вы хотите узнать больше, работа, в Университете Фрайбурга человеческих роботов лаборатории, появится в предстоящей конференции Humanoids 2014.