Отслеживание скелетов Kinect с открытым исходным кодом

Если вы были разочарованы отсутствием системы отслеживания скелетов с открытым исходным кодом для Kinect, ваше ожидание окончено.

В настоящее время для Kinect доступен драйвер с открытым исходным кодом, или вы можете использовать Microsoft Kinect SDK для Windows, который можно использовать бесплатно, если вы покупаете Windows Kinect для работы с ним. Microsoft SDK включает в себя высококачественный скелет-трекер, а также аналогичный бесплатный скелет-трекер в платформе OpenNI. Однако если вы хотели проникнуть внутрь кода и изменить его, вам не повезло.
Skeltrack — первая альтернатива с открытым исходным кодом. Он был реализован испанской компанией Igalia на основе идей, описанных в этой статье Андреасом Бааком. Однако новый трекер скелетов не использует базу данных позы. Вместо этого это просто набор эвристических функций. Такой подход означает, что пользователю не нужно начинать со специальной позиции инициализации, чтобы трекер мог заблокироваться. Просто вычисляются характеристики и возвращается местоположение суставов.
Microsoft потратила много времени на вычисления, используя машинное обучение для получения своих совместных функций обнаружения, поэтому, вероятно, будет сложно создать хорошие функции эвристически.

Полученная программа предоставляет API асинхронного отслеживания с использованием GLib и поддерживает отслеживание одним пользователем до 7 суставов — головы, плеч, локтей и рук. Он использует оболочку с открытым исходным кодом той же компании для Open Frameworks.
Большим недостатком системы на данный момент является то, что она работает только в том случае, если пользователь является единственным объектом в сцене. То есть для правильной работы требуется вычитание фона. Как заявили создатели в недавнем сообщении в блоге:
Skeltrack только зарождается, и мы хотим выявлять больше суставов скелета и работать над стабилизацией результатов, поэтому его функции и API могут измениться в будущем.
Вы можете увидеть Skeltrack в действии в демонстрационном видео ниже:

Создание такого технически сложного программного обеспечения без ресурсов такой компании, как Microsoft, — сложная задача для движения за открытый исходный код. Будем надеяться, что его можно настроить и сделать так же эффективным, как версия машинного обучения Microsoft.
Если вам известно о каких-либо других попытках построить трекер скелетов, дайте нам знать.