Max Home IndustryGoogle объявила о проведении в 2018 году конкурса iNaturalist Challenge для 5-го Международного семинара по мелкозернистой визуальной категоризации (FGVC5), который сейчас проходит в Kaggle. Это соревнование по классификации видов с «длинным хвостом», которое создает особые проблемы для машинного обучения.
Сайт FGVC5 объясняет актуальность этого конкурса и связанной с ним задачи по определению мебели и товаров для дома, которая также находится на Kaggle, в области его интересов:
Тонкая категоризация, то есть тонкое разделение на виды животных и растений, моделей автомобилей и мотоциклов, архитектурных стилей и т. Д., Является одной из самых интересных и полезных открытых проблем, которые сообщество машинного зрения только начинает решать. Аспектами тонкой категоризации (называемой в литературе по психологии «подчиненной категоризацией») являются дискриминация связанных категорий, систематизация и различительное и генеративное обучение.
Тонкая категоризация лежит в континууме между категоризацией базового уровня (распознавание объектов) и идентификацией индивидов (распознавание лиц, биометрия). Визуальные различия между подобными категориями часто довольно тонкие, и поэтому их трудно устранить с помощью современных механизмов распознавания объектов общего назначения. Вполне вероятно, что для подхода к точной классификации потребуется радикальное переосмысление некоторых алгоритмов и моделей сопоставления и обучения, которые в настоящее время используются для визуального распознавания.
Команды с лучшими работами как для iNaturalist, так и для iMaterialist будут приглашены представить свои работы в прямом эфире на семинаре FGVC5 22 июня, который проходит параллельно с конференцией CVPR 2018, проходящей в Солт-Лейк-Сити, штат Юта.
В блоге Google Ян Сонг, штатный инженер-программист и Серж Бони, приглашенный преподаватель, Google Research, примечание:
Для компьютеров различение мелкозернистых категорий является сложной задачей, поскольку многие категории имеют относительно мало обучающих примеров (например, проблема длинного хвоста), примеры, которые существуют, часто не имеют авторитетных обучающих меток, и существует вариабельность в освещении, угле обзора и окклюзии объектов.
Это вторая задача в области естествознания, и, как показано на приведенном выше графике, это означает больший набор данных с еще более длинным хвостом. Набор данных iNat Challenge 2018 содержит более 8000 видов, с комбинированным обучающим и проверочным набором из 450 000 изображений, которые были собраны и проверены несколькими пользователями из iNaturalist. Набор данных содержит множество визуально похожих видов, захваченных в самых разных ситуациях со всего мира. Обучающие данные, аннотации и ссылки на предварительно подготовленные модели можно найти в репозитории inat_comp GitHub.
Конкурс теперь открыт на Kaggle для участия в конкурсе на Kaggle, крайний срок подачи заявок-28 мая, а окончательные заявки-4 июня. До сих пор зарегистрировались 14 команд, что намного меньше, чем 127 для Google Landmark Challenge, который работает одновременно, а также в рамках CVPR 2018. А с учетом других конкурсов Kaggle, привлекающих сотни, а то и тысячи участников, явка всего 20 участников в прошлом году очень разочаровывает.
Проблема, по-видимому, согласно теме обсуждения, заключается в том, что организаторы Kaggle постановили, что рейтинговые баллы не будут присуждаться за этот вызов. Этот комментарий от участника Kaggle Шашанка Шекхаре подводит итог настроениям в теме:
Похоже, что нет никакого стимула для участия в этом конкурсе :
Набор данных, безусловно, не тривиален по размеру более 100 ГБ и потребует аппаратных ресурсов, а также вычислительного времени для обучения (которые не предоставляются организаторами).
Кроме того, участники не будут вознаграждены каким-либо образом, если они получат результаты, достаточно хорошие для демонстрации на семинаре, поскольку они должны самостоятельно принять меры.
Наконец, мы даже не получаем очки брауни в виде рейтинговых очков Каггла.
Пока я согласен … что исследовательские конкурсы, как правило, не дают рейтинговых очков, но большинство из них предлагают призы за лучшие системы. Еще один конкурс на основе семинара CVPR, проводимый одновременно (Распознавание и поиск ориентиров), позволил получить рейтинговые баллы и призы за лучшие системы.
Я должен признать, что у меня есть личная заинтересованность в этом конкурсе. Некоторые из нашей команды также являются членами Naturalist, и некоторые фотографии, которые мы сделали, могут даже быть частью набора данных. Очень приятно представить наблюдение за чем-то, что вы никогда раньше не видели, и определить это с помощью знаний толпы. Но ударь по длинному хвосту и обнаружь, что никто другой тоже не может его распознать, и ты пожелаешь более совершенной системы, которую, надеюсь, сможет обеспечить машинное обучение.