Max Home IndustryBitesnap — это недавно выпущенное мобильное приложение, которое использует распознавание фотографий, чтобы помочь вам контролировать потребление калорий. Чтобы узнать больше, мы взяли интервью у Кейта Ито, одного из основных разработчиков приложения, чтобы обсудить революционное видение Bitesnap для пищевой промышленности, а также технологическую инфраструктуру, стоящую за ним.
Все мы знаем, что поддерживать здоровую диету очень сложно, особенно в наши дни, когда работа в основном выполняется сидя, а развлечение сводится к тому, чтобы смотреть на экраны всех форм и размеров. Проблема усугубляется обилием вкусной, но нездоровой пищи.
В то время как диета обычно пытается вызвать радикальные изменения, Bitesnap, напротив, работает с тем, что вы обычно едите, пытаясь сохранить или даже сделать его здоровым, тщательно отслеживая потребление пищи на ежедневной основе. есть есть? Сфотографируйте его, и пусть Bitesnap покажет, какие калории и питательные вещества лежат в его основе, — действие, которое позволяет вам быстро принимать диетические решения и вести полный и исчерпывающий дневник еды, которую вы едите.
Это концепция. Чтобы Bitesnap мог творить чудеса, он использует преимущества последних технологических разработок в области компьютерного зрения и искусственного интеллекта, а его работа основана на стеке разработки мобильных приложений.
NV: Кейт, расскажите нам о концепции приложения. Что побудило вас создать его?
КИ: Все хотят есть более здоровую пищу, и исследования показали, что ведение дневника питания — отличный способ похудеть и улучшить свое здоровье. Но с существующими инструментами это может быть сложно. Это отнимает много времени, не очень увлекательно и, как правило, кажется рутинной работой.
В последние годы стало возможным использовать глубокое обучение для распознавания объектов на изображениях с высокой точностью. Мы поняли, что можем применить это к проблеме регистрации еды, чтобы упростить процесс, а также создать журнал красивых, увлекательных фотографий еды, которые вы можете пересмотреть, чтобы получить лучшее представление о том, что вы едите. В наши дни многие люди уже фотографируют свою еду — почему бы не получить дополнительную информацию о калориях и питательных веществах, чтобы принять более правильные решения?
Н.В.: В информации о продукте сказано:
«С Bitesnap вы можете зарегистрировать трапезу, просто сделав снимок и подтвердив некоторые детали».
О каких деталях мы говорим?
КИ: В конце концов, мы планируем дойти до того момента, когда вы сможете просто сделать снимок, а мы разберемся с остальным. В этой первой версии мы можем распознать, что это за еда, но вам все равно нужно подтвердить или отрегулировать размер порции, а иногда вам нужно также изменить способ приготовления еды. Мы проделали большую работу, чтобы сузить варианты, чтобы вы могли вносить эти корректировки с минимальными усилиями. Со временем, по мере сбора большего количества данных, мы научимся вносить эти корректировки автоматически.
NV: С точки зрения пользователя, что происходит после того, как вы сфотографируете свою еду? Что представляет собой пользователь и что он может с этими данными делать? Приложение также обрабатывает это каким-то образом, например, чтобы дать совет по питанию?
КИ: После съемки может произойти одно из двух. Если мы узнаем, что это блюдо, которое вы ели раньше, мы предложим вам возможность скопировать блюдо одним нажатием. Если нет, мы покажем вам список продуктов, которые были распознаны на изображении. Вы можете выбрать элементы из этого списка и при необходимости отрегулировать размер их порций. Мы показываем вам текущий счет калорий в еде, и как только вы закончите выбирать продукты, еда добавляется в ваш корм. Лента позволяет легко оглянуться назад и увидеть, что вы ели. Мы отслеживаем калорийность и питательные вещества ежедневно и еженедельно и позволяем вам видеть, как вы делаете это по сравнению с вашими целями. В конце концов, мы планируем добавить рекомендации о том, что вам следует есть дальше, в зависимости от ваших диетических потребностей и предпочтений.
Н.В .: Как компьютерное зрение и искусственный интеллект используются в приложении и как насчет успешности базовой сети (например, при сканировании салатов, где по определению ингредиенты нелегко отличить друг от друга)?
КИ: Мы используем компьютерное зрение, чтобы распознавать то, что вы едите. Мы делаем распознавание изображений с помощью сверточных нейронных сетей. Мы берем большое количество изображений, которые помечены продуктами питания, и сеть изучает веса для их краев, что минимизирует ошибки в предсказываемых этикетках.
С точки зрения точности, это в конечном итоге сильно зависит от данных обучения. Имея достаточное количество примеров, сеть может научиться проводить даже тонкие различия, например, между разными видами салата, которые могут быть в салате. Мы постоянно работаем над сбором и очисткой большего количества данных, чтобы мы могли улучшить нашу модель.
Н.В .: Какой подход используется для подсчета калорий, потому что определение ингредиента — это первый параметр уравнения, второй — его количество. Как с этим справляется Bitesnap?
КИ: При подсчете калорий и питательных веществ важно ответить на следующие вопросы: «Что это?», «Как это было приготовлено?». и «Сколько это стоит?» Прямо сейчас компьютерное зрение может решить первый вопрос, а во многих случаях и второй вопрос. В настоящее время пользователь должен помочь нам с третьим вопросом. В конце концов, мы планируем перейти к тому моменту, когда сможем ответить на все три вопроса автоматически.
Когда вы фотографируете еду, которую ели раньше, мы обычно можем сопоставить ее непосредственно с едой в вашей истории. В этом случае вам просто нужно нажать «ОК», и мы скопируем все, включая подготовку и размер порции. Это своего рода предварительный просмотр того, что, по нашему мнению, в конечном итоге будет во время всех приемов пищи.
NV: Какой набор инструментов используется для создания части AI? Вы подключаетесь к облачной службе, такой как IBM Bluemix, или используете решение, построенное, например, с Tensorflow?
КИ: У нас есть собственное решение, написанное на Python. Мы извлекаем выгоду из великолепной экосистемы инструментов машинного обучения с открытым исходным кодом, доступных на Python. Мы используем смесь OpenCV, scikit-learn, Theano и Keras.
Н.В .: Что вы решили сделать в стеке технологий разработки мобильных приложений и почему? И как вы обслуживаете и iOS, и Android, есть ли разные кодовые базы или есть общая для обеих платформ?
КИ: Мы используем Python на сервере. Это имеет смысл, потому что весь наш код машинного обучения написан на Python. У нас есть база данных PostgreSQL, и все обслуживается из AWS. Нам нравится все упрощать.
Приложение использует React Native, который позволяет писать код на Javascript и запускать его как на Android, так и на iOS. Мы небольшая команда, поэтому наличие единой кодовой базы — большая победа. Иногда нам приходится писать немного нативного кода, но это случается на удивление редко, а поддержка моста в React Native позволяет легко это сделать.
Н.В .: Как вы собираетесь монетизировать приложение? Целевая группа — пользователи или бизнес?
КИ: Мы считаем, что очень важно помочь людям понять их диетические потребности и предпочтения и связать их с источниками здоровой пищи, которая им понравится. Нашим приоритетом всегда будут наши пользователи. Мы хотим дать им возможность понять, что они едят, и помочь им достичь своих диетических целей; любая монетизация, которую мы добавим в будущем, будет соответствовать этому.
Н.В .: После того, как вы потратили много времени на разработку приложения, первоочередной задачей является доведение конечного результата до общественности. Насколько легко это сделать и как это сделать?
КИ: То, что мы выпустили на данный момент, на самом деле является только началом того, что, по нашему мнению, может развить эта технология. Это ни в коем случае не конечный результат. Мы усердно работаем, собирая первые отзывы, которые мы получили, и вносим улучшения и добавляем функции, о которых просили люди. Распространение информации всегда является большой проблемой. У нас есть несколько идей по маркетингу и распространению, которые, на наш взгляд, будут очень интересными. Следите за обновлениями!
NV: Почему сегодня Bitesnap доступен только в США или Канаде? Вы хотите расшириться на большее количество стран, и если да, то как бы вы локализовали его, чтобы обслуживать разные культуры с разными кухнями.
КИ: Изначально мы немного осторожно относимся к расширению, потому что продукты и методы приготовления могут сильно различаться от страны к стране. Мы хотим убедиться, что пользователи за пределами США и Канады получат хороший опыт перед запуском для них. Также есть некоторые интересные проблемы с локализацией. Например, сейчас мы поддерживаем только британские единицы для размера порции, и нам потребуется поддерживать метрическую систему в большинстве случаев. Мы хотели бы как можно скорее поддержать большее количество стран. Если вы находитесь за пределами США, у нас работает бета-версия, на которую вы можете подписаться здесь.
Н.В. И наконец, как, по вашему мнению, технологии влияют на пищевой сектор? Каковы ваши планы в обозримом будущем (например, какие функции вы хотите добавить в будущую версию) и что, по вашему мнению, станет решающим фактором в успешном и широком распространении Bitesnap?
КИ: Технологии меняют наши представления о здоровье и благополучии. Мы уже заметили огромный сдвиг в том, как люди отслеживают свою активность и упражнения с помощью таких устройств, как Fitbits и смартфоны — эти технологии значительно сократили усилия, необходимые для регистрации и анализа сжигания калорий. Мы надеемся применить нечто подобное к другой стороне уравнения: отслеживанию продуктов, которые вы вводите в свой организм. Мы сделали первые шаги к этой цели, но предстоит еще много работы. Мы считаем, что по мере того, как вырубка продуктов питания становится проще и быстрее, она понравится более широкому кругу людей, и это будет способствовать ее широкому распространению.