Сообщества и революции

tomatyss Ivan Yufryakov July 26, 2020

Сообщества и революции

«Если я видел дальше других, то потому, что стоял на плечах гигантов»

Очень мной любимая фраза из письма Ньютона Роберту Гуку. Она сама по себе подтверждает заложенный в ней тезис. Скорее всего Ньютон позаимствовал эту фразу у Бернара Шартрского, а тот в свою очередь у Присциана.

Если взять абстрактную индустрию и попробовать спрогнозировать ее будущее, то одним из критериев предсказания революций в этой индустрии будет наличие и активность неформальных сообществ внутри неё. В сущности, ведь можно сказать, что социальный процесс — это векторная сумма индивидуальных воль.

Например, если взять IT, можно с уверенностью сказать, что эта индустрия будет и дальше определять часть будущего за счет развития неформальных сообществ, участники которых обладают определенным уровнем энергии. Эти люди готовы в нерабочее время сутки на пролет работать над проектами, которые потом безвозмездно отдадут в пользование любому, у кого есть такая необходимость. Как только возникает какой-то вопрос и потребность, находится группа энтузиастов, порой только на короткое время, придумать решение, реализовать его и выложить в открытый доступ. Даже если это поиск сида скриншота мира из главного меню Minecraft, для которого нужно перебрать ~90 миллиардов вариантов миров, высадить бесконечное количество блоков с травой и определенить координаты Y и Z по облакам (кому интересно, что за пургу я сейчас сказал, вот видео).

И я каждый раз радуюсь, когда эти парадигмы мигрируют в сторону кухни, баров и того, что действительно важно.

Один из таких проектов EPIC-KITCHEN. C 2018 года команда, куда входят участники из различных университетов (от Кембриджа до Джорджии и Сингапура), а также некоторые корпоративные исследовательские лаборатории, такие как группа по искусственному интеллекту (далее ИИ) из Facebook, собирает один из самых больших датасетов по работе на кухне.




Зачем нужны датасеты


Любому прорыву, обычно, предшествуют долгие исследования. Хороший пример ImageNet Challenge 2012 Analysis. В 2012 году, когда еще не из каждого утюга звучали предложения по внедрению ИИ и компьютерного зрения в каждое устройство, была создана ImageNet — это краудсорсинговая база данных, содержащая миллионы аннотированных (размеченных) изображений. На основе этого огромного датасета устраивали соревнования. В 2012 году команда Hinton показала, что при использовании глубинного обучения, можно добиться точности распознавания объектов 95% (к слову, это лучше, чем у большинства людей). Это стало огромным прорывом, который используется теперь повсеместно во всех уголках мира.

Вернемся к кухне. Кухня — это одна из самых сложных сред по взаимодействию (это сложнее, чем водить машину или распознавать котиков на картинке, для робота во всяком случае). Обстановка на кухне не поддается линейному описанию. Практически любой человек многозадачен на кухне — он одновременно может поглядывать, как что-то готовиться на плите, резать фрукты/овощи и следить за таймером на духовке.


В связи с этим группа энтузиастов решила собрать размеченный датасет того, что происходит на кухне. Глобальной целью EPIC-KITCHENS является создание открытого массива данных обо всем, что происходит на кухне, на основе которого разработчики и исследователи смогут обучать ИИ для помощи на кухне.

Из интересного, что можно увидеть на распределении объектов, например, что специи мы используем чаще, чем овощи, а молоко и яйца совсем немного (но, возможно, это зависит от региона или возрастной группы).


Можно также посмотреть на то, как на кухне распределяются описывающие действия глаголы.



Как это можно применять


В 2019 году проект имел продолжение, поставив перед командой две задачи:

  1. Первая задача заключалась в создании моделей, способных распознавать большинство действий на кухне.
  2. В рамках второй задачи было необходимо с помощью созданных моделей предсказать действия, которые будут происходить после просмотра секундного ролика.

В итоге были опубликованы результаты обеих задач.

Например, часть участников использовала для обучения моделей аудио, а не видео (достаточно не традиционный подход). Часть участников шла классическим подходом — исследуя расположение объектов относительно друг друга.

Новая цель исследования — это проверка временем. Уже в наборе есть модели, которые работают хорошо, но данных становится больше, участники переезжают с кухни на кухню, к проекту присоединяются новые участники, теперь надо убедиться, что эти же модели будут работать также хорошо. То есть показать модели реальную жизнь. :)

Думаю, эти данные можно использовать уже сейчас для проектирования рабочих пространств и для предсказания необходимости помощи коллеге. Если совсем заморочиться, то можно проделать похожий эксперимент в рамках своей кухни, проанализировать и осознать, как на самом мы на ней работаем. Думаю будет много интересных выводов.

И, конечно, очень хочется увидеть такой же объем размеченных данных по работе профессиональных шефов и барменов.


А что еще посмотреть?


  • Вот, например, отличная работа, где нейронка генерирует рецепт по фотографиям блюд.
  • Соревнования на кагле, где первый датасет состоит из ингредиентов неких блюд, надо предсказать cuisine.
  • Крутая книжка для гигов
  • Шуточка для тех, кто любит deep learning

P.S.

Добавляя свои рецептуры коктейлей в базу mxlgst.com, вы также делаете этот мир немного лучше.

Comments

Log in to leave a comment

lizevdok

Elizaveta Iufriakova 3 months ago

И правда было бы интересно увидеть такой же объем данных по работе на профессиональных кухнях. Думаю, что результат будет достаточно сильно отличаться, так как на домашних кухнях мы редко задумываемся о функциональности и эффективности используемого пространства. Тогда как на профессиональных кухнях — это один из столпов организации рабочего места (если говорить про адекватную кухню).