Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
Слово PASCAL в названии проекта отражает тот факт, что он был создан при поддержке программы Еврокомиссии под названием PASCAL (Pattern Analysis, Statistical Modelling and Computational Learning, Анализ образов, статистическое моделирование и вычислительное обучение).
В 2005 г. датасет PASCAL VOC включал в себя 1578 изображений, содержащих 2209 аннотированных объектов, относящихся к одному из четырёх классов: велосипеды, автомобили, мотоциклы и люди. На следующий год число классов возросло до 10, а с 2007 г. — до 20. Количество размеченных изображений в PASCAL VOC постепенно росло, и в 2010 г. датасет содержал 10 103 изображения с 23 374 объектами. Для сравнения: датасет, использованный на соревнованиях ILSVRC-2010, содержал 1,4 млн картинок, причём этот набор данных был лишь небольшим подмножеством ImageNet, содержавшим на тот момент 10 млн размеченных изображений. Таким образом, ILSVRC своим появлением повысил планку сразу как минимум на два порядка.
К сожалению, 2012-й стал последним в истории PASCAL VOC из-за преждевременной смерти его основателя Марка Эверингама.
Влияние PASCAL VOC на ILSVRC трудно переоценить.
Условия ILSVRC в разные годы подразумевали соревнования в решении немного различающихся наборов задач: классификация изображений [classification], классификация изображений с локализацией объектов [classification with localization] (с 2011 г.), утончённая классификация [fine-grained classification] (2012 г.), а также обнаружение объектов [detection] (с 2013 г.). В то же время во все годы проводились соревнования по классификации, что позволяет нам отслеживать последовательный прогресс в решении этой задачи.
Основной метрикой, используемой в рамках ILSVRC для оценки точности классификации, стала «ошибка топ-5» [top-5 error]. Принцип её расчёта довольно прост. В датасете ILSVRC, используемом для соревнований по классификации, каждому изображению сопоставлена единственная «истинная» метка класса, при этом число классов сокращено до 1000. Модель, «взглянув» на изображение, должна предоставить пять наиболее вероятных гипотез по поводу «истинной» метки класса. Если среди этих гипотез присутствует «истинная» метка, то ответ модели считается правильным. Величина ошибки равна доле неправильных ответов модели на тестовой выборке. Организаторы ILSVRC использовали такую метрику для того, чтобы не штрафовать модель за нахождение на изображении каких-либо второстепенных объектов. Если вместо пяти гипотез использовать десять, то такая метрика будет называться «ошибка топ-10» [top-10 error], если одну — то «ошибка топ-1» [top-1 error] и так далее.
6.2.1.2 SuperVision и её особенности
Результат лучших моделей распознавания изображений на соревнованиях ILSVRC в 2010 г. составлял 28,19% ошибок, в 2011 г. — 25,77% ошибок.
А в 2012 г. результат команды SuperVision Университета Торонто составил уже лишь 16,42% ошибок, с отрывом почти в десять процентных пунктов от второго места — команды ISI с результатом 26,17% ошибок [1836] , [1837] , [1838] .
1836
* Команда SuperVision отправляла ещё одну версию сети, при обучении которой к обучающей выборке были добавлены изображения с прошлогодних соревнований, и эта модель смогла «выгадать» ещё чуть более процентного пункта, сократив ошибку до 15,32%, но поскольку некоторые исследователи считают это не совсем честным трюком, то в прессе часто приводят первое значение.
1837
Russakovsky O., Deng J., Su H., Krause J., Satheesh S., Ma S., Huang Z., Karpathy A., Khosla A., Bernstein M., Berg A. C., Fei-Fei L. (2015). ImageNet Large Scale Visual Recognition Challenge / International Journal of Computer Vision, Vol. 115, pp. 211–252 // https://doi.org/10.1007/s11263-015-0816-y
1838
Deng J., Berg A., Satheesh S., Su H., Khosla A., Fei-Fei L. (2012). Large Scale Visual Recognition Challenge 2012 (ILSVRC2012). Held in conjunction with PASCAL Visual Object Classes Challenge 2012 (VOC2012) // http://image-net.org/challenges/LSVRC/2012/index
Команда SuperVision (в названии игра слов: super vision — суперзрение, supervision — надзор; supervised learning — обучение с учителем) состояла из трёх человек. Первый из них — Алекс Крижевский, именно в его честь архитектура сети, использованная командой SuperVision, получила название AlexNet.
После победы SuperVision на ILSVRC-2012 корпорация Google поручила своему стажёру Войцеху Зарембе воссоздать сеть на основе публикации с описанием модели. Поскольку в Google существует традиция называть нейронные сети именами их создателей, реплика нейронной сети SuperVision изначально называлась WojNet. Позже Google удалось убедить Крижевского стать её сотрудником, после чего имя сети было изменено на AlexNet.
Хотя события, спровоцировавшие медийный бум в отношении глубокого обучения, и были непосредственно связаны с именем Крижевского, биографические сведения о нём весьма скудны. Известно, что родился он в/на Украине, а вырос в Канаде [1839] . Я не могу даже поручиться, что его фамилия по-русски должна быть записана как «Крижевский», а не как «Крыжевский».
Вторым участником команды был Илья Суцкевер. Сегодня он известен как руководитель исследовательского отдела OpenAI, однако в 2012 г. это имя вряд ли что-то сказало бы неспециалистам.
1839
Gershgorn D. (2018). Rise of AlexNet: The inside story of how AI got good enough to dominate Silicon Valley / QUARTZ, June 18, 2018 // https://qz.com/1307091/the-inside-story-of-how-ai-got-good-enough-to-dominate-silicon-valley/
И
Кстати говоря, команда Хинтона причастна и к созданию популярных и в наши дни баз данных изображений CIFAR-10 и CIFAR-100, созданных за счёт средств Канадского института передовых исследований (Canadian Institute for Advanced Research, CIFAR). Оба датасета, созданные Алексом Крижевским, Винодом Наиром и Джеффри Хинтоном, были опубликованы в 2009 г. и с тех пор пользуются большой популярностью в качестве стандартного набора изображений в задачах распознавания образов.
CIFAR-10 содержит 60 000 изображений, относящихся к 10 непересекающимся классам (6000 изображений на класс). В CIFAR-100 тоже 60 000 изображений, но уже 100 классов (по 600 изображений на класс). Оба датасета являются размеченными подмножествами набора данных Visual Dictionary, содержащего 80 млн крошечных (вписывающихся в рамку 32 x 32 пикселя) изображений [1840] .
Основой для создания датасетов CIFAR стал датасет «80 Million Tiny Images» [80 млн крошечных изображений], или просто Tiny Images, — набор данных, который содержит почти 80 млн цветных изображений размером 32 x 32 пикселя. Для его создания исследователи из MIT подготовили набор из 75 062 конкретных (не абстрактных) имён существительных, входящих в состав лексической базы WordNet, затем использовали каждое из этих существительных в качестве текста запроса по поиску изображений к семи различным системам — Altavista, Ask.com, Flickr, Cydral, Google, Picsearch и Webshots, после чего произвели уменьшение размеров полученных картинок [1841] .
1840
Krizhevsky A. (2009). Learning Multiple Layers of Features from Tiny Images // https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf
1841
Torralba A., Fergus R., Freeman W. T. (2008). 80 million tiny images: a large data set for nonparametric object and scene recognition / IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 30, Iss. 11, pp. 1958—1970 // https://doi.org/10.1109/TPAMI.2008.128
В 2020 г. датасет Tiny Images был изъят его создателями из обращения после сообщений, что обученные на этом датасете модели демонстрировали проявления предвзятости в отношении расы и пола. Например, авторы статьи «Огромные датасеты: пиррова победа для компьютерного зрения?» (Large datasets: a pyrrhic win for computer vision?) [1842] продемонстрировали, что многие популярные датасеты изображений, в частности Tiny Images, содержат в своей разметке оскорбительные слова (вроде печально известного N-word), подмножества изображений с метками child_molester [растлитель малолетних], rape_suspect [подозреваемый в изнасиловании], pedophile [педофил] и тому подобное, содержат фотографии конкретных людей, а некоторые попавшие в датасет изображения носят порнографический характер.
1842
Prabhu V. U., Birhane A. (2020). Large image datasets: A pyrrhic win for computer vision? // https://arxiv.org/abs/2006.16923
В ответ создатели Tiny Images попросили других исследователей не использовать этот датасет для дальнейших исследований и удалить свои копии набора данных [1843] , [1844] , [1845] , [1846] . К счастью, датасеты CIFAR при создании подвергались дополнительной фильтрации, поэтому изъятие Tiny Images из оборота на них не повлияло.
1843
Torralba A., Fergus R., Freeman B. (2020). June 29th, 2020 // https://groups.csail.mit.edu/vision/TinyImages/
1844
Ustik G. (2020). MIT removes huge dataset that teaches AI systems to use racist, misogynistic slurs / TheNextWeb, July 1, 2020 // https://thenextweb.com/neural/2020/07/01/mit-removes-huge-dataset-that-teaches-ai-systems-to-use-racist-misogynistic-slurs/
1845
Gorey C. (2020). 80m images used to train AI pulled after researchers find string of racist terms / siliconrepublic, 13 Jul 2020 // https://www.siliconrepublic.com/machines/mit-database-racist-misogynist-discovery-abeba-birhane
1846
Quach K. (2020). MIT apologizes, permanently pulls offline huge dataset that taught AI systems to use racist, misogynistic slurs. Top uni takes action after El Reg highlights concerns by academics / The Register, 1 Jul 2020 // https://www.theregister.com/2020/07/01/mit_dataset_removed/