Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
Несмотря на проблему размерности данных, в последние годы удалось успешно применить свёрточные нейронные сети не только для анализа статичных двумерных изображений, но также и для анализа видео и трёхмерных снимков (например, данных магнитно-резонансной томографии [2002] ).
В беспилотных автомобилях нейронные сети обрабатывают данные лидаров [2003] , [2004] .
Глубокие нейронные сети прекрасно справляются с поиском закономерностей в финансовых транзакциях. Например, при помощи вейбулловских временно-событийных рекуррентных нейронных сетей (Weibull Time To Event Recurrent Neural Network, WTTE-RNN) удаётся довольно точно предсказывать момент ухода клиента банка [2005] .
2002
Lin W., Tong T, Gao Q., Guo D., Du X., Yang Y., Guo G., Xiao M., Du M., Qu X. (2018). Convolutional Neural Networks-Based MRI Image Analysis for the Alzheimer’s Disease Prediction From Mild Cognitive Impairment / Frontiers in Neuroscience, 05 November 2018 // https://doi.org/10.3389/fnins.2018.00777
2003
*
2004
Velas M., Spanel M., Hradis M., Herout A. (2018). CNN for very fast ground segmentation in velodyne LiDAR data / 2018 IEEE International Conference on Autonomous Robot Systems and Competitions (ICARSC), Torres Vedras, 2018, pp. 97—103 // https://doi.org/10.1109/ICARSC.2018.8374167
2005
Martinsson E. (2017). WTTE-RNN: Weibull Time To Event Recurrent Neural Network. A model for sequential prediction of time-to-event in the case of discrete or continuous censored data, recurrent events or time-varying covariates. Master’s thesis in Engineering Mathematics & Computational Science // http://publications.lib.chalmers.se/records/fulltext/253611/253611.pdf
Нейронные сети применяют для анализа профилей [2006] и поведения людей в социальных сетях [2007] . При помощи некоторых трюков нейронные сети можно научить анализу графов [2008] и даже построению рассуждений в символьных системах [2009] , то есть решению задач, традиционно являющихся прерогативой символьных моделей ИИ.
Многие задачи ИИ требуют совмещения данных, принадлежащих к различным модальностям. Например, системы распознавания речи могут использовать данные видеоканала, получая дополнительные данные за счёт наблюдения за губами говорящего [2010] . А система, предназначенная для рекомендации блюд, может учитывать не только данные из рецепта, но и сведения о структуре вкусовых рецепторов человека [2011] . В последнее время нейросети способны успешно конкурировать с людьми даже в распознавании запахов и описании их при помощи естественного языка [2012] . Примеров таких мультимодальных задач в области ИИ довольно много.
2006
Rebedea T. (2017). Deep Neural Networks for Matching Online Social Networking Profiles / Conference on Computational Collective Intelligence Technologies and Applications // https://doi.org/10.1007/978-3-319-67074-4_19
2007
Tan Q., Liu N., Hu X. (2019). Deep Representation Learning for Social Network Analysis / Frontiers in Big Data, 03 April 2019 // https://doi.org/10.3389/fdata.2019.00002
2008
Hamilton W. L, Ying R., Leskovec J. (2017). Representation Learning on Graphs: Methods and Applications / IEEE Data Engineering Bulletin // https://arxiv.org/abs/1709.05584
2009
Lample G., Charton F. (2019). Deep Learning for Symbolic Mathematics // https://arxiv.org/abs/1912.01412
2010
Palaskar S., Sanabria R., Metze F. (2018). End-to-End Multimodal Speech Recognition // https://arxiv.org/abs/1804.09713
2011
Nag N., Bharadwaj A., Rao A. N., Kulhalli A., Mehta K. S., Bhattacharya N., Ramkumar P., Sitaram D., Jain R. (2019). Flavour Enhanced Food Recommendation // https://arxiv.org/abs/1904.05331
2012
Lee B. K., Mayhew E. J., Sanchez-Lengeling B., Wei J. N., Qian W. W., Little K. A., Andres M., Nguyen B. B., Moloy T., Yasonik J., Parker J. K., Gerkin R. C., Mainland J. D., Wiltschko A. B. (2023). A principal odor map unifies diverse tasks in olfactory perception / Science, Vol. 381, pp. 999-1006 // https://doi.org/10.1126/science.ade4401
В наши дни глубокие нейронные сети так популярны, что их используют даже там, где раньше никому бы в голову не пришло применить коннекционистскую модель. И нередко такие эксперименты приводят к успеху.
Многие применяемые сегодня системы представляют собой синтез символьных и коннекционистских подходов. Символьные методы часто применяются для преобразования данных в форму, удобную для подачи их в нейросетевую модель. В свою очередь, выход нейросетевой модели может служить входом для классических моделей, построенных на системах правил или методах поиска в деревьях и графах. Поэтому нередко коннекционистские модели не вытесняют классические методы, а, напротив, дают им второе рождение, как это произошло, например, с MCTS.
Специалисты активно исследуют гибридные модели, такие, например, как нейронные машины Тьюринга (Neural Turing Machine, NTM) [2013] или дифференцируемые нейронные вычислители (Differentiable neural computers, DNC) [2014] . В этих моделях нейросетевые контроллеры используются для работы с адресуемой памятью, что позволяет успешно находить алгоритмы обработки данных, недоступные пока традиционным рекуррентным нейросетевым архитектурам. Сегодня модели, подобные NTM и DMC, объединены в большой класс, получивший название MANN (Memory-Augmented Neural Networks,
2013
Graves A., Wayne G., Danihelka I. (2014). Neural Turing Machines // https://arxiv.org/abs/1410.5401
2014
Graves A., Wayne G., Reynolds M., Harley T., Danihelka I., Grabska-Barwinska A., Colmenarejo S. G., Grefenstette E., Ramalho T., Agapiou J., Badia A. P., Hermann K. M., Zwols Y., Ostrovski G., Cain A., King H., Summerfield C., Blunsom P., Kavukcuoglu K., Hassabis D. (2016). Hybrid computing using a neural network with dynamic external memory / Nature, Vol. 538, pp. 471—476 (2016) // https://doi.org/10.1038/nature20101
2015
Collier M., Beel J. (2019). Memory-Augmented Neural Networks for Machine Translation // https://arxiv.org/abs/1909.08314
Уследить за всеми успехами коннекционистских моделей в настоящее время практически невозможно — столь обширна лавина публикаций по этой тематике. Вы можете самостоятельно поиграть в игру, добавляя к названию какой-либо задачи слова neural network и выполняя соответствующие запросы в поисковом сервисе: cookies recipe neural network; detect a pig neural network; predict when you last shaved neural network. Если результат поиска вас не удовлетворит, возможно, настало время задуматься о собственном стартапе.
6.3 Машина учится понимать: обработка естественного языка
Полоний: …Что вы читаете, мой принц?
Гамлет: Слова, слова, слова.
Полоний: Но в чём же именно тут дело, принц?
Гамлет: Чьё дело, с кем?
Полоний: В чём суть того, что вы читаете, мой принц?
2016
* Пер. Н. Россова.
Различные области науки и технологий содержат множество пересечений, что делает невозможным построение их простой древовидной классификации. Обработка естественного языка (Natural language processing, NLP) — так сказать, NLP здорового человека, в отличие от раскрученного «нейролингвистического программирования», — является одновременно областью лингвистики, информатики, информационной инженерии и искусственного интеллекта. К области NLP относят распознавание речи, понимание естественного языка и его генерацию. При этом с NLP совершенно очевидным образом пересекается распознавание образов, методы которого применяются в решении различных задач NLP. Мы уже обсудили прогресс в области распознавания речи, вызванный революцией глубокого обучения, теперь пришла пора обратить внимание на другие задачи из области NLP.
В широком смысле к области NLP относят все задачи, связанные с взаимодействием между машинами и человеческими (естественными) языками. Методы NLP применяются для создания диалоговых и справочных систем, систем поиска информации и машинного перевода, систем анализа тональности высказываний (так называемый сентимент-анализ [sentiment analysis]), систем реферирования текста, уточнения текста при оптическом распознавании, проверки правописания и так далее. В отношении последней задачи я рекомендую всем интересующимся детальное исследование Татьяны Шавриной «Методы обнаружения и исправления опечаток: исторический обзор» [2017] . Вообще, для того чтобы сделать полноценный обзор методов NLP и сфер их применения, вероятно, потребовалось бы как минимум написать отдельную книгу, а возможно, и целую серию книг, поэтому здесь мы остановимся лишь на отдельных задачах и проектах, чтобы показать, как область NLP изменилась под влиянием методов глубокого обучения.
2017
Шаврина Т. О. (2017). Методы обнаружения и исправления опечаток: исторический обзор / Вопросы языкознания. № 4. С. 115—134 // https://doi.org/10.31857/S0373658X0001024-5
6.3.1 Первые диалоговые системы: ELIZA, PARRY и SHRDLU
Хигинс: Как вас зовут?
Цветочница: Элиза Дулитл.
Хигинс (торжественно декламирует):
Элиза, Элизабет, Бетси и Бесс
Удрали за птичьими гнёздами в лес.
Пикеринг: В гнезде там четыре яйца отыскали.
Хигинс: Оставили три, а по штучке забрали.
Оба заливаются хохотом, довольные своим остроумием.
2018
********** Пер. П. Мелкова.
О создании диалоговых систем [dialogue system], или, как их сегодня нередко называют, разговорных агентов [conversational agent], человечество мечтало задолго до появления ЭВМ и изобретения теста Тьюринга.
Английский историк монах XII в. Уильям Мальмсберийский приводит различные слухи, связанные со знаменитым эрудитом прошлого — папой римским Сильвестром II, который, как говорят, путешествовал в Аль-Андалус, где похитил том тайных знаний, от владельца которого смог спастись, лишь прибегнув к помощи демона. Используя знания из области астрологии (sic!), Сильвестр II смог отлить голову статуи, способную давать своему владельцу ответы на вопросы, используя слова «да» и «нет». Благодаря ей, вероятно, он мог знатно потешить себя игрой в данетки.