Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
2. Задачи [восстановления] регрессии. Данные задачи в целом похожи на задачи классификации, но в них мы имеем дело не с множеством классов, к которым хотим отнести экзаменуемый объект, а с некоторой непрерывной величиной, которую желаем оценить на основании входных факторов. Простой пример — модель, пытающаяся определить возраст человека по фотографии. Любую задачу классификации можно свести
Понятие регрессии ввёл в 1886 г. антрополог Фрэнсис Гальтон, изучавший статистические закономерности наследственности. В рамках разработанного им антропометрического подхода учёный измерял у своих соотечественников множество параметров: размеры головы, рост, возвышение над стулом при сидении, размах рук, объём вдыхаемого воздуха, массу тела, время реакции на зрительные и звуковые раздражители — и даже оценивал степень привлекательности девушек. На Международной выставке здоровья, открывшейся в 1884 г. в Лондоне, в антропометрической лаборатории Гальтона было проведено 150 000 отдельных измерений для 10 000 человек. Данные, собранные учёным, среди прочего содержали сведения о 928 потомках 205 матерей и отцов. Изобразив данные на графике, Гальтон обнаружил вполне ожидаемую положительную ассоциацию между ростом родителей и их детей, однако заметил, что дети наиболее высоких родителей имели тенденцию уступать своим родителям в росте, в то время как для наиболее низких родителей наблюдалась обратная зависимость: их дети обычно превосходили родителей ростом. Полученные данные повторяли результаты серии экспериментов 1876 г., в которых Гальтон изучал диаметр горошин; наиболее крупные горошины давали обычно более мелких, чем они сами, потомков, а наиболее мелкие — более крупных [46] . Гальтон назвал этот феномен «регрессией к среднему» и ввёл понятие «степень регрессии» (сегодня обычно её называют коэффициентом регрессии) [47] . Позже термин, возникший в частной прикладной задаче, закрепился за широким классом методов восстановления зависимостей [48] .
46
The measurement of man // http://www.galtoninstitute.org.uk/sir-francis-galton/psychology-statistics-criminology/
47
Galton F. (1886). Regression Towards Mediocrity in Hereditary Stature. The Journal of the Anthropological Institute of Great Britain and Ireland, Vol. 15, pp. 246—263 // http://www.jstor.org/stable/2841583
48
Воронцов К. В. Математические методы обучения по прецедентам (теория обучения машин) // http://www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf
3. Задачи преобразования последовательностей, или, как их принято называть, seq2seq-задачи (от sequence to sequence — «последовательность в последовательность») [49] . Модель получает на вход некоторую последовательность и должна выдать также некоторую последовательность, соответствующую входной. Простой пример — задача перевода текста с одного языка на другой. В данном случае входная последовательность — это текст, написанный на одном языке, выходная — перевод входного текста на другой язык. Другой пример — задача распознавания речи, при которой на вход модели подаётся последовательность звуковых амплитуд, а на выходе получается текстовая расшифровка речи. Задачи регрессии и классификации тоже можно представить в виде задачи преобразования последовательности в последовательность. В этом случае входная последовательность будет содержать значения входных факторов (или весь набор значений факторов в виде единственного элемента-вектора), а выходная будет состоять из одного элемента — метки класса или значения регрессии. Этот пример показывает некоторую условность выделения категорий задач машинного обучения. Когда мы относим ту или иную задачу к категории seq2seq, то обычно хотим тем самым подчеркнуть, что входные и выходные данные модели могут иметь переменную размерность. Если же, например, на входе нашей модели последовательность переменной длины, а на выходе — метка класса, то такая задача будет скорее отнесена к задачам классификации последовательностей (sequence classification) [50] . Примером такой задачи может быть выявление языка, на котором написан некоторый текст переменной длины. Аналогичным образом говорят о регрессии последовательностей (sequence regression) [51] , в случаях когда на входе модели — последовательность, а на выходе — некоторая величина, например на входе — текст комментария в Facebook, а на выходе — предполагаемый возраст его автора.
49
Luong M.-T., Brevdo E., Zhao R. (2017). Neural Machine Translation (seq2seq) Tutorial // https://web.archive.org/web/20171123080802/https://www.tensorflow.org/tutorials/seq2seq
50
См., напр.: Xing Z., Pei J., Keogh E. (2010). A Brief Survey on Sequence Classification / SIGKDD Explorations, Vol. 12, pp. 40—48 // https://doi.org/10.1145/1882471.1882478
51
См., напр.: Gsponer S., Smyth B., Ifrim G. (2017). Efficient sequence regression by learning linear models in all-subsequence space / Ceci M., Hollmen J., Todorovski L., Vens C., Dzeroski S. (2017). Machine Learning and Knowledge Discovery in Databases. Springer International Publishing.
4. Также важными разновидностями задач машинного обучения являются задачи сокращения размерности (dimensionality reduction) [52] и задачи генерации (порождения) данных [53] . Представим себе свидетеля преступления, который описывает внешность преступника словами: сообщает цвет глаз, рассказывает о причёске, форме носа и глаз, наличии или отсутствии усов, бороды, воспроизводит другие особенности внешности, называет пол преступника, его ориентировочные рост и возраст. Такой набор свойств обычно называют признаками или фичами (от англ. features)
52
Roweis S. T., Saul L. K. (2000). Nonlinear Dimensionality Reduction by Locally Linear Embedding / Science, Vol. 290, Iss. 5500, pp. 2323—2326 // https://doi.org/10.1126/science.290.5500.2323
53
Bishop C. M., Lasserre J. (2007). Generative or discriminative? Getting the best of both worlds / Bayesian Statistics, Vol. 8, Iss. 3, p. 24.
54
* Пиксель (от англ. сокращения от pictures element) — наименьший элемент двумерного цифрового изображения.
Пары моделей, использующих одно и то же компактное представление данных, одна из которых преобразует данные в их компактное представление, а вторая — пытается по этому компактному представлению восстановить исходные данные, называют соответственно кодировщиком (encoder) и декодером (decoder).
1.3.3 Области применения машинного обучения
В наши дни методы машинного обучения применяются в самых разных областях человеческой деятельности. В таблице ниже представлены лишь некоторые из них [55] .
55
* Хемоинформатика (химическая информатика, молекулярная информатика) — применение методов информатики при решении химических проблем.
В этой книге мы поговорим о различных проектах, относящихся к большинству из перечисленных здесь областей. В силу того, что машинное обучение проникает в самые разные сферы, о нём нередко говорят как о технологии, лежащей в основе новой технологической революции. «Принимая во внимание различные определения и научные доводы, используемые для описания первых трёх промышленных революций, я считаю, что сегодня мы стоим у истоков четвёртой промышленной революции. Она началась на рубеже нового тысячелетия и опирается на цифровую революцию. Её основные черты — это «вездесущий» и мобильный Интернет, миниатюрные производственные устройства (которые постоянно дешевеют), искусственный интеллект и обучающиеся машины», — пишет президент Всемирного экономического форума профессор Клаус Шваб в своей книге «Четвёртая промышленная революция» [56] , [57] .
56
Schwab K. (2017). The Fourth Industrial Revolution. World Economic Forum // https://www.google.ru/books?id=ST_FDAAAQBAJ
57
Шваб К. (2016). Четвёртая промышленная революция. Издательство «Э» // https://books.google.com/books?id=rTRnDQAAQBAJ
2 Сквозь тьму веков. История думающих машин
Что такое история как таковая — объяснять незачем, так как это каждому должно быть известно с молоком матери. Но что такое древняя история — об этом нужно сказать несколько слов.
Трудно найти на свете человека, который хотя раз в жизни, выражаясь языком научным, не вляпался бы в какую-нибудь историю. Но как бы давно это с ним ни случилось, тем не менее происшедший казус мы не вправе назвать древней историей. Ибо пред лицом науки всё имеет своё строгое подразделение и классификацию.
Скажем короче:
а) древняя история есть такая история, которая произошла чрезвычайно давно;
б) древняя история есть такая история, которая произошла с римлянами, греками, ассириянами, финикиянами и прочими народами, говорившими на мертворождённых языках.
Инструменты, помогающие выполнять интеллектуальные задачи, люди начали создавать так давно, что точная дата этого события нам неизвестна. Конечно, эти первые шаги человечества по пути развития думающих машин были бесконечно далеки от вершин современной технологии, и всё же, однажды вступив на путь вооружения умственного труда, человечество уже никогда не сходило с него. Каменное рубило стало продолжением рук человека, одежда из звериной шкуры — продолжением кожи, а охра и стены пещеры — продолжением человеческой памяти. За свою длинную историю люди перепробовали множество способов сохранения, накопления и передачи информации, начиная от царапин на раковинах моллюсков и заканчивая глиняными табличками, свитками папируса, причудливыми вампумами (образцами предметного письма коренных народов Америки) и магнитными дискетами. Некоторые из этих носителей информации позволили сохранить её на тысячелетия, а другие оказались менее долговечны, чем их создатели. Язык и знаковые системы сделали возможной передачу сведений от одного индивида другому, благодаря им важные сведения уже не утрачивались со смертью их носителя. Все эти инновации позволили во много раз усилить интеллектуальную мощь человека, стали основой дальнейшего технологического прогресса.
В этой книге мы остановимся только на нескольких любопытных примерах технологий прошлого и лишь с целью показать, что стремление к созданию «умных» инструментов вовсе не причудливая модернистская идея, возникшая из ниоткуда. Новые, более совершенные методы, применяемые нами для автоматизации умственной деятельности, обычно являются закономерным развитием идей предыдущих поколений.
2.1 Древние счётные устройства и механизмы
В город молодой человек вошёл в зелёном, узком, в талию, костюме. <…> В руке молодой человек держал астролябию. <…>
Он втиснулся в шеренгу продавцов, торговавших на развале, выставил вперёд астролябию и серьёзным голосом стал кричать:
— Кому астролябию?! Дёшево продаётся астролябия!! Для делегаций и женотделов скидка! <…>
К обеду астролябия была продана интеллигентному слесарю за три рубля.
— Сама меряет, — сказал молодой человек, передавая астролябию покупателю, — было бы что мерять.