Охота на электроовец. Большая книга искусственного интеллекта
Шрифт:
За:
1. Собранные человечеством цифровые данные — продукт масштабной социальной практики, в которой участвуют миллиарды людей. Цифровой след человечества — отпечаток столь масштабного и разностороннего опыта, что он на много порядков превосходит по объёму любой индивидуальный опыт человека. Отталкиваясь от продуктов этого опыта, можно построить подробную модель мира и без непосредственного выхода в этот мир в физическом теле. Проще говоря — миллиарды шишек, набитых другими, могут заменить машине несколько собственных.
2. Размер цифрового следа человечества растёт экспоненциальными темпами (см. раздел 5.4). Даже если данных не хватает
3. В конце концов мы уже стали свидетелями потрясающих успехов больших языковых моделей и генеративного ИИ. Большие модели оказались способны осуществлять обобщения, необходимые для возникновения у них новых удивительных возможностей. Таких, например, как написание содержательных текстов, генерация новых изображений по текстовым описаниям, сочинение музыки, создание новых молекул и т. д. Вполне возможно, что для нерешённых задач нам просто нужны более крупные модели, больше данных и больше вычислительных мощностей.
Против:
1. Насколько хороши результаты современных моделей за пределами распределений, присущих данным из обучающих выборок? Способны ли генеративные модели эффективно соревноваться с людьми в новых, неизведанных областях пространства и времени? Некоторые современные исследования [3352] показывают, что картина, возможно, не столь радужна, как может показаться на первый взгляд.
2. Цифровой след человечества содержит специфические перекосы, растёт его шумовая составляющая (проще говоря, в накопленных нами цифровых данных может расти доля «мусора», в том числе из-за современных практик применения генеративных моделей — действительно ценные данные могут тонуть в тоннах рекламной, а то и вовсе бессмысленной чепухи).
3352
Yadlowsky S., Doshi L., Tripuraneni N. (2023). Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models // https://arxiv.org/abs/2311.00871
3. Огромный объём цифрового следа человечества не может компенсировать его невысокой «разрешающей способности» — в интернете, вероятно, можно найти фотографию вашего дома, но там вряд ли найдётся информация о носке-потеряшке, валяющемся под вашей кроватью. Кто знает — быть может, такие мелкие детали, ускользающие от существующих практик оцифровки, являются критически важными для построения качественной модели мира? Как бы ни был велик цифровой след, но количество возможных последовательностей действий человека в окружающем его мире на много порядков больше. Возможно, лишь активное взаимодействие с миром позволит получить критически важную для формирования универсального интеллекта обратную связь.
4. И наконец, а так ли мало количество данных, проходящих через мозг человека в процессе его жизни? Пропускная способность сетчатки человеческого глаза составляет порядка 8,75 Мбит в секунду [3353] , что даёт нам около 720 экзабайт за 10 лет жизни. Это всего лишь примерно в 120 раз меньше, чем накоплено человечеством цифровых данных на 2023 год. А ведь мы взяли в расчёт только зрение, хотя
Вероятно, расширить возможности нашего Паганеля можно за счёт использования обучения с подкреплением (особенно с подкреплением от людей), создания интернет-воплощений системы ИИ (для её взаимодействия с людьми и другими системами через глобальную сеть с целью применения методов обучения с подкреплением и активного обучения), создания специальных обучающих сред, физических воплощений (пусть и ограниченных) и т. д. В той или иной мере эти подходы опробуются сегодня во многих упоминавшихся нами проектах и моделях — от Gato и Robotic Transformer до I-JEPA и MAToM-DM.
3353
Reilly M. (2006). Calculating the speed of sight / New Scientist, 28 July 2006. // https://www.newscientist.com/article/dn9633-calculating-the-speed-of-sight/
Так или иначе, современная дорожная карта движения от существующих моделей к AGI может включать в себя:
• развитие мультимодальных архитектур (прежде всего чтобы полностью использовать весь потенциал цифрового следа человечества);
• увеличение количества и качества используемых данных (в том числе исследование влияния данных на метрики моделей и создание высокоэффективных конвейеров по сборке, фильтрации и подготовке данных);
• дальнейшее масштабирование моделей и осуществление всё более крупных вычислительных экспериментов;
• создание эффективных методов постоянного дообучения и активного сбора данных;
• развитие методов RL/RLHF (обучение с подкреплением / обучение с подкреплением с обратной связью от людей);
• создание более эффективных рекуррентных архитектур и моделей с адаптивным временем вычисления;
• исследование более эффективных целевых функций обучения;
• развитие технологий интернет-воплощения и активного обучения;
• развитие новых аппаратных архитектур и методов оптимизации.
По мере продвижения в направлении создания AGI человечество сможет создавать новые полностью автоматизированные системы и процессы там, где мы этого пока не умеем. Но гораздо важнее то, что подобно тому, как развитие других инструментов и технологий позволило компенсировать ряд ограничений, свойственных человеческому телу (одежда и тёплые дома позволили компенсировать недостаточно густой мех и толстую кожу, ножи — недостаточно острые зубы и ногти и т. п.), технологии ИИ позволят нам всё дальше раздвигать границы возможного для человеческого разума. «Невооружённому» человеческому разуму свойственен целый ряд ограничений, которые вполне могут быть преодолены с помощью развитых технологий искусственного интеллекта. Вот некоторые из таких ограничений:
• ограничения по скорости;
• ограниченная надёжность (ошибки, связанные с утратой внимания, и т. п.);
• ограниченный параллелизм (при одновременном решении нескольких задач эффективность решения каждой из них снижается);
• коммуникативные ограничения (ограниченная пропускная способность сенсорной и моторной систем);
• барьеры физической хрупкости (люди способны работать лишь в узком диапазоне значений параметров окружающей среды);