Охота на электроовец. Большая книга искусственного интеллекта

Марков Сергей Николаевич

Из текста Мура видно, что сам автор никогда не претендовал на универсальную значимость своего закона, да и само название «закон Мура» не было его изобретением. Оно было предложено в 1970 г. Карвером Мидом, исследователем из Калифорнийского технологического института. И всё же трудно найти другой пример столь же живучего технико-экономического тренда. Попытки похоронить закон Мура предпринимались неоднократно. В 1996 г. Филип Росс в статье для журнала Forbes под названием «Второй закон Мура» писал: «Цена за один транзистор достигнет дна где-то между 2003 и 2005 годами. С этого момента не будет никакого экономического смысла делать транзисторы меньше. Таким образом, закон Мура прекратит своё действие через семь лет».

Сегодня «вторым законом Мура» принято называть утверждение о том, что стоимость фабрик по производству микросхем удваивается каждые четыре года. Сам Мур называл эту закономерность «законом Рока» — в честь американского бизнесмена и одного из первых инвесторов Intel Артура Рока, который обратил внимание на эту закономерность.

Впрочем, современные 10- и 7-нанометровые микросхемы от Samsung и TSMC находятся всё ещё в непосредственной близости от кривой, заданной скорректированной в 1975 г. версией закона. В качестве очередной даты запланированной смерти

закона Мура многие исследователи (включая самого Мура) в наши дни называют 2025 год. Между тем в декабре 2022 г. компания TSMC уже начала выпуск схем по 3-нанометровой технологии [1545] , а IBM уже анонсировала начало производства интегральных микросхем на основе 2-нанометровой технологии в четвёртом квартале 2024 г. [1546] Возможно, пора ввести какую-нибудь универсальную константу: например, вне зависимости от текущей даты прогнозы об окончании действия закона Мура составляют 5–7 лет от сегодняшнего дня.

1545

TSMC (2023). TSMC Holds 3nm Volume Production and Capacity Expansion Ceremony, Marking a Key Milestone for Advanced Manufacturing. / TSMC, 29.12.2022 // https://pr.tsmc.com/english/news/2986

1546

Касми Э. (2021). Создан первый в мире процессор с топологией 2 нм / C•News, 06.05.2021 // https://www.cnews.ru/news/top/2021-05-06_sozdan_pervyj_v_mire_protsessor

Популярность закона Мура привела к появлению множества сходных утверждений разной степени серьёзности и актуальности. Закон Кека (Keck’s law) утверждает, что скорость передачи данных по оптоволокну растёт экспоненциально и по более крутой экспоненте, чем в законе Мура. Закон Мэкрона (Machrone’s law) гласит: персональный компьютер, который вы хотите купить, всегда стоит 5000 долларов. Согласно закону Вирта (Wirth’s law) программное обеспечение замедляется быстрее, чем ускоряется аппаратное, и так далее [1547] .

1547

Philip E. Ross (2003). The rules engineers live by weren’t always set in stone / IEEE Spectrum, December 2003 // https://www.gwern.net/docs/cs/2003-ross.pdf

В 1983 г. журнал «В мире науки» писал: «Если бы авиапромышленность в последние 25 лет развивалась столь же стремительно, как промышленность средств вычислительной техники, то сейчас самолёт Boeing 767 стоил бы 500 долл. и совершал облёт земного шара за 20 минут, затрачивая при этом пять галлонов (?19 л) топлива. Приведённые цифры весьма точно отражают снижение стоимости, рост быстродействия и повышение экономичности ЭВМ».

Итак, закон Мура — это эмпирическое наблюдение относительно одного из параметров интегральных схем. Во-первых, оно не имеет прямого отношения к производительности машин, во-вторых, не является законом в том смысле, в котором законом является первый закон термодинамики или закон сохранения энергии. Количество элементов интегральных схем не обязано и дальше увеличиваться теми же темпами. Своё отношение к физической стороне вопроса Мур высказал в 2003 г., опубликовав работу под названием «Ни одна экспонента не вечна: но „вечность“ можно отсрочить!» (No Exponential Is Forever: But We Can Delay “Forever”!), в которой среди прочего указал на то, что рост физических величин по экспоненте в течение длительного временного периода невозможен. В 2007 г. Мур выразился ещё более конкретно, указав на атомарную природу вещества и ограничение скорости передачи сигнала скоростью света как на фундаментальные физические лимиты, которые рано или поздно встанут на пути совершенствования вычислительной техники.

5.3.2 Пределы роста

Достаточно часто динамику роста чего-либо, например параметров какой-либо развивающейся технологии или общественного явления, характеризуют как экспоненциальную. Однако в действительности, в силу существования фундаментальных ограничений, реальные кривые роста обычно являются S– образными. По мере приближения величины к фундаментальному лимиту рост замедляется, асимптотически приближаясь к своей границе. Логистическая функция (напомним, что это s(x) = 1 / (1 + e^–kx), где k — некоторый масштабный коэффициент, e — основание натурального логарифма), используемая в качестве функции активации в нейронных сетях, является хорошим примером подобной динамики [1548] ^, [1549] .

1548

^* Её также называют уравнением Ферхюльста. Пьер Ферхюльст — бельгийский математик, занимавшийся среди прочего моделированием изменения численности населения, рост которого ограничен имеющимися в распоряжении популяции ресурсами, позже эту же кривую неоднократно переоткрывали и применяли для описания динамики различных процессов, например автокаталитических реакций, роста опухолей, изменения лексики в естественных языках и, наконец, распространения инноваций.

1549

Lloyd P. J. (1967). American, German and British Antecedents to Pearl and Reed's Logistic Curve / Population Studies, Vol. 21, No. 2 (Sep., 1967), pp. 99—108 // https://doi.org/10.2307/2172714

Если вместо динамики показателя, используемого в законе Мура, рассматривать динамику вычислительных характеристик машин — скажем, способность машины фиксированной массы выполнять в единицу времени некоторое количество стандартных операций, например арифметических действий с числами с плавающей точкой или базовых операций двоичной логики, то физические лимиты роста становятся более определёнными. Ограничение, на которое указал Мур, носит название «предела Бремерманна» — в честь американского физика немецкого происхождения Ханса-Йоахима Бремерманна, который ввёл этот предел в научный оборот в начале 1960-х гг. Данный предел скорости вычислений автономной вычислительной системы в материальной вселенной возникает

вследствие действия эйнштейновского принципа эквивалентности массы и энергии, а также принципа неопределённости Гейзенберга, а его значение несложно рассчитать по формуле c²/? ? ? 1,36 x 10⁵⁰ бит в секунду на килограмм (здесь c — скорость света, ? — постоянная Планка).

Развитие идеи квантовых вычислений привело на границе тысячелетий к переосмыслению лимита Бремерманна. Сегодня фундаментальный предел производительности вычислительного устройства интерпретируется как максимальная скорость, с которой система с энергетическим разбросом {\displaystyle \Delta E}??E может трансформироваться из одного различимого состояния в другое: ?t = ??/2?E. Это соотношение носит название «теорема Марголуса — Левитина» — в честь открывших его Нормана Марголуса и Льва Левитина. Данная теорема обобщает лимит Бремерманна на случай с квантовыми машинами, определяя минимальное время, чтобы перейти из одного состояния в другое, ортогональное начальному, для квантовой системы со средней энергией Е. Таким образом, скорость вычислений не может быть больше, чем 6 x 10³³ двоичных операций на один джоуль энергии.

Впрочем, эти пределы довольно далеко отстоят от возможностей современных технологий. Прогресс в этой области можно оценивать по рейтингу Green500, обновляющемуся раз в два года. Этот рейтинг представляет собой список 500 наиболее производительных суперкомпьютеров в мире, отсортированный по энергоэффективности производимых ими вычислений. На июнь 2023 г. первое место в нём занимает машина Henri, производящая около 65 млрд операций с плавающей запятой в секунду на один ватт мощности [1550] . Обычно под операцией над числами с плавающей запятой понимают операции с 32-битными представлениями чисел, а один ватт равен одной джоуль-секунде. Таким образом, MN-3 производит 32 x 65 x 10⁹ ? 2,1 x 10¹² двоичных операций на один джоуль энергии. За десять последних лет этот показатель вырос в двадцать раз, то есть более чем на порядок [1551] , но до достижения предела остаётся ещё около 21 порядка.

1550

Green500 Release (2023). June 2023 / TOP500 The List // https://www.top500.org/lists/green500/2023/06/

1551

Green500 Release (2013). June 2013 / TOP500 The List // https://www.top500.org/lists/green500/2013/06/

Более неприятный сюрприз подготовила разработчикам вычислительных машин термодинамика. Дело в том, что в соответствии с принципом Ландауэра в любой вычислительной системе, независимо от её физической реализации, при потере одного бита информации выделяется теплота в количестве по крайней мере k_BT ln 2, где k_B — константа Больцмана, T — абсолютная температура вычислительной системы в кельвинах (мы же не хотим, чтобы наш компьютер расплавился или даже испарился в процессе работы). Выражением Шеннона — фон Неймана — Ландауэра называют минимальную энергию E_bit > E_SNL = k_BT ln 2. При T = 300K энергия E_SNL ? 0,018 эВ ? 2,9 x 10^–21 Дж. На 2006 г. транзисторы электронных вычислительных машин рассеивали примерно в 10 000 раз больше тепла, с трендом уменьшения на порядок за десятилетие [1552] . Исходя из графика в том же источнике, современная технология 7-нанометровых процессоров соответствует рассеиванию примерно в 400 раз больше лимита. Таким образом, лимит, проистекающий из принципа Ландауэра, уже не за горами. Отчасти проблему с этим лимитом могут решить обратимые вычисления, однако они требуют привлечения дополнительных объёмов памяти. В данной области тоже есть предел упаковки информации в материальный объект, который называется «предел Бекенштейна» — в честь открывшего его израильского физика Яакова Бекенштейна.

1552

Cavin R. K., Zhirnov V. V., Herr D. J. C., Avila A., Hutchby J. (2006). Research directions and challenges in nanoelectronics / Journal of Nanoparticle Research, p. 865 // https://www.researchgate.net/publication/225404354_Research_directions_and_challenges_in_nanoelectronics

Если вас интересует проблема фундаментальных лимитов вычислений, то я рекомендую книгу Пола Кокшотта, Льюиса Маккензи и Грэга Микаэльсона «Вычисление и его лимиты» (Computation and Its Limits) [1553] , в которой представлен наиболее полный анализ этой проблемы из числа известных мне.

Иной раз, когда я задумываюсь о проблеме великого молчания Вселенной (известной также под названием парадокса Ферми), мне в голову приходит мысль о том, что на самом деле инопланетяне не связываются с нами заметными нам способами, потому что среднее время существования технологической цивилизации на нашем уровне ничтожно мало. Зачем мы им? Всякая цивилизация в результате своего технологического развития строит свою собственную чёрную дыру, которая просто является вычислительной машиной, работающей с эффективностью, равной лимиту Бремерманна (в обобщении Марголуса — Левитина). Информация там упаковывается до предела Бекенштейна, поэтому для внешнего наблюдателя это и выглядит как обычная чёрная дыра. Такие машины обмениваются друг с другом информацией в виде пакетов гравитационных волн; скорее всего, и решают задачи, интересующие цивилизации на том технологическом уровне: может быть, симулируют виртуальные вселенные, запускают виртуальных птиц в виртуальных свиней… Какие ещё могут быть задачи у сверхцивилизаций?..

1553

Cockshott W. P., Cockshott P., Mackenzie L. M., Michaelson G. (2012). Computation and Its Limits. OUP Oxford // https://books.google.ru/books?id=U1Gcp1S__hEC