Репортаж с ничейной земли. Рассказы об информации
Шрифт:
Это понятие легло в основу термодинамики. С его помощью удалось глубже проникнуть в процессы, превращающие тепло в полезные виды энергии; оно помогло понять, каким образом пар превращается в жидкость, а жидкость - в твердое вещество.
Мы можем встретить значок энтропии в уравнениях, описывающих работу гальванического элемента, процессы поляризации, теплопроводности металлов и т. д.
Но с тех пор как на помощь ей пришло понятие информации, наука начала проникать в самые глубокие тайники природы, искать ответ, каким образом взаимодействием тех же видов энергии, тех же 205 частиц, атомов и молекул зарождается жизнь. Это величественная задача. Стоит лишь изучить «модель движения», разгадать код, существующий в клетке, и мы сможем создавать
Наступает новая эра науки, и мы с вами стоим у ее порога.
– Ну хорошо, - нетерпеливо прервал профессор.
– Я готов согласиться с вашей оценкой информации и ее роли, но для меня по-прежнему остается неясным, что же хотите вы измерять количеством бит? Сложность ваших моделей?
– Да, сложность моделей. Но одновременно надо помнить о том, что содержится в этих моделях. Они несут в себе порядок движения. Чем больше информация, тем больше порядка. Представьте себе вычислительную машину, которая может самостоятельно составлять текст. В памяти ее хранятся 32 буквы алфавита, и она выбирает их в совершенно случайном порядке: в любой момент может с одинаковой вероятностью появиться любая из букв. Как будет выглядеть «фраза», написанная такой машиной?
– Получится полная белиберда, - сказал профессор.
– Вроде вот этой?
– спросил я и протянул профессору наш путевой дневник.
Быстров и профессор увидели странный, бессмысленный текст:
СУХЕРРОБЬДШ ЯЫХВЩИЮАИЖТЛФВНЗСТФОЕНВШТЦР...
– Прекрасно!
– обрадовался Быстров.
– Это как раз то, что нам нужно. Это пример самой большой неопределенности движения букв. Этот текст обладает самой большой энтропией. Для того чтобы упорядочить движение, надо дать машине дополнительную информацию. Например, можно заложить в нее такую программу, которая позволит учитывать вероятность появления каждой буквы в зависимости от трех предыдущих букв. Если бы мы могли заставить эту машину вновь написать какую-то фразу...
– Есть и такая фраза в нашем путевом дневнике, - произнес я, переворачивая страницу.
– Вот она!
ВЕСЕЛ ВРАТЬСЯ НЕ СУХОМ И НЕПО И КОРКО.
– Очень хорошо, - отозвался Быстров.
– Давайте сюда ваши записи. Почему эта фраза похожа на осмысленный текст? Потому что в движении букв появился определенный порядок, близкий к тому, который характерен для русского языка. Откуда взялся этот порядок?
Его создала информация, заложенная в машину.
На сколько уменьшилась энтропия текста?
Ровно на такое количество бит, какое заложено в нашу машину.
Можно ли учесть это формулой?
Можно. Энтропия текста подсчитывается по формуле Шеннона. Чтобы произвести расчет, надо подставить в формулу вероятность всех букв алфавита, то есть вместо Pi писать поочередно:
PА; PБ; PВ ... PЮ; PЯ.
В первой фразе вероятность всех букв одинакова:
PА = PБ = PВ = ... = PЮ = PЯ.
Когда шары, извлекаемые из ящика, обладают одинаковой вероятностью, опыт имеет наибольшую неопределенность. Но стоит лишь задать разным шарам разную вероятность, неопределенность становится меньше: можно предсказать до опыта, что чаще всего будет попадаться черный шар.
То же самсе происходит и с текстом. Пока вероятность всех букв оставалась одинаковой, текст был совершенно
PА; PБ; PВ ... PЮ; PЯ
и подсчитать, какой энтропией обладает вторая фраза, легко убедимся, что она стала меньше. Ее уменьшила «модель движения», переданная машине. А что содержится в этой модели? Информация или иегэнтропия.
Чем больше сведений о законах чередования букв в осмысленном тексте заложено в нашу машину, тем больше будет походить на обычную фразу написанный ею текст. Если бы мы могли заложить в нее такое количество информации, какое хранится в мозгу, она, очевидно, могла бы на любой из наших вопросов давать вполне разумный ответ...
– Вы, кажется, увлеклись, Быстров, - нахмурил брови профессор.
– Терпеть не могу, когда серьезные рассуждения переплетаются с вымыслами фантазера!
– Ну хорошо. Я буду говорить о более очевидных вещах. Давайте рассмотрим какое-нибудь физическое тело, например находящийся в равновесии газ. Молекулы скачут во всех направлениях. Сколько бы мы ни следили за одной из молекул, мы никогда не смогли бы предвидеть, где окажется она в следующее мгновенье: движение в любом направлении имеет равную вероятность. Но ведь есть и другие физические тела. Например, кристалл. В нем тоже существует непрерывное движение молекул. Но в этом движении сохраняется более строгий порядок: молекулы образуют так называемую «кристаллическую решетку», потому что между ними существует взаимодействие, они связаны друг с другом силовыми полями. Способна ли наша формула оценить этот порядок? Несомненно!
В решетке кристалла есть направления, имеющие наибольшую вероятность: там, где расположены так называемые узлы. А между узлами есть «пустое» пространство: в него не попадают движущиеся молекулы, здесь вероятность их пребывания близка нулю. Если бы мы могли подсчитать значения вероятности для всех областей решетки и подставить их в формулу S = - Pilog Pi, мы убедились бы, что энтропия уменьшилась оттого, что газ превратился в кристалл. Почему уменьшилась? Да потому, что кристалл хранит в себе информацию - в его движении есть строгий порядок. Именно он и учитывается формулой S = - Pilog Pi. Ведь ей все равно, какое движеиие подразумевается под значком вероятностей. И для движения букв на страницах книги и для движения молекул в физическом теле она покажет одно и то же: неопределенность движения тем меньше, чем сильнее отличаются друг от друга значения разных Pi. А там, где уменьшается неопределенность движения, появляется какой-то порядок: среди общего хаоса движущихся молекул возникают траектории, имеющие большую вероятность. У такого тела есть своя «география»: широкие дороги и узенькие тропинки, главные трассы и вспомогательные пути.
Водяной пар можно превратить путем охлаждения в воду, а затем в кристаллики льда. Что будет происходить с молекулами этой системы? Они прекратят танец, что был в облаке пара, и начнут двигаться в том порядке, который существует в кристаллике льда. Значит, наше тело, перешедшее из газообразного состояния в твердое, приобрело ту информацию, которой обладает каждый кристалл.
– Но позвольте!
– воскликнул профессор.
– На каком основании вы называете это информацией?
Ведь никто же не следит за тем, что происходит в этом физическом теле, никто не получает сведений о том, что происходит с его частицами. Значит, нет никакой информации и незачем припутывать к этим процессам модные понятия и слова.