Информация как основа жизни
Шрифт:
В 1924 г. X. Найквист предложил измерять количество информации, приходящееся на одну букву текста, передаваемого по каналу связи, величиной Н-1/п, где п – число букв в используемом языке. Спустя четыре года Р. Хартли, исходя из требования аддитивности, в качестве такой меры начал применять логарифм этой величины, т. е. log(1/n). Двадцать лет спустя, в 1948 г., К. Шеннон для этой же цели ввел величину (6)
где Hi – количество информации, связанное с i-ой буквой алфавита, pi – частота встречаемости этой буквы в данном языке, q - основание логарифмов, а k – коэффициент пропорциональности, величина которого зависит от q и от избранных единиц измерения количества информации; знак "минус" перед k поставлен для того, чтобы величина Hi всегда была положительной.
где mi – число i-х букв в сообщении
К. Шеннон показал, что с увеличением длины сообщения М почти всегда будет иметь "типичный состав": (тi/М ® рi). Следовательно, (8)
В случае бинарного кода, когда n = 2, а р1 = р2 = 0.5, q=2 и k=1, количество информации Нм становится равным М и выражается в так называемых бинарных единицах – битах.
Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтропии источников сообщений, для улучшения методов кодирования и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оптимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном "математической теорией связи", и явилась основой классической теории информации.
Теперь обратим внимание на три характерные черты этой работы К. Шеннона. Во-первых, в ней отсутствует определение понятия "информация". Во-вторых, термин "количество информации" здесь используется как синоним статистических характеристик букв, составляющих сообщение. В-третьих, по отношению к источнику сообщений здесь применяется слово "энтропия". Черты эти, несущественные в контексте математической теории связи, оказали значительное влияние на судьбу теории информации.
Отсутствие определения понятия "информация" в работах К. Шеннона и его предшественников, по-видимому, довольно естественно – они в нем просто не нуждались. Ведь работы эти были посвящены не теории информации, а теории связи. То, что по каналам связи передают осмысленные сообщения, т. е. информацию, было очевидно, – ведь для этого их и создавали. Замечательной особенностью каналов связи является то, что по ним можно передавать любую информацию, пользуясь ограниченным числом сигналов или букв. При этом передают по каналам связи именно буквы, сигналы, а не информацию как таковую. Объекты передачи, следовательно, имеют материальную, физическую природу – обычно это модуляции напряженности электрического тока. Ответа требовал не вопрос "Что такое информация?", а вопрос "Какое количество информации можно передать в единицу времени, пользуясь данным набором сигналов?". Предложенное К. Шенноном определение "количества информации" (6) хорошо согласовывалось с дискретной[1] природой сигналов, обычно передаваемых по каналам связи. И в то же время, такая мера "количества информации" создавала ощущение, не встречающее сопротивления на психологическом уровне, что чем реже происходит данное событие – появление данного сигнала на выходе канала связи, тем больше это событие "несет с собой" информации.
Со всем этим можно было бы вполне согласиться, если бы не одно обстоятельство: отдельные сигналы или буквы, передаваемые по каналам связи, сами по себе не несут той информации, для обмена которой существуют системы связи. Информацию содержат лишь сочетания сигналов или букв, причем отнюдь не любые, а лишь осмысленные, наполненные определенным содержанием. Введение единой меры количества информации, содержащейся в сообщениях, меры, не зависящей от их семантики, как будто бы блестяще решало задачу соизмеримости бесконечного количества возможных различающихся по смыслу сообщений. И в то же время введение такой меры создавало видимость дробления, квантируемости информации, видимость возможности оценивать ее количество как сумму элементарных количеств информации, связанных с каждой отдельной буквой содержащего ее сообщения.
Напомним, что ко времени выхода в свет работы К. Шеннона [3] научная общественность была уже подготовлена к ее восприятию. Зарождавшаяся тогда же кибернетика, или "наука об управлении и связи в животном и машине" [2], уже использовала термин "информация" для обозначения тех сигналов, которыми могут обмениваться между собой люди или животные, человек и машина, или сигналов, воспринимаемых животными или машиной с
Однако надо ясно представить себе, что, не давая определения понятию "информация" и в то же время называя "количеством информации" частотную характеристику букв кода, К. Шеннон как бы создавал возможность для отождествления двух совершенно разных по своей природе феноменов информации как семантики сообщения и "информации" как частоты осуществления какого-либо события. Это делало возможной подмену терминов, что и было быстро реализовано. Уже через несколько лет французский физик Л. Бриллюэн [5,6] в качестве основного достоинства новой теории называл отождествление информации с величиной, обратной частоте осуществления какого-либо события. Термин "информация" в указанном выше смысле окончательно слился с термином "количество информации".
Формула К. Шеннона (6) по структуре своей подобна формуле, предложенной Л. Больцманом для выражения количества энтропии. Это формальное сходство послужило К. Шеннону поводом называть "энтропией", по аналогии с физической энтропией, свойство источника сообщений порождать в единицу времени то или иное число сигналов на выходе, а "энтропией сообщения" – частотную характеристику самих сообщений, выражаемую формулами (6) и (7).
Кажущаяся простота предложенного К. Шенноном решения проблемы измерения количества информации создавала видимость столь же легкого решения и других связанных с использованием термина "информации" проблем. Это и породило ту эйфорию, ту шумиху вокруг зарождающейся теории информации, характерную для пятидесятых годов, которую одним из первых заметил сам К. Шеннон и против которой было направлено его провидческое эссе "Бандвагон" [7].
Своей зрелости классическая теория информации достигла к середине пятидесятых годов. Главная причина столь быстрого "созревания" – простота и элегантность ее математического аппарата, опирающегося на теорию вероятности.
Отсутствие строгого определения понятия "информация" создавало впечатление, что объектом теории информации является нечто, имеющее мало общего с тем, что называют информацией в обыденной жизни. Действительно, если "в быту" доминирует содержательная, смысловая сторона информации, то здесь семантика информации вообще не рассматривалась. Представление об энтропии сообщений, развитое К. Шенноном и вскоре дополненное другими авторами (см. напр. [8-10]), как бы открывало возможность для отождествления понятия "информация" с понятиями "разнообразие" и "термодинамическая энтропия". Это порождало соблазн распространения классической теории информации далеко за пределы теории связи, в том числе на явления неживой и живой природы и даже на различные области искусства [11-13].
Два утверждения характерны для классической теории информации периода зрелости. Первое это постулирование "всюдности" информации. Второе утверждение – это то, что мерой количества информации, связанной с тем или иным объектом или явлением, может служить редкость его встречаемости или сложность его структуры. Эти утверждения можно назвать постулатами классической теории.
Указанные постулаты, а также следствия из них, наиболее полно были изложены Л. Бриллюэном в его книгах [5, 6]. Прежде всего, за универсальную меру количества информации Л. Бриллюэн принял величину I = klnP, где Р - вероятность осуществления некоторого события или "сложность устройства" какого-либо объекта, k - постоянная, величина которой зависит от выбора системы единиц измерения, a ln - натуральный логарифм. Далее Л. Бриллюэн обратил особое внимание на сходство указанной формулы с формулой Л. Больцмана для исчисления количества энтропии S = klnW, где W - число микросостояний некоторой системы, соответствующей ее макросостоянию, а k - "постоянная Больцмана", равная 1,4·10– 16 эрг-град– 1 или 3,3·10– 24 энтропийных единиц (1 э.е. = 1 кал'град– 1). Отсюда Л. Бриллюэн сделал вывод, что, приняв k = 3,3·10– 24 э.е., мы получим возможность выражать количество информации в энтропийных единицах (1 бит = 2,3·10– 24 э.е.), а величину энтропии, напротив, в единицах информационных (1 э.е. = 4,3·1023 бит). Затем он сделал последний шаг в построении "негэнтропииного принципа": сформулировал утверждение, согласно которому информация – это не что иное, как энтропия с обратным знаком, или негэнтропия.