Одна формула и весь мир
Шрифт:
Вот эта связь между количеством информации и энтропией и послужила сначала причиной горячих дискуссий, а затем — ключом к решению ряда научных проблем.
Впрочем, спор разгорелся не сразу, и проблемы решались не за один месяц и не за один год.
В предисловии к русскому переводу сборника статей К Шеннона под названием «Работы по теории информации и кибернетике» известный советский математик академик А. Н. Колмогоров писал: «...Мне вспоминается, что еще на международном съезде математиков в Амстердаме (1954 г.) мои американские коллеги, специалисты по теории вероятностей, считали мой интерес к работам Шеннона несколько преувеличенным,
Но прошло еще несколько лет, и формула Больцмана—Шеннона стала мелькать не только в технических и математических журналах, но и в трудах биологов, психологов, лингвистов, физиков, искусствоведов, геологов, философов... В общем, повторюсь, сейчас трудно назвать область человеческих знаний, в которой замечательную формулу не пытались бы так или иначе применить.
Казалось бы, популярность новой теории должна была принести ее создателю удовлетворение и радость. На самом же деле все обстояло совсем не так. «Теория информации, как модный опьяняющий напиток, кружит голову всем вокруг... За последние несколько лет теория информации превратилась в своего рода бандвагон от науки»,— писал Шеннон в своей статье «Бандвагон». Бандвагоном в Америке называют специальный автобус с джазом, на котором победитель очередных выборов совершает перед избирателями своего рода парад-алле.
Шеннон не нуждается в бандвагоне, его не привлекает быстрое признание и легкий успех. Как человек науки Шеннон предпочитает политическим акциям и кампаниям поиски изящных инженерных решений, громким овациям— тишину лаборатории, признанию публики — уединенный творческий кабинет. Чрезмерно широкий и часто слишком поверхностный интерес к новой теории со временем стал его раздражать. Он написал статью о бандвагоне и оказался в роли героя «Тысяча и одной ночи»: откупорил бутылку и остановился поодаль, наблюдая, как из нее стал вырастать огромный джинн.
Прямо-таки парадоксально выглядит несходство этой истории с тем, что пережил в свое время Больцман. Больцман страдал от того, что предложенное им толкование энтропии не нашло поддержки среди современников. А Шеннон, напротив, был крайне обеспокоен чересчур живым откликом, тем, что новые взгляды на энтропию сразу же вышли за пределы узкого круга специалистов по технике связи и были подхвачены представителями совсем неожиданных для самого Шеннона научных областей. И все же нельзя не разделить некоторых опасений Шеннона, связанных с тем, что на теорию информации возник, как выразился Шеннон, «очень большой, даже, может быть, слишком большой спрос».
Действительно, специфика задач теории и техники связи требует весьма строгого подхода к использованию как математического аппарата теории информации, так и выдвинутых новой теорией общих идей. Однако нельзя, к сожалению, утверждать, что при переносе этих идей в такие области, как биология, психология, семиотика, искусствоведение, всегда соблюдается та же научная строгость. Здесь понятия теории информации часто внедряются на основе весьма поверхностных аналогий в качестве «модных» терминов, без глубокого проникновения в их суть. И тут можно полностью согласиться с Шенноном: если не пресечь этой тенденции в корне, теория информации и близкие к ней области могут легко превратиться в теории для болтунов. Подобного рода опасения и побудили основоположника теории информации обратиться к своим коллегам с призывом «поддерживать образцовый порядок в своем собственном
Обобщая эти высказывания, академик А. Н. Колмогоров приходит к заключению, что в целом статья «Банд-вагон» демонстрирует типичный для Шеннона «скромный и деловой подход».
«Модный напиток» не вскружил голову Клоду Шеннону. Ему раньше всех было дано понять, что теория его не универсальна, что предложенные им для измерения количества информации новая мера и новые единицы измерения (биты) не учитывают таких важных свойств информации, как ее ценность и смысл.
Шеннон предложил измерять информацию по степени ее неожиданности.
Отправив жену в родильный дом, гражданин Б. может с равной вероятностью ожидать рождения дочери или сына. Сообщение о рождении сына или дочери дает ему информацию, количество которой составляет 1 бит (о способах вычисления количества информации мы поговорим подробнее в следующей главе).
В очередном турнире на первенство мира по шахматам первую партию белыми могут начать с равной вероятностью оба претендента. После жеребьевки стало известно, кто из соперников начнет турнир белыми. Сообщение об этом даст получателю информацию в количестве
1 бита.
Теперь представим себе, что один и тот же гражданин Б. ожидает рождения ребенка и следит за ходом шахматного турнира. Вполне очевидно, что сообщения «У вас родился сын» и «Карпов начнет первую партию белыми» имеют для него совершенно различную ценность. А теория информации оценивает их одинаково.
Есть ли смысл измерять информацию без учета содержащегося в ней смысла? Оказывается, в этом отказе от конкретного содержания ради сопоставимости количества информации разнообразных сообщений и заключается самый глубокий теоретический смысл.
Существует ли на земле механическое движение без трения? Не существует. Об этом прекрасно знали и современники Галилея, и, конечно же, сам Галилей. И тем не менее Галилей задал себе вопрос: что было бы, если бы не было трения?
Ответ получился парадоксальным: тогда телеги могли бы ездить без лошадей! Так был открыт закон инерции, ставший затем фундаментом законов механики, управляющих движением всех земных и небесных физических тел.
Таков один из главных методологических принципов науки: чтобы выявить какие-то общие закономерности, надо абстрагироваться от некоторых конкретных свойств реальных объектов. Именно так и поступил с содержащимся в сообщениях смыслом основоположник теории информации Клод Шеннон. Предложенные им для измерения количества информации единицы (биты) пригодны для оценки любых сообщений, будь то известие о рождении сына, звуки симфонии или телевизионный спектакль.
Точно так же с помощью одних и тех же чисел можно определять количество овец, деревьев, шагов, дней, вес, скорость, плотность, вязкость, прочность, освещенность, напряжение, притяжение, силу тока и все прочее, о чем написано великое множество всевозможных справочников и книг.
А ведь на земле и по сей день есть племена, у которых число «пять» звучит по-разному в выражениях «пять быков» и «пять пальцев». Не сумев абстрагировать понятие «число» от конкретных объектов счета, эти племена ни на один шаг не продвинулись в области создания и освоения точных наук.