Репортаж с ничейной земли. Рассказы об информации

Седов Е. А.

(

1

31

·log

1

31

)

·31 = - log 2^4,9 = 4,9 бита.

А в целом полученное сообщение дало нам как раз то количество информации, которое мы ожидали: I_{(сообщения)} = I₁ + I₂ = 3,6 + 4,9 = 8,5 бита.

Видите, как все получается просто: чтобы узнать количество информации, содержащейся в сообщении, надо учесть число бит в каждом его элементе (слове, букве, числе, импульсе) и сложить их между собой⁴.

Бывают

случаи, когда подсчитать количество информации очень несложно. Например, количество информации, содержащейся в сообщении о том, что Ботвинник играет черными, составляет ровно 1 бит. В самом деле, до получения этого сообщения вы могли предполагать, что черные фигуры окажутся или у Ботвинника, или у его партнера. Оба эти случая имели равную вероятность. Однако если вы знали о том, что прошлую партию Ботвинник играл черными, данное сообщение не несет вам никаких новых сведений - информация равна нулю. Зато сообщение о каждом ходе Ботвинника дает большое количество информации, потому что до его получения была полнейшая неопределенность: вы могли строить множество комбинаций, изыскивая лучший ход.

Если бы мы могли учесть все возможные комбинации и подсчитать вероятность каждого из ходов, наша формула позволила бы оценить эту информацию количеством бит. Однако сделать это не так-то просто: ход, который для Ботвинника имеет наибольшую вероятность, едва ли сделает какой-нибудь новичок. Значит, вероятность различных ходов зависит от опыта и умения шахматистов - от той информации, которая получена шахматистами еще задолго до игры. И не только от опыта. Иногда и настроение участников турнира может оказать существенное влияние на весь ход игры.

– Как вы сказали? Настроение?

До сих пор мы слушали все, о чем рассказывал нам ученый, не проронив ни единого слова, - настолько убедительной казалась нам его речь. Понятие информации казалось таким логичным и строгим, и вдруг...

– Значит, для того чтобы оценить здесь количество информации, надо учитывать настроение шахматиста? Разве такие вещи можно рассчитывать с помощью формулы?

– А почему бы и нет?
– возражает ученый.
– Разве настроение шахматиста, в свою очередь, не зависит от информации, от тех сведений и сообщений, которые он получил незадолго до начала игры?

«Но ведь это же чисто психологические вопросы!» - хотим возразить ему мы и вдруг вспоминаем, что информация - это удивительное колечко, которое катится все дальше и дальше, из одной области знаний в другую.

– Значит, психологию можно тоже оценивать в битах?

– Отчасти да. И с этим вы столкнетесь неоднократно. В нашем городе вас ожидает еще немало поразительных вещей. Но не все сразу.

Прежде всего вам надо как следует разобраться в том, каким образом удается самые разные сообщения оценить с помощью одних и тех же единиц. Не слишком ли отвлеченной, «неощутимой» кажется вам единица количества информации - так называемый бит? Вес можно определить с помощью весов и гири, объем - с помощью измерительных инструментов, время измеряется по часам, а энергия и сила тока - по отклонению стрелки прибора, включенного в электрическую цепь. Каким же прибором можно измерить количество информации? Оказывается, такой прибор уже существует. Правда, название «прибор» будет в этом случае, пожалуй, чересчур скромным - ведь речь идет об электронной вычислительной машине, которая не только измеряет (точнее - рассчитывает), но и использует и преобразует информацию, подобно тому как электрические приборы используют, преобразуют и измеряют электрический ток.

Было время, когда и обычная секунда казалась людям такой же неощутимой, каким сейчас кажется бит. Да что там говорить - мысль о том, что количество дней и баранов можно подсчитать с помощью одинаковых чисел, была, пожалуй, одной из самых непостижимых за всю историю развития

человеческих знаний. Можно ли надеяться, что и бит со временем станет неизменным спутником нашего быта? Очевидно, можно. И вам будет приятно вспомнить, как вы в числе первых посланцев большого мира впервые встретились с битом в центре Нового Города, на площади Новых Идей.

Однако к делу. Вы теперь знаете, как измеряют количество информации, но еще не умеете измерить ее объем.

– Очевидно, надо построить спичечную коробку?

– Да, нечто похожее. Высота коробки будет соответствовать количеству информации, длина - времени передачи сигналов, а ширина - диапазону содержащихся в сигнале частот. Расчет объема информации напоминает расчет объема воды, подаваемой по трубе: чтобы найти этот объем, надо тоже перемножить три величины - скорость движения воды, время подачи и площадь сечения трубы.

Подсчитав объем информации, легче сравнивать различные способы ее передачи. Ведь прежде чем передать информацию по каналам связи, надо превратить все сообщения в какой-то сигнал. Одну и ту же информацию можно передать различным сигналом: все зависит от того, какой выбран код. Мы стараемся выбрать код таким образом, чтобы вся информация «размещалась» в самом малом объеме сигнала.

В жизни от нас часто требуют определенного объема знаний: например, знания физики в объеме школьной программы. Может быть, и объем знаний можно оценивать количеством бит? Представьте себе, что вы являетесь на экзамены и вас встречает... электронная машина! Вы отвечаете на вопросы, а машина подсчитывает количество информации, содержащейся в вашем ответе, и выдает точную оценку ваших знаний, выраженную количеством бит. Конечно, подобный пример - всего лишь шутка, ведь для оценки ответов по физике нужно знать не только объем, но и смысл информации по самым разнообразным вопросам. И все же шутка эта, как, впрочем, и всякая шутка, имеет определенный смысл. Можно, например, сконструировать такую машину, которая сможет задавать вопросы по правилам уличного движения и оценивать качество ответов по принципу «верно» или «неверно» («да» или «нет»).

Итак, все сведения, передаваемые по различным каналам связи, имеют определенный объем. Объемом обладают и телефонные переговоры, и сигналы, идущие к головному мозгу от руки, наткнувшейся на острый предмет, и звуки симфонической музыки, несущиеся по эфиру с другого материка. Когда теория информации решает задачи об объеме информации и о наилучшем способе передачи заданного объема, она не интересуется вопросом о том, для чего предназначена данная информация и какова ее ценность или смысл.

Нетрудно, например, подсчитать по формуле Шеннона, что количество информации, получаемой при извлечении одной карты из колоды, состоящей из 32 карт, составляет 5 бит. Это количество информации будет получено независимо от того, окажется ли вынутая наугад карта семеркой или тузом. Установленная правилами игры «ценность» той или иной карты не учитывается при расчете количества информации. Количество и объем информации, передаваемой по радио или телеграфу, не зависит от содержания или ценности тех сообщений, которые предстоит передать. Весь объем должен быть передан полностью, независимо от того, что в нем содержится: звуки джаза или биение пульса оперируемого больного, важное постановление или легкомысленный телефонный флирт.

Именно поэтому для сложного, многогранного понятия «информация» удается найти общие законы, такие же точные, как законы движения жидкости, текущей по трубе.

Именно поэтому теория информации сумела обобщить самые разнообразные виды сообщений, перевести их на единый и точный язык - язык математических формул.

Опыт многих десятилетий, проблемы различных областей науки, красоту и гибкость склонной к анализу и обобщениям человеческой мысли несут в себе скупые и педантичные математические значки.