Кибернетика или управление и связь в животном и машине
Шрифт:
имеет наименьшее значение, когда
Как и следовало ожидать, процессы, ведущие к потере информации, весьма сходны с процессами, ведущими к росту энтропии. Они состоят в слиянии областей вероятностей, первоначально различных. Например, если мы заменяем распределение некоторой переменной распределением функции от нее, принимающей одинаковые значения при разных значениях аргумента, или в случае функции нескольких переменных позволяем некоторым из них свободно пробегать их естественную область изменения, мы теряем информацию. Никакая операция над сообщением не может в среднем увеличить информацию. Здесь мы имеем точное применение второго закона термодинамики к технике связи. Обратно, уточнение в среднем неопределенной ситуации приводит, как мы видели, большей частью к увеличению информации и никогда — к ее потере.
Интересен случай, когда
и равна нулю вне ее. Следовательно, количество информации, полученной при наложении условий на значения y, будет равно [141] [c.125]
С этой задачей тесно связано обобщение задачи, о которой говорилось по поводу уравнения (3.091). Сколько информации в рассматриваемом случае приобретается нами об одних только переменных х1, …, xn—m? Здесь априорная плотность вероятности этих переменных равна
141
Деление на
а ненормированная плотность вероятности после фиксации величин у* будет
где берется по всем множествам значений (xn—m+1, …, xn), соответствующим данному множеству значений y*. Основываясь на этом, нетрудно записать решение нашей задачи, хотя оно и будет несколько громоздким. Если мы примем множество (x1, …, xn—m) за обобщенное сообщение, множество (xn—m+1, …, xn) — за [c.126] обобщенный шум. а величины y* — за обобщенное искаженное сообщение, то получим, очевидно, решение обобщенной задачи выражения (3.091).
Таким образом, мы имеем по крайней мере формальное решение обобщения упомянутой уже задачи о сигнале и шуме. Некоторое множество наблюдений зависит произвольным образом от некоторого множества сообщений и шумов с известным совместным распределением. Мы хотим установить, сколько информации об одних только сообщениях дают эти наблюдения. Это центральная проблема техники связи. Решение ее позволит нам оценивать различные системы связи, например системы с амплитудной, частотной или фазовой модуляцией, в отношении их эффективности в передаче информации. Это техническая задача, не подлежащая здесь подробному обсуждению; уместно, однако, сделать некоторые замечания.
Во-первых, можно показать, что если пользоваться данным здесь определением информации, то при случайных помехах в эфире с равномерно распределенной по частоте мощностью и для сообщения, ограниченного определенным диапазоном частот и определенной отдачей мощности на этом диапазоне, не существует более эффективного способа передачи информации, чем амплитудная модуляция, хотя другие способы могут быть столь же эффективны. Во-вторых, переданная этим способом информация
Итак, сообщение, однородное во времени, или, как выражаются профессионалы-статистики, временной ряд, находящийся в статистическом равновесии, есть функция или множество функций времени, входящее в ансамбль таких множеств с правильным распределением вероятностей, не изменяющимся, если всюду заменить t на t+. Иначе говоря, вероятность ансамбля инвариантна относительно группы преобразований, состоящей из операторов T которые изменяют f(t) в f(t+). Группа удовлетворяет условию
Следовательно, если Ф[f(t)] — «функционал» от f(t), т. е. число, зависящее от всей истории функции f(t), и среднее значение f(t) по всему ансамблю конечно, то мы вправе применить эргодическую теорему Биркгоффа из предыдущей главы и заключить, что всюду, исключая множество значений f(t) нулевой вероятности, существует временное среднее от Ф[f(t)], или в символах
[c.128]
Но это еще не все. В предыдущей главе проводилась другая теорема эргодического характера, доказанная фон Нейманом: коль скоро некоторая система переходит в себя при данной группе сохраняющих меру преобразований, как в случае нашего уравнения (3.15), то, за исключением множества элементов нулевой вероятности, каждый элемент системы входит в подмножество (быть может, равное всему множеству), которое: 1) переходит в себя при тех же преобразованиях; 2) имеет меру, определенную на нем самом и также инвариантную при этих преобразованиях; 3) замечательно тем, что любая часть этого подмножества с мерой, сохраняемой данной группой преобразований, имеет либо максимальную меру всего подмножества, либо меру 0. Отбросив все элементы, не принадлежащие к такому подмножеству, и используя для него надлежащую меру, мы найдем, что временное среднее (3.16) почти во всех случаях равно среднему значению функционала Ф[f(t)] по всему пространству функций f(t), т. е. так называемому фазовому среднему. Стало быть, в случае такого ансамбля функции f(t), за исключением множества случаев нулевой вероятности, мы можем найти среднее значение любого статистического параметра ансамбля по записи любого временного ряда ансамбля, применяя временное среднее вместо фазового. Более того, этим путем можно найти одновременно любое счетное множество таких параметров ансамбля, и нам нужно знать лишь прошлое одного, почти какого угодно временного ряда ансамбля. Другими словами, если дана вся прошлая история — вплоть до настоящего момента — временного ряда, принадлежащего к ансамблю в статистическом равновесии, то мы можем вычислить с вероятной ошибкой, равной нулю, все множество статистических параметров ансамбля, к которому принадлежит ряд. До сих пор мы установили это для отдельного временного ряда, но сказанное справедливо также для многомерных временных рядов, где вместо одной изменяющейся величины мы имеем несколько одновременно изменяющихся величин.
Теперь мы можем рассмотреть различные задачи, относящиеся к временным рядам. Ограничимся случаями, в которых все прошлое временного ряда может быть задано счетным множеством величин. Например, для [c.129] довольно широкого класса функций f(t) (— < t < ) функция f(t) полностью определена, если известно множество величин
(n=0, 1, 2, …) (3.17)