Кибернетика или управление и связь в животном и машине
Шрифт:
Эта задача по существу состоит в определении ширины областей, расположенных под кривыми y=f1(x) и y=f2(x). Заметим, что, по нашему допущению, переменная х имеет основное равномерное распределение, т. е. наши результаты, вообще говоря, будут другими, если мы заменим х на х3 или на какую-либо другую функцию от х. Так как f1(x) есть плотность вероятности, то
Поэтому
139
Здесь автор использует личное сообщение Дж. фон Неймана.
140
Равенство (3.04) означает, что площадь под кривой y=f1(x) равна 1. Поэтому средняя ширина этой области равна обратной величине ее средней высоты, т. е. среднего значения функции f1(x). Отсюда, по-видимому, автор заключает об указанной вольной связи между средними логарифмами и, приняв, согласно (3.03), минус средний двоичный логарифм от ширины области за меру количества информации, находит в итоге
как в (3.05). — Прим. ред.
Величина, которую мы здесь определяем как количество информации, противоположна по знаку величине, которую в аналогичных ситуациях обычно определяют как энтропию. Данное здесь определение не совпадает с определением Р.А. Фишера для статистических задач, хотя оно также является статистическим определением и может применяться в методах статистики вместо определения Фишера.
В частности, если f1(x) постоянна на интервале (а, b) и равна нулю вне этого интервала, то
Используя это выражение для сравнения информации о том, что некоторая точка находится в интервале (0, 1), с информацией о том, что она находится в интервале (а, b), получим как меру разности
Определение, данное нами для количества информации, пригодно также в том случае, когда вместо переменной х берется переменная, изменяющаяся в двух или более измерениях. В двумерном случае f1 (x, y) есть такая функция, что
и количество информации равно
Заметим, что если f1(x, y) имеет вид (х)(y) и
[c.122]
то
и
т. е.
Интересной задачей является определение информации, получаемой при фиксации одной или нескольких переменных в какой-либо задаче. Например, положим, что переменная u заключена между х и x+dx с вероятностью
а переменная v заключена между теми же двумя пределами с вероятностью
Сколько мы приобретаем информации об u, если знаем, что u+v=w? В этом случае очевидно, что u=w—v, где w фиксировано. Мы полагаем, что априорные распределения переменных u и v независимы, тогда апостериорное распределение переменной u пропорционально величине
где c1 и c2 — константы. Обе они исчезают в окончательной формуле.
Приращение информации об u, когда мы знаем, что w таково, каким мы его задали заранее, равно
Заметим, что выражение (3.091) положительно и не зависит от w. Оно равно половине логарифма от отношения суммы средних квадратов переменных u и v к среднему квадрату переменной v. Если v имеет лишь малую область изменения, то количество информации об u, которое дается знанием суммы u+v, велико и становится бесконечным, когда b приближается к нулю.
Мы можем истолковать этот результат следующим образом. Будем рассматривать u как сообщение, а v — как помеху. Тогда информация, переносимая точным сообщением в отсутствие помехи, бесконечна. Напротив, при наличии помехи это количество информации конечно и быстро приближается к нулю по мере увеличения силы помехи.
Мы сказали, что количество информации, будучи отрицательным логарифмом величины, которую можно рассматривать как вероятность, по существу есть некоторая отрицательная энтропия. Интересно отметить, что эта величина в среднем имеет свойства, которые мы приписываем энтропии.
Пусть (х) и (x) — две плотности вероятностей, тогда
также есть плотность вероятности и
Это вытекает из того, что
Другими словами, перекрытие областей под (х) и (x) уменьшает максимальную информацию, заключенную в сумме (х)+(x). Если же (х) есть плотность [c.124] вероятности, обращающаяся в нуль вне (а, b), то интеграл