Методы статистического анализа исторических текстов (часть 2)
Шрифт:
Если говорить о критических отзывах историков, то нельзя не отметить, что наши критики не задерживаются подолгу на математических или астрономических вопросах, ограничиваются здесь скороговоркой и иногда даже допускают элементарные ошибки. Наскоро "уплатив дань" астрономии и математике, они с облегчением покидают эту неуютную сферу и переходят к аргументам иного рода - "исторического характера". Здесь они чувствуют себя уверенно и переходят в наступление, обвиняя нас в том, чего мы никогда не говорили: "Археологи и эпиграфисты выступили против их (то есть против якобы нашего - А.Ф.) утверждения о том, что все "древние" предметы, обнаруженные в настоящее время при раскопках, были кем-то закопаны нарочно в средние века... Например они считают, что пирамиды были построены в средние века, затем закопаны
Надо ли говорить, что эти приписываемые нам нелепые высказывания существуют лишь в воображении наших критиков. Надо полагать, уважаемые авторы статьи в "Вопросах истории" были совершенно уверены, что журнал "Вопросы истории" откажется публиковать наш ответ на эти домыслы. Так и произошло.
Приведем еще примеры обвинений в наш адрес, показывающие уровень "научной" критики.
1) Математики "по существу выступают против марксистской концепции смены социально-экономических формаций" (В.Г.Трухановский, "Вопросы истории", 1984, No. 1).
2) "Необходимо очень умело использовать количественные методы, чтобы избежать применительно к исторической науке грубых ошибок", допущенных математиками, "которые, слепо доверившись математическому анализу, и не зная исторического процесса, попытались зачеркнуть античную историю".(З.В.Удальцова; там же).
3) "К сожалению, имеют место попытки самостоятельного обращения математиков к историческим сюжетам, что иной раз приводит к некорректным построениям и даже ошибкам. Так, погоня за сенсационностью и абсолютизирование математических методов привели к тому, что одни математики пытаются доказать, что источники по античной истории являются средневековыми подделками..." (С.Тихвинский, журнал "Коммунист", 1986, No. 1, с.105).
Или вот, например, статья И.Дьяконова "Откуда мы знаем, когда это было" ("Наука и жизнь", 1986, No. 5). Вместо обстоятельного рассказа об основаниях хронологии, следует пересказ ученических сведений о хронологии из исторических учебников.
Завершив пересказ учебников, Дьяконов кончает статью так: И не надо сочинять небылицы, делающие нас безродными людьми без прошлого, даже если для этих небылиц привлекаются ЭВМ. Машина она и есть машина, и когда ей задают нелепые вопросы, она естественно выдает нелепые ответы. Итак, у нас есть достаточные основания, чтобы "знать, когда это было"
Обзор остальных известных нам откликов, вплоть до конца 1998 года, см. в нашей книге "Библейская Русь".
Несмотря на указанные трудности, мешающие восприятию новой хронологии многими традиционными историками, хотелось бы надеяться, что вопросы хронологии вскоре окажутся в центре внимания исторической науки. Они этого заслуживают. Сотрудничество историков и математиков в области хронологии даст много нового и интересного.
ДОПОЛНЕНИЕ 1.
Б.Е.Бродский, Б.С.Дарховский
МЕТОДЫ ОБНАРУЖЕНИЯ "РАЗЛАДКИ" СЛУЧАЙНЫХ ПРОЦЕССОВ И ИХ ПРИМЕНЕНИЕ ДЛЯ
АНАЛИЗА ИСТОРИЧЕСКИХ ТЕКСТОВ.
АННОТАЦИЯ
В работе обсуждается возможность применения методов обнаружения моментов изменений вероятностных характеристик случайных процессов для анализа исторических текстов. Приводятся основные идеи развиваемого авторами непараметрического подхода к соответствующим статистическим задачам.
Развиваемые А.Т.Фоменко методы анализа нарративных текстов позволили дать количественные ответы на ряд вопросов, представляющих интерес для историков. В частности, оказалось возможным математически корректно поставить следующую интересную историческую проблему. Известно, что многие древние исторические источники (летописи, хроники и т.д.) составлены из отдельных фрагментов (кусков) разной природы. Например, эти отдельные куски могли быть написаны в разное время разными авторами (в разных странах), а потому могут существенно отличаться друг от друга своим характером, языком и стилем изложения, степенью подробности, эмоциональной окраской и т.д. Затем могло случиться так, что эти фрагменты были объединены каким-то более поздним хронистом в одну книгу. После этого первоначальное происхождение текстов фрагментов забывалось, и они начинали существовать как единая
Возникает естественный и важный (прежде всего для историка) вопрос; можно ли, опираясь на статистический анализ различных частотных характеристик, выявить сегодня внутри "единого большого текста" эти первичные составные части, куски, т.е. можно ли вновь "разрезать" большой текст на его первичные древние фрагменты-первоисточники?
А.Т.Фоменко и А.Н.Ширяев высказали гипотезу, что каждый отдельный фрагмент является стохастически однородным, точнее, представляет собой (если его перевести в числовую последовательность, что мы здесь предполагаем уже выполненным - вопрос о том, как это сделать, обсуждается в Дополнении 3) отрезок стационарного временного ряда, причем разные фрагменты отвечают разным стационарным рядам, отличающимися друг от друга теми или иными вероятностными характеристиками.
Эта гипотеза оказалась полезной при анализе конкретных исторических текстов (соответствующие результаты содержатся в Дополнении 3). Здесь же мы подробнее остановимся на идеологии решения возникающего класса статистических задач.
Эту область математической статистики можно назвать так; методы обнаружения изменений вероятностных свойств случайных процессов и полей. Речь идет о следующих двух классах проблем.
Первое. Пусть предъявлена выборка (реализация) случайного процесса (поля). Всякая статистическая обработка этой выборки с целью построения модели, оценки параметров и т.п. основана на предположении (оно лежит в основе математической статистики), что оцениваемый феномен в процессе сбора данных не изменялся. Поэтому предварительным этапом любой статистической обработки должен быть этап проверки подобной однородности. Таким образом, вопрос здесь ставится так; является ли предъявленная выборка статистически однородной в смысле неизменности своих вероятностных характеристик? Если ответ на этот вопрос положителен, то далее следует заниматься обычной статистической обработкой в зависимости от тех целей, которые ставит исследователь. Если же ответ отрицателен, то возникает задача обнаружения моментов изменения вероятностных характеристик и разбиения исходной выборки на несколько статистически однородных кусков.
Описанный класс задач получил название ретроспективных (апостериорных) задач о "разладке" ("разладка" - краткий термин для любого изменения вероятностных характеристик).
Второй класс проблем описывается следующим образом. Пусть информация о случайном процессе (его измерение) поступает последовательно во времени. Допустим, что в некоторый (заранее неизвестный) момент происходит изменение какой-либо вероятностной характеристики процесса (в общем случае, какой-либо функции распределения). Спрашивается, как обнаружить произошедшее изменение скорейшим образом после того, как оно возникло (ясно, что сделать это заранее - "предсказать будущее" - в принципе нельзя), но так, чтобы при этом ложные сигналы тревоги не были слишком частыми (частота таких сигналов может быть ограничена заданной величиной). Эта задача получила название задачи о скорейшем обнаружении "разладки".
Первые работы в указанной области были опубликованы еще в 30-х годах (см.ссылку в [539] на работу Шьюхарта, посвященную задаче скорейшего обнаружения). Однако, строгой теории тогда построено не было. В 50-х годах появились работы Пейджа [540], [541], где был предложен метод обнаружения "разладки" как в ретроспективном, так и в скорейшем варианте. Этот метод, получивший впоследствии название метода кумулятивных сумм, и основанный на последовательном вычислении функции правдоподобия, оказался удобным с точки зрения организации расчетов и практически эффективным. Примерно в это же время А.Н.Колмогоров дал строгую постановку задачи о скорейшем обнаружении момента "разладки" для винеровского процесса, сформулировав ее как некоторую вероятностную экстремальную проблему. Эта проблема была решена А.Н.Ширяевым, который нашел в указанной ситуации оптимальный метод обнаружения. Итог исследованиям А.Н.Ширяева в этой области подведен в книге [542].