Исчезновение экипажа со станции "Санлайт"
Шрифт:
Каждую неделю нейронная сеть должна проходить тест, именуемый космонавтами «тестом четыре на четыре». Суть теста в том, что сети демонстрируется ряд ситуаций, а затем снимаются её показатели по восьми эмоциям: уверенность, удовлетворение, любопытство, вдохновение, гнев, грусть, страх и апатия. Эмоции определяются по скорости реакции сети на ту или иную ситуацию. Да, это сложно. Не будь я космонавтом, моя голова бы уже взорвалась от всего этого потока информации. Но не волнуйтесь, сейчас я объясню на примере - и ситуация прояснится.
В компьютер загружается программный код, описывающий определенную ситуацию. Например, вы стоите в очереди в банке, когда в него забегает грабитель и стреляет в воздух. Затем грабитель убивает охранника, пытающегося достать из кобуры
Что ж, давайте усложним ситуацию с ограблением несколькими подробностями. Нейросеть знает, что грабить банки и убивать людей - плохо, потому что так ей диктует то устройство мироздания, что она подчерпнула из миллионов книг, песен и фильмов. Однако представим теперь абсурдную ситуацию: нейросеть видит, как капитан корабля смотрит фильм, где злодей убивает невинных жертв, и капитан хлопает ему, визжа от радости. В конце фильма злодею вручают премию вместо того, чтобы посадить в тюрьму, и капитан начинает плакать от счастья, распинаясь в одах любви к такому прекрасному персонажу. Разумеется, такая ситуация маловероятна, но она в корне противоречит убеждениям нейронной сети. Поэтому, когда в неё загрузят ситуацию с ограблением, она, скорее всего, даст ту же последовательность эмоций, но на этот раз она задумается: «А плохо ли это, убивать людей?» Разумеется, сеть знает, что убивать людей - плохо, но из-за ситуации с фильмом ей потребуется оперировать фактами, идущими вразрез с её логикой, из-за чего показатели некоторых эмоций будут завышены. В частности, эмоций «уверенность» и, возможно, «любопытство». Поэтому вместо каких-нибудь сорока наносекунд, отведенных на «уверенность» в этой ситуации, сети потребуются все двести, что тоже отразится на результатах. В случае неудовлетворительных результатов, нейросеть сама может сказать, какая из недавних ситуаций сбила её с толку, и тогда специальный работник (Томас) должен объяснить ей, что к чему, подобно заботливой маме, поучающей своего малыша. Эта процедура и называлась калибровкой.
Но вот что смутило меня в кабинете Томаса - на его компьютере я нашла все показатели ВИНСа, начиная с самой первой недели полета. И три недели назад они упали, не успев восстановиться до «инцидента». В большинстве ситуаций показатели «уверенности» снизились, а «любопытства» и «грусти» - возросли. Весь год результаты ВИНСа были отменными, а затем они мало того, что упали - так еще и не восстановились на следующих двух тестах. Что означало, что калибровка либо не была произведена, либо была, но неудачно. Однако, как бы там ни было, результаты ВИНСа все еще были в пределах допустимого, и в ремонте он не нуждался. Просто представьте, что отличник вдруг скатился до троек - это плохо, но недостаточно плохо для того, чтобы отправить его на второй год.
40 минут после «инцидента»
Никто не сидел на станции без дела. После небольшого собрания, в котором Орнелла сказала, что нет поводов для паники, каждый занялся своей задачей. Вестер и Чжимин, английский биолог и китайский ботаник, занялись выведением хлореллы - фотосинтезирующих водорослей, которые за предстоящие сутки должны были разрастись и обеспечить станцию кислородом еще на
Собрав экипаж, Орнелла выдвинула довольно воодушевляющую речь, сказав, что у них есть масса выходов из этой ситуации, начиная с восстановления связи и эвакуации на транспортной капсуле и заканчивая анабиозом. И все разошлись, сохраняя профессиональную невозмутимость, словно столкнулись с обыкновенной бытовой проблемой, не предвещающей ничего серьезного. Если бы хоть кто-то подошел к Орнелле в тот момент и спросил, действительно ли она так верит в успех спасения экипажа, она бы ответила:
– Конечно же нет.
Будь она прямолинейна и честна наедине со спросившим, то озвучила бы то, что думал каждый из космонавтов:
– Мы все просто охренительно влипли. Пропади пропадом этот второй контракт, пропади пропадом весь «Санлайт». Все, на что нам остается надеяться - это гребаное чудо.
36 часов после «инцидента»
– Эй, Вилли, - спросила я, витая по забитому хламом коридору в поисках зацепок, аки настоящий космический детектив.
– Как думаешь, ВИНС мог убить экипаж?
– Не совсем понимаю вопрос, - донеслось в ответ из динамиков портативного модуля.
– Была ли у него такая возможность? Была. Она была у каждого члена экипажа - перерезать всем горла, пока те спят. Даже Вы можете себя сейчас убить - для этого Вам всего лишь нужно выйти в открытый космос без скафандра. Заметьте, с физической точки зрения нет ничего, что Вас бы сдерживало.
– Давай я перефразирую, - на размышления у меня ушло несколько секунд.
– Было ли что-то, что могло бы сдержать ВИНСа от такого? Какие-то защитные механизмы.
– Структура нейронной сети не предусматривает таких механизмов, - снова залепетал детский голосок.
– ВИНС обучен таким образом, что в любой критической ситуации выберет наилучший для команды вариант. Но лучший вариант не всегда учитывает все интересы. Позвольте провести параллели: представьте, что станция отклонилась от курса и с сумасшедшей скоростью полетела к солнцу. Экипаж при этом беспомощен, и тогда ВИНС отключает им кислород. Конечно, все члены экипажа погибают, но погибли бы они и в противном случае. Если бы ВИНС их не убил, они бы сжарились заживо, умирая в страшнейших муках. Так что, если Вы спрашиваете, может ли нейронная сеть убить человека - да, может. Есть ли в ней программные ограничения - нет. Но если Вы спрашиваете мое мнение, то мой ответ очевиден - ВИНС не убивал экипаж. Может, мои микросхемки и не такие шустрые, но я просто не могу смоделировать ситуацию, в которой нейронная сеть смогла бы на ровном месте убить семерых людей.
– А что, если ВИНС устроил разгерметизацию, - не отступала я, - и выкинул экипаж в космос, а потом как-то вывел из строя подсистему газового состава, чтобы это выглядело как... как...
– Простите, но это инсинуации. Вы делаете скоропалительные выводы на основе ухудшенных показателей ВИНСа. Если бы он собирался выкинуть космонавтов в космос, это в гораздо большей степени отразилось бы на результатах теста.
– В этом есть логика, - на мгновение я прервалась, залетая в личную каюту немецкого ученого Себастьяна.
– Помню, когда я была маленькой, дедушка рассказывал мне сказку о космонавтах, которые летели к Юпитеру. У них тоже была нейросеть, подобная ВИНСу. Не помню подробностей, но в определенный момент она слетела с катушек и перебила весь экипаж - вот.