Эффект плато. Как преодолеть застой и двигаться дальше
Шрифт:
Совсем другое впечатление производила команда из Лопез, Тайлера и Джексона. Самый жесткий их комментарий выглядел следующим образом: «Это было несколько неудачно, однако мы все равно тебя любим». Они хвалили почти каждое выступление, в результате чего зрители не могли провести различие между выступавшими и начинали руководствоваться какими-то собственными оценками. Автор сайта Today.com Крэйг Берман описал эту проблему на следующий день после изгнания Тоскано: «Невозможно было понять, что Тоскано действительно нравится судьям больше всех остальных. Они осыпали щедрыми похвалами всех участников, говоря, что все прошло отлично и что они совершенно не представляют себе, за кого же теперь проголосуют зрители» {21} .
21
Craig Berman, «“Idol” Judges Berate Fans for Sending Pia Home», Today, April 8, 2011, today.msnbc.msn.com/id/42484717/ns/today-entertainment/t/idol-judges-berate-fans-sending-pia-home.
Саймон
Акклиматизация, как мы уже обсудили выше, лишает нас ощущения последовательности, однако ее влияние не ограничивается телевизионными шоу или ресторанами для любителей чеснока. Порой она может привести к тому, что вашу машину угонят у вас из-под носа.
У автосигнализаций, широко распространившихся в 1970-х годах, был совершенно ужасный звук. Разумеется, владельцы обращали на него внимание и реагировали на происходящее, то есть сигнализация служила своей заявленной цели – привлечению внимания к возможным ворам. Однако вскоре их эффективность достигла своего плато.
Неужели гениальные жулики смогли перехитрить сигнализацию? Вряд ли. Проблема была значительно проще: людям не нравился шум. Проведенное полицией Нью-Йорка исследование шума от автомобильных сигнализаций показало, что около 99 процентов включений сигнализации не было связано с попытками проникновения {22} . Иными словами, сигнализация включалась скорее не в результате действий злоумышленников, а из-за порыва ветра, прыжка соседской кошки на капот, вибрации проезжавшего мимо грузовика или шагов проходящего пешехода. Это звук стал настолько привычным, а ложные включения – настолько частыми, что люди стали их попросту игнорировать. Сигналы перестали быть эффективными.
22
В последнее время было проведено несколько интересных исследований по вопросу эффективности автосигнализаций. Мы рекомендуем начать изучение этого вопроса с работы Aaron Friedman, Aaron Naparstek и Mateo Taussig-Rubbo «Alarmingly Useless: The Case for Banning Car Alarms in New York City», Transportation Alternatives, March 21, 2003, www.transalt.org/files/newsroom/reports/caralarms/08ineffective.html. Ниже перечислены и другие интересные источники: Kim Hazelbaker, «Insurance Industry Analyses and the Prevention of Motor Vehicle Theft», in Business and Crime Prevention, eds. Marcus Felson and Ronald V. Clarke (Monsey, NY: Willow Tree Press Inc., 1997), 283–293. New York City Police Department, Police Strategy No. 5: Reclaiming the Public Spaces of New York (New York: New York City Police Department, 1994), 6, 11, and 20. Brian Anderson, «Let’s Ban Car Alarms», City Journal 12, no. 1 (2002).
Проведенное компанией Progressive Insurance исследование показало, что менее одного процента людей, услышавших включение автомобильной сигнализации, позвонят в полицию. Какофония неэффективных сигналов привела к тому, что в Нью-Йорке был принят закон, согласно которому запрещалось использование сигнализаций, не выключавшихся автоматически после трех минут работы. Это развязало руки преступникам. Проведенное в 1997 году исследование данных о страховых случаях, связанных более чем с 73 миллионами автомобилей, показало, что внедрение автосигнализаций не привело к уменьшению количества краж. Вот что происходит, когда нам предлагают фальшивые сигналы и недостоверные данные: мы игнорируем и те и другие.
В противостоянии между сигналом и шумом последний имеет явное преимущество. Человеку свойственно выключать информационные каналы, переполненные шумом. Проблема состоит лишь в том, что эти каналы действительно содержат важные для нас сообщения. Иногда противоугонная сигнализация включается именно тогда, когда нужно, однако этот канал коммуникации уже отключен в нашем мозге и воры используют это в своих интересах. Известная и довольно наглая техника кражи автомобиля состоит в том, чтобы запустить сигнализацию сразу у многих машин, а затем спокойно заняться угоном одной-единственной.
Автосигнализация утратила свою эффективность, поскольку перестала быть необычной. Однако, отключаясь от нее, мы упускаем из виду по-настоящему важные сигналы – а это может привести к значительным ошибкам.
В конце 2000 года технологическое сообщество США заинтересовалось техническим сбоем, произошедшим в округе Волусия во Флориде. Машина для электронного голосования в районе с 600 зарегистрированными избирателями насчитала минус 16 тысяч 22 голоса за Эла Гора, кандидата от Демократической партии {23} . Если вы в это время не снимались в эпизоде шоу «Остаться в живых» на пустынном острове, то наверняка помните драму, связанную с противостоянием Буша и Гора в ходе выборной кампании. Неуверенность! Неопределенность! Хаос! Но что же случилось в Волусии? Каким образом машина, призванная помогать в одном из самых важных процессов в стране, могла дать столь серьезный сбой? (Нужно отметить, что плохие результаты были аннулированы и не оказали никакого влияния на итог выборов, поскольку голоса в Волусии были впоследствии пересчитаны, причем
23
Оценка уязвимости машин для голосования – одно из любимых хобби Хью. Он даже снялся для документального фильма Hacking Democracy, номинанта на премию «Эмми», и детально рассказал о технологических недостатках имеющихся систем. Узнать больше об этом фильме можно на сайте www.hackingdemocracy.com. См. также: Dana Milbank, Tragicomedy of Errors Fuels Volusia Recount, The Washington Post, November 12, 2000.
Наверняка машина для голосования тестировалась тысячи раз, а затем сотни раз использовалась на региональных выборах без каких-либо проблем. Тем не менее проблема возникла, и это изрядно замедлило процесс выбора следующего лидера свободного мира. Если же мы с вами посмотрим на внутреннюю кухню отрасли по разработке программного обеспечения, то легко поймем, почему серьезные программные сбои часто не привлекают внимания. Программы создаются разработчиками, то есть людьми, производящими множество страниц с логическими инструкциями, которые машина затем интерпретирует и в соответствии с которыми работает. В большинстве компаний-разработчиков готовый программный продукт проверяется тестерами – людьми, которые смотрят на программу со всех сторон в надежде найти ошибки. Тестеры делают то, что делали бы на их месте обычные пользователи. Они нажимают на большие кнопки, выбирают самые типичные опции, открывают и закрывают файлы и т. д. Проблема состоит в том, что зачастую пути, по которым идут обычные пользователи, не всегда позволяют выявить сбои или ошибки в программе. Какие-то проблемы выявляются, однако способность тестеров найти сбои быстро достигает уровня плато – система, по сути, приобретает иммунитет к стандартным техникам тестирования. Однако многие ошибки, упускаемые из внимания, оказываются потом чуть ли не самыми важными (минус 16 тысяч 22 голоса – это серьезно). То есть обычный метод охоты за сбоями несовершенен и позволяет упускать именно те важнейшие ошибки, которые как раз и необходимо найти.
Каждый год сотни продуктов отзываются с рынка из-за тех или иных дефектов. О некоторых из этих дефектов производители знают еще перед выпуском продукта, однако во многих случаях их не выявляют из-за того, что тестирование было слишком методичным, слишком нормальным. Борис Бейзер, легенда в мире тестирования программных продуктов, называет эту ситуацию парадоксом пестицидов {24} . В своей книге Software Testing Techniques («Техники тестирования программ») он замечает: «Каждый метод, который вы используете для предотвращения или выявления сбоев, оставляет следы менее заметных сбоев, против которых этот метод неэффективен». Выражаясь иными словами, традиционные методы проверки могут привести к появлению «суперсбоев», что особенно страшно, если речь идет о программах, контролирующих движение самолетов, гаджетах, следящих за ускорением автомобиля, или устройствах, помогающих выбрать президента.
24
Boris Beizer, Software Testing Techniques, 2nd ed. (London: International Thomson Computer Press, 1990).
Процессу тестирования программ необходим шок, позволяющий предупредить парадокс пестицидов и пробиться сквозь создаваемое сбоями плато. Решение этой проблемы может состоять в использовании подхода, известного в наши дни под названием «фаззинг» и способного справиться почти с любым плато, вызванным акклиматизацией.
Фаззинг обращает внимание на все странное и необычное {25} . Эта техника основана на точке зрения, с которой редко соглашаются инженеры: большинство систем слишком сложны для полного понимания, что приводит к возникновению странных вещей. Инженеры привыкли к жестким процессам и живут в мире математических допусков. Фаззинг допускает, что реальный мир значительно более неопределен.
25
Отличное описание фаззинга с технической точки зрения приведено в книге Ari Takanen, Jared DeMott, Charlie Miller, Fuzzing for Software Security Testing и Quality Assurance (Norwood, MA: Artech House Inc., 2008).
Первый опыт общения Хью с фаззингом {26} (хотя в то время он этого еще не понял) состоялся, когда он учился в школе на Багамах. Хью захотел выпить газировки. Тогда, в 1980-х годах, машины по продаже прохладительных напитков только-только начали появляться в школах в столице страны Нассау. Багамы – довольно небольшой рынок для поставщиков таких машин, а кроме того, ситуация осложнялась уникальным положением национальной валюты. Официальной денежной единицей на острове выступает багамский доллар, искусственно привязанный к доллару США в соотношении один к одному. Багамские и американские доллары полностью взаимозаменяемы. Если вы покупаете в магазине шоколадку, то можете получить сдачу наполовину в американских, а наполовину в багамских долларах.
26
Детальное техническое описание ошибки в машине по продаже напитков (и фаззинга в целом) приведено в статье, написанной Хью: Herbert H. Thompson, «Secure Software Needs Careful Testing – and Lots Of It», Information Week, November 28, 2009.