Пособие по журналистике данных

Грей Д.

Французский рынок водоснабжения состоит более чем из 10 000 клиентов (городов, закупающих воду для распространения среди своих налогоплательщиков) и всего нескольких коммунальных компаний. Баланс сил в этой олигополии смещен в сторону корпораций, которые порой выставляют разные цены соседним городам!

Рис 51. Цена воды (Фонд France Libert'e)

Французская неправительственная организация France Libert'es занимается вопросами воды в мировом масштабе последние 25 лет. Сейчас она концентрирует свое внимание на улучшении прозрачности на французском рынке и поддержке и повышении возможностей для граждан и мэров, принимающих участие

в переговорах о водоснабжении. Французское правительство решило заняться проблемой два года назад с общенациональной переписи, сбора данных о стоимости и качестве воды. На данный момент собрано только 3% данных. Чтобы процесс шел быстрее, France Libert'esрешила напрямую вовлечь граждан в этот процесс.

Вместе с командой OWNI я создал краудсорсинговый интерфейс, куда пользователи могут заливать свои отсканированные счета за воду и вводить цену, которую они платят за воду из–под крана — prixdeleau.fr(«цена воды»). За прошедшие 4 месяца 8 500 человек зарегистрировались на сайте и более 5 000 счетов было загружено и проверено.

И хотя это не позволяет дать четкую оценку ситуации на рынке, собранные данные показали игрокам на этом рынке, таким как национальные надзорные органы, призванные следить за ситуацией на рынке воды и водоснабжения, что существует настоящая озабоченность на низовом уровне такой проблемой, как цена воды из–под крана. Поначалу они скептически отнеслись к прозрачности, но по ходу процесса изменили мнение, прогрессивным образом присоединившись к France Libert'es в ее борьбе против непрозрачности и корпоративных злоупотреблений. Что могут извлечь для себя из этого СМИ?

Партнерство с неправительственными организациями

Неправительственным организациям требуются большие объемы данных, чтобы создавать программные документы. Они будут более склонны платить за процессы сбора данных, чем руководства газет.

Пользователи могут предоставить исходный материал

Краудсорсинг работает лучше всего, когда пользователи занимаются сбором данных или решают задачу обработки и очистки данных.

Просите предоставить источник

Мы обдумывали и взвешивали вопрос, просить ли пользователей сканировать оригинальные счета, полагая, что такая просьба может удержать некоторых из них от сотрудничества (особенно учитывая, что наша целевая аудитория была старше среднего возраста). И хотя некоторых это требование действительно удержало, оно, тем не менее, увеличило степень достоверности и надежности собранных данных.

Создайте механизм обоснования и легализации

Мы создали целевую систему и механизм экспертной оценки и дружественной проверки, для осмотра и исследования вкладов пользователей. Это оказалось слишком сложным и витиеватым для пользователей, которым не хотелось повторно заходить на сайт. Однако это было использовано командой France Libert'es, десять или около того сотрудников которой чувствовали себя более мотивированными системой баллов.

Делайте все просто

Мы создали автоматический почтовый механизм, чтобы пользователи могли составить запрос о свободе информации в отношении цен на воду посредством всего нескольких кликов. И хотя этот механизм был инновационным и хорошо сконструированным, данная система не обеспечила достаточного числа откликов (только сто запросов было отправлено).

Достигайте вашей целевой аудитории

France Libert'es вступила в партнерские отношения с журналом о правах потребителей 60 Millions de Consommateurs, который включил свою аудиторию в этот процесс. Это стало идеальным решением для подобной операции.

Внимательно выбирайте ключевые индикаторы

Проект собрал только 45 000 посетителей за 4 месяца, что эквивалентно 15 минутам трафика на, например, сайт nytimes.com. Что действительно важно, так это то, что каждый пятый посетитель зарегистрировался, и каждый десятый потратил время на то, чтобы отсканировать и загрузить свой счет за коммунальные услуги.

— Николас Кайзер–Бриль, Journalism++

Получение данных

Итак,

вы готовы приступить к вашему первому проекту в сфере журналистики, посвященной данным. С чего следует начать? В первую очередь вам потребуются какие–то данные. В данном разделе рассказывается, где вы их можете найти. Вы научитесь искать данные в Интернете, запрашивать их, пользуясь законодательством о свободе информации, «выскребать данные с экрана» при сборе данных из неструктурированных источников, использовать методы «привлечения общественности» для сбора необходимых данных у ваших читателей. Мы узнаем, что говорит законодательство о публикации наборов данных, и научимся использовать простые правовые инструменты, которые позволят другим лицам вновь использовать ваши данные. А в конце данного раздела мы познакомимся с некоторыми смешными и не очень рассказами о том, через что пришлось пройти нашим авторам, чтобы получить те данные, которые они искали.

Краткий справочник

Рис 52. datacatalogs.org(Open Knowledge Foundation)

Ищите данные по конкретной теме или вопросу? Не знаете, какие данные имеются и где их найти? Не знаете, с чего начать? В данном разделе мы узнаем о том, с чего начинать поиск открытых источников информации в сети.

Направьте ваш поиск в нужное русло

Многие базы данных в Интернете, даже те, которые бывает трудно найти, проиндексированы поисковиками, причем независимо от того, хотел их издатель того или нет. Вот несколько подсказок по поиску:

При поиске данных убедитесь, что вы ввели в поисковый запрос как термины, относящиеся к содержанию данных, которые вы хотите найти, так и некоторую информацию, относящуюся к формату или источнику, в котором, как вы ожидаете, находятся эти данные. Например, вы можете искать только таблицы (дополняя ваш поисковый запрос указателями типов файлов «filetype:XLS filetype:CSV»), географические данные («filetype:shp») или выдержки из баз данных («filetype:MDB, filetype:SQL, filetype:DB»). Если вы захотите, вы можете искать даже PFD–файлы («filetype:pdf»).

Также можно вести поиск по части URL–адреса. Введя в запрос при поиске в Google «inurl:downloads filetype:xls», вы будете искать файлы Excel, в веб–адресе которых есть слово «downloads» (если вы найдете всего один загружаемый файл, зачастую имеет смысл проверить, какие имеются другие результаты для той же папки на веб–сервере). Вы также можете ограничить свой поиск отдельным доменным именем, задав в условиях поиска, например, «site:agency.gov».

Еще одним популярным способом является поиск не непосредственных результатов, а тех мест, в которых могут находиться данные. Например, введение в условия поиска запроса «site:agency.gov Directory Listing» приведет к тому, что вы получите некоторые созданные веб–сервером списки, предоставляющие удобный доступ к исходным файлам, в то время как запрос «site:agency.gov Database Download» выдаст в результатах специально созданные списки.

Поиск по сайтам и сервисам баз данных

В последние годы в Интернете появился ряд посвященных базам данных порталов, хабов и других сайтов, на которых вы можете ознакомиться с хранящимися там данными. Для начала вы можете обратить внимание на следующие из них:

Официальные порталы данных.

Различные страны по разному относятся к раскрытию тех или иных баз данных. Все больше стран запускают порталы данных (вдохновляемые такими сайтами, как американский data.gov или английский data.gov.uk) для предоставления возможности гражданскому обществу и коммерческим организациям пользоваться предоставляемой властями информацией. На ресурсе datacatalogs.orgвы сможете найти самый актуальный глобальный перечень таких сайтов. Еще одним удобным сайтом является Guardian World Government Data, поисковик, включающий в себя большое количество каталогов баз данных, публикуемых иностранными правительствами.