-
Итак, я получил ответ от Елены Нагайчук, представителя ФАС России.
—-
Мы изучили представленные Вами сведения о некорректных данных в реестре недобросовестных поставщиков. Очевидно, что их основная часть связана с ошибками ввода. На сотрудниках управления контроля государственного заказа лежит большая нагрузка по вводу данных в разнообразные реестры и базы. Безусловно, это может быть лишь объяснением, но не оправданием. Поэтому сейчас, учитывая значимость реестра, мы сразу начали корректировку данных в реестре по присланным случаям, а также поиск и исправление аналогичных.
Мы благодарны за выявленные недостатки в нашей работе, постараемся их исправить, и свести к минимуму дальнейшие ошибки. Для этого принято решение о доработке самого реестра в части внедрения механизмов защиты от некорректного ввода данных (реквизиты, ИНН, латинские символы и пр.) программными и организационными средствами.
Уверяем Вас, что ФАС России открыта к диалогу и конструктивному сотрудничеству, которое в конечном счете способствует повышению эффективности исполнения наших функций.
—
Я считаю что это положительный результат. Итак, теперь у нас есть не первый, но полезный пример того зачем же нам нужны открытые данные и чего с помощью них можно добиться.
Originally published at Иван Бегтин. You can comment here or there.
-
Поскольку я ответа от представителей ФАС так и не получил, но обнаружил что большую часть примеров что я им прислал они «тихо поправили». Скажу честно, такое отношение к делу мне не нравится, но я к нему был заранее готов. Так что придётся всё таки публиковать у себя, максимально подробно. По крайней мере с моей стороны все приличия были соблюдены.</p>
Для начала, что такое реестр недобросовестных поставщиков, он описан в статье 19 94-ФЗ:
—
2. В реестр недобросовестных поставщиков включаются сведения об участниках размещения заказа, уклонившихся от заключения государственного или муниципального контракта, а также о поставщиках (исполнителях, подрядчиках), с которыми государственные или муниципальные контракты по решению суда расторгнуты в связи с существенным нарушением ими государственных или муниципальных контрактов.
3. Реестр недобросовестных поставщиков должен содержать следующие сведения:
1) наименование, место нахождения (для юридических лиц), фамилия, имя, отчество, место жительства, идентификационный номер налогоплательщика лиц, указанных в части 2 настоящей статьи;
2) дата проведения аукциона, подведения итогов конкурса или итогов проведения запроса котировок в случае, если победитель аукциона, победитель конкурса или победитель в проведении запроса котировок уклонился от заключения государственного или муниципального контракта, дата признания несостоявшимися торгов, в которых единственный участник размещения заказа, подавший заявку на участие в конкурсе или заявку на участие в аукционе, либо участник размещения заказа, признанный единственным участником конкурса или аукциона, либо участник аукциона, единственно участвующий в аукционе, уклонился от заключения государственного или муниципального контракта, дата проведения запроса котировок, в котором единственный участник размещения заказа, подавший котировочную заявку, отказался от заключения государственного или муниципального контракта, дата заключения неисполненного или ненадлежащим образом исполненного государственного или муниципального контракта;
3) предмет, цена контракта и срок его исполнения;
4) основания и дата расторжения государственного или муниципального контракта в случае расторжения контракта в связи с существенным нарушением поставщиком (исполнителем, подрядчиком) контракта;
—-
А также реестр недобросовестных поставщиков регулируется 292 постановлением правительства от 15 мая 2007 года.
Если внимательно прочитать закон и постановление, то можно обратить внимание что:
1. Нигде не упомянут механизм (регламент) проверки наличия поставщика в реестре госзаказчиком.
2. Можно обратить внимание что в требованиях к той информации которая вносится в реестре нет требований к проверки её на достоверность.
Итак а теперь в чём проблемы в реестре недобросовестных поставщиков. Здесь есть две категории проблем.
Проблемы практические – касающиеся того как реестр ведётся прямо сейчас, и проблемы принципиальные – то как реестре должен был бы быть устроен «правильно». Сейчас я остановлюсь только на практических проблемах, они достаточно актуальны.
На практике госзаказчике проверяют поставщиков на наличие в реестре по двум критериям. По реквизитам поставщика – идентификационному номеру налогоплательщика и по названию организации. Что означает что эти данные в реестре должны быть достоверными.
А теперь представим себе ситуацию что в данных которые заказчик передал в территориальные УФАС закрались ошибки, случайные ли, или намерянные (как отличить?), но ошибки. Например, в названии организации есть опечатка или же ИНН записан неверно и в таком виде эта информация попадёт в реестр. И, как результат, если другой госзаказчик будет проверять ту же информацию по реестру он этой организации там не найдёт. Полагаете надуманная ситуация? Как бы не так.
Обратимся к информации в реестре поставщиков и рассмотрим конкретные примеры:
Пример N2. ИНН организации не проходит валидацию и отсутствует в ЕГРЮЛ.
Пример N3. ИНН организации не соответствует её названию
Это более сложный случай чем предыдущие когда код ИНН одной организации может, на самом деле, принадлежать другой. Или же когда организация может сменить своё название.
Например, ООО «СтройПроектМонтаж» из Новосибирской области находится в реестре
http://rnp.fas.gov.ru/RNPCard.aspx?id=7c723330-fdad-43ed-ab09-7c121d45c7d0. Однако если сейчас заглянуть в ЕГРЮЛ и поиска организацию с ИНН 5405161277 то мы найдём организацию «Лотос М». Если заказчик проверял наличие поставщика в реестре именно по названию, то организацию с названием «Лотос М» он там не найдёт.
Вопрос в том является ли это название «Лотос М» новым названием этого юр. лица или же СтройПроектМонтаж было изначально неверным названием организации. Это невозможно проверить кроме как не подняв исторические данные об организации из ЕГРЮЛ.
Пример N4. Латиница в названиях организаций
В реестре недобросовестных может быть точно такая же проблема что и с закупками. Если в названии поставщика были использованы латинские символы вместо кириллических, то и госзаказчик ищущий поставщика по названию может его не найти.
Увы этот пример будет исключительно умозрительный. Те несколько случаев которые были мной найдены, я ранее пересылал сотрудникам ФАС России и теперь уже их нельзя привести наглядно поскольку они успели быстро их поправить.
В основном это были простые ошибки, например, вместо «ООО» русскими буквами было написано латинскими, кое-где вместо русской буквы «Эс» использовалась латинская «Цэ».
Пример 5. Опечатки в названиях
Этот пример также умозрительный, не из-за невозможности, а из-за сложности проверки. Если латиницу в названиях организаций ещё хоть как-то можно выявить, то если кто-то ошибётся в названии организации. Особенно если ошибка будет невелика и, например, всё же сохранит смысл слова, то организацию поставщик, опять же будет невозможности найти по названию. Окончательно убедиться в этом будет можно только сопоставив название организации из ЕГРЮЛ с названием в реестре недобросовестных. И, хотя это и займёт немало времени, это ещё может быть сделано.
—-
Примеры Выше это не единичные случаи. Разумеется подобных случаев гораздо больше, особенно некорректно введённых кодов ИНН. Десятки случаев.</p>
Отсюда вопрос относительно того как же именно госзаказчики должны проверять наличие поставщика в данном реестре – по реквизитам (коду ИНН) или по названию? Получается что в любом из этих способов есть риск что поставщик, даже если он был внесён в реестр, может быть не найден.
Другой немаловажный вопрос в том как же возникла такая ситуация. Проверяют ли вообще сотрудники антимонопольной службы информацию которую они вносят в данный реестр?
К великому моему сожалению, вся данная ситуация показывает работу Антимонопольной Службы не в лучшем свете. Даже если мы предположим кристальную честность сотрудников данной службы, то отсутствие контроля за той информацией которая вносится в реестр ставят ФАС России на одну ступень с заказчиками «случайно» использующих латиницу в госзаказах.
Приложение к посту. Письмо которое уходило в ФАС (значительная часть там написанного ими уже поправлено)
—————-
Прежде чем публиковать у себя в блоге, как обещал, пересываю Вам результаты моего анализа реестра недобросовестных поставщиков.
Вот некоторые примеры из реестра недобросовестных:
1. Проблема с реквизитами индивидуальных предпринимателей
Например, в некоторых случаях для ИП’шников у которых должен быть ИНН из 12 цифр, в реестре этот код состоит из всего 10 цифр. А то есть в нём либо потеряны 2 цифры, либо это вообще не их ИНН.
Примеры:
- http://rnp.fas.gov.ru/RNPCard.aspx?id=98c4974e-60fd-453b-8355-7640d60c2603
- http://rnp.fas.gov.ru/RNPCard.aspx?id=37aac1fa-41c9-4e6c-8ac5-07c2685e2f5b
- http://rnp.fas.gov.ru/RNPCard.aspx?id=0e36065c-1ea1-46c3-ae16-d0f38419aeb5
Всего таких 9 случаев.</p>
2. Проблема с корректностью кода ИНН у юридических лиц.
У ряда юридических лиц код ИНН не проходит валидацию по контрольному числу и, соответственно, такие коды отсутствуют в ЕГРЮЛ.
Примеры:
- http://rnp.fas.gov.ru/RNPCard.aspx?id=fb57994f-8f17-4d9b-a492-41cff6b912ef. ООО «Диамид». Код ИНН в РНП: 6668180882, настоящий код ИНН 6658180882
- http://rnp.fas.gov.ru/RNPCard.aspx?id=54d8abde-b49e-491d-a01b-fae2e9305d4c. ООО «Нагель», Код ИНН в РНП: 7726526721 не проходит валидацию
Всего таких 26 случаев.
3. Есть ряд случаев когда в наименовании юридического лица используются латинские символы, причём необоснованы.
Например:
- http://rnp.fas.gov.ru/RNPCard.aspx?id=93a3b3dd-93bd-4d58-8858-94c2321a446f. Организация ООО «Символ». Вместо русской буквы «эс» используется английская «цэ». Практически это то же самое что латиница в госзакупках.
Для организаций: http://rnp.fas.gov.ru/RNPCard.aspx?id=a3006b56-1e50-498b-a289-f351641bbb3c, http://rnp.fas.gov.ru/RNPCard.aspx?id=035d9a4d-3346-4d1b-8228-3fe2b3732026, http://rnp.fas.gov.ru/RNPCard.aspx?id=d1738a37-4e12-48bd-895a-81f9fcc0969e и
http://rnp.fas.gov.ru/RNPCard.aspx?id=7799eb7e-68bf-4bb9-a513-d9773ed3e9d5
английские буквы «o» используются в части названия «OOO»
Всего таких 5 случаев.
4. Есть множество примеров в реестре когда вместо ИНН организаций или ИП неполон или избыточен. Например, есть один случай с организацией с ИНН в 9 символов http://rnp.fas.gov.ru/RNPCard.aspx?id=073c5990-b06b-460b-8e54-46f3f03c2bcd и
31 случай с организациями и ИП с ИНН в 11 символов (чего в природе не бывает).
Вот пара примеров:
- http://rnp.fas.gov.ru/RNPCard.aspx?id=17ad2a22-d9ba-40e6-821c-a3a8b135c2cf
- http://rnp.fas.gov.ru/RNPCard.aspx?id=750aee23-1022-42e2-b7f7-a349ed43728c
Итого более 70 только наиболее очевидных случаев когда проверка организации в реестре недобросовестных не сработает.
А также я могу проверить не заключались ли с данными организациями контракты _после_ их внесения в реестре. Если окажется что заключались, то тут будет ситуация где имеется экономический ущерб.
И, конечно, это не глубокий анализ. Например, я не проверял случаи у одной организации может быть указан корректный ИНН другой организации. Или же опечатки в русских названиях организаций. Или же соответствие этих названий названиям организаций в ЕГРЮЛ, поскольку в реестре недобросовестных сейчас всё вперемешку. Где то используются полные названия организаций, а где-то краткие. Что, вообще-то, неверно. Поскольку поставщик может подаваться под любым из этих названий.
Выводы, я думаю, тоже очевидны – недостаточный контроль ФАС России за реестром в результате чего в нём присутствует недостоверная информация.
————–
Originally published at Иван Бегтин. You can comment here or there.
-
Итак, в OpenGovData.ru и его Вики появилось много нового.
1. За 4 дня было было создано 14 парсеров и, соответственно, у нас появилось 14 новых массивов машиночитаемых данных. Почти все были сделаны волонтёрами по своей инициативе. Я считаю что это очень круто и мы вместе делаем очень важное дело. Пусть и по маленьким кусочкам, но, свершилось главное идея создания машиночитаемых данных своими руками – работает.
Кстати, предлагаю всем подумать над тем как можно проанализировать и что можно из этих данных интересное сделать. Например, я лично уже копаюсь в реестре недобросовестных поставщиков, а кому могут быть интересны данные государственного регистра фильмов, базы запуска космических аппаратов или сводной налоговой отчетности. Предлагаю всем заглянуть в то что у нас уже есть тут в вики и в списках массивов данных.
2. В список источников opengovdata.ru я добавил ещё 10 новых. Их можно просмотреть в списке тут в основном это статистика ФСИН, МЧС и МВД. Присылайте новые мне или вносите в список в вики проекта тут
3. В разделе рецепты и инструменты добавились ссылки на примеры кода, фреймворки и движки по извлечению данных, их обработке и визуализации. Постепенно там будет собрана максимально обширная коллекция материалов. Если Вы видите что там чего-то нехватает, смело добавляйте или пишите мне – я добавлю.
4. Я начал вносить в Вики собственные парсеры накопленные мною за время работы над opengovdata.ru. Сейчас на странице со списком преобразованных данных я выложил парсер списка сайтов кредитных организаций (банков) с сайта Банка России.
А также вот тут http://gist.github.com/555510 можно посмотреть пример кода как автоматизировать извлечение очень простых таблиц с веб-страниц и примеры того как этот код помог в сборе данных о грантах для РосГосЗатрат. Фактически всё что нужно для простых таблиц – это ссылка, кодировка страницы и код xpath, как правило, очень простой.
—
Тем временем, пока мы вместо наших госорганов делаем данные открытыми и публичными, норвежские чиновники вот тут http://data.norge.no/blogg/2010/08/en-klausulbuffet-av-vilkar/ обсуждают вопросы лицензирования открытых данных отдавая предпочтение лицензии Creative Commons. Страница неплохо переводится на русский через Google Translate или же, разъяснения на английском, есть на общеевропейском портале.
Originally published at Иван Бегтин. You can comment here or there.
-
Поскольку число обсуждающих всё ширится, я хочу поднять ряд вопросов которые возникли, озвучить своё мнение и предложить их к обсуждению.
1. Почему не Java, .NET и прочие и прочие?
В основном по той причине что есть ряд языков/платформ разработки крепко привязанных к компаниям их продвигающих. Так .NET прочно ассоциируется с Microsoft, а Java с Sun/Oracle. Учитывая что эти платформы в основном коммерческие то и, хотя разработчиков на них много, но многие самые интересные движки и библиотеки которые могли бы помочь – тоже коммерческие.
Я лично считаю что для инициативы создания общественного блага на этих платформах должны идти от их вендоров или при их поддержке. Но учитывая что тема имеет гражданское приложение, я слабо верю в то что кто-то из них на это решиться.
В остальном здесь ситуация следующая. Если кто-то по собственной инициативе сделает парсер данных хоть на Lua или Object Pascal и выложит его в открытый доступ, ему в любом случае, респект и уважуха и такие случаи я упомяну обязательно. Но в том что касается случаев когда я выделяю на перевод массива в машиночитаемый вид денежку, то тут точно нет. Моя цель – открытые данные и наиболее простые и понятные способы их создания.
2. Не упомянут Perl
Это правда, но не от нелюбви к нему, а по невнимательности. Конечно, на скрипты на Perl’е всегда приветствуются.
3. Почему не GPL?
Тут та же самая ситуация что и с вендорозависимыми платформами. Если кто-то по своей инициативе хочет сделать скрипт по перобразованию данных и выложить его в открытый доступ под GPL. Хорошо, в любом случае общественное благо. Но лично я рассматриваю лицензию GPL как ограничивающую возможности, а не расширяющие. Соответственно в тех случаях когда я публикую предложения преобразовать за деньги которые я выделяю лично – на GPL это не распространяется. Если же кто-то последует моему примеру и решится выделить средства или вообще организовать такую же инициативу, но GPL’ориентированную – организуйте её самостоятельно. Это тоже общественное благо, тоже респект и уважуха.
4. Почему не RDF и не Semantic Web?
Для спрашивающих, я в общем-то человек сам от Semantic Web’а не далеко ушедший и, например, моделировал геополитическую онтологию в формате OWL о чём можно узнать в моём блоге или в вики OpenGovData.ru.
Так вот, RDF’изация вселенной разумна и практична только когда у Вас _уже_ есть структурированные данные или если Вы формируете онтологии своими руками. Соответственно если у кого то возникнет желание и возможность переводить данные накопленные в OpenGovData.ru и уже преобразованные в форматы для Semantic Web – милости прошу. Лично я же считаю, и сужу по мировому опыту гражданских проектов, что для них достаточно принципиальное наличие данных в структурированной форме, желательно простой – CSV или JSON. Поэтому и все существующие проекты, например, Open Knowledge Foundation помимо RDF отдают данные ещё и в XML и JSON’е. Потому как пока ещё, к сожалению или к счастью, но RDF не стал массовым явлением.
Originally published at Иван Бегтин. You can comment here or there.
-
Итак, по поводу вот этой темы с ошибками в реестре недробросовестных.
Я отправил письмо в ФАС России, там его получили, отнеслись к написанному серьёзно, обещали в течении недели разобраться.
Раз такое дело, я планирую несколько дней подождать их ответа. Если его не будет, размещу найденное, а потом уже их ответ как придёт, если ответ будет то размещу вместе найденные проблемы и их реакцию.
В зависимости от их ответа будет понятно надо связываться с другими контрольными органами или нет.
А тем временем, каждый из Вас может и сам заглянуть в данные этого реестра тут – http://github.com/kappa/opengovdata-parsers или тут http://github.com/AmbientLighter/rpn-fas (спасибо Алексею Капранову и Сергею Мирееву за парсеры!) и поискать там интересное для себя.
Зачем всё это нужно? Это будет ничто иное как кейс использования открытых данных для контроля граждан за органами власти. Наглядная демонстрация того для чего это всё делается.
Originally published at Иван Бегтин. You can comment here or there.
-
Итак, как я ранее уже писал начнём процесс по преобразованию данных.
План работы такой:
1. Я еженедельно публикую список массивов данных и призываю волнотёров помочь с их преобразованием.
2. В конце недели я публикую отчет по результатам и публикую новый список.
3. Если какие-то данные небыли охвачены волонтёрами, то на следующей неделе публикую их с предложением компенсировать расходы на их преобразование.
4. Самые сложные массивы данных выносятся на общее обсуждение.
Актуальный список также всегда будет доступен по ссылке и я буду его обновлять по мере появления парсеров.
Ниже список данных составленный мною на эту неделю с 26 августа по 2 сентября. Я также собираю предложения по тому какие данные вынести на следующую неделю.
| Источник данных в плохом формате |
Для чего могут быть использованы эти данные |
Статус |
Парсеры и данные |
| Технические комитеты Ростехрегулирования</p>
http://www.gost.ru/wps/portal/pages.TechCom
Список и множество HTML страниц |
Для мониторинга того чем занимаются комитеты, если у них сайты, какие из них были бы интересны гражданам и так далее |
Не преобразован |
? |
| Список зарегистрированных политических партий (Минюст)
http://www.minjust.ru/ru/activity/nko/partii/
Набор HTML страниц со ссылками на документы |
Для последующего анализа списков региональных отделений, числа членов, финансовых отчетов и так далее. |
Не преобразован |
? |
| Перечень зарегистрированных политических партий (Избирком)
http://www.cikrf.ru/newsite/politparty/reg_politparty.jsp
Очень простой и небольшой список партий с регистрационными номерами в избиркоме |
Для сведения воедино всей информации о политических партиях из разных источников. |
Не преобразован |
? |
| Государтсвенный реестр фильмов
http://mkrf.ru/activity/register/search/
Форма поиска. Особенность в том что для некоторых фильмов выводит страницу с подтверждением на её просмотр |
Для анализа данных реестра на предмет наличия порнографии, оскорбительного содержания, анализа плодовитости авторов и компаний и многое другое |
Не преобразован |
? |
| База запусков космических аппаратов
http://www.federalspace.ru/main.php?id=10&year=14
Набор HTML страниц по годам |
Позволит провести анализ запущенных аппаратов по изготовителям, заказчикам, странам, потенциальным местам падения, составить календарь истечения сроков эксплуатации и использоваться для более наглядного отображения. |
Не преобразован |
? |
| Депутаты Государственной Думы
http://www.duma.gov.ru/index.jsp?t=deputat/1.html
Много отдельных маленьких страничек |
Позволит делать гражданские проекты основанные на активности депутатов. Например, по мониторингу их выступлений, публикаций в блогах с фильтрацией по партии, фракции, комитету госдумы и так далее |
Не преобразован |
? |
| Российский сегмент мирового пространства идентификаторов объектов
http://www.ctel.msk.ru/x500/OIDS/inform.htm
Одна HTML страница с несколькими таблицами |
Например, для наглядного соотнесения удостоверяющего центра и органа власти дабы показать в каких из них уже есть свои УЦ, а где нет. |
Не преобразован |
? |
| Реестр эксплуатантов гражданской авиации
http://www.favt.ru/airl/airl_r/index.php
Несколько HTML страничек с алфавитной разбивкой |
Для отображения организаций на карте, соотнесения с другими банками данных для анализа отрасли авиаперевозок, для анализа какие эксплуатанты к каким аэропортам относятся |
Не преобразован |
? |
| Государственный реестр аэропортов гражданской авиации
http://www.favt.ru/ap/ap_rga/
Одна HTML страница с несколькими простыми таблицами |
Позволяет отобразить официальный список существующих аэропортов на карте, а также расширять этот список адресами сайтов и реквизитами предприятий. |
Не преобразован |
? |
Сведения о доходах сотрудников РосГраницы
http://www.rosgranitsa.ru/about/income
В виде множества DOC файлов с таблицами внутри |
Для сервисов по анализу данных о расходах чиновников |
Не преобразован |
? |
Сводная налоговая отчетность
http://www.nalog.ru/document.php?id=27443&topic=stat_otch
Сложные данные в виде множества XLS файлов. |
Для анализа того как и по каким темам приходят деньги от налогоплательщиков. |
Не преобразован |
? |
Поскольку массивы данных вроде сведений о доходах сотрудников Росграницы и Сводную отчетность никто не преобразовал. То если кто-то возьмётся за них, я готов подарить за скрипт, который как и все другие скрипты будет потом в публичном доступе, по любому из них по 1000 рублей. Не скрою, мой интерес не только в том чтобы появились эти данные машиночитаемыми, но и в том чтобы появились примеры преобразований данных в форматах DOC и XLS, ибо их у нас публикуется немало.
Единственно, предупредите меня заранее что берётесь такой скрипт написать дабы не дублировать усилия. А если по каким-то причинам не хотите делать их за деньги, тоже, пожалуйста, об этом напишите мне.
Originally published at Иван Бегтин. You can comment here or there.
-
Итак, всем кто задавался вопросом зачем нужны некоторые массивы данных и какой с них толк, я собираюсь показать один живой наглядный пример.
Как Вы знаете один из интересных массивов был Реестр недобросовестных поставщиков http://rnp.fas.gov.ru/ ведомый Федеральной Антимонопольной Службой нашей с вами Федерации.
В этот реестр вносятся поставщики которые не имеют право участвовать в госзаказах и госзаказчики, по хорошему, должны проверять нет ли там заявляющихся на госторги организаций.
Казалось бы, а нафига он нужен машиночитаемый? И кому?
Так вот. Подозрения у меня были довольно давно, но всё небыло возможности подойти к вопросу системно. Сейчас же я _могу доказать_ что в этом реестре есть недостоверная информация наличие которой не позволит, для некоторых организаций, убедиться был включён ли поставщик в реестр недобросовестных.
Прямо перед глазами у меня 30 наиболее очевидных случаев и это ещё результат неглубокой проверки, а глубокая проверка может выявить большее число. Случаи на грани очевидности, при желании их найти могу не только я. И да, это не устаревшая информация которая стала недостоверной по истечении времени. Это информация не соответствующая действительности изначально при её внесении.
Я не берусь судить как такое могло произойти – опечатками, из-за недостаточности контроля, сознательно и т.д. Возможно так данные передавались от госзаказчиков, возможно. Не знаю. Я оперирую только фактами, наличием таких вот случаев.
Итак, а теперь главный вопрос, что с этим делать.
Варианты следующие:
1. Разместить очевидные примеры онлайн для всех желающих – пусть блоггеры обсуждают, СМИ пишут.
2. Написать в ФАС РФ, на тему не хотят ли они исправить выявленное и вообще отрегулировать ведение этого реестра. А публиковать онлайн только после того как будет известна их реакция.
3. Провести более детальный анализ, он займёт с неделю, и передать материалы в другие контролирующие органы (Прокуратура, СП РФ, Контрольное управление и т.д.) или передать материалы тем кто передаст.
4. Передать какому-нибудь СМИ на публикацию. Если конечно, тема будет интересная для СМИ.
В общем я не решил пока, думаю. Беру паузу в сутки и потом напишу что да как.
Originally published at Иван Бегтин. You can comment here or there.
-
В ВебПланете вышла статья про то что я уже организовал конкурс – http://www.webplanet.ru/news/service/2010/08/25/begtin.html.
Друзья, спасибо за привлечение внимания к идее. Только это ещё не конкурс, это был анонс обсуждения и сбор предложений как конкурс организовать. Обратите, внимание, на разницу.
Результаты обсуждения уже доступны тут http://ivan.begtin.name/2010/08/25/idearesults/
И конкурс будет проходить по описанной там схеме:
1. Я еженедельно буду публиковать список из 10 массивов в «плохих форматах» с предложением волонтёрам их преобразовать. К волонтёрам просьба – если возьметесь за работу, отпишите мне – чтобы я соответственно отметил этот массив и укажите если Вы берётесь за это бесплатно.
2. В течении недели, если кто-то за преобразование берётся, я отмечаю в Wiki проекта что этими данными занимаются и потом там же публикую результаты – скрипт и массив данных.
3. В конце недели публикуют отчет с итогами. Какие данные преобразованы, а какие нет и следующий список из 10 массивов.
4. Если какие-то данные небыли преобразованы в течении недели. Например, были волонтёрами неинтересны или же массивы сложности, я публикую все непреобразованные данные списком с указанием суммы которую я готов подарить за их преобразование.
5. В случаях сложных и больших массивов данных каждый из них будет выносится на широкое обсуждение.
Если редактора ВебПланеты читают мой блог, поправьте, пожалуйста, у себя в статье.
Тем временем уже за короткий срок уже появилось 7 машиночитаемых массивов данных . Это очень круто, я не ожидал такого результата, если честно.
Originally published at Иван Бегтин. You can comment here or there.
-
Итак, по идее которую я ранее озвучил тут что я хочу инициировать процесс по созданию открытых машиночитаемых данных усилиями сообщества появились первые результаты.
Во первых пошли обсуждений сразу в нескольких местах: здесь - http://ivan.begtin.name/2010/08/24/opendataidea/ , здесь – http://ivbeg.livejournal.com/313161.html и здесь http://groups.google.com/group/opengovdataru/browse_thread/thread/5ef181f1c9e19c72 и тут http://ff.im/pE9Ww. Что мне особенно нравится обсуждение идёт конструктивное – за что спасибо всем участникам.
Во вторых, стоило мне объявить о том что я собираюсь такой конкурс сделать, даже до его объявления мне уже прислали несколько скриптов и массивов данных преобразованных массивов. Я собрал их все на странице Wiki под названием «Как помочь проекту«. Отдельное спасибо Артемию Трегубенко (arty.name) и Сергею Кожину (http://github.com/skojin) за эти скрипты. А Алекс Капранов взялся за реестр недобросовестных поставщиков. Во всех случаях если не указано иное авторами, я буду размещать такие скрипты и данные под лицензиями PDDL (Public Domain Data License) и Creative Commons Attribution 3.0 Unported License. Да, никто из авторов не спросил денег за работу, но если всё таки сочтёте что она денег стоит – пишите сразу мне.
В третьих не единожды мне уже написали о том что надо мотивировать не деньгами, а общественным благом. То есть надо описывать ту пользу которую мы создаём преобразуя эти данные. Тут есть не проблема, но вопрос понимания. Сложно доказать прямую пользу от открытых данных поскольку польза не прямая, а на основе производных от них проектов – таких как OpenCongress.org, да и РосГосЗатраты весь и целиком основан на открытых данных как и другие проекты. Создавая открытые данные мы меняем реальность поскольку далее на их основе может быть создано нечто новое, интересное и полезное и далеко не всегда можно предсказать что именно.
В четвёртых я услышал гениальное предложение что надо предлагать компаниям нанимающим программистов предлагать написание парсеров в качестве тестового задания. Если Вы ищите программистов и даёте им тестовые задания, обращайтесь ко мне – я Вам предоставлю список никем пока ещё не преобразованных данных для которых парсеры нужны. Если потом ещё и результаты будут в открытом доступе под Creative Commons – так вообще прекрасно. Точно также, если Вы обучаете студентов, даёте им тестовые задания – я готов, по мере возможностей, помочь с тем какими эти задания могли бы быть. По написанию парсеров, очистке данных, их преобразованию и так далее. Здесь все задачи живые, результаты будут общедоступные, общественное благо будет несомненным.
В пятых, я отвечу на ряд возникших вопросов.
1. Почему только скриптовые языки?
Потому как в большинстве случаев с ними проще управляться, легче использовать в веб-проектах и так далее. Я лично ничего не имею против различных вендоро-специфичных платформ/языков вроде .NET и Java, но не вижу смысла без поддержки самих вендоров на этих платформах.
2. Откуда требования к выходным форматам?
На основе мирового опыта, удобства для пользователей и так далее. Например, данные в CSV сравнительно просто загрузить в MS Excel, OpenOffice или, даже, в GridWorks. XML данные также легко преобразуются и есть много инструментов для работы с ними. JSON очень удобен при веб-разработке и загрузке в NoSQL базы вроде MongoDB. Плюс, конечно, ещё есть KML формат для геоданных, но я лично считаю его производным от других. То есть вначале хорошо бы получить данные в CSV, а преобразовывать их это уже следующая задача.
3. Почему среди лицензий нет GPL?
Потому как, GPL, несмотря на все свои плюсы и распространённость довольно жёсткая лицензия. Я считаю что автор должен иметь возможность использовать этот код и для коммерческих целей, равно как и все остальные.
4. Как быть с описанием структур?
По хорошему, прежде чем преобразовывать плохие форматы в хорошие надо бы их описать в некой структурированной форме, например, XSD. на практике, лично я считаю, что этого можно избежать в некоторых случаях когда структура, условно, очевидна. То есть, если мы понимаем что все данные представлены в виде одной плоской таблицы, то последующую структуризацию можно провести постфактум. В случае сложных данных, согласен, имеет смысл моделировать ситуацию, до.
5. Зачем всё это нужно?
Основная цель – создать фундамент для последующих гражданских проектов поскольку сейчас мы находимся, в некотором смысле, тупиковой ситуации. Когда государство не раскрывает данные поскольку исходит из того что они никому не нужны и «общество не готово», а гражданские проекты не появляются поскольку данных нет. Сейчас мы готовим набор ингридиентов на основе которых потом каждый сможет творить собственные блюда. И чем больше ингридиентов появится, тем больше шансов что будет больше гражданских проектов на их основе.
6. Можно ли эти данные использовать в своих проектах?
Да, несомненно можно и нужно. Как для некоммерческих так и для коммерческих проектов. Для некоммерческих проектов я думаю что и так понятно почему. Для коммерческих это нужно для формирования рынка сервисов основанных именно на открытости данных, а не на доступе к ним на эксклюзивной основе. В мире такие сервисы, в основном, сосредоточены на визуализации данных, подмешиванию их в результаты поисковой выдачи, алгоритмах по работе с информацией, проектов вроде InfoChimps и Factual предоставляющие удобные инструменты для работы с информацией.
——-
И в пятых. По результатам обсуждения я хочу немного трансформировать эту идею. Я вижу что на сравнительно простые массивы данных энтузиасты находятся и их преобразуют. Со сложными случаями, когда данные публикуются в форматах Excel’я, Word’а или PDF. Или же когда используются сложные формы за которыми данные скрыты. Или же когда структура HTML неудобна для обработки.
Я предлагаю следующее. Я готов размещать в Wiki проекта, на сайте OpenGovData.ru и других ресурсах, на которых только дотянусь, статьи касающиеся преобразования данных различными инструментами. Особенно меня интересуют сложные случаи и статьи с примерами на основе данных OpenGovData.ru. Все статьи будут публиковаться с указанием автора под Creative Commons лицензией.
Соответственно, статья – это всё таки несколько большая работа чем просто преобразовать данные и я готов за такие статьи платить денежку. За обычную статью – 1000 рублей, за статью на особо интересные темы – 2000 рублей. С общим бюджетом в 10 тысяч рублей на месяц и оплатой через Яндекс.Деньги. А если кто-то готов написать, без денег – также милости прошу. Просто отметьтесь, скажите что готовы сделать это без денег.
Какие темы хотелось бы охватить: преобразование данных стандартными скриптовыми языками вроде Python, Ruby, PHP и так далее, обработка данных в общем случае, обзор форматов данных и другие связанные темы.
Темы которые особенно интересны лично мне:
- автоматическое извлечение данных из документов Word, Excel, PDF,
- сбор данных с веб-страниц закрытых за POSTBACK навигацией которая используется в сайтах на asp.net
- трюки, хитрости, сложные случаи
- обработка и очистка данных, в том числе автоматическая. например, интересен обзор работы с Freebase Gridworks;
- как визуализировать данные – строить графики на разных движках. Желательно opensource, но пойдут и другие
Если какие-то темы тут не упомянуты, но Вы считаете что они важны, прошу Вас, предлагайте.
С каждой статьей, соответственно, нужен пример открытых данных из OpenGovData.ru или какой-либо другой пример госданных который там не упомянут (заодно его туда добавим).
Соответственно если Вы захотите такую статью написать – пишите мне на ibegtin (собака) gmail.com или комментарием. Мне нужны тема и то какой массив данных вы в статье используете как пример.
А по преобразованию данных данных я предлагаю следующую схему.
1. Я еженедельно буду публиковать список из 10 массивов в «плохих форматах» с предложением волонтёрам их преобразовать. К волонтёрам просьба – если возьметесь за работу, отпишите мне – чтобы я соответственно отметил этот массив и укажите если Вы берётесь за это бесплатно.
2. В течении недели, если кто-то за преобразование берётся, я отмечаю в Wiki проекта что этими данными занимаются и потом там же публикую результаты – скрипт и массив данных.
3. В конце недели публикуют отчет с итогами. Какие данные преобразованы, а какие нет и следующий список из 10 массивов.
4. Если какие-то данные небыли преобразованы в течении недели. Например, были волонтёрами неинтересны или же массивы сложности, я публикую все непреобразованные данные списком с указанием суммы которую я готов подарить за его преобразование.
5. В случаях сложных и больших массивов данных каждый из них будет выносится на широкое обсуждение.
Комментарии и живое обсуждение всячески приветствуется.
Originally published at Иван Бегтин. You can comment here or there.
-
Есть одна идея которую лично я считаю что просто необходимо подтвердить или опровергнуть экспериментально.
Эта идея проста – не обязательно дожидаться когда госорганы начнут публиковать данные в машиночитаемом виде, многие массивы можно подготовить и опубликовать самостоятельно. Благо существует разнообразный инструментарий для создания парсеров.
При том что с волонтёрской деятельностью у нас, пока, прямо скажем – не очень. Поскольку если много других полезных занятий, а открытые данные пока ещё «проникают в умы людей», но не поселились там.
То о чём я пишу пока идея для обсуждения, которая, впрочем может стремительно воплотиться в жизнь.
Что я хочу сделать.
В качестве эксперимента я готов выделить из личных средств 5-10 тысяч рублей на 1 месяц на разработку парсеров. Сумма небольшая, но это именно что эксперимент, это проверка идеи. А если всё получится, то суммы потом будут больше.
Однако я хочу не просто заказать работы на стороне, а с соблюсти следующие условия:
1. Код парсера должен быть доступен всем желающим с открытым исходным кодом под лицензией допускающей коммерческое и некоммерческое использование. Предпочтительные лицензии – BSD, MPL, Apache License и т.д. Соответственно без проприетарного кода и без GPL. Код автор публикует в сети сам или присылает мне и я публикую на специальном сайте или OpenGovData.ru
2. Предпочтительные языки разработки по убыванию – Python, Ruby, PHP. Другие скриптовые возможны, но менее предпочтительны. Языки предусматривающие компиляцию кода вроде C, C++, Java точно не рассматриваются.
3. Форматы выходных данных могут быть – CSV, XML, JSON. Соответственно CSV предпочтителен для всех плоских списков, для более сложных структур нужны данные в XML и JSON.
4. Код не должен подвергаться обфускации. А то есть он должен быть читаем, понимаем и, с возможностью, его править, при необходимости.
А также обработать надо не какой-попало источник данных, а один из некого первоочередного списка. Этот список, предварительно, я составил из следующих массивов:
Простые массивы
Сложные массивы
Плюс, прошу Вас предлагать те что Вам интересны. Список можно найти тут – http://www.opengovdata.ru/sources/
В итоге для каждого массива должно быть:
– скрипт по его конвертации;
- данные в машиночитаемом формате
– короткое описание README с описанием зависимостей скрипта и полей данных
И вот тут, то мы приходим к главному вопросу КАК именно это всё это я хочу осуществить.
Вначале – мои цели:
1. Преобразовать как можно большее число массивов в машиночитаемый вид.
2. Обеспечить преобразованию максимальную публичность и простоту повторного использования результатов через открытый код.
3. Преобразовать в первую очередь наиболее востребованную гражданами информацию.
И вот теперь собственно мои вопросы по результатам размышлений о вышенаписанном. Меня волнует следующее – в какой форме лучше всего организовать процесс.
Рассмотрим варианты:
- Призовой конкурс. Для каждого массива данных устанавливается сумма за его преобразование в машиночитаемый вид. Первый кто прислал или опубликовал результат – получает эту сумму. Если больше одного человека пишут скрипт – второму идёт поощрительная сумма.
- Редукцион. Указывается максимальная цена, сроки и ожидаемые результаты, от потенциальных исполнителей получаются предложения сделать за меньшие или эти деньги. Побеждает тот предлагает наименьшую цену. Но у нас же не госзаказ, нам нужна соревновательность.
При этом меня не покидает ощущение что есть и другие варианты. Или же эти варианты стоит описать чуть подробнее. В любом случае совершенно не хочется запускать процесс через заказы на Фриланс.Ру, по моему можно найти удачную альтернативу.
—-
Поэтому у меня есть следующие вопросы залу:
1. В какой форме лучше всего организовать процесс?
2. Какие существующие массивы данных Вам бы _очень_ хотелось увидеть машиночитаемыми и включить в список выше?
3. Если Вы разработчик, было бы Вам интересно в таком мероприятии поучаствовать?
Идеи, предложения, дискуссии и распространение всячески приветствуются.
Originally published at Иван Бегтин. You can comment here or there.
-
- В журнале Коммерсант-Деньги статья Запретный лот сладок про то как отбирали площадки для электронных аукционов. Там есть и мои комментарии по этой же теме. Вообще же я считаю что правительство отнеслось к выбору площадок (а вернее юр. лиц создающих эти площадки) весьма неаккуратно.
- На сайте Demoscope.ru статья Жара и смертность с анализом проишествий аналогичных августовской жаре в Москве и их последствий на людей. Опубликованный мною график вставили и упоминания «блоггера Ивана Бегтина» там тоже есть, но ссылки решили не давать. Ну да ладно, будем считать что данные общественным благом.
- В блоге tri_botinka две замечательные ссылки про события 6-летней давности – http://ailev.livejournal.com/2004/01/13/ и http://ailev.livejournal.com/2004/01/21/ о том как Анатолий Левенчук общался с представителями Минсвязи. Будьте уверены что за последние годы мало что изменилось, не только применительно к Минсвязи, но и ко многим другим ведомствам.
- Ведомости пишут про ФКС – http://www.vedomosti.ru/newspaper/article/243865/ministerstvo_goszakaza. Не буду комментировать, будущее ФКС определяют не мои комментарии, а исключительно воля Правительства к систематизации госзаказа.
- Газета.Ру пишет что «ФАС хочет ввести госпошлину на жалобы«. Это совсем не тот случай когда «слов нет», вовсе наоборот, слов очень много на языке вертится. И я согласен с Альбертом Бертяковым что после 3-х таких инициатив, хорошо бы, инициатора предупреждать о неполном служебном соответствии. Хотя и понятно откуда у представителей ФАС такие идейки – с 1 января заработает единый портал по госзакупкам – в разы больше закупок, в разы больше публичность ну и поток жалоб тоже, того, в разы больше.
Originally published at Иван Бегтин. You can comment here or there.
-
Возвращаясь к моим рассуждениям об онтологиях АТД и онтологиях структуры органов власти рассмотрим, например, онтологию центральных органов власти.
О том как её можно промоделировать, уровнях сложности и так далее.
Для начала необходимо определить какие именно органы власти считать центральными и что в эту онтологию должно входить. Как я вижу главное и необходимое – в онтологию должны быть включены все организационные сущности упоминаемые в Конституции, такие как Президент, Правительство, Федеральное собрание, Счетная Палата, Генеральная прокуратура, Высшие органы судебной власти, Центральная избирательная комиссия. А также ряд органов имеющих федеральное значение – таких как как Совет Федерации. Возможно сюда же необходимо включить уполномоченных по правам человека и по правам детей.
Далее, как именно осуществлять моделирование. Ключевые вопросы здесь – это выстраивание иерархии и детальность описания.
Есть несколько подходов.
1. Подход простой
Моделирование производится по минимуму. Для каждого органа власти есть следующая информация:
- полное наименование
- краткое наименование
- официальный адрес
- официальный сайт
- контактный(-е) телефон(-ы)
- ФИО руководителя
- Полное наименование должности руководителя
- ссылка на вышестоящую структуру
- принадлежность к структуре
При этом такие органы власти как Администрация Президента и Правительство описываются включая организации входящие в их структуру – Министерства, Федеральные агентства и службы.
Но подробного описания по структурам каждого из органов власти не формируется, а то есть не производится детализация департаментов, территориальных подразделений и так далее.
Минусы подхода. Мы теряем множество связей не характеризующихся подчинённостью или вхождением органа власти в другой. Например, Счетная Палата хотя и образуется Советом Федерации и Государственной думой, нельзя однозначно сказать что подчиняется этим структурам. То же самое нельзя сказать с Генеральной Прокуратурой. Формально, в Конституции у нас прокуратура – это единая структура, а влияние Федерального Собрания распространяется только на избрание генерального прокурора.
Также, при таком подходе нет описания подробностей того чем занимаются отдельные органы власти.
При таком подходе, также, необязательно предварительное моделирование Конституционной онтологии, поскольку ссылки с описания госструктур на понятия закреплённые в конституционной онтологии необязательны.
Соответственно, это ограниченный подход, с акцентом на утилитарность использования.
2. Подход детальный
Если же, всё таки, подойти к моделированию значительно более обстоятельно, то, в дополнение к данным выше, в описание госструктуры должно входить гораздо больше информации.
Кроме того в зависимости от типа госструктуры эта информация будет разной. А также в модели должны быть учтены совещательные и иные структуры не являющиеся органами власти.
Например, расширенная структура описания органа власти:
- название ведомства на английском языке;
- код ОКОГУ;
- код ГРБС, в случае если ведомство является ГРБС;
- ссылка на понятие в Конституционной онтологии, если там оно упоминается
- дата принятия указа о создании данного органа власти
- документ, определяющий факт создания органа власти – приказ, распоряжение, конституция
- реквизиты документа положения о данном органе власти: дата принятия, номер документа, ссылка на тип документа нормативно-правовой онтологии
- структурное описание положения о ведомстве включая:
– описание ведомства
– подведомственность другому органу власти
– перечень уровней власти и других органов с которыми данное ведомство взаимодействует (ссылками на объекты)
– список задач ведомства
– список функций ведомства
– список полномочий ведомства
- реквизиты юридического лица – ИНН, КПП, ОГРН, юридический адрес, если является юридическим лицом;
В случае Администрации Президента также описываются совещательные органы – Совет Безопасности, Государственный Совет, комиссии при президенте и советы при президенте включая следующую информацию:
- полное наименование совещательного органа;
- краткие сведения
- состав в формате: ФИО, Должность, статус в совете (комиссии)
- реквизиты и текст документа положения о совещательном органе включая: номер НПА, дата принятия НПА, текст НПА (структурный, с разбивкой по пунктам);
- основные задачи совещательного органа – каждая задача описывается отдельно со ссылкой на пункт положения;
- ссылка на сайт совещательного органа, если сайт есть
В случае правительства, помимо структуры правительства по органам власти, также необходимо описание структуры по ответственным вице-премьерам. Фактически это персонифицированная структура распределения обязанностей, которая, должна была бы выглядеть следующим образом:
- ФИО вице-премьера;
- полная должность;
- перечень курируемых вопросов;
- перечень курируемых органов власти;
- перечень курируемых нац. проектов, федеральных целевых программ
В случае правительства, также, подробное описание координационных и совещательных органов, в основном это правительственные комиссии, а также Морская коллегия.
Для каждого органа описание включает:
- полное наименование
- реквизиты и текст документа положения о совещательном органе включая: номер НПА, дата принятия НПА, текст НПА (структурный, с разбивкой по пунктам);
- описание задач совещательного органа – текст и структурный перечень со ссылкой на пункты положения;
- состав органа включая: ФИО участника, статус участника в комиссии, должность участника;
- ссылка на сайт совещательного органа, если сайт есть
Примечание: Вообще именно с правительственными комиссиями большая проблема с доступностью информации об их деятельности. Данные на сайте правительства публикуются очень неравномерно, у некоторых комиссий есть свои сайты, например, у Морской Коллегии сайт есть ( http://www.morskayakollegiya.ru/), а у большей части других совещательных органов нет и информация об их деятельности представлена на сайте правительства и на сайте того органа руководит которым председатель этой комиссии.
Плюс структурное описание необходимо для таких органов как:
- Государственная дума – описание персон, комиссий, комитетов, фракций, партий.
- Совет Федерации – описание персон, комиссий, комитетов
- Счетная Палата, Прокуратура, Избирательная комиссия и так далее.
Отдельная большая тема в том как именно моделировать оргструктуру ведомств и как описывать отдельных персон. По хорошему, список персон надо выносить отдельно, делать ли это общим списком или же по разным органам власти отдельными – вот в чём вопрос. То есть, например, отдельно описывать персоны в статусе «депутат» и отдельно в статусе «чиновник».
Но, собственно, самое важное. Получается всего очень много, разьве что чуть меньше чем онтологии АТД, но с гораздо большей сложностью и числом связей.
Чем дальше тем более я думаю что онтологии органов власти также надо дробить на более малые и независимые. Отдельно онтология правительства, онтология АП, онтология Фед. собрания и так далее.
Originally published at Иван Бегтин. You can comment here or there.
-
Как пример того как проходят мини-реформы по оптимизации государственного управления в США, приведу в пример комиссию по оптимизации в штате Юта. Их деятельность подробно описана у них на сайте http://performance.utah.gov/index.shtml
Ну а если забраться в детали то можно найти вот такой их отчет для губернатора http://performance.utah.gov/optimization/Optcom_Final_Report.pdf
В отчете можно найти один из наиболее интересных принципов на которых построена работа комиссии.
—
Data driven – The Advisory Commission will be guided by data as they review state
government activities. As such, the Commission’s review will be removed from emotional
considerations.
—
и вот такой текст
—
Data Driven Management: Corrections, Community and Culture, Juvenile Justice
Services, and Workforce Services are all implementing technology to provide better,
more accurate data that will assist in making better informed business decisions.
—
В принципе отчет не очень большой, всего 64 страницы, хорошо структурированный и включающий конкретные предложения по созданию системы сбалансированных показателей, использованию данных из коммерческих систем для улучшения процессов принятия решения и так далее.
Но главное, конечно, это ещё один наглядный пример того что открытые (доступные) данные могут помочь не только гражданам и бизнесу, но и являются инструментами позволяющими проводить оптимизацию деятельности государственных структур.
Originally published at Иван Бегтин. You can comment here or there.
-
Я какое-то время назад писал про те данные которых нет в машиночитаемом виде, но очень бы хотелось увидеть.
Пришла пора составить более полный и всеобъемлющий список для чего в вики OpenGovData.ru появился специальный раздел «Желаемые данные» где я составил первый список данных которых нет в машиночитаемом виде или доступ к ним ограничен, но которые очень бы хотелось получать именно в машиночитаемой форме. На сайтах ответственных за них ведомств или на data.gov.ru, когда он появится.
Основная мысль – описывать не то что уже есть, а именно то что хочется, что необходимо для контроля за деятельностью государства в самых разных областях и та информация которая имеет общественное значение.
Предлагаю желающим добавлять свои пожелания в Вики или присылать мне комментариями.
В дальнейшем, есть идея сделать реестр идей как в http://data.gov.uk/ideas/list и туда импортировать список из WIki.
Originally published at Иван Бегтин. You can comment here or there.
-
Я не так давно уже делал обзор про открытые данные и российскую специфику, сейчас, прочитав несколько книг Кордонского, подправив терминологию и вообще проникшись точностью описания вижу как все те же проблемы можно описать не просто «в реальности», а «как оно на самом деле» (о разнице между этими понятиями можно почитать тут).
Рыночная экономика и гражданское общество
Собственно, главная проблема открытых данных в России в том что потребность в них может быть обеспечена всего двумя факторами – наличием рыночной экономики и гражданского общества.
Рыночная экономика, особенно с высокой конкуренцией, обеспечивает среду когда предприниматели, коих множество, приходят к согласованной позиции или действиям направленным на открытие информации которая может помочь их бизнесу или же, если приведёт к контролю за бизнесом, то охватит всех, а не малые группы. Например, публичное раскрытие данных акционерными обществами актуально только в условиях рыночной экономики и частью рынка является. В некоторых странах, например, США – это раскрытие уже формализовано настолько что данные в системе SEC публикуются машиночитаемыми много лет. Точно также рынок заинтересован в открытости и доступности информации о техническом регулировании, нормативно-правовом регулировании, информации о госзаказах, официальной статистике и так далее. А то есть в информации наличие которой позволяет извлечь прибыль или сократить расходы. А также есть отдельный сегмент рынка – информационные компании чей бизнес основан на работе с информацией, накоплением баз данных и так далее. Типичными представителями такого рынка можно назвать компании-владельцы крупнейших поисковых систем Google, Yahoo и Microsoft, а также крупные СМИ формирующие свои банки данных, такие игроки cloud-сервисов как Amazon и многие другие.
Гражданское общество, в его полноценном понимании, а не в той форме как оно существует в России в первую очередь заинтересовано в наличии и доступности информации позволяющее контролировать государство и бизнес. Это может быть информация о государственных расходах, чрезвычайных происшествиях, изменении климата, экологической обстановке и так далее. Наличие этой информации в форме пригодной для последующей интерпретации позволяет институтам гражданского общества воздействовать на государство и бизнес максимально эффективно.
Несомненно, также, что, и у рынка, и у гражданского общества интересы могут как совпадать так и напрямую конфликтовать, например, в части данных об экологическом состоянии. Однако, чаще, наличие таких конфликтов и их публичность позволяют найти компромиссные решения.
И, конечно, есть данные которые не являются полезными, напрямую, но могут существенно помочь при работе с другой информацией. Это справочники, классификаторы, геоданные и тому подобная информация, сама по себе, не представляющая особого интереса
Какие бывают данные
При том что далее речь пойдёт о специфики открытых данных в ресурсном государстве, тем не менее приведённая далее классификация типов данных относится не только к России. Её можно применить, в принципе, к любой стране.
Итак, исходя из предполагаемого потребления информации,разделим данные на следующие типы:
- Ресурсные данные. Это данные обладающие прямой коммерческой или административной ценностью.
- Контрольные данные. Данные, наличие которых позволяет обеспечить/повысить влияние общества и контроль над органами власти и бизнесом.
- Справочные и иные данные. Эти данные не обладают прямой коммерческой или контрольной ценностью, но позволяют сформировать каркас для всех остальных данных и создавать удобные информационные продукты.
Это не жёсткая типизация и, на практике, бывают пересечения когда данные могут быть использованы для контроля и быть ресурсными, и даже справочными одновременно. Но чаще, всё таки, деление есть и оно заметно.
Основной интерес, конечно, здесь представляют ресурсные и контрольные данные, поскольку их публичность или непубличность непосредственно влияют на возможности ведомств в вопросах административного торга. Публичность ресурсных данных не позволяет их монетизировать или конвертировать в другие блага, а публичность контрольных данные позволяет гражданам/СМИ/НКО (гражданскому обществу) влиять на госструктуры больше чем им бы этого хотелось.
Разумеется, большинство государственных структур не заинтересовано в их публичности и старается обеспечивать их доступность в пределах их минимальных обязательств.
Примеры
Чтобы понять как и что происходит рассмотрим несколько примеров в подробностях.
Например, данные ЕГРЮЛ. Это единый справочних всех юридических лиц в Российской Федерации который ведётся налоговой службой. Это типичный пример, ресурсных данных потребность в которых есть у практически всех кто занимается бизнесом в нашей стране. Необходимо получать собственные выписки из ЕГРЮЛ, многие проверяют своих контрагентов, ведут бизнес разведку и так далее. Этот массив, несомненно, имеет значительную ценность, но благодаря тому что он «в реальности» и «на самом деле» уже четко регламентирован. А то есть, ФНС России совершенно официально предоставляет к нему доступ за большие деньги, фактически, узаконен рынок посредников в получении данной информации. Вероятность что она станет общедоступна, фактически стремится к нулю. Основной потребитель рынок, известны регламенты получения информации, стоимость получения не столь высока.
Другой пример, рассмотрим базу ГОСТов ведомую Ростехрегулированием. Здесь ситуация куда сложнее. У этой информации «в реальности» есть статус общедоступной, но меры предпринимаемые этим ведомством по ограничению к её повторному использованию беспрецедентны. Достаточно взглянуть на публикуемые в виде постраничных сканов документы на http://protect.gost.ru чтобы в этом убедится. Потому как «на самом деле» и в реальности тоже, существует ФГУП «Стандартинформ» http://nd.gostinfo.ru/ который данную информацию предоставляет на коммерческой основе. При том что эта информация, несомненно, ресурсная, однако голоса рынка неслышно – видно лишь активности гражданского общества в лице ИРСИ, о чём можно почитать у них на сайте http://www.svobodainfo.ru/ru/taxonomy/term/76. Как оно должно быть правильно? Я считаю что тот факт что продажа ГОСТов может быть узаконена – это не самая серьёзная проблема. Потому как, во первых, к сожалению, «голос рынка» по поводу их доступности не слышен, а во вторых при обеспечении прозрачности
Следующий пример – это общероссийские, региональные и отраслевые справочники. По идее, это справочная информация, её общедоступность обеспечивается в виде публикаций всех изменений в нормативно-правовых документов и пытливые умы могут сами составить эти справочники из документов, однако на практике, они нужны в машиночитаемой форме и необходима возможность их обновления. Однако, здесь тоже не всё просто. Большая часть отраслевых и региональных справочников, действительно, доступны без ограничений. Их немашиночитаемость, как правило, не от злого умысла, а от неорганизованности их ведения и сопровождения. А есть и приятные исключения в виде сайта Службы ведения общегородских классификаторов и справочников города Москвы (http://www.mosclassific.ru/) которые предоставляют городские справочники в машиночитаемой форме и Портала информационного взаимодействия Комитета информатизации и связи Санкт-Петербурга (http://portal.iac.spb.ru/) где все городские и часть общероссийских справочников, также, машиночитаемы в форматах DBF. Схожая ситуация со справочником номенклатуры Минэкономразвития который доступен в XLS, фактически, машиночитаем, с КЛАДРов, СОУН и многими другими. Основная проблема возникает со общероссийскими справочниками которые найти актуальные и машиночитаемые одновременно большая проблема.
Ещё один пример, общероссийская статистика собираемая и публикуемая Росстатом. Формально, «в реальности» – эти данные общедоступны на их сайте. Но у статистических данных есть та немаловажная особенность что ценность они приобретают когда есть возможность их анализа и сопоставления, а то есть для данных статистики машиночитаемость это нечто безусловно необходимое. Но, «на самом деле», статистические данные это ресурсные данные и их машиночитаемое раскрытие приведёт к формированию на их основе значительного информационного рынка, а также созданию и развитию уже существующих продуктов. Например, будь данные Росстата машиночитаемы априори, другим ведомствам не пришлось бы запрашивать его руководителей о их использовании, предприятия могли бы их использовать не покупая статистических справочников, а информационные и поисковые компании использовать их в своих продуктах. Яндекс или Рамблер могли бы подмешивать в свою выдачу, а научные и исследовательские учреждения свободно анализировать эти данные и представлять в своих работах. Я думаю что и так понятно, что будь данные статистики Росстата машиночитаемы, то ведомство лишилось бы чуть ли не главного своего ресурса и, по этой причине, лично я считаю что без принципиальных решений правительства ситуация тут с места не сдвинется.
А также данные о госрасходах публикуемые Минфином в виде бюджетной росписи, Росказной и администрациями субъектов в виде реестров контрактов. Это типовой пример контрольных данных. Да, они могут быть полезны рынку, но, в основном, это инструменты мониторинга и контроля общества за государством и тем куда оно тратит деньги налогоплательщиков. Ситуация здесь куда лучше чем могла бы быть. Большая часть этих данных, за редким исключением, близка к машиночитаемости. Другое дело что ситуация с гражданским обществом у нас, мягко скажем, не очень и доступность данных не означает наличие тех кто систематизированно с ними работает. Впрочем, это же касается всех остальных контрольных данных. В основном эти данные используют СМИ для ажиотажа или компромата. Однако, на них, например, удалось запустить проект РосГосЗатраты.
Выводы и ответ на вопрос «Что делать»
Выводов из всей этой ситуации несколько.
Во первых появление data.gov.ru возможно и даже без жёсткого сопротивления органов власти в случае если данные которые там будут содержаться будут носить справочных характер. Такой информации у госорганов очень много, вопрос лишь в её систематизации и организации. И даже польза от этого будет, поскольку наличие этой справочной информации способно помочь в улучшении уже существующих проектов.
Во вторых доступ к контрольным данным – это вопрос не технический, а социально-политический поскольку публичность подобного рода информации – это чистой воды политика. Но, в ситуации неразвитой среды гражданского общества, эффект от усилий будет невелик поскольку главная ценность открытых данных в их повторном использовании. Если же они не используются то и инициатива развития не получит.
В третьих, рассчитывать на раскрытие ресурсных данных, без поддержки со стороны их потребителей и лоббирующих структур этих потребителей – бессмысленно, поскольку для граждан не являющихся основными пользователями этой информации, борьба за их открытость не более чем шоу.
Кстати, большинство систем PSI и каталогов открытых данных содержат именно справочную информацию. Оттого и их популярность не столь высока как хотелось бы. Поскольку в странах где такие инициативы идут, госчиновники тоже не сами себе враги и информацию позволяющую контролировать их работу стараются публиковать по минимуму.
Делать же надо всё тоже и сейчас, но когда вопрос касается данных позволяющих контролировать органы власти, такие как подробные и структурированные сводки о ЧС, результаты экомониторинга, принятия нормативно-правовых актов и так далее, то надо готовится к сопротивлению госорганов и предложению очень конкретных мер, самостоятельной разработке форматов и извлечению нужной информации из разных источников.
Originally published at Иван Бегтин. You can comment here or there.