Browse by Tags

JSON интерфейсы сайта государственных услуг
03 октября 11 12:30

Про юзабилити сайта госуслуг я уже написал. Теперь же речь будет о том как извлечь пользу из нового сайта, используя его API, не документированное разработчиками, но, что называется, на поверхности находящееся.

Итак. О JSON интерфейсах на сайте госуслуг. Из-за того что разработчики сделали ставку на AJAX’овость интерфейса, теперь из сайта торчит множество «хвостов» через которые на страницы подгружаются данные. Эти хвосты предоставляют данные через JSON. И вот о них и поговорим подробнее.

Интерфейсы.

Информация о госструктуре

- формат: http://epgu.gosuslugi.ru/pgu/stateStructure/[код ведомства].json

Где код ведомства это внутренний ID’шник госструктуры

Пример: http://epgu.gosuslugi.ru/pgu/stateStructure/10000001094.json , по Российской Книжной Палате.

В JSON много разной детальной информации по услугам ведомства, подчинённым организациям, родительской структуре и т.д. Большая часть полей самоочевидна, неочевидные я могу объяснить и думаю что ещё распишу подробнее. Или это может описать любой желающий.

Информация о госуслуге

- формат: http://epgu.gosuslugi.ru/pgu/service/[код услуги]_[подкод услуги].json

Где код услуги – это её идентификатор lid, а подкод услуги – это идентификатор eid. Обычно у услуги есть только идентификатор lid или оба lid и eid. В чём смысл именно такого деления мне непонятно, думаю что это исторические причины. Но всяко может быть.

Пример: http://epgu.gosuslugi.ru/pgu/service/10000460202_199.json Информация о тиражах …

В JSON много разной информации по госуслуге. Опять же большая часть полей самоочевидна, думаю что ещё представится возможность описать их подробнее.

Список госструктур по получателям услуг

- формат: http://epgu.gosuslugi.ru/pgu/cat/STATE_STRUCTURE.json?RECIP_CATEGORY_category=[код категории пользователя]&RECIP_CATEGORY_filter=SUBTREE

Где «код категории пользователя» может быть:

50 – физические лица

51 – предприниматели

52 – юридические лица

55 – иностранные граждане

Пример: http://epgu.gosuslugi.ru/pgu/cat/STATE_STRUCTURE.json?RECIP_CATEGORY_category=52&RECIP_CATEGORY_filter=SUBTREE Список госструктур предоставляющих услуги для юридических лиц

У JSON простая структура. id – идентификатор ведомства, title – название, ico – название файла иконки

Список госуслуг по госструктуре

- формат: http://epgu.gosuslugi.ru/pgu/service.json?STATE_STRUCTURE_category=[код организации]&STATE_STRUCTURE_filter=SINGLE&RECIP_CATEGORY_category=[код категории пользователя]&RECIP_CATEGORY_filter=SUBTREE

Где код организации – это код госструктуры, а код категории пользователя – один из приведённых выше.

пример: http://epgu.gosuslugi.ru/pgu/service.json?STATE_STRUCTURE_category=10000001127&STATE_STRUCTURE_filter=SINGLE&RECIP_CATEGORY_category=50&RECIP_CATEGORY_filter=SUBTREE

В JSON содержится весь список госуслуг относящийся к данной госструктуре.

Список категорий госуслуг

- формат: http://epgu.gosuslugi.ru/pgu/cat/MAIN_CLASS_A.json?RECIP_CATEGORY_category=[код категории пользователя]&RECIP_CATEGORY_filter=SUBTREE

Где «код категории пользователя»  один из 4-х кодов что я ранее приводил

пример: http://epgu.gosuslugi.ru/pgu/cat/MAIN_CLASS_A.json?RECIP_CATEGORY_category=55&RECIP_CATEGORY_filter=SUBTREE

В итоге возвращается список в JSON со всеми категориями госуслуг.

Список госуслуг по категориям

- формат: http://epgu.gosuslugi.ru/pgu/service.json?MAIN_CLASS_A_category=[код категории]&MAIN_CLASS_A_filter=SINGLE&RECIP_CATEGORY_category=[код категории пользователя]&RECIP_CATEGORY_filter=SUBTREE

Где «код категории» – это категория госуслуги, а «код категории пользователя» – тип пользователя из списка выше.

пример: http://epgu.gosuslugi.ru/pgu/service.json?MAIN_CLASS_A_category=236&MAIN_CLASS_A_filter=SINGLE&RECIP_CATEGORY_category=50&RECIP_CATEGORY_filter=SUBTREE

В JSON возвращается список госуслуг в рамках данной категории.

Список жизненных ситуаций

- формат: http://epgu.gosuslugi.ru/pgu/cat/LIFE_SITUATION.json?RECIP_CATEGORY_category=[код категории пользователя]&RECIP_CATEGORY_filter=SUBTREE

Где «код категории пользователя»  один из 4-х кодов что я ранее приводил

пример: http://epgu.gosuslugi.ru/pgu/cat/LIFE_SITUATION.json?RECIP_CATEGORY_category=55&RECIP_CATEGORY_filter=SUBTREE

В JSON возвращается список всех жизненных ситуаций под данную категорию пользователей.

Список госуслуг по жизненной ситуации

- формат: http://epgu.gosuslugi.ru/pgu/service.json?LIFE_SITUATION_category=[код ситуации]&LIFE_SITUATION_filter=SINGLE&RECIP_CATEGORY_category=[код   категории получателя]&RECIP_CATEGORY_filter=SUBTREE

Где «код категории пользователя»  один из 4-х кодов что я ранее приводил, а «код ситуации» – это код жизненной ситуации из списка

пример: http://epgu.gosuslugi.ru/pgu/service.json?LIFE_SITUATION_category=11&LIFE_SITUATION_filter=SINGLE&RECIP_CATEGORY_category=55&RECIP_CATEGORY_filter=SUBTREE

В JSON возвращается список всех госуслуг по жизненной ситуации

Список регионов

- формат: http://epgu.gosuslugi.ru/pgu/htdocs/js/regions.js

параметров нет, но результат – это не JSON, а Javascript в котором есть словарь regions. Это словарь можно извлечь через регулярные выражения и однократно превратить в справочник.

Список региональных госструктур

- формат: http://epgu.gosuslugi.ru/pgu/stateStructure.json?ADMLEVEL_category=REGIONAL&ADMLEVEL_filter=SINGLE&pageSize=-1&pageNum=-1

у сайта госуслуг есть следующая особенность. Похоже что единственный способ получить список ведомства по региону, это передать специальную куку userSelectedRegion. Эта кука должна содержать код региона из списка регионов выше.

Далее список ведомств такой же как другие.

—-

Это, вроде, все самые ключевые интерфейсы. С их помощью можно на базе сайта госуслуг придумать новые сервисы, переделать его полностью, сделать по нему поиск, или мобильное приложение, или систему гражданского мониторинга, проверять качество данных на сайте, накладывать данные на карты, собирать жалобы граждан и многое и многое другое.

И, кстати, если Вы что-то придумаете и сделаете, не забудьте податься на Apps4Russia, ещё 27 дней до окончания конкурса.

P.S. Пользуясь случаем, передаю горячий привет представителям Минкомсвязи и Ростелекома. Уверен что народная поддержка со стороны любящих их граждан придаст им новый мотивационный рывок в деле качественного предоставления государственных услуг.

 

Originally published at Иван Бегтин. You can comment here or there.

Марафон Code4Country
22 сентября 11 11:32

24 и 25 числа пройдёт марафон программистов под названием Code4Country подробнее о котором Вы можете узнать тут http://code4country.org/, а также новости о нём проходили в блогах Гугла и Яндекса.

Этот марафон чем-то где-то отдалённо похож на наш конкурс Apps4Russia с той лишь разницей что Apps4Russia – конкурс частный и долгий, а Code4Country двухдневный марафон и организаторы там из государственно-коммерческого сектора.

Однако цели схожи и хорошие результаты возможны при разных форматах.

Как бы то ни было. На Code4Country я также буду, также в качестве члена жюри. И как члена  жюри меня более всего будет волновать использование открытых данных на благо мира для общественной пользы.

Я призываю всех разработчиков откликнуться, и на Code4Country, и на Apps4Russia и принять участие в этих мероприятиях.

Originally published at Иван Бегтин. You can comment here or there.

О Москве, открытых данных и скепсисе
15 сентября 11 09:52

Вчера руководитель ДИТ Москвы Андрей Ермолаев общался на тему открытых данных с потенциальными разработчиками сервисов на их основе. Об этом уже написали Cnews - http://www.cnews.ru/news/top/index.shtml?2011/09/14/455374, там, в том числе, есть и мои комментарии.

Что не странно, меня на эту встречу московские власти не звали. Не странно поскольку я уже публиковал своё скептическое отношение к их программе Информационный город.  ИК великому моему сожалению, по тому что я читал на Cnews и знаю от участников этой встречи – мои опасения подтверждаются. Услышанное отнюдь не показывает что власти Москвы действительно хотят прозрачности и открытых данных.

Причин этому несколько.

Открытые данные – это на 90% организационный и на 10% технический вопрос

Что это означает? Это означает что для того чтобы раскрывать открытые данные по Москве на самом деле ненужно создавать каких бы то ни было информационных систем. Максимум можно взять один из нескольких бесплатных движков вроде CKAN или Data Catalog чтобы использовать его как реестр. Во всём остальном ключевое это обеспечить чтобы уже существующие данные публиковались в машиночитаемом виде. Данных то много! И многие из них, например, общемосковские справочники уже машиночитаемые. Нужны организационные и методические усилия к тому чтобы имеющиеся данные публиковались и были описаны их мета-данные, и совсем немного усилий на то чтобы работала система через которую такая публикация бы шла. И то не обязательно, на самом то деле.

Да, о технологиях, у меня ушли месяцы на то чтобы собрать открытые данные по России и всего 2-3 недели на то чтобы сделать первую версию OpenGovData.ru

Вопрос сырые-не сырые данные, на самом деле, не стоит

Упоминание о том что часть данных недостаточно хорошего качество – это один из излюбленных аргументов западных чиновников которые как и российские открытости часто сопротивляются. Так вот здесь есть несколько сторон рассмотрения. Во первых публикация данных это ещё способ вовлечения граждан в повышение их качества. Наглядный пример – это проект Clearspending от Sunlight Labs которые сопоставили данные госбюджетов в США с данными о контрактах и нашли множественные расхождения и ошибки. Благодаря этому ответственные структуры США сейчас занимаются повышением качества этой информации, а отчет Sunlight Labs рассматривался в конгрессе. Иначе говоря если государственные структуры хотят решить вопрос с сыростью данных – они ДОЛЖНЫ их публиковать, а не наоборот.

Другая сторона этой медали в том что, на самом деле, огромное количество данных уже публикуется, но в форматах непригодных для машиночитаемой обработки. Это PDF, Word, HTML документы, реестры различных объектов и так далее. В качестве примера я приводил ежедневные отчеты Мосгорздрава которые можно преобразовать в открытые данные и которые уже открыты. Так вот это не сырые данные! Они уже публикуются! Надо лишь дать им удобную форму.

Открытые данные != Государственные услуги

Это к вопросу о сервисной модели. Сервисная модель – это государственные услуги. Худшее что может произойти в Москве – это если они надумают делать доступ к банкам данных через API, в том числе и к тем данным которые надо отдавать полными датасетами. Почему это проблема? Во первых в этом нет фактической необходимости. Если будет полный массив данных то сделать из него API мы можем и сами. Во вторых это потребует существенных затрат на разработку подобных веб-сервисов, затрат не обоснованных и средства можно было бы потратить на что-то более полезное в городе.

О желании чиновников знать о том что будет происходить с данными

А вот это как раз один из ключевых вопросов над которыми все чиновники ломают голову. Переводя с русского на русский это звучит так – «Мы хотим быть уверены что Вы не будете использовать данные чтобы критиковать нас». Иначе говоря это попытка обеспечить контроль за использованием информации. У этой попытки может быть и благородная причина выражаемая в том что данные должны быть приоритезированы и в первую очередь нужно публиковать те которые граждане точно будут использовать. Во всех случаях это решается через публичные консультации и сбор идей от граждан. Так это делается в Великобритании - http://data.gov.uk/ideas аналогичным образом и в других странах.

О первоочередных данных и данных о такси

По поводу того что в первую очередь хотят опубликовать данные о такси в Москве, то это просто смешно. Как я уже говорил данных в структурах Москвы очень много. Чиновники, будь у них такое желание, могли бы посмотреть как публикуют данные в других крупных городах таких как Нью-Йорк, Париж, Торонто, Берлин, Сан-Франциско, Чикаго, Филадельфия и ещё паре десятков.  А также посмотреть на опросы того какие данные наиболее востребованы гражданами. Как это делали в Socrata, как это делали в Великобритании.

А данные о такси – это полная ерунда. Это несопоставимо даже близко с теми данными что востребованы гражданами и что уже публикуются госорганами.

Я могу навскидку привести десятки примеров того что уже есть и московские власти могли бы публиковать:

  • списки всех разрешений на строительство включая геокоординаты объектов в форматах KML,CSV или XML
  • списки всех объектов культурного наследия
  • списки всех государственных структур на территории Москвы с адресами и координатами включая:
    • отделения милиции и ГИБДД
    • отделения налоговой службы
    • отделения ПФР
    • городские ночлежки для бездомных
    • отделения службы занятости
    • ветеринарные клиники
    • государственные и муниципальные аптеки
    • государственные и муниципальные больницы
    • травмпункты
  • бюджет города Москвы, хотя бы, за последние 5 лет в XML или CSV
  • государственные контракты структур на территории города Москвы в XML
  • статистика города, результаты переписей населения 2002 и 2010 г. , микропереписей
  • реестр санитарных проверок пищевых предприятий города
  • реестр получателей субсидий для малых инновационных компаний
  • реестр домов предназначенных для сноса
  • списки отключения горячей воды домов с датами отключения
  • по транспорту:
    • все маршруты, адреса и координаты наземного транспорта
    • трансляция маячков ГЛОНАСС через веб-сервисы в реальном времени (единственный случай где нужны веб-сервисы)
    • данные по московскому метрополитену – списки станций и линий, по каждой станции информации о наличии там аптек, объектов быстрого питания и банкоматов
    • данные о закрытых станциях, временно ограниченных переходах в метрополитене.
    • иная транспортнаая информация, включая статистику движения

И многое другое. Я могу долго продолжать.

К счастью, на этой встрече был Максим Дубинин, человек стоящий за проектом Гис-Лаб - http://gis-lab.info/ и хорошо знающего что такое геоданные и открытые данные в принципе. Максим также прокомментировал Cnews о геоданных, он упоминает важный британский опыт с их раскрытием. Почитайте Максима обязательно, он описал свои впечатления здесь - http://gis-lab.info/blog/2011-09/ermolaev/

Впрочем, несмотря на свой скепсис, я вполне допускаю что из этой затеи тот или иной толк будет. Потому как понятие открытых данных начинает поселяться в умах людей и чиновников в частности.

 

Originally published at Иван Бегтин. You can comment here or there.

Анализ федеральных государственных сайтов США
13 сентября 11 07:54

Некий Бенджамен Батлер, фанат New Media, провёл исследование официальных сайтов США в домене .gov. Это более 1700 сайтов в совокупность так что он написал специальную программу-парсер и с её помощью собрал информацию об этих сайтах.

О чём подробно пишет здесь - http://ben.balter.com/2011/09/07/analysis-of-federal-executive-domains/, а также результаты исследования он выложил в виде навигабельного датасета вот тут http://dotgov.benbalter.com/

Всячески рекомендую его почитать и посмотреть датасет.

А я, тем временем, приведу некоторые результаты его исследования:

  • только 71% всех госсайтов были доступны, все остальные просто не откликались.
  • 1 из 8 сайтов не мог отвечать без префикса www
  • только 9 (!) сайтов полностью поддерживали стандарт IPv6, хотя он уже обязателен к поддержке для госсайтов в США
  • самая популярная CMS Drupal и вторая по популярности WordPress

и так далее.

Ну а я дополню что в России у нас есть схожий проект под названием Госсеть - http://www.govweb.ru/ Сейчас объективно нехватает времени и ресурсов на то чтобы провести вновь то исследование что мы проводили при его создании, но скорее всего ещё проведем в будущем. Пока же могу сказать что одно из существенных различий в госсайтах России и США в специфике госуправления. У них большая часть сайтов тематические и проектные под различные инициативы, в России же у каждого территориального управления свой веб-сайт. Вообще такого не должно быть со всех точек зрения. И число терр. управлений у нас зашкаливает и сильно усложняет федеральные структуры и отдельных сайтов у них не должно быть в принципе. Если бы Минэкономразвития нашей с Вами федерации также задумалось бы об экономии госсредств на госсайтах, то провели бы исследование аналогичное британскому на предмет стоимости их создания и сопровождения. Пространство для оптимизации там большое.

 

 

Originally published at Иван Бегтин. You can comment here or there.

Порталы открытых данных в неожиданных странах
12 сентября 11 12:47

 

Originally published at Иван Бегтин. You can comment here or there.

Государственный портал открытых данных Южной Кореи
12 сентября 11 12:24

Ещё совсем недавно мы с коллегами обсуждали о том что открытые данные это явление уникальное для западного мира и что, возможно, придётся долго ждать пока они приобретут популярность в Азиатских странах, особенно в развитых в силу их менталитете и акценте на услугах, а не на вовлечении граждан.

Но нет, всё оказалось совсем не так и помимо портала открытых данных Сингапура (http://data.gov.sg/) появился портал открытых данных Южной Кореи (http://data.go.kr/).

Originally published at Иван Бегтин. You can comment here or there.

Открытые стандарты раскрытия информации
06 сентября 11 01:38
  • XBRL – стандарт раскрытия деловой отчетности публичными компаниями
  • IATI Standard – стандарт раскрытия финансовой информации о международной помощи / развитии
  • General Transit Feed Specification – стандарт раскрытия информации об общественном транспорте
  • Open311 – набор стандартов раскрытия информации о решении муниципальных проблем, отчетности о их решении
  • CEN Metalex – стандарт раскрытия информации о законах в Евросоюзе.
  • Akomo Ntoso – стандарт раскрытия информации о законах в Африканском союзе
  • Open Spending – стандарты раскрытия информации о бюджетах и госрасходах
  • Section508 (США) – стандарты публикации информации для людей с ограниченными возможностями (в США)
  • Data Standards – раздел на Civic Commons посвящённый открытым стандартам
  • Open Government API – стандарт публикации информации о законах и персонах по зак. собраниям штатов в США
  • Common Alerting Protocol – стандарт публикации информации о чрезвычайных ситуациях
  • Uniform Crime Reports – стандарт раскрытия информации о преступлениях в США
  • National Incident-based Report System – стандарт раскрытия информации о преступлениях и нарушениях в США

Originally published at Иван Бегтин. You can comment here or there.

Темы о которых я не успеваю написать
03 сентября 11 04:22

Хотел было написать свой план публикаций на сентябрь, но как не подступлюсь к нему всё выходит что это список того о чём я никак не успеваю написать.

Так что получается список тем которые просятся в блог, но времени нехватает:

  • Открытые данные в Португалии.
  • Анализ законопроекта по ФКС от Минэкономразвития.
  • Как помочь развитию темы открытых данных и открытого государства в России
  • Несколько примеров отсутствия культуры работы с информацией в российских госструктурах.
  • Что делать с Росстатом?

Соответственно как будет время я постараюсь эти темы отразить. Если какие-то из них Вам кажутся более приоритетными, напишите, и я напишу о них в первую очередь.

 

Originally published at Иван Бегтин. You can comment here or there.

Открытые государственные данные будут в России с 2012 года
02 сентября 11 10:17

На Госбуке появилась публикация документов с прошедшего сегодня заседания президиума Совета при при Президенте по развитию информационного общества

Чтобы скачать документы надо зарегистрироваться в Госбуке так что я их продублирую тут.

А если вкратце то – Открытые данные в России будут

И вот почему.

Из доклада Эльвиры Набиуллиной - doklad.pdf (140 kb)

Кроме  того,  Минэкономразвития  России  отмечает  важность  раскрытия информации  об  открытых  данных  в  машиночитаемом  формате. Открытые государственные  данные  –  это  данные  в  машиночитаемом  формате, предоставляемые  органом  государственной  власти  гражданам  и  организациям  для   последующей  обработки  и  использования  при  реализации  социально-значимых сервисов.

В  связи  с  этим,  Минэкономразвития  России  считает  необходимым  развивать тематику  открытых  государственных  данных и  планирует  проводить  с  2012  года ряд  работ  в  рамках  государственной  программы  «Информационное  общество (2011-2020 годы)».

Из решения совета президиума - reshenie.pdf (98 kb)

3. Минэкономразвития  России  (Э.С. Набиуллина)  совместно  с Минкомсвязью  России  (И.О. Щёголев)  проработать  и  до  1 декабря 2011 года  представить  в  президиум  Совета  предложения  о  введении обязательных  требований  об  обеспечении  свободного  доступа  через официальные  сайты  органов  исполнительной  власти  к  информационным ресурсам  открытых  данных,  содержащихся  в  ведомственных информационных  системах,  в  формате,  пригодном  для  внешней компьютерной  обработки,  в  целях  создания  социально  значимых интернет-сервисов,  а  также  предложения  о  создании  интернет-сайта, содержащего реестр открытых государственных данных.

Это очень хорошее известие. Тема открытых данных, наконец-то, проникла в умы чиновников Минэкономразвития и лично министр Эльвира Набиуллина выступила с докладом в их поддержку. Теперь есть шанс что в следующем году мы увидим первые шаги по реализации.

Как это будет происходить, честно говоря я этого пока не знаю, как и не знаю буду ли я в этом участвовать. Однако совершенно точно я буду это отслеживать. Совершенно точно буду создавать проекты на базе открываемых данных.

И, конечно, это ещё не результат, а только намёк на него. Теперь важно чтобы всё не превратилось в профанацию, не свелось к «агрегированным данным», необходимо защищать эту идею от тех чиновников которые считают что первичные данные нельзя давать гражданам так как те их не понимают и многое и многое другое.

 

Originally published at Иван Бегтин. You can comment here or there.

Законодательство Великобритании в XML и RDF
27 августа 11 08:59

Оказывается что помимо голландского законодательства теперь доступного в XML и RDF форматах на базе Metalex и в рамках общеевропейского проекта, есть и другие схожие инициативы.

В частности законодательство Великобритании теперь доступно в машиночитаемом виде через онлайновое API в XML, RDF и Atom форматах. Подробнее об этом можно почитать здесь - http://www.legislation.gov.uk/developer/formats/

При этом мне пока не удалось найти на их сайте ссылку на вот этот раздел для разработчиков, но в реестре Linked Data он уже попал и по Интернету ссылки на него бродят. Так что я думаю что их Национальный архив скоро анонсирует наличие такого API официально.

Originally published at Иван Бегтин. You can comment here or there.

Ссылки на 27.08.2011: Международные данные в энергетике и не только
27 августа 11 12:58
  • JODI – открытая и машиночитаемая база индикаторов по добыче и потреблении сырой нефти и прозводстве нефтепродуктов. Охватывает все страны входящие в IEF, международный энергетический форум. В том числе есть данные по России. А также все данные можно скачать одним CSV файлом. Данные обновляются ежемесячно
  • Gas trade flow in Europe – карта потоков по продаже газа в Европе.  Данные обновляются ежемесячно
  • Gas transparence Conference – презентации с конференции по прозрачности газовой отрасли. Конференция прошла 26 октября 2010 года в Москве. На ней представлены материалы о том как сбор и проверка данных осуществляется в разных странах и международных структурах.
  • IEA Statistics – данные международного энергетического агентства. Большая часть данных за деньги, но всё машиночитаемо.
  • OECD-NEA Data bank – банк данных Nuclear Energy Agency, структуры при ОЭСР. В том числе есть открытые машиночитаемые данные.
  • Articque – французская компания разработчик инструментов визулизации данных на картах.
  • Beyond 20/20 – канадская компания, прозводитель ПО по визуализации статистики. Их решение используется во многих стат. ведомствах Европы и международных структур.
  • Nike starts open data – корпорация Nike фокусируется на открытых данных. В первую очередь собственных данных предоставляемых всем остальным.
  • IDEA Unified Database – онлайн база данных по выборам, развитию демократии, гендерным квотам и так далее. С экспортом в Excel и CSV
  • BIS Statistics – открытые данные Банка международных расчетов. В CSV и Excel
  • BIS Webstat interactive query tool – онлайн интерфейс для запросов в базу Банка международных расчётов

Originally published at Иван Бегтин. You can comment here or there.

Голландское законодательство в XML и RDF (Linked Data)
25 августа 11 05:15

На днях голландцы опубликовали всё своё законодательство в виде XML документов и более продвинутом виде – RDF документы и данные для Linked Data.

Об этом пишут на сайте Metalex посвящённом стандартизации публикации законов в странах Евросоюза и там же размещены сами стандарты публикации.

Вот тут можно почитать подробнее - http://www.metalex.eu/2011/08/24/all-dutch-legislation-published-as-cen-metalex-and-linked-open-data/

А само голландское законодательство и подробности в виде презентаций можно найти здесь doc.metalex.eu

Тем же кто интересуется стандартизацией законотворчества в принципе, также предлагаю заглянуть на сайт Akoma Ntoso - http://www.akomantoso.org/ посвящённый стандартизации парламентских, законодательных и юридических документов в африканских странах.

А также, у них же, движок Bungeni - http://code.google.com/p/bungeni-portal/ и www.bungeni.org по созданию унифицированных парламентских сайтов.  Под GPL и с открытым исходным кодом, разумеется.

 

Originally published at Иван Бегтин. You can comment here or there.

Индикаторы здоровья города Москвы в виде открытых данных (Прорабатываем идеи для Apps4Russia)
23 августа 11 02:02

Если кто помнить в Apps4Russia есть идея индикаторов здоровья города Москвы заключающаяся в том чтобы взять данные из раздела МосГорЗдрава - http://www.mosgorzdrav.ru/mgz/komzdravsite.nsf/va_WebPages/sys_DigitsList_1?OpenDocument и придать им наглядную форму.

Учитывая что там оперативные сводки публикуются каждый день и содержат такие данные как:

- число выездов

- число выездов к детям

- число ДТП

- число ДТП с пострадавшими детьми

- число госпитализаций

- число трупов

и ещё ряд более детальных цифр.

При этом пока всё ещё никто не откликнулся на эту идею, а жаль, лично мне было бы весьма интересно увидеть визуализацию этих цифр. Взглянуть на них в разрезе дня недели, месяца, по годам, по важным событиям и так далее.

Как бы то ни было, я решил помочь сырыми данными тем кто решиться такие визуализации делать, а заодно поучаствовать в Apps4Russia.

Итак. На Github’е я выложил извлечённые и частично распарзенные данные https://github.com/ivbeg/mosgorzdrav с сайта Мосгорздрава.

Данные там такие:

- файл extract.py – содержит две функции. Извлечь список страниц и сохранить его, а также скачать все страницы

- файл process.py – содержит лишь одну функцию которая из сохранённых страниц извлекает два индикатора: число выездов и число выездов к детям.

Извлечённые индикаторы в файле timeseries.csv, неразобранные html файлы в папке data, а в файле data_analysis.xls пример того как можно построить график по данным в Excel’е.

Там есть некоторая специфика в том как эти данные публикуется, однако всё парсится вполне.

Что Вы можете сделать? Вы можете:

- написать парсер для извлечения всех остальных индикаторов

- придумать как их визуализировать наглядно

- и, было бы просто супер, сделать веб-сайт на котором визуализировать эту статистику в графиках. Могу посоветовать воспользоваться такими движками как Amcharts https://github.com/ivbeg/mosgorzdrav или HumbleFinance http://www.humblesoftware.com/finance/index. Впрочем движков очень много можно воспользоваться любым.

Если до 1 октября никто так и не решится, я займусь визуализацией сам исключительно в целях создания тюториала как это делается. А может быть возьму другие интересные данные.

И напомню что заявки на Apps4Russia можно отправить тут - http://www.apps4russia.ru/submit/

P.S. На то чтобы сделать этот массив данных у меня ушло ровно 2 часа.

 

Originally published at Иван Бегтин. You can comment here or there.

Каким должен быть доступ к ЕГРЮЛ?
17 августа 11 01:03

В прошлой заметке про государственное насилие я упомянул про  ЕГРЮЛ лишь вскользь, но вот и появилась тема поговорить об этом подробнее.

Сравнительно недавно активисты из ИРСИ запустили проект «Свободный доступ к ЕГРЮЛ/ЕГРИП» где призывают к полной открытости и бесплатности баз ЕГРЮЛ и ЕГРИП.

Что я думал на тему доступности я писал ранее, а сейчас опишу подробнее.

Лично я считаю что, безусловно, фискальные реестры всех юридических лиц органами власти – это одна из форм узаконенного государственного насилия поскольку от организаций требуют предоставлять информацию которую в ином случае они постарались бы скрыть. Разумеется, это насилие происходит во имя общественной пользы поскольку в деятельности юридических лиц немало нарушений, отмываний средств и многого другого.  Как и при любых остальных формах экономических взаимоотношений. Для того чтобы обеспечить взаимную прозрачность компаний друг для друга и для других органов власти – регистрирующий их орган предоставляет доступ к этой информации с рядом ограничений.Это ограничения технологические – сложно автоматически получить выписки по группе юр. лиц, и ограничения финансовые – получение выписок платное, обращение к базе ЕГРЮЛ предоставляется юридическим лицам за деньги. Некоторые коммерческие компании предоставляющие справки по юридическим лицам делают это как раз через такой платный доступ.

Эти финансовые и технологические ограничения существуют во всех странах мира, я не знаю стран где было бы иначе.  Эти ограничения распространяются на всю ту информацию которую коммерческие компании не хотели бы широко распространять.

Вопрос – что делать и какие интересы первичны? Для начала стоит посмотреть на то как на публичность компаний смотрят в мире. Есть такой проект – Open Corporates запущенный несколькими британскими активистами. Цель проекта – собрать единый реестр всех юридических лиц по всему миру и они уже собрали информацию о более чем 20 миллионах компаний из которых почти 7 миллионов британские корпорации. Загляните туда и посмотрите на ту информацию которая там есть, а заодно можно перейти в реестры юридических лиц в разных странах.

Вы обратите внимание что:

1. По каждой из компаний в открытом доступе есть только самая базовая информация – название, регистрационный номер, адрес местонахождения. В случаях некоторых реестров также доступна минимальная базовая информация как то тип организации, дата регистрации, дата расформирования (например, организация зарегистрированная в Wyoming (US)) ещё в нескольких реестрах есть информация о классификационных кодах и упоминания о фин. отчетах, например, вот по UK.

2. Информация об учредителях, их долях, уставном капитале, руководстве, финансовой отчетности всегда недоступна публична и предоставляется только за деньги или в рамках специального регулирования.

3. К специальному регулированию можно отнести случаи когда компании добровольно выбирают публичную форму управления, в российском законодательстве – это ОАО, и в рамках этой формы осуществляют регламентированную публичную отчетность. Другая форма специального регулирования – государственные предприятия, отчитывающиеся в рамках требований к публичному раскрытию информации перед налогоплательщиками.

Почему это делается именно так?

Потому как, как я уже упомянул, основной смысл принудительной государственной регистрации компаний – это фискальная регистрации. Доступ к информации  нужен, либо другим компаниям в рамках проверки контрагентов и они готовы заплатить за это деньги тем более что всегда оплата является не столь высокой, или же для проведения журналистких/общественных расследований для чего также нет существенных ограничений поскольку суммы за получение выписки из реестра/бизнес-справки по компании – это не тысячи рублей.

В Британии баланс интересов публики, государства и предприятий реализуется через регламентированный доступ к этой информации в структурированном виде. На портале http://xmlgw.companieshouse.gov.uk можно зарегистрировавшись делать автоматические запросы и получать базовую информацию о компаниях, ту самую что была и загружена в Open Corporates. Вся информация имеющая прямую коммерческую ценность – предоставляется, опять же, машиночитаемо и за деньги.  Однако процесс её получения – чётко регуламентирован, прозрачен, и цены заранее известны.

Теперь относительно инициативы ИРСИ. Честно говоря – это детский сад, штаны на лямках. Разумеется, ФНС никогда не пойдёт на полное раскрытие ЕГРЮЛ. А то что существующее законодательство нечёткое так это ещё вопрос в какую сторону оно должно быть изменено – в сторону раскрытия или в сторону четкого регламентирования. То что у нас в ряде нормативных документов написано что данные ЕГРЮЛ «открыты и общедоступны» – это формулировка, в первую очередь, защищающая журналистов и активистов от публикации информации о структуре холдингов, дабы никто не мог им предъявить претензии что эта информация является коммерческой тайной. Однако лично я считаю что полное раскрытие данных ЕГРЮЛ в открытом доступе – это и будет «концентрированным насилием» ФНС над бизнесом.  Это всё, конечно, неучитывая того что во free-egrul.ru пожелания описаны очень неточно. Что значит публичный и бесплатный доступ? Какая именно информация из ЕГРЮЛ должна предоставляться и так далее? Несерьёзно это всё.

И эта проблема, если вообще эту ситуацию так рассматривать, я считаю должна иметь одно ключевое решени – публичное обсуждение. Точно также как в случае закона о полиции, об образовании, о рыбалке и так далее. Все вопросы касающиеся публичности информации закрытости/открытости – должны проходить черей общественный диалог где должны быть услышаны позиции всех сторон – ФНС, гражданских организаций и представителей бизнес сообщества.

И, моё личное мнение. Я не сторонник публичного ЕГРЮЛ, я сторонник прозрачного доступа к ЕГРЮЛ. А то есть, я считаю что:

1. Все решения Правительства и ФНС относительно доступности данных из ЕГРЮЛ/ЕГРИП должны проходить общественное обсуждение и быть доступны и внятно объяснены. Тексты должны пройти «усушку» от бюрократической водянистости для максимально полной понятности.

2. ФНС должны публиковать перечень «информационных агентов» – коммерческих компаний имеющих право на предоставление данных из ЕГРЮЛ по заключенным с ФНС договорам. Это должно позволить определить каким из этих компаний можно доверять в том что информация актуальна, а каким нет.

3. ФНС должны ввести обязательным требованием бесплатности предоставления базовой информации и безусловной обязательности и платности предоставления детальной информации. С установлением «минимальной отпускной цены» дабы компании агенты не могли кешировать данные и продавать их дешевле.

4. Для обеспечения доступности информации из ЕГРЮЛ в ФНС должны обеспечить предоставление её в машиночитаемом виде в том же формате как это есть у британцев, к примеру.

Но моё мнение – это моё мнение. Я вполне допускаю что есть те кто изучал этот вопрос глубже и с других сторон. Поэтому, опять же, повторюсь – необходимо публичное общественное обсуждение. Ровно также как и необходимо обсуждение публичности другой государственной информации и баз данных.

 

Originally published at Иван Бегтин. You can comment here or there.

Почувствуйте разницу
16 августа 11 08:32

Возвращаясь к указам о публичности МВД, ФСБ, СВР и Минобороны которые недавно подписал президент и которые я так активно критикую. Меня несколько человек уже спросили отчего я так критичен к такому, казалось бы, правильному начинанию и лучшей прозрачности госорганов.

Так что я разовью своё мнение об этих указах подробнее и немного расскажу о том что сейчас происходит в мире.

1. В Новой Зеландии буквально на днях была принята Декларация открытого и прозрачного государства (Declaration of Open and Transparent Government). Согласно этой декларации правительство Новой Зеландии обязуется обеспечивать доступность наиболее ценных государственных данных для граждан и для бизнеса в целях повторного использования ими этих данных. Они раскрывают данные о проектах финансируемых на деньги налогоплательщиков для того чтобы научные, исследовательские и образовательные сообщества могли бы создавать на основе этих данных новые знания. Эта декларация является базовым документом и вместе с другим Новозеландским проектом NZGOAL формирует среду доступности государственной информации. В свою очередь, NZGOAL – это стандарты лицензирования и обеспечения доступности государственной информации. В рамках NZGOAL решаются вопросы правильного подбора лицензий на основе Creative Commons, а также разработка новых лицензий.

2. В Великобритании прямо сейчас идут публичные консультации правительства Дэвида Кемерона о том какие, как именно и руководствуясь какими принципами должна публиковаться государственная информация и открытые данные. Вернее в Великобритании открытые данные и государственная информация – это уже одно и то же. Эти консультации сопровождаются выступлениями членов кабинета министров декларирующих приверженность к открытости. И всё это происходит на фоне таких проектов как data.gov.uk и беспрецедентного раскрытия данных государственными структурами Великобритании. Также в Великобритании действует UK GLF (UK Government Licensing Framework) регламентирующий лицензирование данных раскрываемых органами власти также как NZGOAL в Новой Зеландии.

3. В Австралии действует проект AusGOAL идентичный UK GLF и NZGOAL с целью создания лицезионной и технологической среды повторного использования открытых данных

4. Открытые данные активно публикуются такими международными структурами как Всемирный банк, ООН, IFPRI, WHO и множества других.

5. В странах Евросоюза уже много лет действуют законы по свободе доступа к информации и повторному использованию данных. А сейчас активно обсуждается и уже инициировано создание пан-европейского портала по открытым данным.

А также множество инициатив по открытости государства и открытым данным идут по всему миру в США, Бразилии, Канаде, Кении, Грузии, Сингапуре и так далее.

И как после этого относится к указам Медведева?  Он лишь подписал те документы/перечни которые должны были быть подписаны ещё лет 10 назад.  Документы/перечни которые устарели ещё лет 5 назад. Документы которые не обсуждались публично. Документы в основе которых нет деклараций публичности и открытости, нет открытых данных.

Так что, разумеется, я более чем критичен. И я более чем сомневаюсь что Минисвязи сможет обеспечить сколь бы то ни было осмысленный мониторинг госсайтов. Ни в чём подобном они ранее замечены не были, вот и не думаю что сейчас у них резко появятся компетенции о том  как это делать.

 

Originally published at Иван Бегтин. You can comment here or there.

More Posts Next page »

This Blog

Syndication