Browse by Tags

Датасет по данным МИД России или "Может ли женщина в России быть послом?"
09 апреля 12 07:21
В копилку разных интересных массивов данных пора добавить еще один вполне себе интересный и отражающий состояние российского Министерства иностранных дел.
Это база персоналий российских димпломатов в рангах: чрезвычайный и полномочный посол, чрезвычайный и полномочный посланник 1 класа и чрезвычайный и полномочный посланник 2 класса.
Собственно это те немногие данные которые доступны на сайте МИД России в разделе Персоналии http://www.mid.ru/bdomp/sitemap.nsf/kartaflat/06.015
Данных там, однако, не так уж много и сам сайт МИДа являясь памятником онлайн-примитивизма мягко говоря неудобен. Например, у каждого посла там есть профиль, но профили в разделе назначений, без навигации по алфавиту и поиску, без ссылок на профили с других страниц и так далее. Но и то что есть вполне интересно и, после некоторой обработки, можно использовать.
Для того чтобы с этим всем разобраться я не просто собрал данные персоналий, но и подверг их некоторому обогащению.
Во-первых на основе данных о дне рождения подсчитан возраст каждого человека, а также возраст в котором он получил ранг на основе даты назначения.
Во-вторых для каждого автоматически определен его пол.
В-третьих добавлена информация о предполагаемом этносе (происхождении фамилии). Предполагаемом поскольку нельзя гарантировать точное определение национальности, например, для имен арабского происхождения или для людей у которых есть некоторое смешение славянских имен и фамилий других этносов. Так что это некая классификация которой потом нужна будет ручная проверка. Я добавляю её просто для проверки собственных алгоритмов которые автоматически все определяют.
Итак, все вышеперечисленные данные доступны вот тут: allamb.zip (архив с CSV файлом) и в виде файла для Excel allamb.xlsx
Всего там данные по 535 персоналиям.
И, для наглядности, некоторые факты которые связаны с этим датасетом.
Один из интересовавших меня вопросов был в том может ли в России женщина быть послом? Первая пробежка глазами по массиву не показала их наличие так что пришлось перепроверять свои глаза специальным автоматическим алгоритмом.
Итого нашлось 6 женщин и вот их список.
МитрофановаЭлеонораВалентиновнаПОСТПРЕДСТВО РОССИИ ПРИ ЮНЕСКО В ПАРИЖЕ, ФРАНЦИЯПОСТОЯННЫЙ ПРЕДСТАВИТЕЛЬЧРЕЗВЫЧАЙНЫЙ И ПОЛНОМОЧНЫЙ ПОСОЛ
КоруноваМаринаОлеговнаДЕП. ПО ГУМ. СОТРУДНИЧЕСТВУ И ПРАВАМ ЧЕЛ.ЗАМ.ДИРЕКТОРА ДЕПАРТАМЕНТАЧРЕЗВЫЧАЙНЫЙ И ПОЛНОМОЧНЫЙ ПОСЛАННИК 2 КЛАССА
ГрушкоТатьянаМихайловнаВТОРОЙ ДЕПАРТАМЕНТ СТРАН СНГНАЧАЛЬНИК ОТДЕЛА В ДЕПАРТАМЕНТЕЧРЕЗВЫЧАЙНЫЙ И ПОЛНОМОЧНЫЙ ПОСЛАННИК 2 КЛАССА
ВоробьеваЛюдмилаГеоргиевнаПОСОЛЬСТВО РОССИИ В МАЛАЙЗИИПОСОЛЧРЕЗВЫЧАЙНЫЙ И ПОЛНОМОЧНЫЙ ПОСЛАННИК 2 КЛАССА
БелевичЕленаВладимировнаПРЕД-ВО МИД РОССИИ В САНКТ-ПЕТЕРБУРГЕЭКСПЕРТЧРЕЗВЫЧАЙНЫЙ И ПОЛНОМОЧНЫЙ ПОСЛАННИК 2 КЛАССА
БариноваНадеждаМихайловнаИСТОРИКО-ДОКУМЕНТАЛЬНЫЙ ДЕПАРТАМЕНТЗАМ.ДИРЕКТОРА ДЕПАРТАМЕНТАЧРЕЗВЫЧАЙНЫЙ И ПОЛНОМОЧНЫЙ ПОСЛАННИК 2 КЛАССА
Можно обратить внимание на то что формально послом по рангу является только Элеонора Митрофанова, постоянный представитель России при Юнеско.
Послом по выполняемым функциям является только Людмила Воробьева - Посол России в Малайзии.
Остальные - это сотрудницы МИД России в России.
В пропоциональном отношении 6 из 535, или 1.1% женщин в данных рангах.
Поэтому ответ на вопрос "Может ли женщина в России быть послом?" звучит как - нет, практически нет шансов. Это мужской клуб где женщины послы - это редчайшее исключение.

Плюс всякие другие интересные факты - в основном посте
Open Data Berlin
15 сентября 11 11:36

В Берлине запустили свой портал открытых данных http://daten.berlin.de/

Там пока не так много данных как хотелось бы, в основном это статистика и геоданные, но все они машиночитаемые и лиха беда начало. Все данные опубликованы под Creative Commons 3.0 Germany http://creativecommons.org/licenses/by/3.0/de и Open Data Commons Attribution http://okfn.de/licence/odc-by/

Проект создавался при поддержки фонда открытые знания Германии - http://okfn.de/

P.S. Я постараюсь выяснить во сколько обошлось его создание и будет с чем сравнить в России.

Originally published at Иван Бегтин. You can comment here or there.

О Москве, открытых данных и скепсисе
15 сентября 11 09:52

Вчера руководитель ДИТ Москвы Андрей Ермолаев общался на тему открытых данных с потенциальными разработчиками сервисов на их основе. Об этом уже написали Cnews - http://www.cnews.ru/news/top/index.shtml?2011/09/14/455374, там, в том числе, есть и мои комментарии.

Что не странно, меня на эту встречу московские власти не звали. Не странно поскольку я уже публиковал своё скептическое отношение к их программе Информационный город.  ИК великому моему сожалению, по тому что я читал на Cnews и знаю от участников этой встречи – мои опасения подтверждаются. Услышанное отнюдь не показывает что власти Москвы действительно хотят прозрачности и открытых данных.

Причин этому несколько.

Открытые данные – это на 90% организационный и на 10% технический вопрос

Что это означает? Это означает что для того чтобы раскрывать открытые данные по Москве на самом деле ненужно создавать каких бы то ни было информационных систем. Максимум можно взять один из нескольких бесплатных движков вроде CKAN или Data Catalog чтобы использовать его как реестр. Во всём остальном ключевое это обеспечить чтобы уже существующие данные публиковались в машиночитаемом виде. Данных то много! И многие из них, например, общемосковские справочники уже машиночитаемые. Нужны организационные и методические усилия к тому чтобы имеющиеся данные публиковались и были описаны их мета-данные, и совсем немного усилий на то чтобы работала система через которую такая публикация бы шла. И то не обязательно, на самом то деле.

Да, о технологиях, у меня ушли месяцы на то чтобы собрать открытые данные по России и всего 2-3 недели на то чтобы сделать первую версию OpenGovData.ru

Вопрос сырые-не сырые данные, на самом деле, не стоит

Упоминание о том что часть данных недостаточно хорошего качество – это один из излюбленных аргументов западных чиновников которые как и российские открытости часто сопротивляются. Так вот здесь есть несколько сторон рассмотрения. Во первых публикация данных это ещё способ вовлечения граждан в повышение их качества. Наглядный пример – это проект Clearspending от Sunlight Labs которые сопоставили данные госбюджетов в США с данными о контрактах и нашли множественные расхождения и ошибки. Благодаря этому ответственные структуры США сейчас занимаются повышением качества этой информации, а отчет Sunlight Labs рассматривался в конгрессе. Иначе говоря если государственные структуры хотят решить вопрос с сыростью данных – они ДОЛЖНЫ их публиковать, а не наоборот.

Другая сторона этой медали в том что, на самом деле, огромное количество данных уже публикуется, но в форматах непригодных для машиночитаемой обработки. Это PDF, Word, HTML документы, реестры различных объектов и так далее. В качестве примера я приводил ежедневные отчеты Мосгорздрава которые можно преобразовать в открытые данные и которые уже открыты. Так вот это не сырые данные! Они уже публикуются! Надо лишь дать им удобную форму.

Открытые данные != Государственные услуги

Это к вопросу о сервисной модели. Сервисная модель – это государственные услуги. Худшее что может произойти в Москве – это если они надумают делать доступ к банкам данных через API, в том числе и к тем данным которые надо отдавать полными датасетами. Почему это проблема? Во первых в этом нет фактической необходимости. Если будет полный массив данных то сделать из него API мы можем и сами. Во вторых это потребует существенных затрат на разработку подобных веб-сервисов, затрат не обоснованных и средства можно было бы потратить на что-то более полезное в городе.

О желании чиновников знать о том что будет происходить с данными

А вот это как раз один из ключевых вопросов над которыми все чиновники ломают голову. Переводя с русского на русский это звучит так – «Мы хотим быть уверены что Вы не будете использовать данные чтобы критиковать нас». Иначе говоря это попытка обеспечить контроль за использованием информации. У этой попытки может быть и благородная причина выражаемая в том что данные должны быть приоритезированы и в первую очередь нужно публиковать те которые граждане точно будут использовать. Во всех случаях это решается через публичные консультации и сбор идей от граждан. Так это делается в Великобритании - http://data.gov.uk/ideas аналогичным образом и в других странах.

О первоочередных данных и данных о такси

По поводу того что в первую очередь хотят опубликовать данные о такси в Москве, то это просто смешно. Как я уже говорил данных в структурах Москвы очень много. Чиновники, будь у них такое желание, могли бы посмотреть как публикуют данные в других крупных городах таких как Нью-Йорк, Париж, Торонто, Берлин, Сан-Франциско, Чикаго, Филадельфия и ещё паре десятков.  А также посмотреть на опросы того какие данные наиболее востребованы гражданами. Как это делали в Socrata, как это делали в Великобритании.

А данные о такси – это полная ерунда. Это несопоставимо даже близко с теми данными что востребованы гражданами и что уже публикуются госорганами.

Я могу навскидку привести десятки примеров того что уже есть и московские власти могли бы публиковать:

  • списки всех разрешений на строительство включая геокоординаты объектов в форматах KML,CSV или XML
  • списки всех объектов культурного наследия
  • списки всех государственных структур на территории Москвы с адресами и координатами включая:
    • отделения милиции и ГИБДД
    • отделения налоговой службы
    • отделения ПФР
    • городские ночлежки для бездомных
    • отделения службы занятости
    • ветеринарные клиники
    • государственные и муниципальные аптеки
    • государственные и муниципальные больницы
    • травмпункты
  • бюджет города Москвы, хотя бы, за последние 5 лет в XML или CSV
  • государственные контракты структур на территории города Москвы в XML
  • статистика города, результаты переписей населения 2002 и 2010 г. , микропереписей
  • реестр санитарных проверок пищевых предприятий города
  • реестр получателей субсидий для малых инновационных компаний
  • реестр домов предназначенных для сноса
  • списки отключения горячей воды домов с датами отключения
  • по транспорту:
    • все маршруты, адреса и координаты наземного транспорта
    • трансляция маячков ГЛОНАСС через веб-сервисы в реальном времени (единственный случай где нужны веб-сервисы)
    • данные по московскому метрополитену – списки станций и линий, по каждой станции информации о наличии там аптек, объектов быстрого питания и банкоматов
    • данные о закрытых станциях, временно ограниченных переходах в метрополитене.
    • иная транспортнаая информация, включая статистику движения

И многое другое. Я могу долго продолжать.

К счастью, на этой встрече был Максим Дубинин, человек стоящий за проектом Гис-Лаб - http://gis-lab.info/ и хорошо знающего что такое геоданные и открытые данные в принципе. Максим также прокомментировал Cnews о геоданных, он упоминает важный британский опыт с их раскрытием. Почитайте Максима обязательно, он описал свои впечатления здесь - http://gis-lab.info/blog/2011-09/ermolaev/

Впрочем, несмотря на свой скепсис, я вполне допускаю что из этой затеи тот или иной толк будет. Потому как понятие открытых данных начинает поселяться в умах людей и чиновников в частности.

 

Originally published at Иван Бегтин. You can comment here or there.

Государственный портал открытых данных Южной Кореи
12 сентября 11 12:24

Ещё совсем недавно мы с коллегами обсуждали о том что открытые данные это явление уникальное для западного мира и что, возможно, придётся долго ждать пока они приобретут популярность в Азиатских странах, особенно в развитых в силу их менталитете и акценте на услугах, а не на вовлечении граждан.

Но нет, всё оказалось совсем не так и помимо портала открытых данных Сингапура (http://data.gov.sg/) появился портал открытых данных Южной Кореи (http://data.go.kr/).

Originally published at Иван Бегтин. You can comment here or there.

«Конгресс говорит» (c) о проекте Congress Speaks
12 сентября 11 12:01

Американцы запустили прекрасный во всех смыслах проект под названием CongressSpeaks – http://congressspeaks.com/. Прекрасный поскольку он живой, анимированный и, до определённой степени бесполезный, но всё равно запоминающийся.

 

Смысл прост. Выбираете одного конгрессмена на карте, потом второго и сравнивается их активность за сессию конгресса. А потом ещё и детальная статистика выводится по голосованиям, часто упоминаемым темам, сколько слов наговорили и так далее. В общем забавная штука. Ей нехватает только кнопки «Like» или «Tweet» и элементов игры. Лично я готов поспорить что будь у нас проекты такие как OpenCongress или VoteSmart которые и являются основой для CongressSpeaks, то и в России можно было бы создать интерактивные штуки не хуже.

Originally published at Иван Бегтин. You can comment here or there.

Apps4Russia: продление конкурса на 1 месяц
12 сентября 11 11:37

Небольшой анонс по конкурсу Apps4Russia.

К нам уже поступило немало заявок на конкурс и продолжают поступать сейчас. А также приходят письма от тех кто только-только вернулся из летних отпусков и каникул и хочет принять участие, однако время ограничено. Мы решили продлить приём заявок на конкурс ровно на 1 месяц чтобы все желающие принять участие могли бы успеть это сделать.

В итоге мы принимаем заявки до 1 ноября включительно и подводим итоги до 15 ноября.

Если Вы ещё не подали заявку – не забудьте это сделать.

А также, напомню, что мы собираем идеи которые могли бы быть полезны для граждан вот тут - http://apps4russia.reformal.ru/. Посмотрите, возможно какая-то из идей Вам понравится, а быть может у Вас есть идеи которыми хотелось бы поделиться.

Originally published at Иван Бегтин. You can comment here or there.

Открытые стандарты раскрытия информации
06 сентября 11 01:38
  • XBRL – стандарт раскрытия деловой отчетности публичными компаниями
  • IATI Standard – стандарт раскрытия финансовой информации о международной помощи / развитии
  • General Transit Feed Specification – стандарт раскрытия информации об общественном транспорте
  • Open311 – набор стандартов раскрытия информации о решении муниципальных проблем, отчетности о их решении
  • CEN Metalex – стандарт раскрытия информации о законах в Евросоюзе.
  • Akomo Ntoso – стандарт раскрытия информации о законах в Африканском союзе
  • Open Spending – стандарты раскрытия информации о бюджетах и госрасходах
  • Section508 (США) – стандарты публикации информации для людей с ограниченными возможностями (в США)
  • Data Standards – раздел на Civic Commons посвящённый открытым стандартам
  • Open Government API – стандарт публикации информации о законах и персонах по зак. собраниям штатов в США
  • Common Alerting Protocol – стандарт публикации информации о чрезвычайных ситуациях
  • Uniform Crime Reports – стандарт раскрытия информации о преступлениях в США
  • National Incident-based Report System – стандарт раскрытия информации о преступлениях и нарушениях в США

Originally published at Иван Бегтин. You can comment here or there.

Как помочь развитию темы открытых данных и открытого государства в России
05 сентября 11 10:29

Итак, я наконец-то добрался до этого поста-инструкции о том что делать когда хочется что-то делать, а не знаешь как.

Этот пост будет состоять из одного большого ответа на вопрос – Как помочь развитию темы открытых данных и открытого государства в России?

Я распишу что можно делать для разных категорий людей: журналистов, чиновников, бизнесменов, представителей общественных организаций и граждан. Поэтому кое-где будут повторения, но не для тавтологии, а детализации.

Если Вы чиновник

- старайтесь быть в курсе международных инициатив по открытым данным и открытому государству. Обратите Ваше внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru). А также обращайте внимание на публикации в Госбуке где изредка появляются инициативы по этой теме.

- обязательно потратьте Ваше время на изучение материалов по определению открытости (Open Definition) и открытых лицензий данных (Open Data Commons)

- исходите из того что потребность граждан в публичности государства не ослабевает, а нарастает. Обратить внимание к этой теме и начать публиковать открытые данные – это не проблема, а решение проблемы с доверием граждан к власти.

- помните что открытые данные можно разделить на две условные категории. Данные для гражданского контроля и данные для общественной пользы. К первой можно отнести данные о госзакупках, контрактах, доходах чиновников и так далее. Ко второй – списки больниц, аптек, адреса строек, городскую статистику, данные о школах и так далее. Если в первом случае раскрытие информации может натолкнутся на противодействие руководства, то в случае данных для общественной пользы – таких ограничений быть не должно быть. Начните, хотя бы, с данных для общественной пользы.

- помните что данные сами по себе нужны немногим и главный аргумент против них будет в том что «граждане их не понимают». Ценность данных в том чтобы были те кто их использует для общественного блага. Иначе говоря раскрытие информации должно практически сразу сопровождаться конкурсами для разработчиков. Не обязательно, при этом ставить на эти конкурсы огромные призы. Будьте уверены что и при максимальном призе в 100 тысяч рублей желающих будет немало.

- открытые данные не единственная тема открытого государства есть ещё и публичные дискуссии. Выносите на гражданское обсуждение Ваши нормативные документы и их проекты. Благо платформ для обсуждений уже очень много.

- и, конечно, пишите о том что Вы делаете в этой области. В своих блогах, пишите журналистам, пишите активистам вроде меня или Екатерины Аксеновой, для того чтобы и другие знали о Вашем опыте.

Если Вы журналист

- потратьте Ваше время на изучение проектов по открытым данным. Обратите внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru).

- потратьте Ваше время на изучение проектов по журналистике данных. Это Guardian Datablog, Chicago Tribune Data и другие.
- подумайте о том чтобы организовать блог/колонку по журналистике данных в своём издании. Если у Вас уже есть раздел/колонка/формат с интерактивными инструментами на основе собранных госданных – упоминайте открытые данные и что будь данные открытыми Ваша работа значительно бы упростилась.
- декларируйте поддержку принципов открытости государства и, в первую очередь, открытости для СМИ. И в том что касается свободы доступа к информации, и в том что касается открытости государственной информации.
- пишите о проектах на основе открытых данных в мире и о проходящих конкурсах по созданию таких проектов. О трансформации отношения государства и граждан, от потребления к партнерству.
- задавайте следующие вопросы чиновникам на пресс-конференциях:
– когда появится федеральный/региональный/муниципальный портал по открытым данным? (в зависимости от уровня чиновника)
–  как сам чиновник относится к открытости государственной информации, по запросу, и в виде пригодном для аналитики?
и так далее, по конкретным массивам данным. Например, у МВД можно спрашивать о том когда данные по статистике по преступности будут доступны в удобном виде и с точностью хотя бы до отделения полиции. За другими непростыми для чиновников вопросами – обращайтесь ко мне (Ивану Бегтину), я их много знаю

Если Вы бизнесмен

- не стесняйтесь использования открытых данных в коммерческих целях во всех случаях когда это законодательно не запрещено. Коммерческое использование данных это не постыдно деяние, а официально поощряемое действие во всех развитых странах во многих из которых даже проходят мероприятия для бизнеса где чиновники общаются с предпринимателями на тему повторного использования информации. Ключевая мысль – данные должны быть открыты для всех. Эксклюзивный доступ к каким-либо госданным автоматически ставит Вас не за движение по их открытости, а против него.

- если Вы понимаете что открытость каких-либо государственных массивов данных способно повысить качество ваших информационных продуктов – декларируйте это явно. Выступайте с открытой позицией, соблюдайте конструктивность, но четко указывайте что выступаете за открытость данных для всех.

- если Вы представляете крупную корпорацию озабоченную своим внешним позиционированием и репутацией, обратите внимание на открытость данных как способ повышения доверия у граждан. Раскрывайте данные как это делала корпорация ENEL и организуйте конкурсы для граждан по использованию этой информации.

- если Вы делаете продукты такие как CMS системы или иные системы автоматизации органов власти имеющих публичные интерфейсы. Подумайте насчёт создания возможностей по экспорту информации которая может быть публичной и предлагайте такие продукты своим заказчикам от государства.

- используйте уже имеющиеся открытые данные в своих проектах и декларируйте явно что Вы это делаете и важность наличия подобной информации.

Если Вы представитель общественной организации

- потратьте Ваше время на изучение проектов по открытым данным. Обратите внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru).

- в тех случаях когда Ваша деятельность связана с запросом данных от органов государственной власти, их ответами/не ответами, не забывайте упоминать про отсутствующие в России законы о свободе доступа к информации и о необходимости открытых данных.

- используйте уже имеющиеся открытые данные в своих проектах и декларируйте явно что Вы это делаете и важность наличия подобной информации.

- если Вы собираете данные от граждан, госструктур или бизнеса в формате краудсорсинга или мониторинга их деятельности, то публикуйте результаты Ваших исследований под открытыми лицензиями в виде открытых данных

- помните что открытые данные – это не только полезное для общества явление, но и тема о которой знают почти все грантодатели для некоммерческих организаций. Ваше понимание её значимости и применение в своих проектах может помочь Вам в привлечении финансирования.

- организуйте конкурсы по использованию открытых данных сфокусированные на тех областях в которых Вы активны.

- выступайте с инициативами по открытости тех или иных больших государственных и корпоративных массивов информации. Добивайтесь их машиночитаемости и стандартизации.

Если Вы программист или аналитик

- потратьте Ваше время на изучение проектов по открытым данным. Обратите внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru).

- обратите внимание что открытые данные требуют хорошей технической квалификации и, одновременно, создают возможности для апробации технологий и алгоритмов.

- используйте уже имеющиеся открытые данные в своих проектах и декларируйте явно что Вы это делаете и важность наличия подобной информации.

- участвуйте в конкурсах по открытым данным таким как Apps4Russia. Обязательно пишите о том что Вы уже сделали или хотели бы сделать в этой области

- если Вы разрабатываете алгоритмы, например, анализа текста – используйте имеющиеся открытые данные для их проверки и отработки.

- если Вы используете не Российские, а иные открытые данные – международные или национальные – пишите об этом.

- и, конечно, если участие в инициативах в по открытым данным и открытому государству Вам интересно – пишите об этом мне на ibegtin (собака) gmail.com я постоянно ищу разработчиков для своих и дружеских проектов в этой области.

Если Вы рядовой гражданин

- потратьте Ваше время на изучение проектов по открытым данным. Обратите внимание на проекты data.gov и data.gov.uk, читайте тех кто пишет об этом на постоянной основе. Например, мой блог и блог Екатерины Аксеновой (gov-gov.ru).

- не бойтесь термина открытые данные. Исходите из понимания что это основа для гражданских проектов облегчающих Вашу жизнь

- помните что открытость государства – это не нонсенс, это норма. Возможность для Вас получения государственной информации, участие в публичных обсуждениях, отправка идей и жалоб онлайн и многое другое должно быть для Вас нормой, а не исключением.

- при каждой возможности спрашивайте чиновников почему та или информация недоступна и почему принятые ими документы не проходили публичного обсуждения. Можно делать это, например, так «Почему президент/премьер не боиться выставлять законы на обсуждение, а Вы боитесь?», но можно и по другому.

- участвуйте во всех обсуждениях законопроектов в которых затронуты Ваши интересы.
- участвуйте в активностях некоммерческих организаций занятых в области открытости информации.

 

И, конечно, помогите с распространением этого текста.

 

 

Originally published at Иван Бегтин. You can comment here or there.

Открытые государственные данные будут в России с 2012 года
02 сентября 11 10:17

На Госбуке появилась публикация документов с прошедшего сегодня заседания президиума Совета при при Президенте по развитию информационного общества

Чтобы скачать документы надо зарегистрироваться в Госбуке так что я их продублирую тут.

А если вкратце то – Открытые данные в России будут

И вот почему.

Из доклада Эльвиры Набиуллиной - doklad.pdf (140 kb)

Кроме  того,  Минэкономразвития  России  отмечает  важность  раскрытия информации  об  открытых  данных  в  машиночитаемом  формате. Открытые государственные  данные  –  это  данные  в  машиночитаемом  формате, предоставляемые  органом  государственной  власти  гражданам  и  организациям  для   последующей  обработки  и  использования  при  реализации  социально-значимых сервисов.

В  связи  с  этим,  Минэкономразвития  России  считает  необходимым  развивать тематику  открытых  государственных  данных и  планирует  проводить  с  2012  года ряд  работ  в  рамках  государственной  программы  «Информационное  общество (2011-2020 годы)».

Из решения совета президиума - reshenie.pdf (98 kb)

3. Минэкономразвития  России  (Э.С. Набиуллина)  совместно  с Минкомсвязью  России  (И.О. Щёголев)  проработать  и  до  1 декабря 2011 года  представить  в  президиум  Совета  предложения  о  введении обязательных  требований  об  обеспечении  свободного  доступа  через официальные  сайты  органов  исполнительной  власти  к  информационным ресурсам  открытых  данных,  содержащихся  в  ведомственных информационных  системах,  в  формате,  пригодном  для  внешней компьютерной  обработки,  в  целях  создания  социально  значимых интернет-сервисов,  а  также  предложения  о  создании  интернет-сайта, содержащего реестр открытых государственных данных.

Это очень хорошее известие. Тема открытых данных, наконец-то, проникла в умы чиновников Минэкономразвития и лично министр Эльвира Набиуллина выступила с докладом в их поддержку. Теперь есть шанс что в следующем году мы увидим первые шаги по реализации.

Как это будет происходить, честно говоря я этого пока не знаю, как и не знаю буду ли я в этом участвовать. Однако совершенно точно я буду это отслеживать. Совершенно точно буду создавать проекты на базе открываемых данных.

И, конечно, это ещё не результат, а только намёк на него. Теперь важно чтобы всё не превратилось в профанацию, не свелось к «агрегированным данным», необходимо защищать эту идею от тех чиновников которые считают что первичные данные нельзя давать гражданам так как те их не понимают и многое и многое другое.

 

Originally published at Иван Бегтин. You can comment here or there.

Законодательство Великобритании в XML и RDF
27 августа 11 08:59

Оказывается что помимо голландского законодательства теперь доступного в XML и RDF форматах на базе Metalex и в рамках общеевропейского проекта, есть и другие схожие инициативы.

В частности законодательство Великобритании теперь доступно в машиночитаемом виде через онлайновое API в XML, RDF и Atom форматах. Подробнее об этом можно почитать здесь - http://www.legislation.gov.uk/developer/formats/

При этом мне пока не удалось найти на их сайте ссылку на вот этот раздел для разработчиков, но в реестре Linked Data он уже попал и по Интернету ссылки на него бродят. Так что я думаю что их Национальный архив скоро анонсирует наличие такого API официально.

Originally published at Иван Бегтин. You can comment here or there.

Ссылки на 27.08.2011: Международные данные в энергетике и не только
27 августа 11 12:58
  • JODI – открытая и машиночитаемая база индикаторов по добыче и потреблении сырой нефти и прозводстве нефтепродуктов. Охватывает все страны входящие в IEF, международный энергетический форум. В том числе есть данные по России. А также все данные можно скачать одним CSV файлом. Данные обновляются ежемесячно
  • Gas trade flow in Europe – карта потоков по продаже газа в Европе.  Данные обновляются ежемесячно
  • Gas transparence Conference – презентации с конференции по прозрачности газовой отрасли. Конференция прошла 26 октября 2010 года в Москве. На ней представлены материалы о том как сбор и проверка данных осуществляется в разных странах и международных структурах.
  • IEA Statistics – данные международного энергетического агентства. Большая часть данных за деньги, но всё машиночитаемо.
  • OECD-NEA Data bank – банк данных Nuclear Energy Agency, структуры при ОЭСР. В том числе есть открытые машиночитаемые данные.
  • Articque – французская компания разработчик инструментов визулизации данных на картах.
  • Beyond 20/20 – канадская компания, прозводитель ПО по визуализации статистики. Их решение используется во многих стат. ведомствах Европы и международных структур.
  • Nike starts open data – корпорация Nike фокусируется на открытых данных. В первую очередь собственных данных предоставляемых всем остальным.
  • IDEA Unified Database – онлайн база данных по выборам, развитию демократии, гендерным квотам и так далее. С экспортом в Excel и CSV
  • BIS Statistics – открытые данные Банка международных расчетов. В CSV и Excel
  • BIS Webstat interactive query tool – онлайн интерфейс для запросов в базу Банка международных расчётов

Originally published at Иван Бегтин. You can comment here or there.

Открытые корпоративные данные. Италия. Корпорация ENEL.
23 августа 11 05:17

Кто-то из Вас быть может слышал о такой компании как ENEL. Это крупный итальянский энергетический концерн торгующий газом и электричеством и представленный в 40 странах.  Немалая компания которую, наверное, можно из российских сравнить с Газпромом.

Так вот. Случилось чудо и в ENEL задумались всерьёз об открытости собственной деятельности. Задумались так как другим мало не покажется и решили сделать свой портал по корпоративным открытым данным. Вот собственно и он - http://data.enel.com/

И да. Они делают это _добровольно_. Правительство Италии или Евросоюза не требует от них делать такой портал. Но они сделали и ссылаются на правительства US, UK и Всемирный банк. Иначе говоря хорошие практики получают распространение в том числе и там где совсем этого не ждёшь.

Кстати, их данные – это просто выжимки из отчетов, но хорошо структурированные. Ничто не мешает российским компаниям поступить также. Но поступят ли они?

Originally published at Иван Бегтин. You can comment here or there.

Индикаторы здоровья города Москвы в виде открытых данных (Прорабатываем идеи для Apps4Russia)
23 августа 11 02:02

Если кто помнить в Apps4Russia есть идея индикаторов здоровья города Москвы заключающаяся в том чтобы взять данные из раздела МосГорЗдрава - http://www.mosgorzdrav.ru/mgz/komzdravsite.nsf/va_WebPages/sys_DigitsList_1?OpenDocument и придать им наглядную форму.

Учитывая что там оперативные сводки публикуются каждый день и содержат такие данные как:

- число выездов

- число выездов к детям

- число ДТП

- число ДТП с пострадавшими детьми

- число госпитализаций

- число трупов

и ещё ряд более детальных цифр.

При этом пока всё ещё никто не откликнулся на эту идею, а жаль, лично мне было бы весьма интересно увидеть визуализацию этих цифр. Взглянуть на них в разрезе дня недели, месяца, по годам, по важным событиям и так далее.

Как бы то ни было, я решил помочь сырыми данными тем кто решиться такие визуализации делать, а заодно поучаствовать в Apps4Russia.

Итак. На Github’е я выложил извлечённые и частично распарзенные данные https://github.com/ivbeg/mosgorzdrav с сайта Мосгорздрава.

Данные там такие:

- файл extract.py – содержит две функции. Извлечь список страниц и сохранить его, а также скачать все страницы

- файл process.py – содержит лишь одну функцию которая из сохранённых страниц извлекает два индикатора: число выездов и число выездов к детям.

Извлечённые индикаторы в файле timeseries.csv, неразобранные html файлы в папке data, а в файле data_analysis.xls пример того как можно построить график по данным в Excel’е.

Там есть некоторая специфика в том как эти данные публикуется, однако всё парсится вполне.

Что Вы можете сделать? Вы можете:

- написать парсер для извлечения всех остальных индикаторов

- придумать как их визуализировать наглядно

- и, было бы просто супер, сделать веб-сайт на котором визуализировать эту статистику в графиках. Могу посоветовать воспользоваться такими движками как Amcharts https://github.com/ivbeg/mosgorzdrav или HumbleFinance http://www.humblesoftware.com/finance/index. Впрочем движков очень много можно воспользоваться любым.

Если до 1 октября никто так и не решится, я займусь визуализацией сам исключительно в целях создания тюториала как это делается. А может быть возьму другие интересные данные.

И напомню что заявки на Apps4Russia можно отправить тут - http://www.apps4russia.ru/submit/

P.S. На то чтобы сделать этот массив данных у меня ушло ровно 2 часа.

 

Originally published at Иван Бегтин. You can comment here or there.

Про конкурс на оборудование для zakupki.gov.ru на 778 млн. рублей
22 августа 11 10:57

Сегодня меня слишком многие спрашивают насчёт этого конкурса на 778 млн. рублей которое Федеральное Казначейство объявило на вот совсем недавно.

В качестве преамбулы скажу что я не люблю «кидать камни» в адрес Федерального Казначейства по той причине что из наших ведомств, как бы странно это не звучало, они одни из самых публичных и раскрывают немало открытых данных и через zakupki.gov.ru в виде XML дампов и у себя на сайте в виде отчетов в Excel и машиночитаемом HTML.

То есть они априори не худшие из российских ведомств в плане открытости, а может и лучшие. Это Вам не МЧС или, прости Господи, МВД России. Впрочем, всё это только преамбула, перейдём к рассмотрению по существу.

А по существу я уже прокомментировал:

- на Эксперт ТВ тут - http://expert.ru/2011/08/22/news-16_00/ начиная с 5-й минуты. Там осталось всего секунд 15 из наговорённых мной минут 7, так что не удивляйтесь, там многое недосказано.

- для Сити ФМ. Вот тут есть расшифровка - http://city-fm-87-9.livejournal.com/48892.html

И раскрою своё мнение тут подробнее.

Я точно могу сказать zakupki.gov.ru работает совершенно безобразно уже очень долгое время. Я, в принципе, не помню такого чтобы этот сайт хоть когда-то работал более-менее прилично дольше месяца.  Всё особенно сильно ухудшилось после того как сайт стал «единым» и «общероссийским», а то есть на нём стали размещать закупки не только федеральных государственных структур, но и региональных тоже, а также структур местного самоуправления.

Фактически после того как было принято решение о том что сайт будет единым стало ясно что он будет уникален и что мировых аналогов его просто нет. И быть их не может. Поскольку единый сайт по государственным и муниципальным закупкам в других странах невозможен поскольку все крупные страны отличаются двумя ключевыми характеристиками:

- они настоящие федерации. А то есть есть чёткое разделение полномочий властей по уровням

- в них есть понимание что класть «все яйца в одну корзину» – это огромный риск.

В России же сейчас создание федеральных систем таких как zakupki.gov.ru или единый сайт по торгам по недвижимости torgi.gov.ru – это путь технологической унитаризации. Федеральная исполнительная власть _принуждает_ все остальные ветви и уровни власти к контролю со своей стороны. Контролю процедурному – это ФАС России и контролю технологическому – это единый общероссийский сайт.

Цена этого контроля – сверхцентрализация и невозможность точечных изменений. Проблема всего происходящего  - в изначальное неверно принятых архитектурных решениях. Причём неверных не на уровне компонентов, кода, клиент-серверных решений. Нет. Неверных на уровне решения изменения 94-ФЗ приведшего к такой централизации. Неверного на уровне отсутствия понимания при обсуждении поправок в закон.

Это всё, разумеется, если не говорить о том что российская конституция декларирует что мы федерация и что местное самоуправление у нас отделено от государственной власти. На практике видно что ничего такого в этом нет. И, к сожалению, Федеральная Контрактная система этого тоже не решит.

И всё это, также не говоря о том, что если бы сайт был не один, а множество, то изменения на каждом из них не предполагали бы неработоспособность сайта для всех. А регламентные работы проходящие бы в ночь по московской временной зоне не парализовывали бы работу на дальнем востоке где уже утро/день.

Как итог.  Считаю ли я что эти расходы на оборудование обоснованы? Считаю что нет. И не по той причине что это оборудование не может стоить таких денег. Дело не в оборудовании. Дело в том что сейчас в правительстве, МЭРиТ и ФАС России уже никто не признается что решение о централизации закупок и создание единого сайта было неверным.

Как поступить правильно?

Есть два способа:

1. Полный отказ от единого сайта по госзаказу и позволить регионам вновь использовать свои региональные сайты, но ввести законодательное требование по единой стандартизации раскрытия информации о госзаказе в машиночитаемом виде. А также обязать все системы получать «федеральные идентификаторы» для контрактов. А то есть регистрировать каждое изменение закупки и контракта в федеральном регистраторе. Но я сомневаюсь что правительство и депутаты на это пойдут когда либо.

2. Категорически изменить архитектуру системы. Создать отдельные экземпляры официальных сайтов для каждого из регионов, например, в домене gz.gov.ru в формате www.fed.gz.gov.ru – для федеральной власти, www.50.gz.gov.ru – для Московской области и так далее. Каждый экземпляр должен быть независимым, но на базе единой технологической платформы. Установлены они должны быть в датацентрах максимально приближенных к конечным потребителям.

Для поставщиков все данные могут аггрегироваться в единый портал gz.gov.ru или текущий zakupki.gov.ru. Благо при унификации это будет уже несложно. В сайте для поставщиков уже не будет ни одного госзаказчика и значительно упростится отображение данных.

Это снимет проблему с недоступностью сайтов. Их можно будет обновлять один за другим не затрагивая остальные. А также сохранит возможность поставщикам видеть все закупки на едином портале.

В этом случае также потребуется некое количество оборудоваия, но куда меньше чем на 780 миллионов рублей. Значительно меньше.

 

Originally published at Иван Бегтин. You can comment here or there.

CityPayments: Монитор муниципальных закупок Чикаго
21 августа 11 01:39

К вопросу о гражданском контроле госрасходов. В  граждане Чикаго создали портал Citypayments.org. Простой и очень понятный, с одной лишь целью – отслеживать расходы города и выявлять среди них те что goofy (пер. – «тупой»,»бестолковый»). Иначе говоря те где может быть коррупция или обыкновенная глупость. Или, и то, и то.

И таких закупок у них там немало. Кстати, ничто не мешает сделать такой локальный проект в России. Благо данных по госзакупкам доступны на zakupki.gov.ru в машиночитаемом виде (XML) и вполне там можно отделить госструктуры и поставщиков относящихся к конкретному региону или городу. Так что если кто-нибудь надумает сделать такой проект для своего города, то много времени это не займёт, а потом смело подавайтесь на Apps4Russia.

Originally published at Иван Бегтин. You can comment here or there.

More Posts Next page »

This Blog

Tags

Archives

Syndication