-
Пока я думаю и собираю идеи и предложения по развитию OpenGovData.ru мне бы хотелось чтобы было понимание что критика относительно многих госпроектов и госсайтов была даже не конструктивной, а деятельной. Кроме того меня не покидает уверенность в том что достижение прозрачности возможно только прозрачными методами.
Для чего сейчас в OpenGovData.ru появилось открытое API с описанием которого можно ознакомиться по ссылке http://groups.google.com/group/opengovdataru/web/api–opengovdata-ru
Разумеется оно весьма несовершенно в первой своей форме, там реализован только экспорт информации, однако наверняка многим пригодится и это – теперь два основных банка данных, коллекции источников информации и коллекция обработанных данных доступны для повторного использования.
Критика, пожелания, предложения и _особенно_ повторное использование, всячески приветствуются.
Кроме того исходный код OpenGovData.ru, в его текущей, весьма несовершенной форме доступен по ссылке http://github.com/ivbeg/opengovdataru. Код, прямо скажем, унаследовал все недостатки того сколь быстро он разрабатывался и в него пока ещё не включены последние изменения, но, как я уже писал ранее – достижение прозрачности должно быть прозрачным. Я считаю что мало заниматься деятельной критикой самому – надо давать и другим инструменты для этого полезного занятия.
Originally published at Иван Бегтин. You can comment here or there.
-
Прошлые и новые сайты штатов в США у которых появились свои каталоги данных
Ну а я по прежнему считаю что в России должен появится свой data.gov.ru и примером того что это возможно является каталог OpenGovData.ru
Originally published at Иван Бегтин. You can comment here or there.
-
В OpenGovData.ru очередное пополнение банка источников информации – добавлено 20 новых источников.
В основном это онлайн банки документов, банки резюме и вакансий и архивных документов. Полный список всего можно посмотреть здесь – http://www.opengovdata.ru/sources/, а также высказать свои замечания и предложения по текущему состоянию и развитию проекта зесь – http://opengovdata.reformal.ru/
Подавляющее число баз данных – это формы поиска и таблицы в HTML. Увы и ах, но по прежнему только единицы государственных баз данных и баз созданных на государственные деньги публикуются в машиночитаемой форме.
Все источники из «неразобранных запасов», а не из ранее опубликованного мною реестра выдернутого из пояснительной записки по Электронной России. Тому есть две причины:
1. Всё ещё слишком много невнесённых источников данных которые доступны онлайн и отсутствуют в этом списке
2. Список, как оказалось неполон, а вот мне наоборот удалось найти в накопленных ранее ссылках много нового. Например, многие библиотеки и архивные фонды поддерживают онлайн каталоги, а также многие банки данных «размазаны» по территориальным управлениям федеральных органов власти. Например, это реестры хозяйствующих субъектов с долей более 35% которые есть на сайте всех ТУ ФАС России
Originally published at Иван Бегтин. You can comment here or there.
-
Как всегда ссылки с небольшими комментариями. Будут и старые и новые ресусы.
Банки данных
- http://zakon.scli.ru – система раскрытия законодательных актов Минюста. Не идеально, но очень прилично. Не требует авторизации, поддерживает сложный поиск.
- http://www.pravo.fso.gov.ru – информационно-правовая система «Законодательство России». Бесплатный и публичный сайт с нормативными документами поддерживаемый ФСО России. Требует авторизации если заходить с главной страницы, но при заходе сразу на форму поиска – http://www.pravo.fso.gov.ru/proxy/ips?start_search авторизация ненужна. Не Гарант, не Консультант, но многие задачи успешно решает. И, весомое дополнение, содержит свод законов Российской Империи.
- http://77.108.74.231/Hydroposts/default.aspx – Информационная система «Реки России» (тестовая версия). Работает на ArcGIS, никакой обратной связи, нет открытых данных, нет описания в рамках какого проекта, ФЦП или финансирования создаётся.
- http://www.waterinfo.ru/gts/index.php – Российский регистр гидротехнических сооружений. Как его применить пока не знаю, просто для коллекции.
- http://www.fgufccs.ru/po/ – реестр программных продуктов для сметных расчетов
- http://www.flc.ru/licens/ – Реестр лицензий Министерства Регионального развития. Обратите внимание на сознательно введённые ограничения на доступ к реестру лицензий.
- http://www.rosnedra.com/article/2604.html - »Перечень объектов выполнения работ по геологическому изучению недр и воспроизводству минерально-сырьевой базы за счет средств федерального бюджета». Описано несколько сотен участков, минимум информации, но приведены расходы в тыс. рублей. Определённо будет в OpenGovData.ru
Официальные госсайты
Originally published at Иван Бегтин. You can comment here or there.
-
Дублирую сообщение из группы OpenGovData.ru
—
Из недавно опубликованного вот тут (http://www.slideshare.net/iponomarev/100125-e-government) системного проекта по Электронной России удалось извлечь таблицу с перечнем публичных массивов данных.
Многих из них ещё нет в OpenGovData.Ru, а многие вообще малоизвестны.
А также около половины из них до сих пор недоступны онлайн в какой-
либо форме.
Весь список можно получить тут.
в CSV - http://groups.google.com/group/opengovdataru/web/public_data_sources.csv
(кодировка Windows-1251)
в XLS - http://groups.google.com/group/opengovdataru/web/public_data_sources.xls
В ближайшее время данные оттуда перекочуют в OpenGovData.ru, а также
предлагаю подумать стоит ли регистрировать массивы данных которые
недоступны онлайн?
Как всегда – отклик, идеи и предложения приветствуются. Можно тут, можно в группе Google Groups, можно через Reformal (http://opengovdata.reformal.ru/)
Originally published at Иван Бегтин. You can comment here or there.
-
Собственно в Cnews прошла статья про этот системный проект – http://www.cnews.ru/news/top/index.shtml?2010/02/16/379863 и Илья Пономарев подверг его критике http://ilya-ponomarev.livejournal.com/410831.html.
Правда как я понимаю из статьи на Cnews, то критике подвергался не сам документ, а пояснительная записка к нему, однако документ неоднозначный и подвергать его бездеятельной критике, не предлагающей решений, у меня желания нет. Неинтересно.
Предлагаю критику деятельную:
1. «Обсуждение с народом» – это хорошая мысль когда поставлен процесс «общения с народом» и «народные мысли» четко структурированы и конструктивны. Поэтому обратим внимание на такой проект как Концепция Здравоохранения 2020 http://www.zdravo2020.ru/ где можно было публично этот документ обсудить. Я считаю что системный проект по электронной России должен быть не «эрзацем будущих внедрений», а живым документом с живым обсуждением и ничто не должно мешать сделать для него сайт, разбить документ по главам и дать возможность обсуждать каждую. Это, кстати, не потребует ни миллионых вложений, ни детальной аналитики, ни чего-то сверхсложного.
2. Что меня лично убивало во всех документах по ФЦП, не только по Электронной России, но и других – это в их зубодробительности и объёмности. Универсального решения этой проблемы я не знаю, но думаю что то же самое «обсуждение с народом» должно преследовать цель поиска и его тоже.
3. Технический момент. С PDF документами без крепких выражений работать не получается. У SunLightLabs есть даже отдельный пост «Adobe is Bad for Open Government«. Да, я знаю плюсы PDF в виде цифровых подписей, ограничений на печать и копирование, удобство их печати и тому подобное. Однако Вы попробуйте хоть разок извлечь из них автоматически таблицу особенно большую и со сложными данными и поймёте что это за счастье. Например, мне бы очень хотелось получить из пояснительной записки что опубликовал Илья Пономарёв таблицу со списком баз данных стоящих на балансе федеральных органов власти. Да вот как бы не так! Даже ABBY PDF Transformer преобразует таблицы с массой ошибок особенно в длинных ссылках, а это один из лучших известных мне продуктов по преобразованию PDF в XLS.
В общем, формат имеет значение, особенно когда предполагается что с документом будут активно работать.
А в том что касается обсуждения документов, я давно думаю о том как можно было бы организовать их наиболее простым и удобным способом и все размышления пока упираются только в рутину по нарезке документов на главы. При наличии возможностей автоматизировать этот процесс, остальное решается быстро.
P.S. Кстати, если кто-нибудь знает способ эту таблицу оттуда всё таки извлечь не покорёжив текст и не поломав ссылки буду очень благодарен за помощь.
Originally published at Иван Бегтин. You can comment here or there.
-
Ищущим вдохновения можно посоветовать «идейный рейтинг» (тут http://www.opengovtracker.com/) составленный парой энтузиастов на основе данных IdeaScale, сервиса который все ведомства США сейчас используют для обратной связи с пользователями и который предоставляет API с данными об идеях, голосах и комментариях.
Например, можно увидеть что наибольший интерес вызывает NASA, а наименьший такие ведомства как USAID и OSTP (Office of Science and Technology Policy).
И, конечно, немаловажное исходный код проекта доступен тут – http://github.com/jessykate/IdeaScale-Dashboard всем желающим.
Можно увидеть что код там совсем простой, сделать такой проект можно за день причём большую часть дня пить пиво и немного думать и совсем немного кодить когда уже всё понятно.
Но без открытых данных сделать его было бы невозможно и в том и есть ценность открытых данных, открытого API и наличия энтузиастов.
Originally published at Иван Бегтин. You can comment here or there.
-
Какое-то время назад я писал про проект Rewired State Projects (http://rewiredstate.org/) где участники задались целью переделывать самостоятельно различные сайты/проекты госорганов и приводить их к удобному виду и добавлять туда полезные возможности. Этот проект британский, и, соответственно с акцентом на те проекты что делают в UK и те данные которые есть в UK.
Однако кроме практической пользы от «переделки государства» и уже появившихся разных проектов в Rewired State есть ещё один очень важный аспект – это деятельная критика. Критика цель которой не просто обрисовать проблему, но и предложить решение, а потом внедрить его самостоятельно.
Если перевести всё это в пару коротких фраз.
То бездеятельная критика обычно сводится к мысли «сделали всё плохо – потому что идиоты, коррупция, лентяи, не умеют работать«, а деятельная критика к тому что «сделали всё плохо – я/мы покажем как сделать правильно«.
По моим наблюдениям деятельная критика – это как раз то чего для деятельности государства в Рунете сильно нехватает и то что сейчас активно развивается в англосфере в форме открытых данных и онлайновых соц. проектов поддерживаемых некоммерческими организациями.
Впрочем в России такие проекты тоже появляются. Например, недавно у Катерины я увидел описание про живую карту рязанских автобусов (http://gov-gov.ru/?p=1210), а потом посмотрел на сам проект вот тут http://www.bus62.ru/.
Скажу честно – это очень круто. Мало того что общественный транспорт показывается практически в реальном времени, так я подозреваю что и себестоимость проекта была очень низкой, а польза может быть очень большой. Если его интегрировать с iPhone и Androind’ом, если показать все остановки, если накопить статистические данные и научиться делать приблизительные оценки к какому времени тот или иной автобус придёт к такой-то остановке, сколько времени он реально будет в пути и так далее.
Однако самое важное другое – такие проекты стали появляться в виде частных инициатив. А значит всё не так уж плохо на сегодняшний день.
Предлагаю собрать базу по таким проектам – я готов её разместить на opengovdata.ru как примеры частных проектов и машапов. Поэтому вопрос – знаете ли Вы похожие частные проекты в России использующие какие-либо госданные для общественной пользы?
Originally published at Иван Бегтин. You can comment here or there.
-
Все наверняка помнят что в декабре 2009 года Обама подписал Open Government Directive (http://www.whitehouse.gov/omb/assets/memoranda_2010/m10-06.pdf) где, в частности, было требование чтобы в течении 60 дней на всех сайтах федеральных департаментов США появился бы раздел раскрытия данных описанных в этой директиве.
Вот этот пункт:
Within 60 days, each agency shall create an Open Government Webpage located at http://www.[agency].gov/open to serve as the gateway for agency activities related to the Open Government Directive and shall maintain and update that webpage in a timely fashion.
Обратите внимание на вполне конкретное указание на шаблон ссылки.
И чтобы Вы думали, действительно на всех сайтах такие разделы появились, а в Sunlight Labs собрали их полный список вот он – http://sunlightlabs.com/open/
Причём не просто появились, а появились полноценно, наполненные данными, а кое-где, например, на странице GSA (http://www.gsa.gov/open) уже и с видеообращением и возможностью предлагать свои идеи (http://opengsa.ideascale.com/) по аналогии с Data.Gov. Кстати обратите внимание что сайт GSA сделан на WebSphere с нечеловеческими ссылками, но они всё равно сделали ссылку с /open через редирект.
Более всего меня поражает скорость с которой всё это было проведено, всего лишь 60 дней. Да, может идеи и витали в воздухе, может многие ведомства были к этому готовы. Для сравнения в России 8-ФЗ был принят в начале 2009 года, а до сих пор, в лучшем случае, ему соответствуют единицы из госсайтов ведомств, а в худшем – НИ ОДИН сайт не соответствует.
Да чего уж там, я помню как после принятия 94-ФЗ многие регионы свои сайты закупок создавали и приводили в соответствие в течении нескольких лет. Причём далеко не всегда успешно, многие до сих пор работают с нарушениями. Если не по факту, то по смыслу закона – раскрывая информацию предельно неудобно.
Originally published at Иван Бегтин. You can comment here or there.
-
На opengovdata.ru появился новый массив данных, справочник МКБ-10 который можно скачать в формате CSV и использовать в своих практических задачах. Большое спасибо за него, Юрию Кудрявцеву!
Также в сообществе проекта появилась подборка ссылок по открытым данным в мире – http://groups.google.com/group/opengovdataru/browse_thread/thread/6e13f7db8ef7960c
Можно найти самые разные разные проекты в различных странах. Пока ещё там не все ссылки, но постепенно они все там появятся.
Это всё о текущем, теперь же о будущем проекта.
Изначально он создавался как некоммерческий, бесплатный сайт аналогичный многим таким же в мире. Именно таким и предполагается оставить его далее, в том числе на сайте не будет никакой рекламы, контекстной ли баннерной ли. У него некоммерческие, если угодно «подвижнические» цели, и таким он останется.
Вопросы сейчас в том как продолжить его развитие.
В прошлом году удалось собрать большую базу различных источников данных, сделать 4 массива открытых данных, разработать специальный формат раскрытия в XML и создать банк нормативных документов по раскрытию данных в нашей стране.
Но… Всё это пока не решило несколько важных задач:
1. Вовлечение граждан в создание машапов.
При том что находятся волонтёры интересующиеся данными и готовые данными поделится, всё ещё мало социально-востребованных проектов по их повторному использованию. Нет примеров машапов, нет продвижения идеи в массы о том что открытые данные – это хорошо, нужно, полезно и необходимо.
2. Выбор пути сбора открытых данных
Фактически, есть всего два пути сбора открытых данных.
Первый – когда данные опубликованы в каком-либо формате на официальном сайте и они преобразуются в «нормальный вид» в виде XML/CSV и других полезных форматов волонтёрами с помощью специально написанных парсеров.
Второй – когда данные публикуются самими ведомствами в формате пригодном чтобы их можно было включать в реестр открытых данных.
По моему опыту, второй путь в России особенно сложен из-за непонимания чиновниками самого понятия открытых данных. Первый же путь сопряжён с многими издержками в виде необходимости обновлять, оптимизировать и улучшать парсеры. Какой из этих путей более правильный – большой вопрос. Но, что можно отметить точно, так это необходимость медийной поддержки – нужны статьи, публикации, обзоры и целенаправленная работа в этом направлении. Любая помощь будет кстати.
3. Интеграция
Сейчас в мире постепенно набирает тенденция к унификации раскрытия информации. К использованию открытых форматов, к стандартизации отраслевого раскрытия, например, движения транспорта. Важно не остаться в стороне от происходящего и интегрироваться в общий процесс.
В частности есть несколько возможных направлений:
- Linked Data – http://linkeddata.org/ – интеграция в общий процесс Linked Data, для начала экспортом метаданных о массивах данных и их источниках.
- CKAN - http://ckan.net/ – экспорт данных как пакеты CKAN и интеграцией их в этот проект.
4. Расширение
Сейчас в OpenGovData.ru в основном федеральные данные. Их немало, но они далеко не всё и, как ни странно, в регионах немало открытой информации в публичном доступе, важно лишь умение её найти и понять пригодность к автоматическому использованию. А далее актуальна ситуация и с муниципалитетами.
5. Систематизация
На самом деле проблема систематизации она глобальная. И существует много нераскрытых вопросов как собирать данные и c какой стороны заходить со стороны что есть на самом деле или с того что правильно.
- Строить ли иерархию органов власти и к ним добавлять описания доступных массивов данных или же первичны именно данные и информация об органах власти вторична?
- Собирать ли информация о различных интерактивных и полуинтерактивных сервисах дающие выборочные данные? Например, проверка налоговой задолженности или проверка паспорта в ФМС.
И так далее . Вопросов много и наложение геополитической онтологии что я публиковал ранее или же онтологии структуры органов власти на реестр открытых данных будет непростой задачей и довольно длительной. Тем не менее к этому постепенно всё будет приведено.
—-
Всё вышеперечисленное о том что происходит и будет происходить в проекте. Но самое главное – это отклик от потенциальных и существующих его пользователей. Критика, замечания, отзывы, предложений – всё что можно сказать и что может проект изменить и улучшить.
Originally published at Иван Бегтин. You can comment here or there.
-
В журнале CIO вышла статья с интервью Ильи Пономарева про data.gov.ru плюс у него в ЖЖ развернулось обсуждение этой и другой статьи.
Жаль Илья не упомянул что в России инициативы схожие с data.gov тоже есть, пока это только мой opengovdata.ru, но думаю что будут и другие.
Я акцентирую внимание на другом. Илья говорит о том что data.gov – это некий депозитарий с XML интерфейсами и это конечно правда, но правда не вся. Главное там не интерфейсы, и тоже не XML, главное – это публичнось и машиночитаемость. Причём эта машиночитаемость может быть достигнута как в виде веб-сервиса, так и полным раскрытием датасетов в XML, CSV, KML (формат публикации ГИС данных для Google Maps) и иных форматов пригодных к последующей автоматической обработке.
И главный акцент во всём этом не в автоматизации ведомств, а в вовлечении бизнеса и граждан в создании социально и коммерчески востребованных продуктов. Например, если бы Мосгортранс предоставлял бы информацию о маршрутах в городе Москве в машиночитаемой форме, то сервисов для удобного подбора маршрутов было бы не раз-два, а десятки и была бы реальная конкуренция.
Если бы департаменты и министерства экологии в регионах раскрывали бы информацию по экологической обстановке, авариях и замерах почвы, то можно было бы накладывать эти данные на карту, и, в частности, иметь дополнительный инструмент для принятия решения при организации бизнеса в том или ином районе, или переезде туда на проживание.
Если бы нормативно-правовые акты в ГСРПА публиковались бы не куцыми документами с отметками только о дате публикации, названием и документом, а раскрывались бы в машиночитаемой форме, то и сами ведомства могли бы предоставлять их всем желающим для поиска и навигации, и появилась бы наконец возможность нормально работать с документами не используя, ни Гарант, ни Консультант.
Если бы статистика Росстата публиковалась в машиночитаемой форме, то была бы возможность полноценно сравнивать статистические данные с теми которых у Росстата нет в принципе – цены на фондовом рынке, статистические данные других стран, дополнять этими данными Википедию, банки данных, накладывать на карты и, в принципе, предоставлять в удобной для граждан форме.
Иначе говоря я считаю что первичны должны быть интересы граждан, а не повышение качества построения электронного правительства.
Originally published at Иван Бегтин. You can comment here or there.
-
Недавно нашёл ещё один интересный проект по данным. Группа энтузиастов/студентов обрабатывают данные из Data.Gov, классифицируют, анализиируют и интегрируют в семантический веб преобразуя их в RDF
Подробнее можно посмотреть тут – http://data-gov.tw.rpi.edu/wiki/The_Data-gov_Wiki
Конечно, было бы неплохо если бы и на data.gov появились бы семантические массивы и сам сайт был бы интегрирован в Linked Data, но и даже тот факт что данные раскрываются в структурированной форме – CSV, XML, KML и т.д. уже позволяет сделать последующее преобразование в RDF максимально просто.
Originally published at Иван Бегтин. You can comment here or there.
-
Попробовал сегодня открыть недавно анонсированный сайт Atlasmoscow.ru.
Честно говоря, учитывая что начали появляться приличные госсайты вроде сайта президента, Минфина или Минздравсоцразвития – так вот этот Атлас выглядит как-то, не очень, мягко скажем.
Я ещё понимаю несколько лет назад полноценно работающих GIS систем на Flash было немного, но сейчас то когда есть карты Google, Яндекса и даже Rambler’а и Microsoft, после всего этого ощущения от Autodesk’овской карты на ActiveX самые что ни на есть неприятные.
Но мало того что он сайт работает только в IE, так и даже в IE там глюки. С чем я столкнулся сразу же.
Здесь сбоит кодировка.
А тут сразу Access Violation в OCX.
А по щелчку на карту браузер просто глухо падает. Во всех случаях ничего особенного не делалось, просто сайт был в IE открыт, а ActiveX компонент установлен.
Там же на сайте, кстати, приводится Распоряжение мэра о вводе его в промышленную эксплуатацию и там первой фразой идёт пункт.
В целях обеспечения публичного доступа к открытой части интегрированных пространственных данных города Москвы (электронного Атласа города Москвы) через порталы глобальной сети Интернет
Нужно ли этот сайт исправлять? Я считаю что нет. Пусть будет как есть, вместо этого у меня есть контр предложение московскому правительству.
А Вы вместо ГИС системы начните наконец публиковать открытые данные которые каждый бы мог наложить на карты того же Яндекса. Вот и будет публичный доступ и распространение в глобальной сети Интернет. И денег на это практически не потребуется – всего один раз описать структуры таблиц и предоставить в открытый доступ. А там глядишь и до портала открытых данных города Москвы дойдёт.
Originally published at Иван Бегтин. You can comment here or there.
-
Недавно Катерина Аксенова написала про ряд проектов по раскрытию государственных данных в сети. Обратите внимание что большая часть этих проектов проходит в “англо-саксонских странах” США и бывших британских колониях. Незнаю чем это обусловлено исторически, но да, почему-то именно в них к публичным данным особенно внимательное отношение именно сейчас.
Я приведу в дополнение ещё ряд интересных проектов на ту же тему:
И другие интересные ресурсы на ту же тему:
И, наконец, российские ресурсы:
- http://www.opengovdata.ru – сайт созданный мною в мае 2009 и понемногу наполняющийся.
- http://www.mosclassific.ru – сайт ГУП “Социальный регистр” – предоставляют в открытом доступе все московские и общероссийские классификаторы. Московские можно скачать в XML и DBF (после бесплатной регистрации), а общероссийские доступны только в виде HTML страниц, но с более-менее удобным поиском.
Будет ли в России Data.Gov.Ru? Я бы переформулировал вопрос. А будет ли его кто-либо использовать?
Собственно это вопросы к читателям – если бы Data.Gov.Ru появился, то:
1. Какую информацию Вы бы хотели там увидеть?
2. Готовы ли Вы лично создавать проекты машапы на основе открытых данных?
3. Если готовы, то забесплатно, или же за деньги в виде конкурсов вроде “Apps for Russia”?
4. Какие машапы Вам было бы интересно увидеть как потребителям?
Originally published at Иван Бегтин. You can comment here or there.
-
Originally published at Иван Бегтин. You can comment here or there.