Browse by Tags

Электронная Россия в сравнении редакций. Часть 1
20 сентября 09 03:30

Как многие знают вышла новая редакция Электронной России (прочитать и скачать её можно здесь – http://www.government.ru/content/governmentactivity/rfgovernmentdecisions/archive/2009/09/10/7594263.htm)

Но радость была бы не полной… Но одно дело когда текст представлен как текст и совсем другое данные для анализа. Я эти данные, потихоньку перевожу из DOC в Excel и далее CSV и прочие более полезные форматы.

Поэтому для ФЦП привожу первую порцию преобразованных данных как cравнение распределения расходов между редакциями от ПП 502 от 16 августа 2006 года и ПП 721 от 10 сентября 2009 года.

Плюс наиболее простой график на котором видны самые очевидные изменения в виде сокращении доли Росинформтехнологий и увеличение доли Минкомсвязи.

ScreenShot011

Впрочем используя данные из Excel’евского файла можно увидеть и меньшие изменения как-то сокращение капитальных расходов у Минэкономразвития и ФСО России, при сохранении прочих расходов и расходов на НИОКР.

Интересно, конечно, будет сравнить и изменение структуры мероприятий и ответственных за них, но это позже.

Кстати, тут имеется 4 уровня срезов данных – по постановлению правительства, по ведомству, по году, по виду расходов. Кто подскажет какой график лучше всего подойдёт для визуализации?

П.С. Если кто-нибудь занимается инфографикой или знает тех кто занимается, покидайте, плз, контакты/цены/ссылки на портфолио. Ибо есть у меня уже много данных и готовность заказывать их визуализацию.

Originally published at Иван Бегтин. You can comment here or there.

Инструменты работы с данными. Мысли и наблюдения
15 мая 09 11:13

В последнее время много времени уделяю различным инструментам работы с информацией - очистка, обработка, конвертация, визуализация и всё что с этим связано. Общее число инструментов весьма велико, как и число их возможных применений.

Просуммирую собственные размышления:

  • большая часть инструментов работы с большими массивами информации написаны на Java. То же самое можно сказать про инструменты работы с semantic web. Может быть это именно мне попадались подобные, но думаю что действительно пока инструментов в Java больше.
  • Язык R (R Language) впечатляет удобством и всё более идёи в массы, например, лично мне нравится возможность вызова его через код Python посредством rPy (http://rpy.sourceforge.net/).  Один лишь недостаток - язык под GPL и использовать его в коммерческих продуктах не получится. Но коммерческие продукты - это не всё и я уже знаю несколько примеров (вне России) где R используют внутри компаний или же как аутсорсинг услуг.
  • большая часть задач по визуализации решается теми или иными плагинами для Excel, а также непосредственно возможностями Excel’я особенно версии 2007. Единственной более менее серьёзной заменой ему я знаю Tableau цена которого нереально выше - минимум $999 за персональную лицензию.
  • весьма примечателен выбор графика в JuiceAnalytics там можно подобрать график под свои нужды и сразу скачать его под Excel или Powerpoint.
  • а вот в для веб пока ничего более простого и удобного чем Amcharts (http://www.amcharts.com/) мне найти не удалось. При очень небольшой цене - весьма удобный и гибкий инструмент. Впрочем есть и бесплатные варианты вроде OpenFlashChart, бесплатной версии FusionCharts и Yahoo ASTRA Flash Components.
  • есть целый ряд тем по обработке данных отодвинутых от наиболее продвинутых инструментов. Например, есть пробел с извлечением метаданных из различного рода файлов - фактически, за исключением самых популярных форматов,  в остальном под каждый формат свои библиотеки и инструменты зачастую только с закрытым исходным кодом или даже полное отсутствие описания формата. Правда относительно форматов файлов и их пакетной обработки надо отметить что у разных форматов разная судьба - если изображения, видео, музыку и различного рода текстовые файлы часто подвергают пакетной обработке, то для остального рода файлов знание их форматов ограничено узкой областью использующих их продуктов, антивирусов и разного рода security and forensic Software. Определённо можно свести эти темы воедино, вопрос в том лишь дорос ли рынок до такого объединения и будет ли это востребованно именно сейчас.
  • Hadoop + HBase или альтернативы в виде Hypertable позволяют выходить на уровень BigData и работать с данными уже на принципиально ином уровне.  В англоязычном Интернете уже развиваются курсы по Hadoop, Hadoop Boot Camp и масса энтузиастов в России всё упирается в небольшие объёмы общедоступных массивов данных и ограниченностью предприятий/организаций заинтересованных в работе с большими объёмами.
  • тема которая не относится к работе с данными напрямую, но важна с точки зрения их потребления, предоставления конечным пользователям - это формы предоставления информации. Её можно начинать от динамических контролов в веб и на десктопе которые бы подстараивались под вкладываемые в них данные в зависимости от объёма, продолжать автоматизированным и автоматическим подбором типов графиков под анализируемые данные и развивать к другим не менее интересным направлениям. Всё это в совокупности некий “мостик” между работой с данными, в том числе и BigData, и юзабилити. И пока я не вижу как иначе эти темы связать.
  • продолжаю присматриваться к GreenPlum, пока на уровне понимания кейсов для чего может пригодится.
  • то что крупные игроки вроде Microsoft, Google, Amazon начинают не просто работать с большими объёмами данных, но и предоставлять общедоступные данные всем желающим - это очень хороший сигнал. Хотя и каждый из них играет в свою игру, тем не менее появление лоббистов в этой области даёт шанс что они начнут взаимодействовать непосредственно с государственными органами для раскрытия информации. К сожалению, не российскими госудраственными органами.
  • у меня накопилось порядка 200 гигабайт различных датасетов, при том что приходится себя ограничивать в скачке некоторых чтобы не забивать канал и потому как надо ещё и эти “переварить”.

Кросспост из Иван Бегтин. Комментарии можно оставлять здесь или здесь.

Ссылки на 31.01.2009. Графики и визуализация. Продолжение
31 января 09 04:40
В продолжение прошлой подборки ссылок, то что в неё не вошло. Juice Analytics - подборка рецептов и примеров красивых графиков в Excel Karl Hartig: Data visualizations - отличные примеры графиков на различные темы от Карла Хартига. Например, показателен Read More...
Postedfrom Иван Бегтин | 0 Comments    
Filed under: , ,
Постер: выбор графика - русскоязычная версия
31 января 09 11:21
Как общественно полезное дело сегодня за час перевёл Chart Chooser от Andrew Abela из ExtremePresentation . Это такой постер позволяющий значительно упростить выбор диаграммы при визуализации данных. Вначале я думал что это займёт максимум минут 10, но Read More...
Ссылки на 30.01.2009. Построение графиков и диаграмм
30 января 09 11:50
Подборка ссылок и материалов по построению графиков: ПО и ресурсы: Smashing Magazine: Diagrams: Tools and Tutorials - огромный перечень инструментов актуальный на 2006 год Creating Graphs with Adobe Illustrator - рисуем красивые графики в графическом Read More...
Смерть и налоги (Death and Taxes)
16 декабря 08 11:05
Death and Taxes - отличная визуализация того на что идут федеральные деньги в США. Конечно, создание такой “штуки” это творческий процесс, его нельзя перенести на любую другую страну неглядя, но как пример формы подачи информации показателен. Read More...
Инструменты для онлайновых диаграмм
03 декабря 07 07:46
На днях, в поисках замены для Visio, открыл для себя Best4C . Весьма любопытный ресурс для построения диаграмм, в отличии от первопроходца в этой области Gliffy , обладает куда большей коллекцией элементов, начиная от карт метро, заканчивая UML и Workflow. Read More...
Пример ведения IT блога
28 ноября 07 12:47
Я редко выделяю какой-то отдельный англоязычный блог, но вот этот, BetterExplained , заслуживает внимания. Автор пишет в основном о программировании и математике, периодически уделяя время маркетингу, принципом правильной подготовки статей блога и тому Read More...
Интересный Mind Mapping
25 ноября 07 06:01
Оказывается, WikiMindMap , умеют показывать статьи из ВикиПедии в виде карт разума / карт концепций. Работает явно на уровне категорий, разделов и ссылок и выглядит весьма симпатично. Пример - Russia из английской википедии — Специализированный Read More...
Postedfrom Иван Бегтин | 0 Comments    
В продолжение карт разума ещё две карты с помощью XMind.
25 апреля 07 05:00
На сей раз я решил проделать всё тоже самое по виртуализации, но уже в настольном приложении XMIND 2007 от Mango Software. Вот тут по ссылке его можно найти - http://www.xmind.org/ . Работает на Windows и Mac платформах, а учитывая что написано оно на Read More...
Карты разума и карты концепций по виртуализации
24 апреля 07 02:43
Сказать Mindmap или Concept map, возможно было бы проще, но уж лучше по русски. Для тех кто увлекается картами разума и картами концепций, я выложил на Flickr все созданные мною ранее карты по виртуализации. Пока это просто рабочие материалы и будут менятся. Read More...
Освоение IDEF0
11 сентября 06 01:29
Решил сегодя основательной взяться за освоение IDEF0. Почитав статьи на http://www.idefinfo.ru и http://www.idef.com , стандарты в оригинале, посмотрев примеры и набросав сам пару процессов пришло понимание что сложного ничего нет. К тому же я и раньше Read More...
Postedfrom Иван Бегтин | 0 Comments    

This Blog

Tags

Archives

Syndication