Октябрь 2009 - Posts

Государственные сайты других стран
31 октября 09 04:20

Я обычно пишу про разные российские госсайты или разные интересные американские, что на мой взгляд нечестно для массы других ресурсов вне Рунета и “англосферы”.

Так что на сей раз приведу интересные не-англоязычные госсайты. Это не самые лучшие, не самые идеальные, не худшие – это средние ресурсы.

Итак:

  • http://www.poland.gov.pl – Официальный сайт Республики Польша. Не правительства, не органов власти, а именно республики. На 7 языках: польском, английском, немецком, французском, испанском, русском и арабском. Создан и поддерживается Министерством Иностранных дел Польши.
  • http://pris.government.bg – система распространения законодательных актов практительства. Республики Болгария.  Похоже на российский ГРСПА, но не столь функционально, имхо, да и документов там поменьше. Открытость информации, конечно, неполная. В России в ГРСПА ограничение на ввод логина и пароля, а в Болгарии с ПРИС требуют ввести каптчу.
  • http://www.casapres.go.cr/ – портал правительства Коста Рики. Кроме больших разноцветных баннеров там ещё и масса видео транслируемых через Youtube, около 6 блогов на blogspot – на них ведут ссылки с разных страниц.
  • http://crimestat.b-m.hu/ – венгерский портал раскрытия статистики преступлений. Дизайном не блещет, зато данные в Excel’е и пригодны к машинной обработке. В России есть схожее в разделе статистики портала 112.ru правда там только демо и тестовые данные, а жаль.
  • http://lex.justice.md – система поиска по законодательству республики Молдова созданная и поддерживаемая Министерством Юстиции.  Два языка поиска и представления документов – русский и молдавский.
  • http://www.comprasestatales.gub.uy – сайт госзакупок Республики Уругвай. Стоит обратить внимание на то что первой же страницей открывается подробная форма поиска.
  • http://actionplan.gc.ca – Канадский план действий. Фактически план стратегического развития в ответ на кризис, но само слово кризис нигде не используется.  На сайте полно видео, рекламных роликов на телевидении и радио, подробного описания самого плана, демонстрация проектов плана  на карте с помощью Google Maps, возможности подписки по email, RSS, подробные отчеты о действиях и прочие радости которые стоило бы взять на вооружение правительствам многих стран
  • http://www.statistica.md/ – статистическая служба республики Молдавия. Помимо того что сам сайт у них сделан весьма неплохо, но ещё и большая часть классификаторов и статистики доступны в Excel файлах пригодных для последующей обработки.

Originally published at Иван Бегтин. You can comment here or there.

Вопросы мотивации
30 октября 09 12:41

У Лоис Макмастер Буджолд в серии книг про Барраяр есть одно запомнившееся мне высказывание высказывание “Деньги, власть, секс… и слоны.“, оно упоминается в книге “Память” где главные герои рассуждают о человеческой мотивации. А если найти там этот момент, например, прочитав тут в 20 главе, то там “слон” - это самый настоящий живой слон подаренный Барраярскими агентами послу одной из планет в качестве взятки знака уважения поскольку этот посол мечтал не о деньгах, власти и сексе, а именно о слоне.

Но вернёмся к мотивам. С первыми тремя мотивами всё более-менее понятно. Они все есть и они, по моим личным наблюдениям, хотя и могут быть связаны, но чаще существуют по отдельности. Деньги или власть не всегда означают лучший секс, лучший секс далеко не всегда приносит деньги или власть да и деньги и власть хоть и взаимосвязаны, но чаще это два связанных ресурса.

А вот со “слонами” куда сложнее, фактически “слоны” – это стремления основанные на желаниях и страстях не укладывающихся в обычные мотивы. Это может быть практически что-угодно:

  • сделать мир лучше, добрее, светлее, просторнее и так далее
  • математика, кулинария и прочие не ограниченные временем времяпрепровождения
  • стать совершеннее (быстрее, умнее и так далее) – личностный перфекционизм
  • создавать что-либо значимое и заметное
  • комфорт
  • обладать чем-либо включая новые ощущения или воспоминания (коллекционный “слон”)

и тому подобное.

Причём у каждого эти “слоны” свои, а ещё есть те у которых слонов нет и мотивов таких нет.  Причём таких большинство. Но, почему-то, общаясь с людьми мотивированными только деньгами, властью и сексом редко проникаешься к ним с уважением, не так ли?

А теперь задумаемся о таком понятии как “нематериальная мотивация”.

Если, к примеру, почитать многие ИТ вакансии, то можно обратить внимание сколь часто там упоминается про возможность приобретения ценного опыта, дружный коллектив и так далее.

Так вот это всё “фильтры по слонам”,  а то есть зацепки призванные определить:

  • есть ли у человека какие-либо мотиваторы кроме 3-х базовых
  • сочетаются ли его мотиваторы с интересами компании, коллектива и так далее.

Используемые с благой целью съэкономить на материальной мотивации. Но чаще всего оказывается что за этой нематериальной мотивацией скрывается мотивация материальная, но подаваемая в другой форме. То же приобретение ценного опыта можно рассматривать как повышение сотрудником собственной стоимости на рынке, равно как и работу в любых “брендовых компаниях”. А то есть слоновью мотивацию всё таки упускают, а жаль.

Лично я чем дальше тем больше убеждаюсь что если не всё лучшее, то всё самое интересное создаётся именно благодаря ей и люди обладающие подобным 4-м мотивом оказываются куда более интересными собеседниками.

А не так давно я задумался что же для меня сейчас является этим самым 4-м мотивом. То что было раньше я знаю точно, а вот что сейчас – не на поверхности, а  по факту, интересно именно это. Так вот для меня это информация, возможность работы с большими и очень большими её объёмами, разбираться как она устроена, как работает, как производится и так далее. Я совершенно точно знаю что этот “слоновий мотиватор” способен если не заменить, то сильно подвинуть остальные мотивы.

А что является слоном и 4-м мотивом для Вас?

Originally published at Иван Бегтин. You can comment here or there.

Postedfrom Иван Бегтин | 0 Comments    
Презентация про открытые данные с RIW 2009
29 октября 09 06:25

Originally published at Иван Бегтин. You can comment here or there.

АнтиСЕО. Правила E. Анализ меток отношений и структуры веб-сайтов
25 октября 09 12:39

Собственно лично я с проблемой АнтиСЕО столкнулся работая над алгоритмом описанном в правиле E-001-003 по определению коммерциализованности веб-сайтов и по правилу выявлению метрик отношений между веб-сайтами.

—-

[E-001-001]. Является ли сайт реципиент блогом.

В отличии от других типов сайтов продвижение блогов случается куда реже. То что сайт реципиент является блогом – это критерий за естественность ссылки, но он её не может гарантировать.

Рисунок 40. Блок ссылок с блога apple2.ru (на 15.04.2009)

image080

Таблица 2. Таблица ссылок на сайте apple2.ru

Сайт Текст CMS Является блогом?
http://arturclancy.com arturclancy.com Wordpress Да
http://macovod.net Блог Маковод Wordpress Да
http://prostomac.com простоMAC.com Wordpress Да

Все ссылки в рассмотренном нами блоке являются ссылками на другие блоги. При этом проверка того что сайты-реципиенты являются блогами может быть произведена несколькими способами. Например:

  • сайт зарегистрирован в одном из крупных рейтингов/каталогов блогов;
  • есть алгоритм способный определить CMS сайта
  • сайт является популярным и внесён в базу сайтов с соответствующей пометкой во время одной из итераций анализа сайтов.

В подавляющем большинстве случаев ссылки с блога на блог являются естественными. Тем не менее нельзя забывать что движок CMS на которых блоги строятся может быть использован и для создания коммерческих ресурсов. Пример – сайт www.woothemes.com продающий темы для Wordpress. Несмотря на то что сайт является блогом, одновременно он является и коммерческим ресурсом.

[E-001-002]. Является ли сайт-реципиент государственным или некоммерческим ресурсом.

Это правило определяет является ли сайт-реципиент государственным или некоммерческим ресурсом. Если да, то ссылка на него не рассматривается как платная. В отличии от проверки наличия сайта реципиента в белом списке – это правило требует анализа сайта-реципиента и определения его коммерциализированности.

Например, согласно ему достаточно несложно отделить:

  • государственные сайты в США – домен .gov
  • образовательные сайты в США – домен .edu
  • частично государственные сайты в России – домен .gov.ru (частично поскольку большая часть государственных сайтов в Рунете находится вне домена .gov.ru)

[E-001-003]. Является ли сайт-реципиент коммерческим ресурсом.

Это правило позволяет определить коммерциализированность ресурса. Является ли он интернет-магазином, сайтом коммеческой компании, извлекает ли прибыль от посетителей иным образом. В случае если да, сайт им является, то признак в пользу того что ссылка на данный ресурс является платной.

На самом деле, именно этот признак в совокупности с анализом соответствия текста ссылки теме сайта реципиента и является ключевым для отсева поискового спама и единственно сложным вопросом тут является ответ на вопрос, а как же узнать коммерческий ли ресурс или нет? При огромном числе сайтов ручная проверка каждого окажется невозможной, тем не менее есть несколько наиболее очевидных решений:

  • базы контекстной рекламы Яндекс.Директ и Google.Adsense. Поисковым системам эти базы дают информацию не только о том какие ресурсы являются коммерческими, но и по каким ключевым словам они потенциально могут себя продвигать.
  • каталоги сайтов такие как – Яндекс.Каталог, Каталог mail.ru, Rambler Top100, dmoz.org и так далее. Эти каталоги сравнительно невелики по сравнению с общим числом сайтов.
  • алгоритмы автоматического определения коммерциализированности веб-сайта – эти алгоритмы могут быть построены на разных подходах: контентным анализом веб-сайтов, сравнением их с ранее классифицированными ресурсами, анализом входящих и исходящих ссылок и так далее.

[E-002-001]. ТиЦ сайта-донора больше ТиЦ сайта-реципиента.

В большинстве случаев покупка ссылок осуществляется с сайта более “продвинутого” в поисковых системах – что может выражаться в большей посещаемости сайта донора, большем значении его тематического индекса цитирования или Google PageRank. Несмотря на то что значения ТиЦ и Google PR доступные всем желающим являются искусственными значениями тем не менее это ориентир для многих оптимизаторов при выборе площадок при расстановке ссылок. Отсюда если ТиЦ сайта донора больше ТиЦ сайта реципиента то, при наличии дополнительных факторов, это потенциальный признак платности ссылки

[E-002-002]. Google PageRank сайта-донора больше Google PageRank сайта-реципиента.

Аналогично с проверкой ТиЦ – в случае если значение Google PageRank у сайта донора выше, то это может быть признаком платности данной ссылки. Под Google PageRank в данном случае подразумевается публично доступное значение предоставляемое Google посредством своего тулбара.

[E-002-004]. Нахождение ссылки в блоке ссылок с низким ТиЦ/PR по сравнению с анализируемой страницей.

Хотя иногда и случается, что платные ссылки размещаются на сайтах с меньшим ТиЦ (Яндекс) или PR (Google) чем у страницы сайта-реципиента, но в подавляющем большинстве случаев размещения именно платных ссылок их средний ТиЦ/PR меньше чем у анализируемой страницы.

Нахождение ссылки среди подобного блока ссылок являются признаком против естественности её размещения вне зависимости от того как соотносится её собственное значение ТиЦ/PR с ТиЦ/PR анализируемой страницы.

Пример: Рассмотрим блок ссылок на главной странице ava.ru

Для главной страницы ava.ru значения:

  • ТиЦ – 1200
  • Google Toolbar PageRank – 6

Рисунок 41. Блок ссылок на сайте ava.ru (на 15.04.2009)

image082

Таблица 3. Таблица ТиЦ и GPR для блока ссылок с сайта ava.ru (на 15.04.2009)

Сайт ТиЦ Соотношение к ТиЦ донора Google Toolbar Pagerank (GPR) Соотншение к GPR донора*
http://auction.ua/ 425 0.35 6
http://www.pokeroff.ru/ 240 0.2 5
http://imgsrc.ru 600 0.5 3
http://www.fabrikaokon.ru 1100 0.91 5
http://www.comcom.ru 1100 0.91 4
http://www.oknastar.ru 350 0.29 5
http://www.top-cartridge.ru 120 0,1 6
http://www.istra-hotels.ru 140 0.12 4
http://www.uprav.ru/seminars/list/2005/ 0 0 6
Среднее значение 452.78 0.375 4.89 0.815

* Рассчитывается делением среднего значения GPR всех ссылок в блоке – 4.89 к GPR страницы – 6.

Пример: Рассмотрим значения ТиЦ и GPR для блока ссылок размещённого на основной странице сайта mk.ru

Рисунок 42. Блок ссылок на главной странице сайта mk.ru (на 15.04.2009)

image084

Для главной страницы mk.ru значения:

  • ТиЦ – 15000
  • Google Toolbar PageRank – 5

Таблица 4. Таблица ТиЦ и GPR для блока ссылок с сайта mk.ru (на 15.04.2009)

Сайт ТиЦ Соотношение к ТиЦ донора Google Toolbar Pagerank (GPR) Соотншение к GPR донора*
http://www.eurotest.ru/ 120 0.008 5
http://www.antiagemed.ru/ 10 0.00067 4
http://www.lazerklinika.ru 300 0.02 5
http://www.wilstream.ru/ 150 0.01 4
http://www.klimatdostavka.ru/ 375 0.025 5
http://www.fxpro.ru/ 275 0.018 6
http://www.botrans.ru 70 0.0047 5
http://www.nwbroker.ru 400 0.027 5
http://www.gerina.ru 30 0.002 4
http://g01.ru/ 350 0.023 3
Среднее значение 208 0.014 4.6 0.92

Среднее значение соотношения ТиЦ сайта доноров и сайтов реципиентов таково, что даже без наличия других факторов – все ссылки в блоке можно считать неестественными.

Пример: Рассмотрим значения ТиЦ и GPR для блока ссылок размещённого на основной странице сайта chelpress.ru

Рисунок 43. Блок ссылок на сайте chelpress.ru (на 15.04.2009)

image086

Для главной страницы chelpress.ru значения:

  • ТиЦ – 650
  • Google Toolbar PageRank – 5

Таблица 5. Таблица ТиЦ и GPR для блока ссылок с сайта chelpress.ru (на 15.04.2009)

Сайт ТиЦ Соотношение к ТиЦ донора Google Toolbar Pagerank (GPR) Соотншение к GPR донора*
http://www.74.ru/ 800 6
http://74mail.ru/ 210 5
http://www.aloepole.ru 210 4
http://www.chelmedia.ru/ 40 4
http://www.miass.ru/news/smi.php 950 6
http://www.apress.ru/publ/pok 800 5
http://www.diligance.ru/ 400 5
http://www.uralved.ru/ 60 0
http://www.segodnya.ru/ 950 5
http://www.mn.ru/ 3200 ?
http://www.izvestia.ru/ 17000 8
http://www.kp.ru/ 21000 4
http://www.commersant.ru/ (опечатка) - - - -
http://www.aif.ru/ 8600 7
http://www.ropnet.ru/ogonyok/ 2100 6
http://www.russ.ru/ 7900 7
http://www.pravda.ru/ 11000 7
http://www.gazeta.ru/ 22000 8
http://www.lenta.ru/ 22000 7
http://www.vesti.ru/ 15000 8
Среднее значение 7064 10.87 5.36 1.07

В блоке ссылок на chelpress.ru реципиентами являются ресурсы большая часть которых гораздо лучше продвинута в поисковых системах и имеют там большие рейтинги. При том что ряд ссылок могут требовать дополнительного внимания тем не менее общий рейтинг ссылочного блока позволяет отнести его скорее к блоку естественных ссылок чем к блоку ссылок продвигающих.

[E-002-003]. Посещаемость сайта-донора выше посещаемости сайта реципиента.

В случаях когда метрики поисковых систем такие как ТиЦ или PageRank недоступны одним из критериев сравнения “продвинутости” сайтов могут быть значения определяющие число посетителей сайта донора и сайта реципиента. Посещаемость может быть замеряна посредством одного из публично доступных счетчиков или с использованием API сервиса Alexa.com

Подобный анализ полезен в случаях недоступности метрик поисковых систем таких как ТиЦ или GPR, поскольку сами поисковые системы ограничивают к подобным метрикам доступ или же предоставляют их значения очень загрублёнными.

Пример: Если мы рассмотрим блок внешних ссылок с сайта zavtra.ru и для каждой внешней ссылки получим её Traffic Rank из системы Alexa, то мы можем увидеть что практически все сайты по этим ссылкам обладают в десятки раз меньшим трафиком чем сайт донор. Это позволяет нам отнести весь блок ссылок к неестественным, особенно при наличии дополнительных факторов это подтверждающих.

Для сайта zavtra.ru Alexa Traffic Rank – 67 075:

Таблица 6. Таблица Traffic Rank от alexa.com для блока ссылок с сайта zavtra.ru (на 15.04.2009)

Сайт Alexa Traffic Rank Соотношение к Traffic Rank донора
http://www.hd-leasing.ru/ 1 292 771 0.052
http://www.the-roof.ru/ 1 305 513 0.051
http://www.autoglass-market.ru/ 1 696 379 0.039
http://www.facing-materials.ru/ 3 639 534 0.018
http://www.hyundai-auto.ru/ 3 022 322 0.022
http://www.cafematika.ru/ 6 260 203 0.011
http://www.light-flight.ru/ 169 400 0.396
http://www.balcon-master.ru/ 1 638 563 0.041
http://www.yudashkin-show.ru/ 5 479 625 0.012
http://www.gonetc.ru/ 698 869 0.096
http://www.target-m.ru/ 1 735 199 0.039
http://www.tech-perewod.ru/ 3 534 925 0.019
http://www.top-print.ru/ 1 841 017 0.036
http://www.deshevle.ru/ 128 487 0.522
http://www.santechnikaopt.ru/catalog_11.html/ 4 577 948 0.015
Среднее значение 2 468 050.3 0.027

[E-004-001].  Ссылка не указывает на HTML страницу.

Это правило основывается на том что SEO ссылки продвигают не какой-либо конкретный текстовый документ, музыкальный файл и архивный документ, а веб-сайт на который они указывают и наличие ссылки не на HTML страницу, а на документы обладающие другим форматом MIME является признаком естественности ссылки.

Это правило не абсолютно, поскольку уже сейчас поисковые системы умеют индексировать PDF документы и документы MS Office в которых также присутствуют ссылки, а также вполне возможно что в скором времени они научаться индексировать архивы, метаданные музыкальных файлов и файлов в прочих форматах, извлекая из них ссылки на другие веб-ресурсы и включая в свои алгоритмы расчёта индексов цитирования. Тем не менее это правило в дополнении с другими позволит отсеять значительное число ссылок не являющихся SEO ссылками.

[E-004-001].  Совпадение тем сайтов донора и реципиента.

Совпадение или несовпадение тем сайтов донора и реципиента – это один из, но не ключевой или решающий, признак естественности появления ссылки на ресурсе. Конечно, часто СЕО специалисты стараются размещать ссылки на тематически близких ресурсах, но чаще всего ссылки размещаются не только на тематических, но и на любых сайтах имеющих высокие ранги в поисковых системах.

Определение тематики сайтов – это отдельная и большая задача которая может решаться как вручную так и автоматически. В данном случае, при рассмотрении сайтов мы будем исходить из 2-х уровневой рубрикации

Пример: На сайте частной школы 1ABC (www.1abc.ru) присутствует блок ссылок на различные внешние ресурсы.

Рисунок 44. Блоки ссылок на сайте 1abc.ru (на 15.04.2009)

image088

Таблица 7. Соответствие тем внешних ресурсов сайту Pogoda.by

Сайт Тема Совпадение с темой сайта донора
http://www.gymnasia8.kz Образование::Школы Да
http://www.eurosuvenir.ru/index.php?categoryID=85 Товары::Сувениры Нет
http://www.santehnica.ru/ Товары::Сантехника Нет
http://www.povary.ru Кулинария Нет

Лишь одна из этих ссылок соответствует теме сайта, все остальные не соответствуют полностью.

Пример: На сайте частной школы Республиканского гидрометеоцентра Белоруси (www.pogoda.by) присутствует блок ссылок на различные внешние ресурсы.

Рисунок 45. Блоки ссылок на сайте pogoda.by (на 15.04.2009)

image090

Таблица 8. Соответствие тем внешних ресурсов сайту Pogoda.by

Сайт Тема Совпадение с темой сайта донора
http://www.lapka.com.ua/ Товары::Швейные машины Нет
http://www.forextrade.ru Финансы::Форекс Нет
http://www.kvartservis.ru Услуги::Аренда квартир Нет
http://www.diplomer.ru/ Услуги::Написание дипломов Нет

Ни одна из ссылок не соответствует теме сайта донора.

[E-004-002].  Смысловое расстояние между темами сайтов донора и реципиента.

Помимо совпадения и несовпадения тем сайтов существует ещё и такое понятие как “смысловое расстояние” которое является метрикой определения доли аудитории интересующейся одновременно темами сайта донора и сайта реципиента. Чем меньше доля этой аудитории, тем смысловое расстояние между двумя этими сайтами выше и тем нелогичнее наличие ссылки у одного сайта на другой.

[E-004-003].  Тематическая плотность ссылок в блоке внешних ссылок.

пока не завершено

[E-005-001].  Наличие у ссылки метрики отношения между сайтами донора и реципиента.

пока не завершено

Originally published at Иван Бегтин. You can comment here or there.

Postedfrom Иван Бегтин | 0 Comments    
Filed under:
RIW 2009. Впечатления
24 октября 09 09:19

Только что вернулся с RIW 2009, а всего я там присутствовал в течении двух дней 22-го и сегодня, 24-го.  Могу сказать что было как интересное так и довольно скучное.

22-го я был на секции “ИКТ для государства” там должны были выступать Станислав Наумов (зам. министра Минпромторговли) и Илья Пономарев (депутат от СР) собственно послушать лично мне хотелось именно их как представителей от государства, но Пономарев застрял в пробке в Пекине, а Наумов в Госдуме. В итоге всю секцию про ИКТ, за редким исклюением, говорили представители бизнеса.

Что запомнилось:

  • запомнилась презентация Антона Антича из Vmware под названием “Виртуализация как национальная идея”. Я лично её национальной идей ни на йоту не считаю, но презентация была очень доходчивая, с правильными акцентами.
  • представитель DNSSoft, дистрибьютора Adobe в России рассказывал про то как славно решения от Adobe бороздят просторы государственного ИКТ и приводил в пример ОГИЦ и голландский портал по налогам. Правда про ОГИЦ было очень куцо, а упоминание о том что Adobe это такая универсальная штука и то что “правительство же не заставляет всех покупать Windows” (цитата). Тут есть доля лукавства, ибо в текущей схеме отправки PDF форм с ЭЦП – фактически без Windows не обойтись.
  • представитель Flexis рассказывал про то как RIA (Rich Interface Application) приложения круто и полезно для государства и как было бы хорошо если бы старые системы заменялись на системы с RIA . Звучало это как очередная серебрянная пуля в никуда. Но был один замечательный слайд (который был также в презентации представителя DNASoft’а) где приводилась в пример система с надписью “ПС ФСБ” где через Flash показывалось куча белых точек на карте рассыпаных по территории центральной и восточной европы и европейской части России.  Что, правда у погранслужбы столько зарубежных представительств? И что, они, таки, позволили это показывать?
  • довольно удивительным было выступление Светланы Мальцевой из ВШЭ про мультиагентные системы и создания персональных помощников при общении с гос-вом. С научной точки зрения тема очень интересная, с практической трудноосуществимая и требует некого сдвига в понимании. Мне вспомнился фильм Суррогаты про который я не преминул спросить после выступлений, мол не придём ли мы к этому, вызвав смех в зале.
  • представитель HeadHunter рассказал про то какие проблемы у обычной Интернет компании (их компании) в виду отсутствия электронных счетов фактур.
  • плюс выступал человек от NetCat рассказывая про опыт участия в госторгах и проблемы. Помимо коррупции и отсутствия мотивации у заказчиков на результат он упоминал про проблему с залоговыми суммами когда компания одновременно подаётся более чем на один конкурс, то слишком большие деньги приходится вынимать из оборота, а возврат их потом проходит в течении 3-х месяцев. В общем-то ничего нового, проблема, да, есть и никуда не девается.

24-го, а то есть сегодня. Я был на секции посвящённой доступности информации для людей с ограниченными возможностями. Оказалось что это фактически единственная секция где хоть как-то поднимается вопрос о доступности информации собственно о чем я и рассказывал что открытые данные в ближайшие 2-3 года станут основной для многих некоммерческих и коммерческих проектов, в частности, помогающих людям с ограниченными возможностями. Чуть позже я выложу свою презентацию где я про это рассказывал.

Всего же докладчиков было много и общей канвой было то что, пока у нас с доступностью информации для инвалидов и людей с ограниченными возможностями довольно посредственно, но прогресс тоже есть: принят ГОСТ по этой теме (правда куцый по сравнению с WCAG), ряд госорганов задумались над этой темой и так далее. Одно было жаль – малое число слушателей в зале – в лучшем случае человек 20. Для сравнения в первый день в том же зале было порядка 200 человек.

Originally published at Иван Бегтин. You can comment here or there.

4-й провайдер. Опыт использования Wimax’а от Comstar
22 октября 09 07:14

Я тут ранее неоднократно ругался на сервис Yota, но, как говорится, всё познаётся в сравнении и по сравнению с Wimax’ом от Комстара – Yota просто божьи ангелы и не иначе.

Впрочем начну с добрых слов. У комстаровского сервиса есть два неоспоримых преимущества:

  • несколько тарифов привязанных к трафику и с очень низкой ценой
  • очень легко дозвонится в службу поддержки – никакой телефонной очереди, звонок принимают очень быстро.
  • USB адаптер для подключения сейчас стоит всего 500 р.
  • доставляют его и контракт по Москве бесплатно вне зависимости от выбранного тарифа.

Но радость была бы не полной не зная всего остального, а тут есть масса нюансов:

  1. Вначале, до заказа доставки я специально обошёл порядка 5 магазинов и спрашивал не продают ли они “Comstar Wimax”. Предлагали только Yota.  Как вывод, торгуют им только через собственные точки продаж и через доставку.
  2. Нет драйверов для Windows 7. Так что если вас угораздило использовать эту операционку будьте готовы что при “небезопасном извлечении” устройства (без отключения через меню в ОС) система уйдёт в BSOD.
  3. Устройство активируют вручную в течении суток. Причём в течении суток означает что ждать придётся сутки. Например, устройство мне привезли 21 октября около 17:00, а активировать его удалось только сегодня (22-го) около 18:30
  4. Сайт wimax.comstar.ru мягко говоря не особо юзабельный. Белый цвет ссылок подразделов гармонично невидим при поиске нужной информации.

Плюс всякие разные по сравнению с перечисленным мелочи.

Ну и так “на закуску”

ScreenShot014

Моё личное мнение – разговоры о конкуренции Comstar Wimax и Yota сильно преувеличены.

Ну а для моих целей – резервный канал к уже имеющимся 3-м (Corbina, NetByNet, Yota) так подходит вполне.

Originally published at Иван Бегтин. You can comment here or there.

Postedfrom Иван Бегтин | 3 Comments    
Filed under:
Степашин про госзакупки
20 октября 09 10:16

Изменения в федеральный закон о госзакупках могут быть внесены до конца 2009 года, заявил председатель Счетной палаты РФ Сергей Степашин на встрече с учеными Сибирского отделения РАН в Новосибирске во вторник.

“Будем очень жестко ставить вопрос, чтобы до конца года 94-й федеральный закон претерпел серьезные изменения. Авторы этого закона – Минэкономики и ФАС, наконец-то, с этим согласны“, – сказал он.

С.Степашин отметил, что в нынешнем виде данный закон сдерживает освоение бюджетных средств, а также способствует появлению фирм- однодневок.

http://www.interfax-russia.ru/r/B/siberiaFin/374.html?menu=7&id_issue=12314979

—-

Стапашину, конечно, большое спасибо за это – хоть один российский чиновник/политик последовательно критикует 94-ФЗ уже много лет и критикует по делу. Но, скажу честно, верю я в это не особенно. Пока ещё не видно чтобы реальная борьба с коррупцией пришла на смену имитации бурной деятельности в виде загона госзаказчиков на электронные аукционы и создания единого сайта.

Кстати, недавно журналисты меня спрашивали как я отношусь к появившемуся реестру искажений на zakupki.gov.ru.

Как к профанации прозрачности и никак иначе.

Originally published at Иван Бегтин. You can comment here or there.

Межведомственный документооборот. Часть 2. Постановление от 22 сентября 2009 г. N 754
20 октября 09 02:05

Вдогонку к прошлому посту по поводу постановления от 02.10.2009 ещё один интересный документ несколькими днями ранее. Постановление правительства от 22 сентября 2009 года N754 (прочитать можно и полезно тут).

Там всего интересного тоже много, хотя и не такая конкретика как в распоряжении, зато есть такой вот пункт.

—-

17. Межведомственный электронный документооборот осуществляется посредством обмена электронными сообщениями. Электронное сообщение состоит из сопроводительной и содержательной частей. Сопроводительная часть предназначена для адресации сообщения. Содержательная часть представляет собой текст сообщения либо текст сообщения с присоединенными файлами, содержащими электронную копию (электронный образ) документа или электронный документ, и их реквизиты, описанные с помощью языка XML. Формат файлов, используемых при осуществлении межведомственного электронного документооборота, должен соответствовать национальным или международным стандартам либо иметь открытый исходный код и открытую структуру.

—-

В общем, весь базовый софт хотя и будет проприетарным (Microsoft, Касперский и т.д), а вот форматы документооборота обещают открытыми или стандартизованными и даже открытый исходный код будет.

Как всегда, предлагаю подумать о точных формулировках и зададимся следующими вопросами:

1. Что есть “открытая структура”?

2. Что есть “открытый исходный код”? GPL? APL? MPL? Лицензия а ля “смотри, не трогай”? Что-то ещё?

3. А у нас есть национальные стандарты по документообороту? А будут ли в ближайшее время?

4. Международные это какие из них?

Ну а вообще это один из 16 документов которые находятся в ГРСПА по ключевому слову “XML”, причём все остальные это ведомственные распоряжения Минфина, Казначейства, Пенсионного фонда и Ростехнадзора.

Ах, да, ещё были пара постановлений правительства с упоминанием XML в ФЦП “Мировой океан”. Но там это не требования, а описания того что должно было быть часть работ.

Originally published at Иван Бегтин. You can comment here or there.

АнтиСЕО. Правила S. Происхождение и направление ссылки
20 октября 09 01:50

[S-001-001]. Наличие сайта реципиента в списке доверенных доменов.

Это провило требует проверки домена сайта реципиента на то что он входит в список доверенных доменов. Список доверенных доменов включает наиболее популярные и некоммерческие домены в сети которым поисковая оптимизация не может потребоваться в принципе.

Так, например, в список доверенных доменов входят все государственные домены, домены крупнейших онлайновых проектов, доменты некоммерческих организаций и некоммерческих онлайн проектов.

Пример: На сайте города Рязани присутствует ссылка на сайт администрации города. В виду того что сайт администрации – это государственный сайт, мы можем хранить его в списке доверенных сайтов и не рассматривать как ссылку нацеленную на продвижение.

Рисунок 7. Ссылка на сайт администрации города Рязани в коде страницы www.gorod.ryazan.ru/gov.html

image014

К подбору доменов в доверенном списке всегда необходимо подходить к особенной тщательностью поскольку нельзя, хотя это и даёт почти 100% вероятность доверия к ресурсу, но бывают ситуации когда домены оказываются запаркованными, взламываются или меняют владельцев. В результате доверенный сайт может перестать быть таковым.

Пример: До 2007 года официальный сайт Конституционного суда располагался по адресу ks.rfnet.ru, позже адрес сайта сменился на www.ksrf.ru , но очень многие государственные сайты ссылки на него не обновили. В свою очередь домен rfnet.ru был приобретён неким Артемом Гусковым и теперь по адресу ks.rfnet.ru по прежнему есть описание функций конституционного суда которому сопуствуют множество ссылок на коммерческие ресурсы.

Рисунок 8: Ссылка на старый сайт Конституционного суда РФ на сайте законодательного собрания Ульяновской области (http://www.zsuo.region73.ru/links/)

image016

Рисунок 9: Ссылки на коммерческие ресурсы в нижней части главной страницы сайта (http://ks.rfnet.ru)

image018

[S-001-002]. Наличие сайта реципиента в черном списке.

Это правило проверяет нахождение веб сайта в черном списке доменов на которые в недавнем времени приобретались платные ссылки. Как правило черный список поддерживается в течении ограниченного времени и позволяет выявить сайты активно начавшие себя продвигать покупая ссылки на множестве сайтов.

Пример: Во время одного из исследований на многих сайтах явно проявилось что размещается ссылка на сайт zamarenda.ru. Учитывая, что ссылки по всем критериям подходят под определение SEO ссылок, то сайт может быть как в ручную так и автоматически помещён в “чёрный список”.

Рисунок 10. Ссылка в конце страницы http://astronet.ru/ (на 15.04.2009)

image020

Рисунок 11. Ссылка в конце страницы http://cfin.ru/ (на 15.04.2009)

image022

Рисунок 12. Ссылка на странице http://eprussia.ru/ (на 15.04.2009)

image024

Это правило, фактически, является фильтром аналогично временному отказу от ранжирования или созданию “песочницы” для определённого списка сайтов. На сайт накладывается фильтр который

[S-002-001]. Сайт-донор и сайт-реципиент имеют общего владельца.

Эта метрика может определятся несколькими различными способами – по данным WHOIS, за счёт информации собранной вручную, за специализированного анализа веб-сайтов на предмет копирайтов, нахождение на одном домене 2-го уровня, нахождение на одном IP адресе и так далее. Эта метрика используется как довод в сторону того что ссылка является естественной, но не гарантирует этого поскольку владелец ресурсов может использовать один из них для “прокачки другого”, в том числе и за счёт специального рода ссылок. С другой стороны – такие ссылки

Пример: На сайтах roiber.ru и calend.ru присутствуют ссылки друг на друга и могут содержать ключевые слова которые могут быть рассмотрены в других правилах анализа как “продвигающие сайт”, при этом проверка сайтов по WHOIS показывает что оба сайта принадлежат одному владельцу – юридической организации.

Рисунок 13. Данные whois домена roiber.ru

image026

Рисунок 14. Данные whois домена calend.ru

image028

Тот факт, что два сайта принадлежат одному владельцу, вовсе не показатель что один сайт не продвигается на другом, тем не менее это правило срабатывает скорее в сторону доверия сайту проставляющему ссылку.

[S-003-001]. Ссылка указывает на корневую страницу сайта.

На практике это правило может и должно компенсироваться правилом по определению коммерциализированности сайта реципиента, но поскольку коммерциализацию ресурса можно определить не всегда, то это правило является вспомогательным, поскольку по результатам анализа множества продвигаемых ссылок подавляющее их число – являются ссылками на корневые страницы сайтов.

Это правило обладает минимальным весом и учитывается только в спорных ситуациях или не учитываются вовсе.

[S-003-002]. Ссылка находится в блоке ссылок указывающих на главные страницы сайтов.

Когда ссылка рассматривается не в одиночку, но в рамках блока ссылок, то тот факт что в блоке присутствует множество ссылок на корневые страницы сайтов, определяет некий общий рейтинг подобного блока.

Рисунок 15. Код блока ссылок страницы сайта deti-mira.ru (на 15.04.2009)

image030

Таблица 1. Таблица ссылок на сайте deti-mira.ru

Сайт Указывает на корневую страницу?
http://www.pitanie-detskoe.ru/ Да
http://www.elfox.net/ Да
http://www.po-stroy.ru/ Да
http://www.bridgewest.ru/ Да
http://danilka.com Да
http://hebelblok.ru Да
http://www.anyreligiousjewelry.com/ Да

Все ссылки в этом блоке указывают на корневые страницы. При наличии других признаков продвигаемости у отдельных ссылок и у всего блока – этот признак может рассматриваться как повышающий вероятность неестественности ссылок в этом блоке.

Применения этого правила в общем случае не позволяет делать однозначных выводов и сильно зависят от типа сайта донора и классификации сайтов реципиентов. Тем не менее это один из признаков неестественности не только отдельной ссылки, но и их блока целиком.

Originally published at Иван Бегтин. You can comment here or there.

Postedfrom Иван Бегтин | 0 Comments    
Filed under:
Российская Интернет Неделя
20 октября 09 12:19

Я практически точно буду на Российской Интернет Неделе, ходить, смотреть и общаться.  И совершенно точно буду 24 числа на секции Интернет для людей с ограниченными возможностями.

Моя тема “Государство и открытые данные“, но рассказывать я буду её применительно к теме секции, о том как открытые данные, в частности, могут помогать и для людей с ограниченными возможностями.

Приглашаю всех желающих, и на секцию, и послушать мой доклад.

Также, практически наверняка буду в первый день слушать доклады на секции ИКТ для нужд государства.

Насчёт второго дня (23 числа) пока ещё не решил что там стоит послушать/посмотреть, может кто подскажет?

Плюс, если кто-то хотел со мной пообщаться, то на без проблем будет встретиться на конференции.

Originally published at Иван Бегтин. You can comment here or there.

Об электронном документообороте. Распоряжение от 2 октября 2009 г. N 1403-р
20 октября 09 02:51

Если кто-то ещё не читал этот в высшей степени интересный документ, то он есть на сайте правительства.

Весь его приводить не буду, приведу выдержки:

Требования к шлюзу

4. Программно-технические средства шлюза должны обеспечивать выполнение следующих функций:
а) отправка и прием электронных сообщений с использованием клиента комплекса программ “Почтовая служба”;
б) хранение документов в электронном виде и их реквизитов;
в) поиск хранимых документов в электронном виде по их реквизитам и просмотр как реквизитов, так и электронных образов документов;
г) возможность выгрузки и загрузки документов и их реквизитов в электронном виде с использованием съемного носителя информации;
д) обработка ошибок, протоколирование работы и минимальное разграничение доступа к данным и сервисам, предоставляемым шлюзом.
5. Технические характеристики серверного оборудования шлюза должны удовлетворять следующим минимальным требованиям:
а) процессор не хуже Intel Core2Duo 3 ГГц;
б) оперативная память не менее 4 Гб;
в) отказоустойчивая дисковая подсистема не менее 146 Гб.
6. В состав шлюза должен входить электронный замок типа Соболь-PCI (DS-1996).
7. Состав программного обеспечения сервера шлюза должен включать:
а) операционную систему типа Windows Server Standard Edition 2003 R2 Win32 Russian OLP NL;
б) SQL Server Standard Edition 2005 Win32 Russian OLP C;

в) клиентскую часть комплекса программ “Почтовая служба”;
г) антивирусное программное обеспечение типа Kaspersky Business Space Security.
8. Технические характеристики автоматизированного рабочего места шлюза должны удовлетворять следующим минимальным требованиям:
а) частота процессора не менее 2,5 ГГц;
б) оперативная память не менее 512 Мб;
в) свободная память на жестких дисках для размещения программного обеспечения не менее 16 Гб;
г) графические режимы монитора True Color (32 bit) 800´ 600 или 1024´ 768;
д) сетевой адаптер не менее 100 Мб/с;
е) DVD+/-RW 16x, FDD.
9. В состав автоматизированного рабочего места шлюза должен входить электронный замок типа Соболь-PCI (DS-1996).
10. Состав программного обеспечения автоматизированного рабочего места шлюза должен включать:
а) операционную систему типа Windows XP Professional Russian;
б) Secure Pack Rus 1.0 for Windows XP;
в) Office Professional Plus 2007 Russian OLP NL;

г) антивирусное программное обеспечение типа Kaspersky Business Space Security.

Требования к адаптеру системы электронного документооборота

11. Адаптер системы электронного документооборота должен обеспечивать:
а) преобразование данных, предоставляемых шлюзом и содержащихся в полученном электронном сообщении, в формат данных, используемый в системе электронного документооборота;
б) преобразование электронных сообщений, передаваемых системой электронного документооборота в стандартный формат данных при обмене электронными сообщениями, для передачи в шлюз.
12. XML-схема документа для описания стандартного формата данных при обмене электронными сообщениями должна разрабатываться в виде отдельного документа.
13. Специализированное программное обеспечение адаптера системы электронного документооборота должно функционировать на выделенном компьютере, который включается в локальную информационно-телекоммуникационную сеть федерального органа исполнительной власти и имеет следующие характеристики:
а) частота процессора не ниже 2.5 ГГц;
б) оперативная память не менее 512MB;
в) свободная память на жестких дисках для размещения компонентов специализированного программного обеспечения не менее 16 Гб;
г) DVD+/-RW 16x, FDD;
д) сетевой адаптер не менее 100 Мб/с.

Документ прямо скажем прорывной. Насколько я знаю и помню у нас в России законодатели и юристы упирались всеми возможными способами, но чтобы подробности технической реализации в их сакральные документы не попадали. Лично знаю множество законов где конкретика жизненно необходима, но нету, а подразумеваемый здравый смысл не применяется.

Тут же другая ситуация, как раз наоборот конкретика конкретнее не бывает и что можно из неё почерпнуть? Например:

1. Указание частоты процессоров это то с чем отчаянно борется AMD в США, Евросоюзе и России тоже (было несколько разбирательств в ФАС) поскольку Intel и AMD используют различные подходы к частотам процессоров. AMD же предлагали и предлагают использовать бенчмарки и указывать именно их при конкурсной документации.

2. Intel Core2Duo упоминается открытым текстом, но что значит “не хуже”? По производительности? По набору команд? По энергопотреблению?

3. Явно упоминаются Windows Server 2003, SQL Server, Windows XP и так далее, так что про Linux в государственных ведомствах можно забыть и, похоже, надолго.

4. Обратите внимание что Windows XP Russian, а не Vista или W7.

5. Однако Касперский обскакал здесь, и DrWeb, и Symantec и Nod32

6. Из положительного: четко даны определения терминов, что само по себе прогресс для описания ИТ на уровне федерального законодательства.

7. Описание структуры XML в распоряжении – это насилие над разумом. Помимо того что XML структуру невозможно описать в виде плоской таблицы (во всяком случае в представленном формате) чем было невозможно представить приложение с детализацией полей?

В итоге много весьма неконкурентых положений да и будь это не распоряжение правительства, а конкурсная документация её было бы можно оспаривать в ФАС. С другой стороны вот он живой пример сдвига в сознании и прихода туда XML и прочих удовольствий. Глядишь и лет через 10 там RDF и JSON появятся.

Originally published at Иван Бегтин. You can comment here or there.

АнтиСЕО. Правила T. Анализ текста ссылки и страницы
19 октября 09 11:34

Продолжаю тему антисео, на сей раз правила из группы T – анализ текста ссылки.

Напомню что “правила – отдельно, алгоритмы – отдельно”. Я пишу о правилах, а не о том как их закодировать и проверить автоматически.

[T-001-001]. Отравление однокоренными словами.

При продвижении сайтов по платным ссылкам зачастую в тексте одной ссылки могут присутствовать более одного однокоренного слова. Подобное крайне редко присутствует для естественных ссылок. Отсюда, данное правило позволяет определить насколько ссылка отравлена однокоренными словами.

Пример:

Рисунок 25. Дублирование слова “перевод”

image050

[T-001-002]. Отравление словами общей смысловой группы.

Для каждой из продвигаемых специалистами по SEO тем есть ограниченный набор слов в рамках которых проходит это продвижение. Во многих случаях SEO специалисты перегружают текст ссылки словами для продвижения настолько что текст становится слабовоспринимаемым живым человеком. 

Это правило оценивает “уровень тошноты” ссылки, то сколь много её текст содержит слов из подобных смысловых групп.

Пример: В тексте ссылке на странице www.annews.ru присутствует одновременно несколько ключевых слов общей смысловой группы – это “страхование”, “автомобиля”, “каско”. Подобная плотность ключевых слов – это один из признаков, что текст ссылки составлен грамматически неверно и ссылка не является естественной.

Рисунок 26. Ссылка с сайта www.annews.ru (на 15.04.2009)

image052

[T-001-003]. У ссылки отсутствует текст.

Отсутствие текста у ссылки – это одно из базовых правил позволяющих отделить ссылки привязанные к изображениям или иным объектам на веб странице от ссылок содержащих текст. Отсутствие текста у ссылки является одним из показателей что по ней не производится поискового продвижения так как оно предусматривает. Подобные ссылки встречаются повсеместно при использовании баннеров.

Пример: На сайте zavtra.ru в конце страницы присутствует ряд баннеров к которым привязаны ссылки при этом отсутствует текст к этим ссылкам привязанный – это позволяет отнести эти ссылки к естественным, так как их цель привлечение аудитории к ссылкам посредством изображения, а не для продвижения в поисковой системе.

Рисунок 27. Баннеры в конце страницы сайта zavtra.ru (на 15.04.2009)

image054

Рисунок 28. Код баннеров на сайте zavtra.ru

image056

[T-002-001]. Текст ссылки идентичен ссылке.

Один из признаков что ссылка не является продвигаемой, а естественной – это когда её текст полностью соответствует её значению поскольку в этом случае отсутствует текст по которому ссылка могла бы быть продвинута.

Пример: На странице gorod.ryazan.ru/gov.html  присутствует ссылка на сайт администрации города, при этом текст ссылки полностью соответствует адресату. Отсюда можно быть уверенными в том что текст не содержит продвижения сайта реципиента поскольку ключевых слов в нём нет.

Рисунок 29. Ссылка на сайт администрации города на сайте gorod.ryazan.ru

image058

[T-002-002]. Текст ссылки идентичен домену ссылки.

Для естественных ссылок характерно что иногда они могут указываться с текстом включающим только домен сайта. Это правило позволяет  рассматривать данную ссылку как естественную.

Пример: На сайте Россельхознадзора www.fsvps.ru ссылка на сайт Министерства сельского хозяйства приведена с текстом включающим только домен этой ссылки. Это, помимо других правил, позволяет определить данную ссылку как естественную.

Рисунок 30. Ссылка на сайт министерства  сельского хозяйства на сайте Росссельхознадзора

image060

[T-002-003]. Текст ссылки идентичен части ссылки.

Для естественных ссылок характерно что иногда они могут указываться с текстом включающим только домен сайта и описание до домена 2-го уровня. Это правило позволяет  рассматривать данную ссылку как естественную.

Пример: На сайте Россельхознадзора присутствуют ссылки на коммерческие компании при этом текст ссылки содержит указание на главную страницу, а адресатом ссылки является внутренняя страница. Это, помимо других правил, позволяет определить данную ссылку как естественную.

Рисунок 31. Текст ссылки на сайте Россельхознадзора

image062

Рисунок 32. Текст ссылки в коде страницы сайта Россельхознадзора

image064

[T-002-004]. Транслитерированный текст ссылки идентичен части ссылки

Это правило имеет природу исключительно связанную с Рунетом и заключается в том что часто именно естественные ссылки описывают как транслитерированный на русский текст. Например, “Известия.Ру” или “Яндекс.Ру”. В обоих случаях ссылки с этим текстам идут на английском языке и если можно провести соответствие между русским текстом и частью ссылки, то ссылка может рассматриваться как естественная.

Пример: на сайте nissankniga.ru присутствует ссылка на сайт avtoliteratural.ru написанное транслиретрируемым текстом. Это не позволяет однозначно сказать что в тексте ссылки нет продвигаемых слов, но понижает вероятность что ссылка не является естественной.

Рисунок 33. Ссылка на сайте nissankniga.ru

image066

Рисунок 34. Ссылка в коде сайта nissankniga.ru

image068

[T-003-001]. Текст ссылки содержит слова из чёрного списка.

Для некоторых ключевых слов их коммерциализированность такова что любая ссылка не отмеченная как естественная и их содержащая может рассматриваться как платная. Для таких случаев ведётся база подобных слов и отслеживается их использование.

Пример: В блоке ссылок на сайте medlinks.ru присутствует ссылка на внешний сайт rosdiplom.ru с текстом “Заказ рефератов”. Текст заказ рефератов, опробованном против сайта алгоритме находится в “черном списке”, а то есть при отсутствии правил способных отнести эту ссылку к естественным – она, автоматически, рассматривается как продвигающая.

Рисунок 35. Блок ссылок с сайта medlinks.ru (на 15.04.2009)

image070

[T-003-002]. Текст ссылки содержит слова из белого списка.

Для ряда ключевых слов можно на 100% заключить о том что ссылка содержащая их платной быть не может. Это правило позволяет проверить соответствие ссылки базе этих слов и является доводом в пользу естественности ссылки.

Примечание: Это правило нечто вроде “артефакта” само по себе оно не работает, а только в сочетании с анализом сайта реципиента.

[T-003-003]. Текст обрамляющий ссылку подпадает под типовые шаблоны продвижения.

Для ряда ключевых слов можно на 100% заключить о том что ссылка содержащая их платной быть не может. Это правило позволяет проверить соответствие ссылки некоммерческой направленности этих слов и является доводом в пользу естественности ссылки.

Пример: Многие блоги содержат ссылку на сайт Wordpress и соответствующий текст “wordpress” или же к этому тексту добавлена ещё и версия Wordpress’а.

Рисунок 36. Ссылка с ключевым словом Wordpress на сайте webphp.ru

image072

Примечание: Это правило также является артефактом. Оно требует за собой некого алгоритма анализа “безвредности” ключевых слов и обязательной проверки сайта реципиента. В отличии от правила T-003-002 нет четкого перечня “белых слов”, а вместо этого присутствуют правила которые могут быть регулярными выражениями.

[T-003-003]. Ссылка установлена на ключевые слова при наличии в тексте вне ссылки, рядом, её пути.

Под это правило подпадают те сайты которые пытаются представить продвигающие ссылки в некой форме, не вызывающей отторжения у посетителей. В этом случае присутствует текст описывающий ресурс, но ссылка размещается в этом тексте не на адреса сайта, который в тексте есть, а на ключевых словах. Подобная избирательность в простановке ссылок позволяет относить такие ссылки как продвигающие, особенно при наличии дополнительных признаков.

Пример: В блоке ссылок на сайте calend.ru присутствуют ссылки

Рисунок 37. Блок ссылок с сайта calend.ru (на 15.04.2009)

image074

[T-003-005]. Высокая плотность перечислений в тексте ссылки.

Одна из особенностей SEO ссылок в том что в погоне за плотностью ключевых слов очень часто оптимизаторы игнорируют правила русского языка и текст ссылки выглядит неестественно. Одним из признаков неестественности текста – это большое число односложных и/или двух сложных перечислений.

Пример: Как пример, ссылка на сайте mk.ru содержит текст “морские перевозки, контейнерные перевозки, железнодорожные перевозки, ж.д перевозки, негабаритные перевозки” суммарно там присутствует перечисление из 5 двухсложных словосочетаний. Вместе с повторямостью текста и ряду других признаков – это значительно повышает вероятность того что данная ссылка естественной не является.

Рисунок 38. Ссылка с перечислениями с сайта mk.ru (на 15.04.2009)

image076

Рисунок 39. Код со ссылкой с перечислениями в коде сайта mk.ru (на 15.04.2009)

image078

Все заметки на тему антисео можно прочитать по ссылке – http://ivan.begtin.name/category/антисео/

P.S. Почему то в основном блоге при публикации слетает форматирование так что можно просмотреть тот же пост в ЖЖ в нормальном виде по ссылке – http://ivbeg.livejournal.com/237116.html

Originally published at Иван Бегтин. You can comment here or there.

Postedfrom Иван Бегтин | 0 Comments    
Filed under:
АнтиСЕО. Правила L. Анализ структуры веб-страницы
18 октября 09 05:52

Итак, начинаю публиковать непосредственно правила выявления ссылок. Все их и начальный пост можно будет прочитать по ссылке http://ivan.begtin.name/category/антисео/

Напомню что:

  • все правила хотя и проверялись, но предоставляются как сугубое ИМХО.
  • то о чем я пишу – это так называемый “контентный анализ” страниц и ссылок. У крупных поисковиков есть более действенные способы выявления спама, с другой стороны эти правила могут применятся даже при отсутствии их инфраструктуры и накопленных данных.

[L-001-001].  Значения атрибутов id и class ссылки в черном списке.

Не все, но многие вебмастера при размещении платных ссылок добавляют их тэгам “a” или тэгам их блоков атрибуты вроде adv, advertizement, reklama, seo, seobot и так далее. Выявление подобных атрибутов при анализе веб страницы позволяет предполагать что ссылки под ними являются платными, особенно если есть и другие признаки на это указывающие.

Пример: При просмотре кода главной страницы сайта Алекса Экслера можно обнаружить что группа внешних ссылок собрана под тэгом с атрибутом class в значении seobot. Это является признаком к тому что все ссылки в данном блоке попадают под подозрение в их неестественности.

Рисунок 16. Блок ссылок на сайте Алекса Экслера (на 15.04.2009)

image031

Пример: На сайте www.mk.ru в конце страницы собран блок ссылок если взглянуть на который в исходном коде страницы видно что блок является рекламным, а ссылки высокую вероятность что они неественны.

Рисунок 17. Блок ссылок на сайте mk.ru (на 15.04.2009)

image033

[L-001-002].  Встречаемость ссылки более N раз на веб страницы.

При размещении платных ссылок большинство веб-мастеров предпочитают их не показывать, но скрывать множеством возможных способов. При этом если внешняя ссылка на странице встречается более некого числа фиксированного числа раз, то можно предполагать что она является естественной так как не заметить её сложнее. Многократная повторяемость ссылки на одной странице является признаком что она может быть естественной.

[L-001-003].  Размер блока внешних ссылок.

Ссылки на веб-страницах могут быть одиночными, но чаще они группируются по различными принципам. Например, ссылки на счётчики в конце страницы или ссылки меню навигации. Вполне возможно определить является ли рассматриваемая нами ссылка часть блока или нет.

При поисковой оптимизации особенно часто используется размещение ссылок группами и это один из критериев для определения того является ли внешняя ссылка платной или нет.

Пример: На сайте газеты Завтра (www.zavtra.ru) в конце страницы присутствует блок из 15 внешних ссылок что, вместе с другими признаками,  резко повышает вероятность что эти ссылки не являются естественными.

Рисунок 18. Блок ссылок на сайте zavtra.ru (на 15.04.2009)

image035

Рисунок 19. Код блока ссылок на сайте zavtra.ru на 15.04.2009

image037

[L-002-001].  Местораcположение ссылки в конце страницы.

Ссылки на веб странице могут быть расположены в различных её частях. Поскольку именно расположение ссылки и используется для её сокрытия от пользователей, но сохранение для поисковых систем, то может использоваться ряд проверок позволяющих определить видимость ссылки людям. 

Простейшими проверками тут будут:

- наличие ссылки в последних 5% веб страницы;

- наличие ссылки внутри тэгов со значениями у атрибутов id и class в виде “footer” или 

“end”.

Пример: На сайте astronet в последних 5% страницы присутствует блок из большого числа внешних ссылок.

Рисунок 20. Блок ссылок на сайте astronet.ru (на 15.04.2009)

image039

[L-002-002].  Местораcположение ссылки по отношению к рекламным блокам.

В случае если ссылка расположена недалеко или внутри блоков отмеченных как рекламные словами “Advertizement”, “Advert”, “Реклама”, “Спонсоры” и так далее, то это повышает вероятность что они размещены для целей SEO, но не для посетителей сайта.

Рисунок 21. Блок ссылок на сайте worldweapon.ru (на 15.04.2009)

image041

[L-003-001].  Превышение критической массы окружающих SEO ссылок.

В процессе проверки веб страницы на наличие платных ссылок, ряд правил позволяет определить ссылки как платные даже без учёта других критериев. Отсюда проверка ссылок может происходить в несколько итераций с уточнением результатов.

Это правило используется в случае наличия второй итерации и оно проверяет не была ли рассматриваемая ссылка помечена как естественная и не окружают ли её ссылки отмеченные как платные.

[L-003-002].  Использование средств сокрытия внешнего вида ссылок.

Поскольку платные ссылки, в отличии от естественных, не предназначены для того чтобы по ним перемещались посетители сайта, и более того зачастую сайты сознательно их скрывают от пользователей для поддержания своей репутации, то тот факт то отдельные ссылки выбиваются из общего стиля страницы и сливаются с текстом или же написаны слишком мелким текстом – это признаки то ссылки естественными не являются.

Рисунок 22. Ссылки на странице dvinainform.ru (на 15.04.2009)

image043

Рисунок 23. Код ссылок на сайте dvinainform.ru (на 15.04.2009)

image045

[L-004-001].  Наличие специальных рекламных меток.

В некоторых случаях размещения ссылочных блоков, сервисы посредством которых это размещение проводится оставляют свои метки для отслеживания статистики.

Например, у некоторых блоков неестественных ссылок присутствует метка в виде ссылки на www.linksplace.ru/p/1.gif

Рисунок 24. Размещение блока ссылок с меткой linksplace

image045

[L-004-002].  Соответствие блока ссылок типовым шаблонам блоков SEO ссылок

У блоков SEO ссылок есть целый ряд особенностей на основе которых можно выделить паттерны их размещения. Например, к ним можно отнести такие признаки как:

- широкий разброс тем между сайтами реципиентами

- от 80 до 100% сайтов реципиентов являются коммерческими

- наличие текста до и после ссылки при наложении ссылки на слова наиболее релевантные теме сайта.

Например, паттерн в виде <text><ссылка с ключевым текстом></текст> при его повторении более 3-х раз может рассматриваться как подозрительный.

В случае выявления блоков ссылок, то классифицируется уже не только сама ссылка, но и блок целиком

Originally published at Иван Бегтин. You can comment here or there.

Postedfrom Иван Бегтин | 0 Comments    
Filed under:
Ссылки на 18.10.2009. Блоги чиновников
18 октября 09 03:40

Продолжая тему ведения блогов чиновниками – очередная их порция.

  • http://www.transport.saratov.gov.ru/blog/ – Блог министра транспорта Саратовской области Шейкина С.В. Кстати, комментарии там похоже не модерируются.
  • http://alex-pirojenko.livejournal.com/ – Блог Александра Пироженко, руководителя департамента по развитию конкуренции и конъюнктуры рынка Минэкономразвития России. Причём отвечает на вопросы – последний из них я задавал по поводу доступности результатов НИР публикуемых Минэкономразвития
  • http://www.portamur.ru/blogs/kozhemyako/ – Блог губернатора Амурской области Олега Кожемяко. Его я упоминал и ранее, но в отличии от других блогов губернаторов именно этот вполне живой, часто обновляется и ведётся от первого лица.

И примеры последствий от использования форумов на госсайтах:

  • http://www.gsn.tomsk.gov.ru/forum/ – форум на сайте государственной инспекции строительного надзора Томской области. Практически полностью забит рекламой, ссылками на порнографию и так далее. Понятно что спам, но, его надо или чистить или форум не заводить.

Originally published at Иван Бегтин. You can comment here or there.

АнтиСЕО. Правила анализа и выявления
17 октября 09 02:40

Несмотря на то что про АнтиСЕО я давно не писал, тему я не забыл, лишь куда меньше осталось времени на написание озвученной мною книги. Тема интересная, но утомительная, а главное что проверять правила сложно, поскольку представители поисковиков формальных критериев отличия SEO ссылок от не-SEO ссылок никогда не назовут, так как полное формальное определение раскроет их алгоритмы отсева.

Соответственно большую часть материалов я решил публиковать у себя в блоге, далее посты пойдут под рубрикой антисео, а сейчас приведу перечень правил с их группировкой по принципам анализа. Каждое правило я буду расписывать подробнее в последующих постах, если по каким-либо из них будет желание прочитать больше информации в первую очередь – пишите какие именно интересуют, с них и начну.

Добавлю к написанному то что:

  • все правила  идут под статусом ИМХО. Это не руководство к действию, а гипотезы, предположения и кулинарная книга.
  • текущая классификация правил неидеальна, но лучше пока нет.
  • правила не конвертируются в метрики автоматически. Некоторые могут быть представлены одним, а некоторые до 5 численных показателей.
  • на практике у поисковых систем есть _гораздо_ более эффективные способы  фильтрации поискового спама. Как они их применяют и применяют ли, другой вопрос, но как факт все возможности есть.

5.2. ИНСТРУКЦИИ ПОИСКОВЫМ РОБОТАМ

  • [R-001-001]. Наличие запрета на индексирование веб страницы сайта донора
  • [R-001-002]. Наличие запрета на индексирование веб-страницы сайта донора в тэге META
  • [R-001-003]. Наличие запрета на индексирование участка веб страницы включающего анализируемую ссылку
  • [R-001-004]. Наличие запрета на индексирование какого-либо участка веб страницы
  • [R-001-005]. Наличие запрета на переход поисковой системе в виде “nofollow” для данной ссылки
  • [R-001-006]. Наличие запрета на переход поисковой системе используя атрибут rel=”nofollow” для какой-либо ссылки на странице
  • [R-002-001]. Наличие файла Robots.txt у сайта реципиента
  • [R-002-002]. Наличие инструкций на запрет индексирования на странице сайта реципиента.

5.3. ПРОИСХОЖДЕНИЕ И НАПРАВЛЕНИЕ ССЫЛКИ

  • [S-001-001]. Наличие сайта реципиента в списке доверенных доменов.
  • [S-001-002]. Наличие сайта реципиента в черном списке.
  • [S-002-001]. Сайт-донор и сайт-реципиент имеют общего владельца.
  • [S-003-001]. Ссылка указывает на корневую страницу сайта.
  • [S-003-002]. Ссылка находится в блоке ссылок указывающих на главные страницы сайтов.

5.4. АНАЛИЗ СТРУКТУРЫ ВЕБ-СТРАНИЦЫ

  • [L-001-001]. Значения атрибутов id и class ссылки в черном списке.
  • [L-001-002]. Встречаемость ссылки более N раз на веб странице.
  • [L-001-003]. Размер блока внешних ссылок.
  • [L-002-001]. Местораcположение ссылки в конце страницы.
  • [L-002-002]. Местораcположение ссылки по отношению к рекламным блокам.
  • [L-003-001]. Превышение критической массы окружающих SEO ссылок.
  • [L-003-002]. Использование средств сокрытия внешнего вида ссылок.
  • [L-004-001]. Наличие специальных рекламных меток.
  • [L-004-002]. Соответствие блока ссылок типовым шаблонам блоков SEO ссылок

5.5. АНАЛИЗ ТЕКСТА ССЫЛКИ И СТРАНИЦЫ

  • [T-002-001]. Текст ссылки идентичен ссылке.
  • [T-002-002]. Текст ссылки идентичен домену ссылки.
  • [T-002-003]. Текст ссылки идентичен части ссылки.
  • [T-002-004]. Транслитерированный текст ссылки идентичен части ссылки
  • [T-003-001]. Текст ссылки содержит слова из чёрного списка.
  • [T-003-002]. Текст ссылки содержит слова из белого списка.
  • [T-003-003]. Текст обрамляющий ссылку подпадает под типовые шаблоны продвижения.
  • [T-003-003]. Ссылка установлена на ключевые слова при наличии в тексте вне ссылки, рядом, её пути.
  • [T-003-005]. Высокая плотность перечислений в тексте ссылки.

5.6. АНАЛИЗ МЕТОК ОТНОШЕНИЙ И СТРУКТУРЫ ВЕБ-САЙТОВ

  • [E-001-001]. Является ли сайт реципиент блогом.
  • [E-001-002]. Является ли сайт-реципиент государственным или некоммерческим ресурсом.
  • [E-001-003]. Является ли сайт-реципиент коммерческим ресурсом.
  • [E-002-001]. ТиЦ сайта-донора больше ТиЦ сайта-реципиента.
  • [E-002-002]. Google PageRank сайта-донора больше Google PageRank сайта-реципиента.
  • [E-002-004]. Нахождение ссылки в блоке ссылок с низким ТиЦ/PR по сравнению с анализируемой страницей.
  • [E-002-003]. Посещаемость сайта-донора выше посещаемости сайта реципиента.
  • [E-004-001]. Ссылка не указывает на HTML страницу.
  • [E-004-001]. Совпадение тем сайтов донора и реципиента.
  • [E-004-002]. Смысловое расстояние между темами сайтов донора и реципиента.
  • [E-004-003]. Тематическая плотность ссылок в блоке внешних ссылок.
  • [E-005-001]. Наличие у ссылки метрики отношения между сайтами донора и реципиента.

5.7. АНАЛИЗ ПОВЕДЕНИЯ ПОЛЬЗОВАТЕЛЕЙ И СПЕЦИАЛЬНЫЕ ПРОВЕРКИ

  • [B-001-001]. Низкая “кликабельность” ссылки.
  • [B-002-001]. Наличие ссылки на странице блога и отсутствие в RSS ленте

Originally published at Иван Бегтин. You can comment here or there.

Postedfrom Иван Бегтин | 0 Comments    
Filed under:
О живых данных
15 октября 09 12:35

В последние несколько месяцев от меня было куда меньше постов чем обычно по довольно простой причины – прямо сейчас я занимаюсь проектом довольно непростым понятийно и технически. Планировал я его несколько лет и только в этом году удалось приступить к реализации.

Проект, разумеется, связан с большими объёмами информации, её обработкой, классификацией и последующим представлением. Особенность этого в том что работа идёт с “живыми данными”, а то есть источников информации много, информация разноформатна, предоставляется в разном качестве, содержит ошибки в структуре и в значениях, обладает разными ограничениями и прочими особенности нетепличных данных.

В то же время это “живые данные” имеют массу специфики, при их сборе, подготовке, обработке и так далее. Приведу ряд соображений и размышлений для примера:

1. Для простых данных в виде плоских таблиц можно использовать различные SQL-базы с внешней обвязкой метаданными.  Но, случаи когда используются только простые таблицы редки, чаще всего данные обладают иерархией и вложенностью. Эту иерархию и вложенность можно привести к SQL сильно увеличив число таблиц, или же использовать NoSQL подход брать за основу CouchDb, MongoDb или их аналоги или семантические triple-store.

2. До сих пор очень мало практических инструментов по работе с NoSQL данными. Практически нет ETL инструментов, BI движков, ORM библиотек и прочего разного. Во многом от того что сама концепция NoSQL только сейчас приобретает признаки тренда и нет единых стандартов по доступа к такого рода данным.

3. На самом деле обработка большого объёма разноформатной информации это ещё и до сих пор не решённая исследовательская задача. Большинство же практических систем, например, поисковых, либо нормализуют источники информации и получаемые данные, либо резко ограничивают их число и связывают информацию в этих источниках вручную. Например, поисковики вроде Google или Yahoo нормализуют весь веб к веб-страницам, а в WolfRam Alpha используется большое число массивов данных вручную нормализованных, в основном, по формам выдачи результатов. Задачу же автоматической или автоматизированной интеграции тысяч и десятков тысяч источников информации решить было бы очень интересно, но лично я понимаю всю её объективную сложность.

4. Онтологии – это правильно, хорошо и идеалистично. К живым данным они имеют весьма слабое отношение и тут скорее можно говорить об онтологии извлечения и обработки информации. Некой единой модели  которая бы всё это описывала. Но это ещё одна большая и непростая исследовательская задача пока ещё далёкая от решения.

5. Один большой вопрос – это работа с аномалиями, когда получаемые из источника информации данные не соответствуют заявленному формату. Причём в случаях если подобные аномалии возникают в пределах данных, то это не то чтобы просто, но точно решается. А вот в случаях когда аномалии происходят на структурном уровне – последовательности полей или их разделения, то тут решается сложнее. Локализацией участка и ручному анализу или же разработкой правил анализа отклонений на основе ранее выявленных ошибок.  Одно можно сказать точно, в живых данных такие аномалии встречаются.

6. Кстати, говоря об аномалиях, нельзя не отметить ещё и тот факт что они сильно зависят от формы носителя информации – контейнера и от представления информации в этом контейнере. В практическом плане это выражается в том что в файлах Excel или DBF есть четкое разделение полей и хранение метаданных о типах данных в этих полях, а вот в HTML и, в некоторых случаях, в CSV такого нет или же, если есть, то этим метаданным нельзя доверять безоговорочно. Также с точки зрения выявления аномалий можно рассматривать любые полуструктурированные тексты устоявшегося написания той или иной информации – адресов, фамилий и так далее.

Originally published at Иван Бегтин. You can comment here or there.

Data.Gov.Ru идёт в умы людей
15 октября 09 11:03

У депутата Ильи Пономарёва появился пост про Data.gov.ru – http://ilya-ponomarev.livejournal.com/401312.html.

А это ничто иное как то о чём я писал с апреля 2009 года – http://ivan.begtin.name/category/datagovru/

Не знаю прочитал ли это Илья у меня в блоге или же ориентировался на американский Data.Gov, но то что этот подход выносится публично, лично я, считаю очень правильно.

Но, разумеется, государство далеко не всегда и всё делает лучшим образом. Как некоммерческий проект на ту же тему уже есть – OpenGovData.ru

Originally published at Иван Бегтин. You can comment here or there.

Социальные сети и ФОИВы
09 октября 09 11:45

Вчера был на семинаре организованным группой Стратег по продвижению интересов ФОИВов (Федеральных органов исполнительной власти) в социальных сетях.

Тем было много, но, пожалуй, самое интересное было, то что на семинаре обозначились ключевые проблемы перед которыми сейчас стоят органы власти взаимодействуя в сети.

Перечислю их:

1. Закон о госслужащих (точнее – Закон от 27 июля 2004 г. N 79-ФЗ О государственной гражданской службе Российской Федерации) где в статье 17 пункт 10 явно прописано что:

…10) допускать публичные высказывания, суждения и оценки, в том числе в средствах массовой информации, в отношении деятельности государственных органов, их руководителей, включая решения вышестоящего государственного органа либо государственного органа, в котором гражданский служащий замешает должность гражданской службы, если это не входит в его должностные обязанности…

Отсюда, фактически, если возникает какой-либо острый вопрос обсуждаемый в блогосфере, на форумах или и иных социальных медиа, то ответить на него чиновники или госслужащие без нарушения закона не могут.  Точно также происходит в ситуации с блогами чиновников – если гражданин пишет о том что он чиновник и работает там-то и там-то и одновременно пишет про деятельность своего ведомства, то он, либо получил на это разрешение от руководства своего ведомства, либо нарушает закон и такая публичность может выйти боком.

2. Консервативность руководства.

У многих ФОИВов руководство на уровне министров или же их замов – это чиновники ещё с советских времён. Понимание того что такое блоги, социальные медиа и так далее приходит к ним не сразу и на убеждение что и как необходимо тратить немало усилий.

3. Ограниченные ресурсы

По факту и по причине закона о госслужащих, фактически, публичностью ФОИВ занимаются 2-3 человека сотрудников пресс-служб с весьма ограниченным бюджетом и возможностями. В текущей ситуации трудно отследить все блоги, форуму и так далее.

4. Информационная безопасность

Термин общий, но за ним скрываются вполне обоснованные опасения. Есть ограничения на раскрытие информации внутри ведомств и спецслужбы никогда не дремлют опасаясь утечек.

5. “Эффект жареных новостей”

А то есть нынешнее стремление выискивать все проблемные вопросы и начисто игнорировать успешные. К примеру у нас есть ряд ведомств которые более чем публичны. Они раскрывают информацию о собственной деятельности, но несмотря на это непрерывно подвергаются критике.  Моё личное мнение тут в том что очень важна форма взаимодействия ведомства и граждан.  Единственный способ снижать накал страстей – иметь долгосрочную информационную политику.

6. Равнение на первого

В общем-то не секрет что нынешняя мода на блоги происходит от равнения на президента. Кстати, любопытным на заметку. Это граждане у нас равняются на обе головы герба, а чиновники в первую очередь всегда смотрят на деятельность президента.

Плюс некоторые интересные мнения и факты:

1. Что немаловажно – чиновники обязаны публиковать _достоверную информацию_ . В отличии от всех остальных граждан и, во многих случаях, бизнеса.

2. Несмотря на всё вышеперечисленное, есть успешные проекты по продвижению ФОИВ. Например, у МинПромТорга есть уже второй блог замминистра Алексея Рахманова который пишет про самую что ни на есть острую тему – автопром.

3. Многие ФОИВы планируют так или иначе взаимодействовать с гражданами и запускать собственные проекты.

Вообще же по поводу блогов, то я повторю то же что недавно говорил в комментариях для CNews. Я лично не считаю блоги чиновников действительно правильным способом взаимодействия  ведомств с гражданами. Во первых по причине текущего законодательства, которое определённо надо менять.

Во вторых поскольку сейчас они превращаются в системы обработки запросов граждан, например, огромная доля комментариев в блоге президента – это жалобы на различные органы власти.

Но, в отличии от обращений на официальных сайтах тут есть существенная разница, заключающаяся в:

1. Публичность жалобы. Любой другой гражданин или журналист могут её прочитать, поддержать и опубликовать где-либо ещё. Создать кумулятивный эффект.

2. Вероятность что реакция на жалобу будет произведена не в течении отведённых 30 дней по закону, а гораздо раньше.

Кстати, в том что касается блога президента, то тут, на мой взгляд, это не совсем блог, поскольку сам автор блога почти или совсем не комментирует то что ему накомментировали. Это больше похоже на очень мощное СМИ с обратной связью от читателей. Точно так же как статьи на сайте Коммерсанта и других крупных СМИ когда читатели могут прокомментировать статьи, но редколлегия на их комментарии не отвечает.

Originally published at Иван Бегтин. You can comment here or there.

Ссылки на 7.10.2009: Интересные машиночитаемые данные
07 октября 09 02:26
  • Data.australia.gov.au – австралийский государственный портал открытых данных
  • DataSF.org – неофициальный портал открытых данных города Сан-Франциско (США)
  • Correlates of War – набор датасетов посвящённых истории военных конфликтов.
  • Word Bank Data – данные публикуемые всемирным банком
  • CloudMade – датасеты по геотематике по разным странам мира и в разнообразных форматах
  • Kids Count DataCenter – аналитика и данные по числу детей в США в разрезах бедности, занятости, демографии, образования и здоровья

Originally published at Иван Бегтин. You can comment here or there.

Postedfrom Иван Бегтин | 0 Comments    
Filed under:

This Blog

Tags

Archives

Syndication