Дьявол кроется в деталях, мелочах и оттенках.
(Народная мудрость)

Собственно, без знания деталей, мелочей и оттенков при позиционировании в поисковых системах по конкурентным запросам не обойтись. Но детали - это уже высшая математика. И как высшая математика не может обойтись без арифметики, так и хорошее позиционирование не может обойтись без основ оптимизации.

---

		Россия

Веб Картинки Группы Каталог Дополнительно '

Поиск в ИнтернетеПоиск страниц на русском

---

Поисковых систем написан не один десяток. Они существовали ещё до появления всемирной паутины, претерпели немалые изменения алгоритмов поиска в первые годы своей онлайн-жизни, нет причин полагать, что они не будут изменяться в будущем, и невозможно поручиться, что в момент написания данной статьи в какой-либо из поисковых систем не зреют грандиозные изменения. Так можно ли говорить о каких-то общих принципах безотносительно поисковой системы или даже поискового алгоритма? Определённо - да. Ученые ещё со времён Галилея (а некоторые небезосновательно считают, что ещё Леонардо да Винчи предвосхитил "резолютивный метод" Галилея) имеют в своём распоряжении целый арсенал методов и приёмов, позволяющих не только изучать сложные объекты, процессы и явления, но и предсказывать их эволюцию.

Одним из таких методов является моделирование. В нашем случае выбор модели очевиден: т.к. любая поисковая система является инструментом, облегчающая человеку поиск, то алгоритм поиска текста по базе поисковой системы аналогичен [подобен, изоморфен, по качеству должен стремиться в идеале к] поиску текста человеком в библиотеке. Неявно будем предполагать, что ищутся только тексты, а не какие-либо объекты. Памятуя об изречении, вынесенном в эпиграф, будем отдавать себе отчёт в том, что поведение сферической модели лошади в вакууме несколько отличается от поведения беговой лошади на ипподроме.

Итак, сформулируем постановку задачи: какими свойствами должен обладать текст, чтобы человек, ищущий некоторый материал в библиотеке нашёл именно этот, а не какой-либо другой текст. При решении ее мы будем опираться исключительно на собственный опыт поиска текстов в библиотеке.

Как вы думаете, с чего стоит начинать? Некоторые оптимизаторы любят поспорить на тему важности тех или иных параметров, влияющих на ранжирование, упуская из виду гораздо более важный фактор, кажущийся самоочевидным. Мой школьный учитель математики, раздавая контрольную, тихонько напевал себе под нос песенку "С чего начинается Родина?". Все в классе знали: Родина начинается с ОДЗ, т.е. с области допустимых значений. Какое условие должно выполнятся, независимо от того, какой именно человек ищет какой бы то ни было текст, в выбранной наугад библиотеке?

Правильно, этот текст должен присутствовать в этой библиотеке. Отсюда -

Совет ?1.
Убедитесь, что открытая часть оптимизируемого сайта полностью доступна поисковым системам.

Вам кажется этот совет банальным? Однако есть факты, позволяющие утверждать, что это далеко не так. В 2000-м году было проведено исследование, в результате которого было установлено, что поисковыми системами проиндексирована лишь малая толика документов, находящаяся на "поверхности" web. Большая же часть (до 500 млрд.) документов остаётся недоступной поисковикам, т.е. в глубине сети (deep web), несмотря на свою доступность для любого посетителя. Даже если предположить, что 3 года назад исследователи ошиблись в своих оценках раз в десять (пусть и с учетом роста web за это время), очевидно, что и сегодня ситуация не улучшилась кардинальным образом: каждый из лидеров поисковых систем по числу проиндексированных документов Google и AllTheWeb (FAST) "знает" не более 5 млрд. страниц, т.е. не более 10% от общедоступного контента.

Кстати, одним из самых популярных вопросов новичков форума searchengines.ru является вопрос: "почему поисковик Х не индексирует вообще или индексирует крайне малое количество страниц моего сайта".

Причин, по которым сайты остаются в deep web, несколько, остановимся на самых важных из них.

• Недоступность документов по ссылкам.

Роботы поисковых систем могут узнать о существовании того или иного документа только при наличии ссылки на него, или же если веб-мастер добавит страницу вручную при помощи формы на сайте поисковой системы. Поскольку поисковики оперируют миллионами документов, а ведущие - миллиардами, они вынуждены экономить вычислительные ресурсы буквально на всём. Поэтому большинство из современных web-технологий им не доступно. Например, некоторые поисковики разбирают JavaScript, в поисках ссылок в нём, но в настоящий момент ни один из поисковиков эти скрипты не выполняет. Поэтому большая часть сайтов с, например, динамическим меню может оказаться недоступна поисковикам. Если форма с выбором раздела сайта или отдельной страницы содержит лишь параметры скрипта, но не содержит прямых ссылок на эти страницы/разделы, то они попадут в Deep Web.

Очень распространены ошибки при написании URL. Яндексу, например, известно более 33.5 тысяч ссылок на localhost! А сколько ссылок было потеряно при смене домена!.. Впрочем, такие документы будут недоступны не только поисковикам, но и обычным посетителям.

Эта проблема часто возникает при использовании абсолютных ссылок вместо относительных. Ссылкой на localhost иногда пользуются при разработке сайта, когда и клиент (браузер), и сервер (localhost) находятся на одном компьютере. А потом, выкладывая новый сайт в Сеть, просто забывают проверить систему ссылок и... поисковая система безуспешно пытается найти и проиндексировать страницы, которые давно уже "переехали" на другой, реальный адрес.

• Динамически генерируемые URL.

Самая распространенная преграда индексации динамических (построенных на технологиях Perl, PHP, JSP, ASP и т.п.) сайтов - наличие динамически меняющейся части URL. Обычно для идентификации посетителей, которые отключают в браузерах поддержку Cookies, используются идентификаторы сессий в URL, но в некоторых случаях идентификаторы передаются всем посетителям подряд. В любом случае, робот поисковой системы Cookie не обрабатывает, а с учётом того, что с момента извлечения ссылок поисковой системой из уже проиндексированного документа, до момента визита робота по этим ссылкам проходит значительное время, идентификаторы, как правило, успевают устареть и меняются на новые - в итоге поисковик обречен ходить по замкнутому кругу, и просто не успевает проиндексировать все страницы сайта.

Проверить доступность страниц для роботов поисковых систем можно при помощи т.н. оффлайн-браузеров (программ, которые создают локальные зеркала сайтов), не поддерживающих или позволяющих отключать поддержку JavaScript и др. современные технологии вроде flash, например при при помощи wget

• Ошибки в настройках сервера.

Очень часто при настройке собственного обработчика ошибок роботу возвращаются 30Х-е коды ответов сервера вместо 40Х при отсутствии документа на сервере. Для некоторых роботов камнем преткновения становится код ответа сервера, отличный от 200 или 404 при обращении к файлу /robots.txt. Часто сам этот файл содержит ошибки, в результате которых роботу запрещается индексировать целые разделы документов. Нередко от робота поисковика ожидают такой же функциональности, как и от браузера, в результате робот получает ответ сервера 406 Not Acceptable.

Правильность robots.txt можно проверить при помощи скрипта http://kako.yandex.ru/cgi-bin/test-robots

Продолжим составлять ОДЗ.

Так же как отсутствие книги (сайта) в библиотеке (в базе поисковика) не может сказаться положительным образом на ранжировании документа в результатах поиска, так и отсутствие текста по искомой теме в книге не сделает её фаворитом поиска. Поскольку поисковые системы ещё только учатся делать обобщения, строить семантические связи (т.е. подбирать синонимы, различать омонимы) и т.д. и т.п., то два запроса выглядящие идентичными для человека вполне могут оказаться абсолютно разными для поисковика, поэтому нельзя не дать следующий совет.

Совет ?2.
Подбирайте точные ключевые слова

Чтобы не "растекаться мысию по древу", приведу несколько типичных ситуаций:

Предлагается оптимизировать промо-сайт нового энергетического напитка Х по различным запросам, в том числе и запросу "коктейли". На вопрос оптимизатора, почему именно коктейли, заказчик даёт ответ: мол, на дискотеках, из нашего напитка коктейли делать будут. Желание клиента - закон, вот только поисковики не осведомлены настолько в ночной жизни современной молодёжи. А на сайте коктейли ни словом не упоминаются.

Агентство недвижимости, занимающееся только жилыми помещениями в частном секторе, желает, чтобы сайт агентства находился по запросу "недвижимость". Всё хорошо, кроме того, что на сайте слово "недвижимость" исчезло даже из заголовка титульной страницы, и абсолютно непонятно, сколько людей, желающих снять или сдать квартиры или даже комнаты, назовут их "недвижимостью"? Вопросы на засыпку: человек, набравший в поисковике "сниму однокомнатную квартиру", хочет снять жилплощадь или же ищет тех, кто снимает? Слово "агенство" встречается в различных поисковых запросах почти также часто, как и "агентство". Стоит ли пренебрегать неправильным написанием?

Для получения статистики встречаемости поисковых запросов, воспользуйтесь сервисами Яндекса - http://direct.yandex.ru/ (доступен только после регистрации) и Рамблера - http://banners.park.rambler.ru/cgi-bin/wmb.pl

Вы можете возразить, что общие вопросы задаются более часто, поэтому отдача от этих слов будет выше. Но(!), даже если не учитывать, что по популярным односложным запросам завоевать первые места гораздо сложнее, то практика показывает, что посетители по таким запросам проявляют гораздо меньшую активность на оптимизируемом сайте, чем по точным запросам. Более подробно этот эффект будет рассмотрен при ознакомлении с особенностями контекстной рекламы.

Кроме того, меньшую посещаемость по точным запросам можно компенсировать большим количеством этих запросов. Благо это не так уж и сложно сделать. В 2000-м году Андрей Иванов сделал программу "Штучка", которая автоматически, каждые 30 секунд снимала 20 запросов "Прямого Эфира" Яндекса. Таким образом была создана база поисковых запросов объемом около двух миллионов обращений. Из этой базы "Штучка" могла делать выборки запросов по произвольно выбранным ключевым словам и фразам, примерно так, как сейчас это делают открытые сервисы статистики Яндекс-Директа и Рамблера.

Иванов стал изучать спрос на разные темы, писать об этом статьи и иллюстрировать их списками запросов. Сайт, куда выкладывались статьи и списки, без всяких усилий по оптимизации быстро набрал посещаемость до 5000 хостов в день. Поисковые системы хорошо ищут цитаты, а литературный язык сайтов довольно сильно отличается от реального языка запросов, поэтому списки запросов оказались фактически единственными страницами, обеспечивавшими результат по цитате (совпадению фразы), что и вызвало резкий взлет посещаемости.

В настоящее время идея получила развитие, и существует несколько разновидностей скриптов, позволяющие получать до 50 000 человек в день с поисковых систем (с Google, в основном). Посетители, правда, абсолютно не целевые, и многие поисковики вполне успешно научились противостоять подобным скриптам. Сайты выкидывают из поиска (банят) с формулировкой "автоматически сгенерированный контент". Эта, и подобные ей технологии будут ещё не раз упоминаться в данной рассылке, а пока - совет ?3.

Совет ?3.
Не применяйте досконально неизученных вами приёмов и технологий на оптимизируемом сайте - результаты могут быть необратимы.

Вернемся, однако, к нашей модели.

Предположим, что мы нашли в библиотеке брошюру с тезисами докладов конференции на интересующую нас тему. Какую из публикаций мы предпочтём? Представим себя листающими такую брошюру. Сначала смотрим оглавление. Так, название не подходит, пропускаем. Ага, название обнадёживающее, посмотрим подробнее. Из краткого обзора становится понятным, что не то. Возвращаемся к оглавлению. Вот, по названию, точно то, что искали, посмотрим, посмотрим... Так, краткого обзора нет, в первом абзаце какие-то общие слова, пробежимся по следующим абзацам: вот, курсивом выделены слова, которые в точности совпадают с искомым. Вероятнее всего, это та публикация, которая нам будет интересна.

Вы, наверное, ожидаете перечисления HTML тэгов, которые придают вес документам при поиске по тем или иным словам? Напрасно, т.к. мы ведём речь обо всех поисковиках вместе, а не каком-то конкретном в частности. А то, что русскому хорошо, то немцу - смерть. Поэтому, ограничимся такой формулировкой:

Совет ?4.
Не пренебрегайте структурно-смысловым оформлением текста каждого документа таким образом, чтобы после изучения атрибутов документа и первых его абзацев было очевидно как посетителям, так и поисковым машинам, о чём идёт речь в этом документе.

С посетителями всё, вроде бы, понятно, а вот о понятии первых абзацев для поисковых систем стоит поговорить отдельно. Как говорилось выше, поисковые системы экономят свои вычислительные ресурсы буквально на всём. Поэтому они не занимаются размещением текста по странице так, как это делают браузеры, а обрабатывают текст по мере поступления.

Чтобы составить представление о том, как выглядит документ глазами робота, достаточно в браузере открыть HTML код документа. Или воспользоваться скриптом симулятора поисковой системы. http://www.delorie.com/web/ses.cgi. А очередной совет будет таким:

Совет ?5.
Не замусоривайте HTML код, особенно в начале документа, скриптами и излишними тегами.

(Окончание в следующем выпуске)

* * *

Вывод сайта на первые места в результатах поиска - задача, не имеющая однозначного правильного решения. Но решать ее необходимо. Это прекрасно понимают руководители фирм, наблюдающие, как стремительно уходят вперед освоившие Интернет конкуренты.

Давайте взглянем на особенности продвижения в поисковых системах.

• Некоторые методы являются опасными для работы поисковых систем и решительно пресекаются их модераторами. Исчерпывающего списка, что можно, а что нельзя использовать, не существует.
   
• Поисковые системы не раскрывают свои алгоритмы ранжирования, а также список значимых для ранжирования характеристик сайта и количественные отношения между ними. Кроме того, алгоритмы ранжирования регулярно изменяются, иногда очень сильно.
   
• Веб-мастера часто не умеют конкретизировать задачу продвижения - выделить нужные вопросы, определить, соответствует ли им предлагаемая на сайте информация, выбрать методы оптимизации, отследить и оценить результаты.

Поэтому от вопроса "что делать, чтобы мой сайт был хорошо виден в поисковых системах по нужным запросам" до реального плана мероприятий по продвижению расстояние довольно велико. И на этом пути веб-мастер сталкивается с десятками вопросов "а как", "можно ли", "что будет", "почему", "не повредит ли"...

В решении подобных задач наилучшие результаты дает метод экспертных оценок. Эксперт лучше понимает проблему по сравнению с неспециалистом, но в неоднозначных ситуациях разные эксперты могут расходиться во мнениях. Поэтому используется процедура независимой оценки проблемы разными экспертами и сведение результатов для выбора оптимального способа действий. Самый известный пример такого подхода - врачебный консилиум.

По такому же принципу построена и наша рассылка. В ее работе принимают участие эксперты, специализирующиеся во всех областях продвижения сайта - оптимизации для русских и англоязычных поисковых систем, продвижении в каталогах, при помощи корпоративных рассылок, баннерообмена, контекстной рекламы.

Подписчики могут присылать свои вопросы, касающиеся любых проблем использования сайта в бизнесе, его продвижения и рекламы. Каждый вопрос рассылается всем консуль-тантам, и их независимые ответы сводятся воедино. В рассылке публикуется наиболее подробный ответ, остальные выкладываются на сайт www.optimization.ru и доступны только подписчикам. Таким образом, подписчики имеют возможность не только решать свои проблемы, но и учиться на чужих ошибках, профессионально рассмотренных квалифицированными специалистами.

В каждом выпуске рассылки будет публиковаться авторская статья, подробно освещающая отдельно взятый вопрос продвижения - обзор, детальное руководство по использованию полезных сервисов, аналитическое исследование и др.

Рассылка предназначена для веб-мастеров и промоутеров корпоративных сайтов, Интернет-маркетологов, специалистов по рекламе, а также руководителей предприятий, активно использующих или собирающихся использовать Сеть в своем бизнесе.

Для первого презентационного выпуска мы попросили экспертов ответить на единственный вопрос: "Что можно посоветовать веб-мастеру, решившему продвигать свой сайт?" Итак, советы и пожелания.

---

Алексей ПОЛЯКОВ
Совет тому, кто только начинает - собирать информацию, копить знания. Читать - форум, статьи на сайтах - www.searchengines.ru, promosite.ru, be1.ru - материалы конференции 2002 года. Читать западные ресурсы, их очень много. Особое внимание начинающему стоит уделять изучению возможных ошибок и способов их устранения. Очень часто хороший во всех отношениях сайт не имеет сколько-нибудь значимых позиций в результатах поиска из-за одной досадной и легко исправимой ошибки. Обязательно надо изучать своих конкурентов, особенно тех, кто достиг успехов в оптимизации сайта. Больше учиться и общаться с другими оптимизаторами.

Алексей КАДЫРОВ
На вопрос, поставленный таким образом, у меня один ответ. Прочтите три статьи:
- Александра Садовского "Я мыслю, следовательно, раскручиваю" и его же "Стратегию продвижения сайтов"
- Бретта Табке "Успешный сайт для Google за 12 месяцев" в переводе Сергея Петренко.
А настоящий интерес, как для подписчиков, так и для ответчиков именно в конкретных технических вопросах. Задавайте!

Павел РЯЙККОНЕН
Первое, что нужно сделать вебмастеру, который решил заняться продвижением своего сайта в поисковых системах, - это не оптимизация title, meta тегов и прочего, нет. Нужно сесть, взять ручку, лист бумаги, спокойно подумать и ответить самому себе на пять простых вопросов.

1. О чем, на самом деле, мой сайт (только будьте честны перед собой) ?
2. Если бы вы искали сайт, похожий на ваш, какие запросы ввели бы в поисковые системы? Прочтите свой ответ на первый вопрос, половина ответа на второй кроется в нем.
3. Можно ли попасть с главной страницы на любую страницу вашего сайта, сделав только три клика мышью? Если нет, возьмите на заметку, что навигацию по сайту нужно пересмотреть.
4. Есть ли знаки "?", "&", "=" в URL ваших страниц? Если да, возьмите на заметку, что это может сыграть негативную роль при продвижении сайта в поисковых системах.
5. Достаточно ли на сайте текстовых материалов? Их может не хватать: а) если сайт выполнен на Flash; б) основная информация в виде графики, а также в) если на сайте всего несколько страниц. Подумайте, как увеличить объем текста, иначе поисковым роботам просто нечего будет индексировать.

Герман ОСТАШЕВСКИЙ
В большинстве случаев для успешного продвижения не обязательно залезать в дебри. Достаточно помнить о простых, элементарных вещах и это будет залогом успеха.

Совет первый. Приведите в порядок сайт. Посмотрите с точки зрения пользователя: присутствует ли чёткая логика в разбиении сайта на разделы. Особое внимание стоит обратить на использование flash и javascript. Поисковые системы их не индексируют, поэтому стоит обеспечить, чтобы навигация по сайту состояла из прямых ссылок.

Совет второй. Составьте список ключевых слов У каждого сайта есть своя область деятельности и соответственно ключевые слова, которые эту деятельность характеризуют и по которым пользователь должен находить сайт. При подборе следует обращать внимание на две вещи: популярность запроса и степень соответствия запроса сайту. Не стоить включать в список запросы с очень низкой популярностью, но не надо замахиваться на очень популярные, но не полностью целевые для сайта запросы. Допустим, если вы продаёте пиротехнические изделия, нужно включить запросы "фейерверки", "пиротехника", но отказаться от более популярного запроса "праздник".

Совет третий. Проверьте соответствие страниц сайта ключевым словам. После того как список ключевых слов составлен, нужно поставить в соответствие выбранные слова существующим страницам сайта. В идеале, желательно, чтобы для каждого из запросов на сайте существовала отдельная страница. Если страниц не достаточно, стоит задуматься о создании новых.

Совет четвертый. Обратите внимание на заголовки (тег