Новая рубрика рассылки - "Комментарии". В ней будут публиковаться отзывы специалистов поисковых систем о проблемах, которые поднимаются в рассылке. За что им большое человеческое спасибо! Сегодня ответ Максима Азарова из отдела качества поиска Google.

* * *

После статьи о "Приватизированном индексе" получил письмо.

А чем предлагаемый в Нейроне подход отличается от searchwiki имени Гугля? В Гугле тоже каждый человек под логином - эксперт и может тягать ссылки вверх-вниз. И проблема ровно та же - отличить полезных экспертов от остальных?

Отличия есть. Технические детали отложим на будущее, поговорим о принципиальном. Я на 99,999% уверен, что Google собирается оценку экспертов вести, что называется, втемную, то есть:

• не пытаясь организовать сообщество экспертов;
• не раскрывая методику оценки;
• не обсуждая проблем SearchWiki в открытом диалоге;
• не публикуя алгоритмов использования полученных с помощью SearchWiki данных.

Скрытность в вопросах, касающихся возможности влияния на выдачу, характерна для поисковых систем, и тому две причины. Первая общеизвестна, слишком много желающих воспользоваться такой информацией для спама. Вторая - имидж. Крупные компании, как правило, стараются избегать открытых обсуждений, где продукт, действия, точка зрения, намерения и иные составляющие имиджа брэнда могут быть показаны в невыгодном свете. А качество поиска - крайне острая спорная тема, здесь сталкиваются множество интересов, и до выработки какого-то общепринятого взгляда на вещи еще очень далеко. Поэтому представление о качестве поиска у каждого поисковика собственное, и детализация этих взглядов, похоже, такая же тайна, как и подробности работы алгоритмов ранжирования.

Обычная ситуация: от вопроса по обсуждению выдачи в ответ на какой-то конкретный запрос поисковики уходят с помощью аргумента, что им приходится отвечать на десятки миллионов запросов. И от вопроса по сравнению релевантности поиска Яндекса и Google вице-президент Google Марио Куэйрос ушел, аргументируя примерно так же.

Павел Власов-Мрдуляш: - Вы утверждаете, что Google предоставляет наиболее актуальный, быстрый и релевантный поиск на всех языках, используемых компанией. Однако в России, по данным экспертов "Ашманов и партнеры", это не так - "Яндекс" ищет по-русски не хуже, чем Google.

Марио Куэйрос: - Я уверен, что в соответствии с нашими представлениями о качестве Google предоставляет самый качественный русскоязычный поиск. У нас есть преимущество: мы можем оценить адекватность своих представлений о качестве поиска по работе Google в сотне стран...

То есть, вот откроет Яндекс поисковики в странах с языками Afrikaans, Albanian, Amharic, Arabic ... [skipped] ... Welsh, Xhosa, Yiddish, Yoruba, Zulu - тогда и поговорим о качестве русского поиска, а пока, вроде как, мы находимся на разных уровнях сознания.

В Нейроне все принципиально иначе - открыто:

• создать сообщество - нужно;
• методы оценки экспертов - не скрываются;
• проблемы - обсуждаются;
• как используется полученная от экспертов информация - популяризуется. Каждое действие эксперта изменяет поиск, поэтому эксперт должен точно знать, что и зачем он делает.

Достоинства такого подхода мы, надеюсь, увидим в будущем. А вот главный недостаток - прямо сейчас: в открытом диалоге о качестве поиска невозможно сохранить имидж непогрешимости. Процедура "отличия полезных экспертов от остальных" (см. выше) задевает интересы и чувства тех, кого "не отличили". Человеку, который не прошел ценз, часто бывает попросту обидно. Поэтому прошу простить, кому действия модератора показались и покажутся несправедливыми. И правила, о которых дальше пойдет речь, считать не догмой, а лишь бета-версией. Их не только можно - их нужно обсуждать, уточнять и улучшать.

Напоминаю адрес для писем:
subscribe@ashmanov.com с темой письма EXPERT_SEARCH.

В прошлом выпуске мы рассмотрели самый простой способ взаимодействия эксперта и поискового робота: эксперт указывает роботу, что именно нужно индексировать. Но большинство адресов, которые мы можем узнать с помощью экспертов, гораздо легче получить обычным способом, автоматически, по ссылкам с сайтов. В чем смысл ручной работы?

Очевидно, в отделении хороших страниц от плохих. Точнее, не в отделении, а в разметке, в маркировке хороших. Эксперт должен рекомендовать только те страницы, которые просмотрел и оценил. Поэтому сделанная экспертом закладка-рекомендация, фактически, является лично подписанным свидетельством: "Я, эксперт /имярек/, лично просмотрел страницу /URL/ и зуб даю ответственно заявляю, что она является хорошим ответом на запрос /текст запроса/."

Как использовать такую маркировку для поиска пока неважно. Важно - как определить, кому из экспертов можно доверять.

Примерно так, как делают в конкурсе "Фабрика звезд": дают спеть всем желающим и отбирают тех, у кого есть голос и слух, потом обучают. Вот статистика двухлетнего эксперимента по отбору талантов в деле аннотирования сайтов для поиска.

Нейрон как сервис закладок работает с 2006 года. В отличие от большинства закладочных сервисов поиск в Нейроне осуществляется только по закладкам пользователей, имеющих статус эксперта. Статус присваивается модератором по заявке, после проверки сделанных человеком записей. Для подачи заявки достаточно сформировать одну-единственную закладку. С 8.03.2007 по 11.02.2009 (почти два года) прирост количества зарегистрированных пользователей составил 713 человек, из них статус эксперта получили всего 26 (3,6%). Кандидатам в эксперты не предлагалось никаких правил, они действительно "пели" как хотели. А параллельно на основании их заявок и закладок формировались критерии оценки. Ведь каждая заявка на экспертный статус тоже является, своего рода, подписанным заявлением: "Я /ФИО/ считаю, что умею хорошо аннотировать ссылки, и все мои ответы должны быть доступны для свободного просмотра пользователями." То есть, из них должны быть сформированы результаты поиска, соответствия "запрос + аннотированная ссылка на сайт + информация на странице перехода".

В случае отказа модератор обязан в ответе на заявку указать причину. Ниже список причин и их распределение. Для коллекции было размечено 756 ответов, авторы которых не получили экспертный статус (первая цифра - количество ошибок данного типа в выборке, вторая - процент).

1. Использование запрещенных слов 217 \ 28,7 %
2. Повтор части заголовка в комментарии 201 \ 26,6 %
3. Орфографические и пунктуационные ошибки 192 \ 25,4 %
4. Коммерческое предложение в ответ на информационный запрос 143 \ 18,9 %
5. 'Плохой стиль' - неформализуемая ошибка 108 \ 14,3 %
6. Неестественный запрос 93 \ 12,3 %
7. Использование разрядки, прописных букв и иных способов выделения слов в запросах или аннотациях 91 \ 12,0 %
8. Заголовок, начинающийся со строчной буквы 87 \ 11,5 %
9. Комментарий, начинающийся со строчной буквы 81 \ 10,7 %
10. Несоответствие ответа смыслу запроса 79 \ 10,4 %
11. Обрыв заголовка и/или комментария на полуслове 66 \ 8,7 %
12. Тавтология 57 \ 7,5 %
13. Неверная адресация 44 \ 5,8 %
14. Рекламный стиль аннотации 42 \ 5,6 %
15. Малоинформативный ресурс 39 \ 5,2 %
16. Вопрос-ответный стиль аннотации 24 \ 3,2 %
17. Регистрация ответа на однотипные подсказки 12 \ 1,6 %
18. Использование повелительного наклонения 6 \ 0,8 %
19. Указание в ответе изменяемых количественных показателей (цен и др.) 4 \ 0,5 %
20. Нарушение авторских прав 1 \ 0,1 %

Навскидку список кажется иллюстрацией к русской нецензурной поговорке "До...ться и до столба можно". К сожалению, не удалось подобрать столь же удачного приличного сравнения. Чего стоит только пункт "Плохой стиль - неформализуемая ошибка", его можно применить к любому ответу. Но давайте посмотрим и посчитаем.

Вот ссылка на таблицу размеченных ответов с возможностью выбора по каждому типу ошибки - www.neiron.ru/help/badanswers4all.php. Хочется обратить ваше внимание на следующее.

• Размечено 756 ответов, но найдено 1578 ошибок, т.е., в среднем, в каждом забракованном ответе 2 ошибки.
• Большинство ошибок не связано с малопонятными пока "неформализуемыми" тонкостями оценки соответствия предложенной информации запросу. Это банальные орфографические и/или пунктуационные ошибки, неряшливость оформления и стремление использовать рекламные клише.
• Большинство заявок с ошибками состояли из одного ответа. В случаях, когда в заявке было несколько ответов, ошибки в них, как правило, были типичными, т.е. в разных ответах кандидат в эксперты делал примерно одни и те же ошибки.
• При регистрации в Нейроне пользователю предлагается заполнить небольшую анкету: имя, фамилия, город, дата рождения, e-mail. Почему-то у многих кандидатов в эксперты, получивших отказ, есть стремление к анонимности. Я в жизни не видел имен вроде "ляляля" и фамилий "фывафыв", а в анкетах экспертов-отказников их очень много. В большинстве анкет утвержденных экспертов фамилии и имена обычные, человеческие. Анкетные данные не являются причиной для отказа в статусе, но такая вот получилась закономерность.

А теперь представьте, уважаемый читатель, что вам предлагают построить хороший поиск, основываясь на рекомендациях плохо пишущего по-русски анонима, который дает ответы в стиле "все о", и это "все о" непременно "самое уникальное". Согласитесь?

Соединение всех пороков, конечно, преувеличение. Но для возникновения проблем с качеством достаточно позволить эксперту одну-единственную привычную ошибку. Кто лучше - эксперт, пишущий прекрасные аннотации, но ставящий ссылки на плохие страницы, или отлично линкующий, но безграмотный?.. Тем более, что у 3,6% кандидатов есть все необходимое для успешной работы. В таланты попали, видимо, люди, имеющие "врожденную" неприязнь к навязчивой рекламе и к ошибкам в тексте. Поисковые системы охотно берут таких людей редакторами серьезных каталогов; к грамотности и стилю большинства описаний сайтов, например, в Яндекс.Каталоге, претензий нет. Даже студия Артемия Лебедева представлена точно, лаконично и без рекламных изысков.

"Студия Артемия Лебедева" - дизайн-студия
Разработка, консалтинг и продвижение корпоративных веб-сайтов, выработка фирменного стиля, промышленный дизайн. Информация о применяемых технологиях. Портфолио.
www.artlebedev.ru

В отличие от традиционного каталога, в Нейроне экспертам нужно уметь описывать не только сайты, но и страницы. Это требует некоторых дополнительных навыков, хотя описывать страницы легче, чем сайты. Об этом мы поговорим через неделю.

* * *

Идея описания страниц - одна из древнейших и основных идей организации качественного сетевого поиска. Отравленные ядом "поисковой оптимизации", мы уже не помним, в чем истинный смысл наличия на веб-странице известных всем тегов - title, description и keywords... (Продолжение следует)

Вопрос
В статье "Парадоксы релевантности" описано достаточно распространенное явление, когда в выдаче по нечеткому запросу наверху предлагаются однотипные ссылки. Словно был введен другой, более точный запрос, например: рассказы = порнорассказы, инструктор = инструктор по вождению в Москве, непроходимость = кишечная непроходимость, оптимизация = услуги поисковой оптимизации и т.п. В итоге все ссылки в выдаче можно признать абсолютно релевантными, но качество подборки в целом оставляет желать лучшего.

Как Google относится к этому феномену? Оценивают ли специалисты по качеству поиска Google выдачу по запросу в целом, качество всей подборки, наряду с релевантностью каждой отдельно взятой ссылки?

Максим Азаров, Google
Google, безусловно, стремится к формированию выдачи, которая покрывает основные интерпретации запроса в первых 10 результатах. В некоторых случаях наличие большого количества высокорелевантных страниц по одной интерпретации перекашивает выдачу в пользу одной интерпретации. Иногда это происходит из-за оптимизации, а иногда просто отражает состояние Интернета на данный момент.

Чтобы бороться с такими трендами, независимо от их причины, наши специалисты по оценке качества используют для сравнения оценку всей выдачи как целого наряду с другими методами оценки. Это позволяет нашим инженерам видеть влияние их изменений в этой плоскости и держать курс на большее разнообразие выдачи.

Александр Евсеев: Считаю что запрос "металлодетекторы" в такой же степени коммерческий как и информационный. Часть людей, которые его вводит (возможно, большая часть) ищет металлодетектор для приобретения, вы считаете иначе?..

* * *

Николай Калашников: Продажа ссылок - это беда нашего времени. Но в чём её причины?

• Когда я в 1998 году сделал сайт о Праге, через какое-то время ко мне обратился автор сайта о замках Чехии, сказал, что ему понравился мой сайт, и он поставил ссылку на меня. Я посмотрел его сайт - он мне понравился, и я поставил ссылку на него. Один качественный ресурс ссылается на другой. Оба автора и все посетители довольны. А сегодня взаимные ссылки не учитываются. И если сайт А ставит ссылку на сайт Б - сайт Б уже не должен ссылаться на А. Я не могу сослаться на понравившийся мне сайт, если на нём есть ссылка на меня. Где логика?
• Автоматическое определение "автора сайта" и вынесение приговора "всем сайтам сразу" даст лишь временный эффект, и приведёт только к тому, что каждый домен будет регистрироваться на отдельное имя.
• Уповать на экспертов тоже не стоит. Ведь если я, к примеру, год честно бескорыстно даю объективные оценки - это не значит, что через год меня не соблазнят и не предложат деньги за "мягкое продвижение" сайта. А поскольку однозначно определить, что сайт А лучше, чем Б нельзя - начнётся эпоха "покупок экспертов".
• Все ругают поисковый спам, но ни один поисковик не помогает бороться с ним. Сервис жалоб упрятан так, что лишь веб-мастра знают, где его искать. Но раз вы заботитесь о простых пользователях - дайте им удобный инструмент: вынесите кнопку "пожаловаться" или "похвалить" на видное место.

* * *

Дмитрий Прокопенко: Я не понимаю, почему у вас возникли проблемы с отсечением порно и всякого типа блуда по запросу 'рассказы'. Ведь все эти писанины имеют внутри текста стандартный набор клише-фраз + описание фривольного содержания - ВСЕ. Делаем базу по этим клише и отсекаем совпадения из уже сделанного поиска и, поверьте, будет уже не 181 000 000 а гораздо меньше. Это мое мнение, инженера-разработчика, выпускника МГТУ им. Баумана.
P.S. Решить проблему поиска - НЕ проблема, вопрос весь только в ДЕНЬГАХ и КОМУ ЭТО НАДО!!!

Яндекс не одобряет "овощную клубничку"

Новая иллюстрация Максима Каткова (seopics.ru) - к статье "Приватизированный индекс"

"Научиться растить вкусные и полезные овощи очень актуально для каждого посетителя-огородника. Но вы, читатель, уверены, что овощеводам здесь же на этой странице, наряду с текстами брошюр о выгонке овощей, нужно предлагать "фото эротика"... "духи с феромонами в России"... и "досуг в г Ижевске"?..

Очень уж необычным должен быть огородник, чтобы суметь всем этим воспользоваться..." Посмотреть >>

Ищем заинтересованных людей.
Тема - создание системы экспертного поиска в Рунете.
Адрес редакции - subscribe@ashmanov.com
Пишите, ждем. См. подсказку "О чем можно и нужно писать в редакцию"

Подписаться на рассылку "Проблемы качества поиска" можно, отправив письмо с заголовком EXPERT_SEARCH_SUBSCRIBE на адрес subscribe@ashmanov.com.
Адрес для отписки - тот же.

Успехов Вам!

Выпуск подготовил Андрей Иванов
"Ашманов и Партнеры"