В статье "Технологии в основе алгоритма ранжирования Google" прочел забавную фразу: "Смысл поиска за последнее десятилетие сместился с требования "дайте мне то, что я сказал" к "дайте мне то, что мне нужно..." Забавную, потому что еще слишком хорошо помню слоган Яндекса времен даваниятогочегосказал: "Поиск - это искусство". Текст этот до сих пор можно найти в Сети.

Как известно, в хорошем вопросе содержится половина ответа. Мы считаем, что искать и находить нужное в ворохе текстов в Интернете - умение не только поисковой системы, но и пользователя, задающего запрос.

Вообще-то абсолютно верная мысль - часть ответственности за результат лежит на пользователе. Даже в условиях современной интерпретации смысла поиска вряд ли можно ожидать, что искусственный интеллект разовьется до коммунистического идеала удовлетворения пользователей и обеспечит поиск по принципу "дайте мне то, что мне нужно, несмотря на то, что я не знаю, как это спросить". Помните, надеюсь, как люди должны были жить и работать при коммунизме: от каждого - по способностям, каждому - по потребностям. Хотя Google и заявляет:

Мы работаем над пониманием намерений пользователей для того, чтобы показывать им именно ту информацию, которую они хотят увидеть, а не только то, что они написали в поисковом запросе.

Получается, если раньше в ответ на запрос пользователь получал что-то не то, это можно было объяснить недостаточным овладением им искусством поиска. Теперь, видимо, недопониманием пользователем своих собственных желаний. Зато успех легко и приятно отнести к доказательству мощи искусственно интеллектуальных поисковых технологий.

В отношения "нужно" и "сказал", "хотят" и "написали" искусственный интеллект вмешивается пока, что называется, по мелочам - исправляет gkfcnbrjdst jryf на пластиковые окна, финомен на феномен, распознает аббревиатуры. И, как сказано в упомянутой статье, даже может верно интерпретировать сокращения в словосочетаниях, по крайней мере, не путать докторов с дорогами. Это большие достижения! Я даже возьмусь предсказать, что будет объявлено следующей большой победой ИИ в поиске - скорее всего, ввод в действие геотаргетированной выдачи. И мне, наконец-то, в ответ на запрос, например, мебель, покажут не набор ссылок на московские магазины и статью "Мебель" из Википедии, а ту же статью из Википедии и набор ссылок на родные - казанские - магазины и фабрики. Ну, и т.п. для любого города: каждому - Википедию в качестве информационной составляющей ответа плюс местные торговые точки. Москвичей, наверное, таргетируют с точностью до района. :0)

Но представление о возможности распознавания некоего истинного, оторванного от текста запроса смысла - мифологично. Ответственность за результат честно делится пополам между пользователем и поисковой системой: пользователь должен показать себя человеком, умеющим выражать свои мысли, поисковик - адекватным партнером. Это означает, показывать максимум соответствующей запросу разной информации, а не пытаться играть в угадайку истинного желания в ситуациях, где их может быть несколько. Чем длиннее запрос, тем меньше надо "распознавать смысл", тем меньше возможных предложений в выдаче, тем важнее точность каждой ссылки. Чем короче запрос, тем больше количество возможных смысловых интерпретаций, тем важнее смысловая структура (рубрикатор) ответа.

При таком взгляде на вещи и у пользователей появится смысл формулировать запросы так, чтобы их сложно было понять неправильно. Это логичнее и позитивнее, чем представлять банальную операцию искусством или надеяться на поисковик в стиле "хочешь жни, а хочешь куй - все равно получишь именно то, что ты хотел".

Для обеспечения адекватности поисковым машинам в будущем придется решать не только простые задачи по автоисправлению ошибок набора, но и целый ряд по-настоящему смысловых проблем. Одну из них мы сегодня и обсудим, это известная всем проблема коммерческого и некоммерческого.

* * *

В прошлом выпуске обещал экспертам Нейрона "кнопку в браузере" для удобства создания закладок. Вот она:

• плагин для FireFox 3 (файл neironv1.3_fixed.xpi)
• плагин для IE (файл NeironExpertIE.exe)

После установки выглядит так:

Как пользоваться, подробно не расписываю; находясь на странице, которую хотите добавить в закладки и проиндексировать, нажать, дальше все очевидно.

Выглядит эта проблема так: результаты поиска по большинству популярных информационных запросов в случаях, когда формулировка совпадает с названием какого-нибудь товара или услуги, представляют собой набор ссылок на сайты с однотипными коммерческими предложениями. Примеры:

• окна в Яндексе и окна в Google - выдача на большую глубину состоит из ссылок на главные страницы компаний, предлагающих купить пластиковые окна;
• инструктор в Google и инструктор в Яндексе - это выдача не на запрос "инструктор", а, фактически, на запрос "инструктор по вождению в Москве";
• цветы в Яндексе и цветы в Google - 80% выдачи представляет собой ответ на запрос "доставка цветов". Не так давно было 100%.

И т.п. На последнем примере видно, что разработчики поисковых систем хорошо знакомы с явлением коммерциализации выдачи по нечетким запросам и даже пытаются что-то предпринимать. Например, gogo.ru (поисковик компании Mail.Ru) предлагает явное разделение, пользователь имеет возможность выбора между "всеми" результатами, "коммерческими" и "информационными". На поверку, см. тот же запрос - окна, Тор10 категории "Все" девятью ссылками совпадает с Тор10 "коммерческой" подборки. А вот набор ссылок на "информационные" ресурсы отличается. Прокомментирую каждую позицию.

1. Независимый информационный портал о Востоке "Окно в Азию" - несоответствие ответа смыслу запроса. Это не про "окна", это про Азию.
2. Окно - Википедия - ОК.
3. Пластиковые окна и все о них - в 99% случаев за фразу "все о" можно банить, не глядя. Этот сайт исключением не является.
4. Корпорация ВСЕКАН предлагает: ОКНА и ДВЕРИ из итальянского профиля - это "информационное" предложение?
5. Выбираем пластиковые окна - статья Владимира Печерского с хедером в виде блока рекламы от Гугла и футером в виде блока рекламы от Яндекса, в обрамлении "Рецепта приготовления блинов", "Все об УЗИ во время беременности", южнокорейских генетиков, которые клонировали турецких кошек и др. не менее познавательных и актуальных статей.
6. Оконный супермаркет. Окна ПВХ. Изготовление и установка современных... - очень "информационно".
7. Мозаика окон, дверей и фонарей - Подвижной состав - Метро не... - статья неизвестного автора об экстерьере вагонов метрополитена.
8. Густав Майринк. Ангел западного окна - битая ссылка на "заимствованный" из библиотеки Мошкова текст. Все абзацы слиты в один.
9. Рассада на окне - статья Галины Коровиной на белорусском сайте с названием "Salon.by - мебель. Иллюстрированный каталог мебели от 37 продавцов".
10. http://www.demetra.ru - главная страница сайта группы компаний из Иркутска, среди продукции есть пластиковые и алюминиевые окна.

Сравнение "всекоммерческой" выдачи с "информационной" явно не в пользу последней. В первом случае все четко и ясно - вот вам профессионально сделанные продающие сайты крупных, в основном, московских компаний. Во втором, простите, черт-те что. Но первая выдача на деле представляет собой ответ не на запрос "окна", а на запрос "пластиковые окна в Москве".

Читатели рассылки не новички в деле продвижения сайтов, поэтому я воздержусь от объяснений "почему так", все это и без объяснений отлично знают. Но задам несколько вопросов.

• Является ли запрос "окна" синонимом запроса "пластиковые окна в Москве"?
• Должна ли выдача в ответ на запрос "окна" быть неотличимой от выдачи по запросу "пластиковые окна в Москве"?
• Все ли пользователи, сделавшие запрос "окна", живут в Москве и собираются покупать пластиковые окна?
• Все ли пользователи, сделавшие запрос "окна", собираются покупать окна?

Вопросы риторические, и если вы четыре раза ответили "нет", вот следующая порция.

• Должна ли в выдаче по запросу "окна" на первой странице быть информация о деревянных окнах?
• Об алюминиевых?
• О пластиковых?
• О металлопластиковых?
• О деревоалюминиевых?
• Об окнах в архитектуре?
• Об окнах в дизайне интерьера?
• О крупных производителях окон?
• О технологиях производства окон?
• О приемах самостоятельной установки окон?
• О передаче Дмитрия Нагиева "Окна"
• О ресторане "Окна" в Москве, на 2-й Тверской-Ямской
• О кафе "Окна" в Чебоксарах?
• О повести Евы Колгановой "Окна"?
• О программных окнах (например, Windows)?

Это уже вопросы не риторические. Ссылок на первой странице всего десять, а здесь перечислено пятнадцать возможных тем, и список, явно, неполон. Причем, даже не рассматривались темы, где слово "окна" использовано в единственном числе (например, два одноименных рассказа "Окно" - Боба Лемана и Нины Катерли, стихотворение Полежаева "Окно" и др.) или входит в известное словосочетание (например "Окна РОСТА" и т.п.). При таких допусках счет возможных разных тем в выдаче пойдет на сотни. А ведь морфоразбор считается безусловным достоинством современных поисковых машин, и по многим запросам выдача добирается именно за счет падежей, ед. и мн. чисел и словосочетаний с ключевыми словами.

Ответим еще на один вопрос.

• Есть ли среди пользователей, сделавших запрос "окна", жители Москвы в поисках продавца?

Безусловно, есть. И компании, "разместившие" с помощью SEO-технологий свои сайты в Тор10 выдачи Яндекса, Google, Gogo по этому запросу, регулярно получают клиентов. Что является прекрасным обоснованием целесообразности их дальнейших усилий в этом направлении. Но вот является ли это основанием для разработчиков поиска показывать пользователям такую "монолитную" выдачу в ущерб возможной политематической - это вопрос, на который у меня нет ответа. А у вас, читатель?

P.S.

Вопрос организации политематической выдачи - очень большой вопрос. Для его успешного решения важно одно принципиальное положение: в выдаче по информационным запросам не должно быть ссылок на коммерческие предложения. "Окна", "двери", "ремонт квартир", "строительство", "дизайн", "цветы" и т.п. - это именно информационные запросы.

Это гипотеза. Обсудить ее можно на форуме, в теме "Коммерческое и Некоммерческое".

О формулах и критериях

"Упорядочивание результатов, как часть процесса индексирования и поиска, происходит полностью автоматически в соответствии с установленными критериями релевантности."

Большинство прочитавших этот текст слова об установленных критериях почему-то понимают как "в соответствии с формулой расчета релевантности", хотя речь здесь идет о совершенно разных вещах. Необходимо разобраться, чем формула отличается от критериев." Посмотреть >>

Ищем заинтересованных людей.
Тема - создание системы экспертного поиска в Рунете.
Адрес редакции - subscribe@ashmanov.com
Пишите, ждем. См. подсказку "О чем можно и нужно писать в редакцию"

Подписаться на рассылку "Проблемы качества поиска" можно, отправив письмо с заголовком EXPERT_SEARCH_SUBSCRIBE на адрес subscribe@ashmanov.com.
Адрес для отписки - тот же.

Успехов Вам!

Выпуск подготовил Андрей Иванов
"Ашманов и Партнеры"