Заметки разработчика поисковых сервисов

Crawl-delay

Thu, 24 Jul 2008 15:52:28 GMT

Яндекс объявил о поддержке директивы Crawl-delay в файле ROBOTS.txt. Для совместимости со старыми роботами, не полностью следующими "стандарту", Crawl-delay рекомендуют размещать после директив User-Agent, Allow и Disallow. Не очень, правда, понятно о каком стандарте идет речь, потому как директива Crawl-delay не упоминается в стандарте.
Отметим, что среди поисковиков "большой американской тройки", Yahoo! поддерживает Crawl-delay с 2005 года, Live Search - с этой весны. Google не поддерживает Crawl-delay и полагается на собственный механизм уведомления через консоль вебмастера (webmaster tools).

Knol открыт для всех

Wed, 23 Jul 2008 19:23:20 GMT

Убийца Википедии Knol открыт для широкой публики.

Интересная ссылка на тему сложностей русского языка

Tue, 22 Jul 2008 17:05:07 GMT

Продолжая тему падежей, формально, отсутствующих в современной грамматике. Интересное и краткое описание этих "несуществующих" падежей дано здесь.

Компания Google жалуется на сложности русского языка

Tue, 22 Jul 2008 03:07:41 GMT

"Or take Russian, where words change depending on their placement and role in a sentence. In Russian, for example [pizza in Moscow] is [пицца в Москве] but [pizza near Moscow] is [пицца рядом с Москвой]."
Русский язык, конечно, сложная штука. Возможно, что даже самый сложный из языков, на котором говорят больше 100 миллионов человек. Но есть немало языков вполне сравнимых с русским по сложности. Вспомним, для разминки польский с украинским. А как насчет агглютинативных языков? Вам кажется, что шесть падежей - это много? Попробуйте освоить и проиндексировать текст на венгерском языке, про который говорят, что в нем около 20 падежей!

Отдельной строкой про двусмысленности

Mon, 21 Jul 2008 18:43:51 GMT

"Российский интернет – изменение ландшафта Сегодня Рамблер и Google анонсировали соглашение – Google становится поиском на www.rambler.ru и покупает у Рамблера систему размещения контекстной рекламы Бегун."
Разбор полетов показал, что, несмотря на возможную правдивость данного утверждения, требуется некоторая фантазия для правильного понимания записи в блоге Яндекса. Не нужно ее понимать буквально: то есть, конечно же, ни Рамблер ни Гугл ничего такого не анонсировали, и вряд ли бы анонсировали в здравом уме и твердой памяти. Однако, есть данные, что поиск Рамблера, скорее всего, останется только в виде отдельных "вертикалей". Эту информацию частично подтверждает и обтекаемое высказывание Морейниса, что ".. собственный поиск "Рамблера" не исчезнет, работа над вертикалями будет вестись и дальше и поисковая машина Google не заменит полностью поиск "Рамблера".". // Роем

Яндекс освоил жанр "выхлопа"

Mon, 21 Jul 2008 15:12:18 GMT

"Российский интернет – изменение ландшафта Сегодня Рамблер и Google анонсировали соглашение – Google становится поиском на www.rambler.ru и покупает у Рамблера систему размещения контекстной рекламы Бегун. Таким образом исчезает старейшая поисковая система Рунета – Рамблер, и меняется ландшафт российского интернета. Естественно, Яндекс получил много запросов на комментарии этой сделки, и поэтому мы решили ответить всем сразу."
Любопытно, а команда Яндекса собирается эту ошибку исправлять, или будет продолжать транслировать в эфир голоса, звучащие в голове ее пеар-менеджмента?
Разбор полетов показал, что, несмотря на возможную правдивость данного утверждения, требуется некоторая фантазия для правильного понимания записи в блоге Яндекса. Не нужно ее понимать буквально: то есть, конечно же, ни Рамблер ни Гугл ничего такого не анонсировали, но поиск Рамблера, скорее всего, останется только в виде отдельных "вертикалей".
Эту информацию частично подтверждает и обтекаемое высказывание Морейниса, что ".. собственный поиск "Рамблера" не исчезнет, работа над вертикалями будет вестись и дальше и поисковая машина Google не заменит полностью поиск "Рамблера".". // Роем

Google + Rambler >> Yandex

Fri, 18 Jul 2008 16:53:23 GMT

«Компания Google объявила о покупке системы контекстной рекламы "Бегун" у "Рамблера" за 140 миллионов долларов...
Ранее считалось, что "Рамблеру" принадлежит только 50% плюс одна акция в "Бегуне", однако в беседе с редакцией Roem.ru, Владимир Долгов, генеральный директор Google Russia, заявил, что "Бегун", конечно, был приобретен полностью, а вопрос о том, как у "Рамблера" оказалось 100 процентов "Бегуна" лучше задать "Рамблеру"...
Одновременно с этим "Рамблер" объявил о том, что на его поиске будут размещены рекламные блоки AdSense вместе с вместе с объявлениями "Бегуна"»
Маленький комментарий: Согласно пресс-релизу, Рамблер сначала выкупит оставшуюся долю Бегуна, а затем продаст Бегун целиком Google. В итоге, Рамблер "наваривает" 70 млн грязными и, после выплат всех издержек, связанных с продажей, 50 млн.
Небольшое дополнение к комментарию: поиск Рамблера расширяется за счет поиска Google, а те горе-пирайтеры, которые написали, что поиск Google замещает поиск Рамблера будут гореть в аду. Я не исключаю, что в будущем так и произойдет, но пока я верю в пресс-релизы и мировой разум.
// Говорит и показывает Roem.ru
// Официальные релизы: Продажа Бегуна, соглашение о показе AdSense

Несомненно одно, старик Рамблер настолько сдал позиции, что был рад слиться с Google. Как остроумно замечено в комментариях Алексем Тутубалиным: "... 7 лет назад шла речь о том, чтобы закрыть свой поиск, поставить Google и платить гуглу. А сейчас - закрыть свой поиск, поставить Google, получать за это деньги. Вот что контекст животворящий делает."
Серийный предприниматель Игорь Ашманов в очередной раз потерял надежду на воскрешение Рамблера: "У меня лично год назад появилась надежда, что наконец энергичный Морейнис там всё как-то поправит, но тут что-то эта надежда рушится. Может быть, инвесторы дали менеджменту какой-то срок для прекращения падения и он уже вышел, может быть, вообще уже поставили на Рамблере как поисковике крест и сделку обсуждали независимо от усилий менеджеров."
PS: Пойду напишу открытку господину Долгову с текстом: from Washington with admirations. Целый ~~Рамблер~~ "Бегун" и всего за 140 лимонов!

Учиться, учиться и еще раз учиться, как завещал Великий Гугл

Wed, 16 Jul 2008 19:40:58 GMT

"One of the biggest problems in the sales org is that Google hires the best and brightest -- from the Ivies and other name-brand schools -- and gives them a job to do that high school graduates alone could perform."
Цитата с Glassdoor

Существует некоторое противоречие между тем, что компания хочет видеть в своих рядах самых лучших людей, которые по большей части решают рутинные задачи. Очевидно, пиарщики компании Google решили попытаться сгладить его утверждением, что мы ищем людей, умеющих решать нетривиальные задачи, умение справляться с рутиной предполагается само-собой разумеющимся! Не могу удержаться, чтобы не возразить Джонатану Розенбергу. Дорогой Джонатан и рекрутеры компании Google: это совершенно разные навыки. История кишмя-кишит примерами, когда яркие личности легко решали зведные задачи, но бесславно гибли в пучинах рутины. Подумайте, целесообразен ли подобный перерасход человеческого материала? Крутым перцам, нужны высокие склоны, а не равнины, на которых изредка встречаются холмы.

Справедливости ради, стоит отметить, что основной посыл записи в блоге несколько иной: компании требуются люди с отличным аналитическим мышлением, умением работать в команде, желанием экспериментировать и вести за собой людей. И самое главное, эти люди должны учиться, учиться и еще раз учиться! Всю жизнь.

Поиск Google по коду показывает структуру кода

Wed, 16 Jul 2008 19:23:56 GMT

Замечено это было больше месяца назад. ~~Объявлено только сейчас, и почему-то только в русском блоге.~~ Объявлено недавно.

Google начал использовать технологию распознавания речи для индексирования видео

Tue, 15 Jul 2008 15:00:35 GMT

Мы, точнее они, долго шли и наконец-то пришли: запущен экспериментальный поиск по видео с политической тематикой, который использует технологии распознавания речи.

Попробовать поиск, можно установив специальный гаджет на персонализированную страницу Google. (не знаю существует ли он в десктопной версии)
Google не обещает идеальной точности распознавания, но вряд ли кто-либо ожидает стопроцентную точность.Как я уже писал ранее, в распоряжении компании очень неплохие технологии распознавания, будем надеяться, что эксперименты с выборным-гаджетом помогут сделать их еще лучше.
Стоит отметить, что индексируется не только текст, полученный в процессе распознавания речи, но и текстовые метаданные, включая заголовок. В лучших традициях^[1], Google аннотирует (формирует сниппет) результаты поиска: выделяет найденные слова в заголовке и помечает желтым цветом временные интервалы, в которых обнаружены слова запроса. Это очень удобно и позволяет оценить точность распознавания.
PS: Это один из тех редких моментов, когда я думаю, что мне хотелось бы работать в такой компании, как Google. Все остальное время я думаю, что это не самая лучшая идея.

Напомню, что одним из новшеств Google в далеком 1998 году стали аннотация результатов поиска, так называемые сниппеты. В отличие от Google, большинство поисковых машин того времени не умели строить аннотации и отображали первые несколько строк документа, чтоб было не слишком удобно.

Хотите приятно провести время на работе, спросите меня как?

Fri, 11 Jul 2008 17:49:51 GMT

Пошаговая инструкция по приятному времяпрепровождению для разрабочиков Си++.

1. Разработайте некий API;
2. Придумайте причину, чтобы выпустить новую версию API, например мнопоточную, сохранив интерфейс;
3. Отвернитесь на пять минут, чтобы пользователь мог использовать библиотеки бесконтрольно;
4. Поздравляю, Вы выиграли несколько часов бесплатной отладки: рано или поздно пользователь подключит хедера одной библиотеки, а слинкуется с другой. Как грится, хеппи дебаггинг, валгриндинг и волосвыдиралдинг.

Супепроницательность мистера Адсенса

Thu, 10 Jul 2008 16:52:57 GMT

Не, пацаны в натуре я прусь с проницательности AdSense, ну откуда он все знает? Вот Паша Завьялов, экс-менеджер Яндекс-почты, написал письмо в Яндекс-поддержку. А Google, не будь дурак, возьми да и предложи ему пойти поработать в Яндекс. Ну откуда он знал, что оттуда недавно поперли менеджера Яндекс-почты? :-)

Общественный транспорт Москвы и Подмосковья на картах Гугл

Thu, 10 Jul 2008 15:55:31 GMT

Даже и не верится, что они это сделали.

Second Lively

Tue, 08 Jul 2008 23:54:12 GMT

Любовь основателей к Second Life не прошла даром! Google запустил аналог, якобы более интегрированный в реальную жизнь. Неплохое описание можно почитать здесь.

Google открыл исходники собственного аналога ASN

Tue, 08 Jul 2008 14:51:45 GMT

Google открыл исходники собственного аналога ASN. Основная мотивация использования Google Protocol Buffers: XML и прочие текстовые методы хранения-передачи структурированной информации неэффективны.

Скандальчик на Дерибасовской

Mon, 07 Jul 2008 16:06:38 GMT

Фу, какое, однако, это все говно. Даже обсуждать не хочется. Из комментариев:
1) Пост уволенного менеджера:
"Если жизнь и рассудок дороги вам, НИКОГДА, Н И К О Г Д А не заказывайте никаких работ у студии Лебедева..."
2) Цитата Темы, предположительно про Яндекс:
"Сложно так сходу описать, что Лола имеет в виду под словом "конь", но я ее хорошо понимаю. Нужен не ассистент, а именно менеджер. Эту девочку должен полюбить один наш крупный клиент, при этом нужно уметь не давать им себя облапошить - уж они еще те барыги и пытаются пролезть на халяву."

Владелец Mail.ru и поисковой машины Gogo планирует инвестировать в поисковик Nigma.ru

Thu, 03 Jul 2008 19:29:12 GMT

В Коммерсанте опубликовали небезынтересную статью с нерелевантным названием. Каким-то чудесным образом автор статьи напрочь забыл (или сдеал вид, что забыл) про собственную разработку Мейлу.ру, поисковик Gogo.
Если разработка поисковика Gogo обошлась в 700 тысяч долларов, то в Nigma, как увтерждает В. Лавренко, собираются инвестировать несколько миллионов. Эти деньги планируется потратить на разработку так называемого "семантического поиска" и рекламу поисковика.
Краткая сводка с фронтов: согласно данным Ли.ру рыночная доля Nigma растет медленно, но верно. Сейчас поисковиком пользуется примернь 0.5% аудитории Рунета, что в два раза больше аудитории Gogo.
// Источник

Яндекс-новости

Thu, 03 Jul 2008 14:43:05 GMT

1) Яндекс-видео, которое начало существование в качестве "примочки" для Я-рушечки, получило путевку в жизнь и стало самостоятельным сервисом.
2) Яндекс проводит собственный Developers Day, в офисе на Самокатной. Участники будут программировать на ~~банджо~~ Джанго. Называется Джанго-Спринт.
UPDATE
А еще Яндекс запустил бета-версию новых карт. Много новых спутниковых фотографий (всего шарика) и довольно подробная карта всей России. При этом, правда, разрешение спутниковых фотографий оставляет желать лучшего.

Теперь я снова столичный житель

Wed, 02 Jul 2008 04:38:46 GMT

С первого июля официально. На десерт: этюд на тему надежности страховых компаний.

PS: У Nationwide есть много задорных рекламных роликов, в конце которых всегда поют: Nationwide is on your side!

Продажа Powerset

Tue, 01 Jul 2008 19:54:41 GMT

Слухи о покупке Powerset подтвердились. Microsoft и Powerset подписали соглашение о покупке, сумма сделки не разглашается, хотя и циркулируют слухи, что она составляет порядка 100 млн долларов. Представители компании Microsoft рассказали в блоге, что покупают они не столько технологию, сколько команду талантливых разработчиков и лингвистов.
// Источник

Конец pay-per-action и начало партнерской сети Google

Tue, 01 Jul 2008 19:03:20 GMT

In-house система pay per action будет отправлена на пенсию до конца августа. Вместо нее Google запускает собственную партнерскую сеть Google Affiliate Network, которая работает по принципу pay-per-acquisition. Партнерская сеть Google – это бывший Performics Affiliate Network, купленный вместе с DoubleClick.
PS: Pay-per-acquisition - это частный случай pay-per-action, когда действием является покупка.

Google опубликовал свой внутренний C++ code guide

Mon, 30 Jun 2008 15:29:05 GMT

Мельком проглядел C++ code guide компании Google. Мама дорогая, они тоже запрещают исключения!
Пожалуйста, вот еще одно доказательство того, что Google и Яндекс похоже друг на друга гораздо больше, чем, возможно, даже думают их создатели. В Яндексе одно время тоже пытались бороться с исключениями, но потом, о чудо, перестали. Но в старых версиях базовых библиотек еще долго время оставались, мышеловки для исключений:


#define try if (1)
#define catch ... // какая-то фигня не помню, какая, но компиляция не проходила

Помнится, я долго ломал голову, почему у меня не компилируются исходники, пока bacek не поведал мне сакральное знание^TM
PS: С бустом в Google тоже борются, хорошо еще, что не с STL.
// источник

Неновости про Яндекс-поиск

Fri, 27 Jun 2008 16:59:43 GMT

«В последнее время новости из "Яндекса" все меньше связаны с поиском. Но мы-то знаем, что процессы идут, люди работают. Просто не все видят глобальный план. Придется нам опять рассказывать за них. Как и в прошлых выхлопах, история вымышленная, но ссылки настоящие.»
Новый вклад в глобальное потепление веба
PS: кстати многие американцы действительно произносят google, как нечто похожее на гагл, а, например, book, как нечто более похоже на бак. Это особенность произношения "короткого звука у", который бывает практически неогубленным.
PPS: А новости Яндекс-поиска изредка случаются и публикуются в отдельном блоге, например, вот эта. Видел давно, но было лень комментировать :-)

Buy Buy Powerset!

Fri, 27 Jun 2008 15:21:42 GMT

        К нам недавно приходил добрый Майкрософтофил,
        Много мини-поискушек он в     кармане приносил.
                            Народное Творчество
Спасибо sub0zero за наводку: ходят слухи, что Майкрософт собирается купить стартап PowerSet, семантический поисковый движок за 100 млн. Официальных заявлений пока не сделано, а пресс-службы компании Майкрософт отказалась давать комментарий по поводу возможного приобретения.
Как я уже писал ранее меня не впечатлило качество семантического поиска, но я, возможно, субъективен. Возможно, что PowerSet действительно реализовал уникальную технологию. Но также не исключено, что ужас-ужас, там все сделано на регулярных выражениях.
PS: Вроде сейчас выглядит лучше, возможно, что часть моих впечатлений осталось со времен, когда я тестировал их закрытую бету.

История двух переполнений

Wed, 25 Jun 2008 20:32:34 GMT

1) В базе данных то ли нуклеотидных, то ли белковых последовательностей количество терминов перевалило за те самые, программистские, два миллиарда. В результате, следующий код порождал отрицательные значения для Index:
Uint4 Qty = GetQty();
Int4 Index = Qty - 1;
2) Кроме того, всплыла всемирно известная ошибка в реализации бинарного поиска. Что самое прикольное, я ее давно обнаружил, но не подумал пофиксить. Кто же знал, что у нас есть такие гигантские словари?