LookSmart представила распределенный веб-поиск и намерена конкурировать с Google
Компания LookSmart, специализирующаяся на поисковых веб-технологиях, на прошлой неделе запустила проект распределенного поиска Grub. Все желающие участвовать могут скачать скринсейвер, который пользуется незатребованными ресурсами компьютера и индексирует веб-страницы. За неделю количество участников выросло с примерно сотни до тысячи с лишним; количество проиндексированных страниц составило 26 миллионов. Руководство LookSmart убеждено, что со временем число участников распределенной сети вырастет настолько, что ежедневное индексирование всего веба целиком станет вполне осуществимой задачей. По расчетам компании, достижение этой цели потребует нескольких месяцев.
Проект Grub был создан Кордом Кэмпбеллом уже более трех лет назад. Компания LookSmart купила Grub в январе 2003 года. По утверждению Looksmart, проект успешнее с точки зрения скорости и эффективности, нежели централизованные поисковые системы. Поскольку проект построен на энтузиазме добровольцев, Looksmart планирует открывать пользователям максимум данных. Со временем в пользовательский скринсейвер будут добавлены более изощренные возможности: к примеру, анализ найденных документов с целью определения их релевантности.
По мнению экспертов, в проекте со временем могут обнаружиться значимые недостатки. К примеру, редактор бюллетеня Search Engine Watch Дэнни Салливан видит одну опасную возможность: теоретически систему можно взломать с тем, чтобы рекламировать и продвигать определенные результаты поиска.
По мнению технического директора LookSmart Андре Стехерта, одна из основных проблем эффективного поиска - обеспечить большие мощности для индексирования веба. Впрочем, представители Google, а также независимые эксперты, признавая актуальность и оригинальность подхода LookSmart, возражают: на данном этапе проблема не столько собственно в индексировании, сколько в ранжировании результатов поиска и вычисления наиболее релеватных ответов на поисковые запросы.
Дословно
Дэнни Салливан
О проекте Grub:
Я больше доверяю компаниям, которые контролируют свой поиск и индексирование, нежели такой схеме, при которой люди сами предоставляют данные.
Wired News, 17.04.2003
Андре Стехерт
О проекте Grub:
Переход от десятком тысяч компьютеров к сотням тысяч фундаментально изменит природу поиска. А перейдя на миллионы машин, мы уже будем задаваться вопросом, куда девать все эти мощности.
Wired News, 17.04.2003
Питер Норвиг
О проекте Grub:
Мне не требуется больше компьютеров или канал потолще. Мне нужно понять, на какую страницу смотреть сначала, на какую - потом. Проблема в ранжировании нужных страниц. Не думаю, что распределенная архитектура эту проблему решит. Для нас проблема в том, куда направлять спайдера, а не в наличии ресурсов, чтобы его куда-нибудь отправить.
Wired News, 17.04.2003