ShopMaster's Blog о вэб-шопах

Владелец магазина должен предоставить посетителям сайта достоверную и возможно полную информацию о продаваемых товарах.

Это в интересах как покупателей, так и владельца магазина - чем больше он даст информации о товаре, и чем больше дополнительных изображений товара предоставит, тем тщательнее посетитель проработает эти страницы именно на этом сайте, и, скорее всего, сделает свой выбор именно на этом сайте, а не у конкурентов.

Кроме того, это ещё и вопрос юридический - продавец ОБЯЗАН предоставить покупателю информацию о товаре, и эта информация должна быть полной и достоверной.

При наполнении магазина очень часто встаёт вопрос, где взять информацию, особенно описания товара.

Поставщики часто не могут предоставить адекватную информацию - либо сами ей не располагают, либо испытывают трудности при выводе её из своих баз данных, либо тривиально не хотят делиться.

Поэтому наиболее надёжный способ - взять процесс в свои руки, засучить рукава, и добыть нужную информацию самостоятельно.

Где? Конечно же в Интернете. На сайтах производителей, в общих каталогах, у конкурентов в конце концов (а зачастую - в первую очередь :) ).

Для того, чтобы эффективно добыть контент с Веб-сайтов, используются так называемые "Грабберы" - это класс программ, которые по определённым правилам, заданным админом, производят поиск информации на сайтах в Интернете, и сохраняют результаты своей работы в файлы (например, в базу данных, или экселевскую таблицу в формате csv).

Грабберы бывают как серверные (в основном сегодня такие грабберы используются для "снятия" новостного контента с последующим размещением в собственных блогах; за последнее отвечают так называемые парсеры, которые работают либо в паре с грабберами, либо самостоятельно), так и windows-программы, работающие на пользовательских десктопах.

Преимущества есть как у тех, так и у других, и каждый здесь выбирает то, что ему больше подходит.

Так, серверные грабберы могут работать гораздо быстрее, сохранять добытую информацию сразу на сервере, передавать её тут же в парсеры, которые самостоятельно "распихают" её куда надо.

Однако, они способны накачать такое количество трафика, что потом с провайдером не расплатишься, и нагрузить сервер по самое небалуйся. Также обрабатывать результаты придётся на сервере, либо скачивать с сервера файлы для обработки в локале.

В этом плане windows-программы дают больше возможностей манипулировать с полученной информацией, а также оперативно корректировать настройки программы при необходимости. В случае применения таких локальных грабберов результаты обычно экспортируются в эксель (мы же говорим о магазинах, и подготовке контента именно для них!), где производится необходимая обработка информации (переставление колонок, изменение цен, и пр.), и полученный в результате файл импортируется в магазин.

Вот и все общие положения по грабберам. Дальше будут расматриваться отдельные решения.

Возможно, стоит ещё назвать несколько программ, если кто будет искать их в И-нете.

Среди серверных решений можно посмотреть: NewsTrack, NewsGrabber, Портатор.

Среди windows-приложений: Web Content Extractor, Web Sundew, Web Content Creator.

В дальнейшем я дополню этот список, пока можно начать с этих.

Всем приятного граббинга! :)

 

Одним из самых простых в работе и эффективных windows-грабберов является программа под названием Web Content Extractor компании Newprosoft (здесь их официальная страница).

На момент написания последняя версия программы - 3.1.

В этой первой статье по Web Content Extractor  я приведу просто описание производителя, поскольку программа на английском, и всё описание тоже, что не всегда удобно российским шопмастерам.

Итак, знакомьтесь: Web Content Extractor 3.1 

Вам необходимо извлечь большое количество информации со страниц различных Веб-сайтов, но мысль о том, что это нужно сделать вручную через "коопировать-сохранить" приводит вас в бешенство? Значит, пришло время попробовать программу Web Content Extractor! Она автоматизирует извлечение информации и позволит вам сохранить результаты в нужном вам формате.

Программа "Web Content Extractor" компании "Newprosoft" собирает информацию с заданных сайтов в автоматическом режиме и одним нажатием клавиши представляет её в нужном вам формате!

"Web Content Extractor" - это наиболее мощная и простая в использовании программа, предназначенная для извлечения информации и граббинга в Интернете. "Web Content Extractor" предоставляет дружеский интерфейс и помощников, которые проведут вас через процесс создания сценариев извлечения информации и задания правил работы на нужных вам сайтах в простой визуальной форме. Вам не потребуется писать ни строчки кода! Извлечение информации со страниц Веб-сайтов полностью автоматизировано.

"Web Content Extractor" пригодится многим пользователям компьютеров. Например, вам нужно собрать всю информацию о товарах (названия, описания, цены, изображения, и т.д.) со страниц определённого сайта. Вместо того, чтобы выполнять эту утомительную работу вручную, вы можете создать проект в программе "Web Content Extractor" и нужная вам информация будет извлечена в автоматическом режиме без вашего участия. Таким образом, вы сохраните огромное количество времени, и вам не придётся выполнять утомительную ручную работу!

"Web Content Extractor" позволяет пользователям создавать проекты с заданием определённого целевого Веб-сайта для страниц с одинаковой структурой (например, магазинов, каталогов продукции, сайтов электронной коммерции, финансовых сайтов, бизнес-справочников, результатов запросов в поисковиках, и т.д. и т.п.) и сохранять резульаты работы в базе проекта. Полученную информацию можно экспортировать в различные форматы, в том числе в эксель (CSV), аксэс, TXT, HTML, XML, SQL или MySQL (для последних двух программа формирует соответствующий скрипт). Такое большое количество форматов для экспорта результатов позволяет вам произволить дальнейшую обработку полученной информации в той программе, с которой вы привыкли работать.

Конфигурирование задание на извлечение информации - очень простой процесс, потому что вы просто следуете шагам, предлагаемым помощником по конфигурации. Сначала вы определяете шаблон для извлечения данных, вводите исходный урл, с которого "Web Content Extractor" начнёт работу с сайтом, задаёте правила работы с сайтом, глубину проникновения на сайт, и даёте имя своему проекту. Глубина проникновения на сайт может быть задана в произвольном виде, что позволяет очень гибко настроить программу. Так, программу можно настроить на переход по линкам, если в их теле содержится определённое вами выражение. После того, как проект настроен, вы можете запустить его одним щелчком мыши.

При помощи программы "Web Content Extractor" вы можете быстро ихвлечь информация с большого количества страниц, использую многопотоковые возможности программы,- она позволяет скачивать информацию в 20 потоков одновременно. Всё, что от вас потребуется - нажать на кнопку запуска извлечения информации! Вам не придётся больше лазать по сайтам от страницы к странице, вырезая информацию с каждой из них и копируя к себе в Word.

"Web Content Extractor" оценят пользователи, стремящиеся к комфортной и продуктивной работе в интернете.

Кто может извлечь пользу от применения "Web Content Extractor"? Кто угодно!

• "Web Content Extractor" поможет бизнесменам извлечь и собрать рыночную информацию, ценовую информацию о товарах, данные о недвижимости.
• "Web Content Extractor" поможет любителям чтения найти, собрать и сохранить информацию о книгах, включая их названия, авторов, описания, ISBNы, изображения обложек и цены.
• "Web Content Extractor" позволит коллекционерам автоматизировать выставленные на аукционы предложения.
• "Web Content Extractor" поможет журналистам извлекать новости и статьи с новостных сайтов.
• "Web Content Extractor" извлечёт информацию с сайтов, посвящённых отдыху и туризму, названия, адреса, описания, изображения, цены гостиниц, ресторанов, туров и пр.
• "Web Content Extractor" поможет одиноким собрать информацию с сайтов знакомств и привести её в порядок.
• "Web Content Extractor" поможет занятым поиском работы собрать предложения с сайтов, посвящённых найму на работу, и обработать нужные предложения быстрее и эффективнее.

Вы хотите получать информацию быстро, в автоматическом режиме, не теряя времени на переход по страницам и вырезание-вклеивание нужной вам информации? Хотите собирать информацию с большого количества страниц? Хотите сохранять добытую информацию в нужном вам формате? "Web Content Extractor" - ваш выбор!

Демо-ролики программы "Web Content Extractor" в формате flash:

Вы можете посмотреть демо-ролики о программе "Web Content Extractor", которые покажут вам насколько просто сконфигурировать программу и извлечь данные с Веб-сайтов.

Извлечение информации о ноутбуках из магазина "Shopzilla" (скачать файл проекта WCE):

• Демо (0.9 MB, разрешение 1280x1024 и выше)
• Демо (1.0 MB, разрешение 1024x768 и выше)

Извлечение результатов поиска на сайте недвижимости "Illinoisrealtor":

• Демо (1.6 MB, разрешение 1280x1024 и выше)
• Демо (1.8 MB, разрешение 1024x768 и выше)

Извлечение подробной информации о местах отдыха на сайте "Vacationhomes" (скачать файл проекта WCE):

• Демо (2.4 MB, разрешение 1280x1024 и выше)
• Демо (2.6 MB, разрешение 1024x768 и выше)

Извлечение информации о видеофильмах с "Youtube" (скачать файл проекта WCE):

• Демо (1.0 MB, разрешение 1280x1024 и выше)
• Демо (1.1 MB, разрешение 1024x768 и выше)