Сменить шкурку

  Поиск по сайту

RSS

Позволяет грабить новости с RSS каналов. Управление производится для всех доменов на одной странице (версия SEO).

Добавление/удаление каналов

На странице имеется список введенных каналов RSS. После установки CMS он пустой.

Для того чтобы добавить канал RSS, в поле «Новый канал» добавляем адрес канала, и жмем кнопку «Добавить». Вот примеры каналов: http://img.lenta.ru/r/EX/import.rss, http://newsru.com/plain/rss/all.xml. После чего они появляются в списке. Удалить канал из списка можно нажатием на крестик перед именем удаляемого канала. Новости будут искаться только на заданных CMS лентах.

Настройки грабера RSS

Нижняя форма отвечает за настройки грабера.

Настройки свои для каждого домена.

Все настройки выводятся в виде таблицы.

Крестик в строке таблицы удаляет настройку в выбранной строке.

Кнопка листочка с карандашом вызывает редактирование настроек выбранной строки.

Настройки состоят из следующих параметров:

·        Домен – сайт для которого добавляется настройка.

·        Ключевое слово – фильтр по которому отсеиваются новости для базы. Если ввести слово «машины» без ковычек, то добавляться в базу будут только те новости в содержании которые есть слово «машины». Чтобы отключить фильтр, введите в поле например точку, т.е. слово которое точно встретится в любой новости.

·        Папка – выбор раздела CMS куда сваливаются сграбленные новости: Новости, Статьи, Разное.

·        Комментарии – устанавливает флажок в CMS для разрешения посетителям оставлять свои комментарии под сграбленным контентом.

·        Размер картинки в ленте – настройка только для известных CMS каналов. В анонсе новостей или статей, уменьшает пропорционально ширине картинки изображение. Сделано для того чтобы вписать в дизайн вывод анонса новостей, для тех кто использует отображение страниц в виде нескольких колонок.

·        Ссылка на источник – позволяет под сграбленным содержанием ставить ссылку на первоисточник. Резать все ссылки – из текста удаляются все ссылки. Ставить подпись источника – из текста также удаляются все ссылки, но снизу под контентом ставится адрес откуда сграблен контент, но без гипертекстовой ссылки. Ставить прямую ссылку – все ссылки из текста удаляются, под контентом ставится прямая доступная для индексации поисковыми системами ссылка на сайт откуда взят контент. Грабить как есть – сграбленный текс не модифицируется, если есть ссылки, то вместе со ссылками.

·        Часть в URL – еще один фильтр отсекает не подходящий контент. Многие сайты содержат несколько разделов на сайте, на которые ведут разные адреса. А канал RSS один. Вот пример: RSS лента содержит ссылки на 2 раздела сайта гаражи site.ru/garage/xxx.html и авто site.ru/avto/xxx.html. Нам нужно сграбить только контент по авто. Соответственно устанавливаем в поле /avto/. Теперь новости про гаражи в базу поступать не будут.

·        Слово – дополнительная опция для поля «Ключевое слово». Часть – просто смотрится совпадение части слова. Например: картина. Попадают в базу все новости содержащие слова: картина, кинокартина, с картинами. Полное – полное вхождение слова в текст. При предыдущем примере, будут поступать в базу только новости со словом картина. Остальные все будут отфильтрованы.

Для одного домена можно задавать несколько настроек.

Запуск парсера

После того как был введен список каналов и добавлены настройки, появляются ссылки для запуска грабера в самом верху страницы под надписью «Грабить RSS». Грабер для каждого домена запускается отдельно. Можно настроить запуск грабера по Cron. Для этого посмотрите путь по которому запускается грабер и с какими параметрами в самой ссылке для запуска и перенесите его в настройки Cron.

Почему не грабятся новости при первом запуске.

Новости отслеживаются грабером по таймеру. При добавлении настроек ставится текущее время. Все новости старше этой временной метки считаются что уже существуют в базе. Сделано исключительно в целях не допустить дубликат контента. Поэтому после первого запуска на текущий момент для грабера новостей нет. В дальнейшем когда в лентах будут появляться новые новости, начиная с этой метки, все они будут попадать в базу.

Платный вариант грабера

Существуют платные варианты грабера с новостных лент: http://img.lenta.ru/r/EX/import.rss, http://newsru.com/plain/rss/all.xml. Тест новостей грабится вместе с картинками полностью. Картинки на сайт не грузятся, ставятся теги картинок заключенные в теги <noindex>.

2++ CMS - http://cms.2aplusa.org/
Создание сайтов