3 ИНСТРУМЕНТА ДЛЯ ПАРСИНГА НА WORD PRESS

Автонаполняемый сайт — это любой веб-сайт, который автоматически извлекает контент из других источников (например, сайтов) и публикует их у себя.

Есть негативное значение для слова, так как многие граберы контента и спам-блоги используют этот метод для наполнения контентом. Тем не менее, можно использовать эту схему для создания реальных блогов, которые являются прибыльными, например, информационный сайт, который собирает новости по конкретным темам и представляет его в удобном для чтения виде. Автонаполняемый сайт идеален как автоматическое средство публикации нового контента.

Для чего нужен парсер контента

Если вы ведете блог, то знаете, как сложно в регулярном режиме добавлять на него новую информацию. Ценный контент необходим для того, чтобы блог имел хорошую аудиторию. Когда вы хотите получить постоянный поток свежего контента, вы можете прибегнуть к автоматизации процесса.

Вы можете частично или полностью автоматизировать создание и публикацию контента. Плагины WordPress для автонаполняемого сайта могут помочь вам получить качественный контент от доноров для публикации на вашем сайте бесплатно и на полном автопилоте. Парсеры являются полезными инструментами для создания нишевого сайта, где пользователь может находить статьи с нескольких сайтов, относящихся к одной и той же теме в одном месте.

Создание нового контента на регулярной основе — трудная работа, требующая времени, усилий и исследований. Автоматические плагины для ведения блога могут помочь найти свежий контент на каждый день. Однако вам следует позаботиться о том, чтобы вы не нарушали никаких авторских прав. Мы рассмотрим как бесплатные, так и премиальные плагины для парсинга контента.

10 лучших плагинов

Сначала я расскажу о плагинах для обработки лент RSS, а напоследок расскажу о самом мощном плагине для парсинга практически любого контента с любого сайта.

WP RSS Aggregator — популярный и простой в использовании плагин для агрегатора RSS-каналов для WordPress. Когда плагин активен в вашем блоге, вы можете объединить столько каналов, сколько хотите из нескольких источников. Мало того, что вы можете размещать каналы для оптимизации производительности.

Не зная точного URL-адреса источника, вы можете найти контент, используя автоматическое обнаружение. Используя короткий код, вы можете отобразить фид в любом месте вашего сайта. Элементы фида могут отображаться с помощью функции отображения вашей темы. Вы можете настроить параметры для импорта фидов с определенными заголовками и установить ограничения на количество и возраст элементов, а также интервал обновления для каждого источника.

Существует ряд надбавок премиум-класса, которые позволяют вам делать такие вещи, как отображение списков вакансий и импорт видео на YouTube. Плагин подходит, если вы будете работать с несколькими каналами, так как он позволяет вам управлять каждым каналом индивидуально.

RSS Post Importer поможет вам импортировать сообщения через RSS-канал, а затем публикует полный контент этой статьи как отдельную запись вместе с вашими обычными сообщениями. Это может оказаться полезным для автонаполняемого сайта, связанного с новостями, или сайта для ведения блога, в котором отображаются новости или предложения из разных источников. Ваш контент обновляется в любой промежуток времени, указанный вами.

Особенности включают возможность установки определенных ключевых слов или авторов для определенных источников «корма», поэтому импортируются только статьи, содержащие это ключевое слово или сообщения этого автора. Вы можете отображать только заголовки, задавать количество сообщений и категорий для каждого канала и добавлять теги ко всем исходящим ссылкам. Также возможно установить статус каждого сообщения после импорта — опубликованный, черновик, ожидающий или мусор. Таким образом, вы можете отфильтровать сообщения перед их публикацией.

Многие функции этого плагина, включая полнотекстовые RSS-каналы, доступны только с премиальной версией. Но есть 14-дневное пробное предложение, которое вы можете использовать, прежде чем решиться. Вам понадобится полнотекстовый RSS-ключ, чтобы включить все премиальные функции в течение 14 дней, после чего вам понадобится создать премиум-аккаунт. Другие премиальные функции включают автоматические изображения, фильтры на основе ключевых слов и последовательность, назначение статей авторам и импорт и экспорт ваших фидов в виде файлов CSV. Если вы будете публиковать целые статьи с других сайтов, лучше всего взять разрешение авторов, указав, что содержимое принадлежит оригинальному сайту. Таким образом, вы можете следить за нарушениями авторских прав.

Feed WordPress ( Автонаполняемый сайт)

Feed WordPress — это потрясающий плагин для автоматического преобразования импорта в сообщения автоматически.

Содержимое, которое вы импортируете, представляет собой серию специальных сообщений в базе данных WordPress. Когда вы импортируете контент с использованием нескольких каналов, база данных сообщений служит своего рода бэкэнд для сайта агрегации. Имейте в виду, что вам нужен FTP или SFTP-доступ к вашему веб-хосту. Плагин предлагает множество опций, которые вы можете получить через панель инструментов WordPress. Кроме того, он предлагает ряд функций, которые вы можете получить с помощью кода через плагины или шаблоны.

RSSImport — это легкий и простой плагин WordPress, который использует стандартные функции WordPress, чтобы отображать фиды в вашем блоге. После установки плагина вам нужно использовать короткий код, виджет или функцию PHP, чтобы заставить ее работать. Это помогает держать вас в блоге активным все время, потянув каналы и отображая их в своем блоге.

Плагин можно настраивать с помощью коротких кодов, а многие параметры в коротких кодах делают плагин довольно гибким. Чтобы разобрать фиды, вам нужно сделать простую настройку, чтобы включить встроенную библиотеку SimplePie.

WPeMatico

WPeMatico — это простой в использовании плагин Автонаполняемого сайта, который помогает автоматически создавать сообщения из каналов RSS или Atom. Пользовательский интерфейс аналогичен пользовательскому редактору WordPress, поэтому вы можете управлять своими каналами в знакомой среде. Вы можете использовать категории для управления фидами.

Плагин использует собственные функции WordPress для обработки изображений и поддерживает несколько категорий, тегов и каналов. Функция автоматического обнаружения позволяет добавлять каналы, даже не зная точного URL-адреса. Кроме того, вы можете публиковать любые общедоступные текстовые сообщения, статус и почтовые форматы WordPress. Любое изображение из первых трех изображений в сообщении может удвоиться в качестве отображаемого изображения. Вы также можете загрузить только избранное изображение и игнорировать остальные. Изображения и другие мультимедийные файлы могут быть загружены в виде вложений в сообщения, и вы можете загружать удаленные изображения или просто ссылаться на источник. Плагин поддерживает переписывание фраз и является многоязычным. Профессиональное дополнение включает в себя функции для синтаксического анализа и фильтрации фидов, фильтров для показанных и других изображений, создания автоматических тегов, вставки пользовательских полей с каждой почтой и многое другое.

CyberSyn

CyberSyn — это легкий и совокупный контент для сайтов WordPress. Что делает его более заметным, чем другие плагины, так это то, что он позволяет вам импортировать полные текстовые статьи. Более того, эта удобная функция встроена в плагин и может использоваться без каких-либо ключей API или сторонних сервисов. Он автоматически создает сообщения из RSS-каналов.

После того, как вы включите возможность встраивания видео, плагин поможет вам вставлять видео с YouTube, Vimeo, и других каналов прямо в ваши сообщения вместе с описаниями. Он генерирует признанные изображения в виде почтовых изображений или мультимедийных вложений. Он также позволяет загружать изображения на сервер и переводить статьи со 100 языков.

RSS Just Better, работает как большинство других плагинов Автонаполняемого сайта, рисует контент из указанных вами URL-адресов. Он позволяет создавать несколько вариантов отображения сообщений, таких как включение даты и времени публикации, выбор между неупорядоченными и упорядоченными списками и ссылками, отображаемыми в новом окне.

Кроме того, вы можете также установить частоту кеша, количество отображаемых новостей, изменить названия и выдержки и отсортировать элементы по времени и дате. Плагин может использоваться как короткий код для встраивания или как виджет.

WP Pipes

WP Pipes — это, по сути, плагин миграции данных, который вы также можете использовать для Автонаполняемого сайта. Используйте его для просмотра контента из RSS-каналов, новостей Google и многих других источников. Каналы хранятся в виде сообщений в WordPress, и вы также можете создавать каналы, включая подкасты iTunes, используя эти сообщения.

Каждый поток называется каналом, и вы можете создать столько каналов, сколько хотите. Поток содержимого начинается с источника, проходит через процессор и заканчивается в пункте назначения, и вы можете настроить расписания для выполнения труб. Источником могут быть любые сообщения, страницы, продукты WooCommerce, RSS-каналы, файлы / папки и многое другое. Конечным пунктом могут быть RSS-каналы, Sitemap Google XML, файлы / папки, продукты WooCommerce, сообщения и многое другое.

WPGrabber

Это тот самый мощный плагин для парсинга, про который я упомянул в начале статьи.

Плагин WPGrabber полностью на русском языке, что позволит вам быстрее разобраться с его настройкой. Важной особенностью этого граббера является его «всеядность», т.е. вы можете запросто настроить его на добычу контента из любого источника для вашего автонаполняемого сайта.

Видео с настройкой обработки картинок WPGrabber в случае если WPGrabber не скачивает фото или не сохраняет их в записи или не делается превью для основной фото записи.

В заключение

Автонаполняемый сайт — отличный способ получить информацию и опубликовать её на своем сайте. Мы рассмотрели 10 плагинов для парсинга контента и из этого списка вы точно сможете выбрать тот, которые подойдет под ваши задачи. Вы можете комбинировать автоматический парсинг с ручным написанием контента, чтобы ваш сайт продолжал быть уникальным и вы могли зарабатывать деньги с помощью объявлений и партнерских ссылок. Автоматические блоги практически не нуждаются в обслуживании, т.к. структура сайтов-доноров меняется не так уж и часто. Вам нужно только периодически заходить на свой сайт и проверять, что новый контент корректно публикуется.

Иногда нет смысла тратить время на самостоятельное написание текстадля сайта WordPress. Этот случай не касается блогов и инфосайтов, так как доход на них формируется как раз благодаря размещенным постам.

А речь идет об интернет-магазинах, сайтах компаний и новостных порталах, не рассчитанных на органический трафик. Вот для таких ресурсов уникальные материалы – это не так важно, как их постоянное обновление.

Чтобы сделать автонаполняемый сайт, вам понадобится настроить парсер новостей для вашего проекта. Для начала необходимо найти подходящие площадки, с которых вы будете парсить. Они должны соответствовать тематике вашего проекта, иначе нет смысла дублировать с них информацию. Если это так, тогда необходимо приступить ко второй части решения вопроса парсинга – это каким образом вы будете клонировать текстс другого сайта. Самый примитивный и неудобный способ – это ручное копирование. Но куда разумнее воспользоваться одним из приведенных в данной статье плагином, чтобы активировать удачный парсер новостей и контента.

WP-O-Matic

Весьма популярный модуль для WordPress, который позволит вам настроить функциональный парсер новостей с других площадок. Устанавливается инструмент самым простым способом: либо через загрузку напрямую в папку на хостинге, либо через вкладку «Плагины».

Далее вам предстоит настроить работу плагину, если хотите обеспечить парсинг контента. Для этого достаточно четыре раза нажать «Next» и в конце «Submit». Таким образом, вы подтвердите согласие с правилами пользования данным модулем WordPress. В частности, согласитесь с тем, что только вы несете ответственность за кражу чужих материалов, содержания других сайтов и т. д.

Если кроме текстовой составляющей вас еще интересуют картинки, тогда необходимо создать в папке с плагином директорию под названием Cache. Установите особые права доступа к этой папке. Далее вам предстоит вернуться в админку WordPress. Зайдите в настройки плагина и внимательно посмотрите, нет ли галочки около пункта Unix cron. Вам необходимо утвердительно отметить пункт Cache Image, чтобы парсер новостей также копировал и картинки к вам на ресурс.

Модуль WP-O-Matic хорош тем, что работает на любой странице сайта. Вы сможете добавить отдельную рубрику, если хотите, чтобы список новостей и контента, который предоставил парсер, отображался именно там. Для этого предварительно создайте необходимую рубрику. Затем в адмике WordPress в настройках инструмента WP-O-Matic нажмите Add Campaign. В строке Categories отметьте галочкой созданную вами специальную рубрику. А в форме Feeds пропишите RSS ленты, которую вы собрались парсить. Вы сможете прописать сразу несколько URL для лент, чтобы парсер текстасобирал информацию сразу с трех или даже четырех ресурсов.

И еще один огромный плюс в сторону плагина WP-O-Matic – это автоматическая публикация материала. Вам не придется ежечасно заходить в админку WordPress, чтобы менять статус постов на «Опубликованный». Модуль сделает это самостоятельно. И если пожелаете, он может уникализировать текст через специальный механизм синонимизации. В этом ключевое отличие данного инструмент от его конкурента – плагина FeedWordPress.

Datacol

Это функциональный граббер, который подходит не только для движка WordPress. Это не просто парсер текста страниц сайта– это умное приложение, которое позволяет фильтровать копируемый материал. К примеру, вы сможете размещать только статьи, в которых есть определенные ключевые слова. Сможете дублировать новости прямо из Яндекса. Клонированные материалы будут экспортироваться в одном из 15 доступных форматов. Сервис соберет не только текст, но и заголовки, фотографии, дату публикации, ссылки и прочие важные данные.

Но Datacol распространяется на платной основе. Однако, он куда дешевле, чем если бы вы заказывали материална сайт через биржи. Стоит приложение меньше 500 рублей и его можно использовать практически для любого движка. Есть демо-версия.

FDE Grabber

Еще один платный парсер с большим числом функций. Это уже из разряда дорогих грабберов, так как обойдется он примерно в 90 долларов. Но использовать его можно будет сразу на 10 серверах, то есть в теории разные вебмастера могут скинуться по 9 долларов, удешевив таким образом покупку.

FDE Grabber – это не совсем плагин для WordPress. Разработчики называют свое творение автономной системой, которая работает независимо от типа CMS, установленной на сайте.

Plink — парсер для WordPress (пример настройки)

Иногда нет смысла тратить время на самостоятельное написание текста для сайта WordPress. Этот случай не касается блогов и инфосайтов, так как доход на них формируется как раз благодаря размещенным постам.

А речь идет об интернет-магазинах, сайтах компаний и новостных порталах, не рассчитанных на органический трафик. Вот для таких ресурсов уникальные материалы — это не так важно, как их постоянное обновление.

Чтобы сделать автонаполняемый сайт, вам понадобится настроить парсер новостей для вашего проекта. Для начала необходимо найти подходящие площадки, с которых вы будете парсить. Они должны соответствовать тематике вашего проекта, иначе нет смысла дублировать с них информацию. Если это так, тогда необходимо приступить ко второй части решения вопроса парсинга — это каким образом вы будете клонировать текст с другого сайта. Самый примитивный и неудобный способ — это ручное копирование. Но куда разумнее воспользоваться одним из приведенных в данной статье плагином, чтобы активировать удачный парсер новостей и контента.

Модуль WP-O-Matic хорош тем, что работает на любой странице сайта. Вы сможете добавить отдельную рубрику, если хотите, чтобы список новостей и контента, который предоставил парсер, отображался именно там. Для этого предварительно создайте необходимую рубрику. Затем в адмике WordPress в настройках инструмента WP-O-Matic нажмите Add Campaign. В строке Categories отметьте галочкой созданную вами специальную рубрику. А в форме Feeds пропишите RSS ленты, которую вы собрались парсить. Вы сможете прописать сразу несколько URL для лент, чтобы парсер текста собирал информацию сразу с трех или даже четырех ресурсов.

И еще один огромный плюс в сторону плагина WP-O-Matic — это автоматическая публикация материала.

Вам не придется ежечасно заходить в админку WordPress, чтобы менять статус постов на «Опубликованный». Модуль сделает это самостоятельно. И если пожелаете, он может уникализировать текст через специальный механизм синонимизации. В этом ключевое отличие данного инструмент от его конкурента — плагина FeedWordPress.

Это функциональный граббер, который подходит не только для движка WordPress. Это не просто парсер текста страниц сайта — это умное приложение, которое позволяет фильтровать копируемый материал. К примеру, вы сможете размещать только статьи, в которых есть определенные ключевые слова. Сможете дублировать новости прямо из Яндекса. Клонированные материалы будут экспортироваться в одном из 15 доступных форматов. Сервис соберет не только текст, но и заголовки, фотографии, дату публикации, ссылки и прочие важные данные.

Но Datacol распространяется на платной основе. Однако, он куда дешевле, чем если бы вы заказывали материал на сайт через биржи. Стоит приложение меньше 500 рублей и его можно использовать практически для любого движка. Есть демо-версия.

FDE Grabber — это не совсем плагин для WordPress. Разработчики называют свое творение автономной системой, которая работает независимо от типа CMS, установленной на сайте. Основные возможности этой системы парсинга:

Основы работы с WP

Sсrареs — плагин для WordPress, который автоматически копирует содержимое с сайта на ваш сайт WordPress, один или несколько раз в выбранные промежутки времени.

Плагин парсит контент из ленты, по селекторам, по контенту, по шаблонам. Можно настроить расписание работы парсера.

Что можно парсить? Идеи для парсинга

Scrapes поддерживает и автоматически заполняет все поля записи WordPress

Вы прочитали, что работать придется с селекторами? Бояться этого не нужно, ведь выбор нужного селектора на странице сайта-донора происходит с помощью визуального инструмента. Вы просто наводите мышь на нужный блок и таким образом указываете плагину, что парсить.

Плагин Scrapes автоматически определяет селекторы на странице и выделяет их цветными блоками, вам остается только выбрать какой блок и в какое поле его вставить. Это может быть миниатюра записи, постраничная навигация, дата записи, цена и т.д.

Если возникли трудности с автоматическим определением селектора — всегда можно указать XPath вручную.

Возможности плагина