На сегодняшний день плагин давно перестал поддерживаться, а сайт разработчиков недоступен, но сам плагин прекрасно справляется со своими задачами.
- Скачать WPGrabber бесплатно
- Установка и настройка
- Для создания новой ленты нажмите «Новая лента».
- Заключение
- Настройка перевода LingvaNex Translation API в плагине WPGrabber v. 8 PRO
- WPGrabber установка и настройка с примерами, скачать плагин бесплатно
- Полное руководство для начинающих
- WordPress создание темы с нуля
- Как создать виджет WordPress
- Оптимизация WordPress
- Настрой плагин и получай контент автоматически
- Трудно ли настроить WPGrabber?
- Преимущества WPGrabber
- Что нужно для работы на сервере?
- Шаг 1. Определяем скорость загрузки сайта
- Шаг 2. Включаем кэширование
- Шаг 3. Оптимизируем скрипты и включаем отложенную загрузку изображений
Скачать WPGrabber бесплатно
На данный момент эта версия устанавливается и работает на последней версии WordPress. У меня возникали незначительные баги при парсинге, например не обрезались изображения при включении данной функции, поэтому пришлось обрезать их с помощью стороннего софта. Но в целом плагин работает и помог справиться с задачей переноса тысяч товаров с одного сайта на другой.
Установка и настройка
Перейдите в меню список лент. Здесь вы увидите несколько уже настроенных лент, которые вы можете протестировать, нажав на кнопку «Тест импорта».
Для создания новой ленты нажмите «Новая лента».
Перед вами откроется страница настроек. По началу все может показаться очень сложным, так как WPGrabber ищет контент с помощью регулярных выражений. На мой взгляд решение хорошее, но не очень надежное и довольно сложноватое. Думаю лучше было бы искать элементы через дерево DOM, как это реализовано в библиотеке phpQuery.
На вкладке основные укажите:
Наименование ленты — любое имя для новой ленты.
Тип ленты — HTML.
URL индексной страницы — страница исходного сайта, с которой надо парсить записи (например http://site.ru/catalog/).
Вот и все! Это основные настройки! Единственная сложность здесь может быть связана с созданием регулярного выражения для поиска ссылок. Я не буду углубляться в регулярные выражения, приведу лишь несколько распространенных примеров:
Предположим, что ссылки новостей имеют вот такой вид: http://site.ru/news/novost-1/ Тогда сюда подойдет следующее регулярное выражение:
Чуть посложнее. Например ссылки состоят еще и из русских букв. Например: http://site.ru/категория/товар/ Такое встречается реже, но все же бывает. Тогда здесь подойдет примерно следующее регулярное выражение:
Теперь вы можете нажать кнопку «Тест импорта» и посмотреть результат.
У плагина еще достаточно большое количество настроек. Вы можете изменять их по своему усмотрению. Хочу обратить ваше внимание еще на настройки на вкладке «Обработка». Здесь вы можете включить или отключить теги, которые будут сохраняться в тексте товаров или записей, а так же заменять какие-то части текста.
Например, мне надо будет изменить в полном тексте каждой сохраненной записи заголовок «Стоимость» на «Цена»:
Это самый простой способ замены, но здесь вы можете использовать регулярные выражения или совсем стереть текст или часть HTML-кода оставив в шаблоне замены пустую строку.
Заключение
Настройка и использование WPGrabber довольно непростая задача. Многие предлагают эту услугу за дополнительную плату. Но вы можете разобраться и самостоятельно, ведь большая часть настройки сводится к написанию нескольких строк регулярных выражений, а с опытом у вас уже будут свои заготовки. Надеюсь, эта статья поможет вам в этом!
Настройка перевода LingvaNex Translation API в плагине WPGrabber v. 8 PRO
Самый оптимальный и простой код файла robots.txt для вашего сайта на WordPress, который подойдет для всех поисковиков. Этот вариант использую на данном сайте. Не забудьте заменить it-blog.ru на адрес вашего сайта.
WPGrabber установка и настройка с примерами, скачать плагин бесплатно
WooCommerce несомненно является лучшим бесплатным решением для создания интернет-магазина на WordPress. Кроме того, это одна из лучших платформ электронной коммерции с открытым исходным кодом. Цифры говорят сами за себя: более 4 миллионов установок, рейтинг 4.5 (на основе более чем 3000 отзывов) и 54 доступных языка. WooCommerce используют 13,6% всех веб-сайтов, использующих WordPress, и 28% всех сайтов электронной коммерции в Интернете. Это делает его не только самым популярным плагином электронной коммерции для WordPress на сегодняшний день, но и самым популярным плагином в целом. В этом руководстве мы рассмотрим как установить и настроить интернет-магазин на WordPress и добавить свои первые товары. Итак, давайте приступим!
Полное руководство для начинающих
Это полное пошаговое руководство для начинающих, которое поможет вам создать свой первый сайт на WordPress на любом веб-хостинге или локальном сервере.
WordPress создание темы с нуля
Давно хотел написать подробное руководство о том, как создать тему на WordPress с нуля. Вам это пригодится: если вы хотите научиться разрабатывать сайты на WP, а не просто устанавливать шаблонные решения; вы хотите сделать уникальный дизайн для своего сайта или «натянуть» HTML шаблон; ну или в конце концов работать в этом направлении получая свои кровные.
Как создать виджет WordPress
Виджеты используются для добавления контента на страницу WordPress без изменения шаблонов тем. Боковая панель является областью по умолчанию для добавления содержимого виджетов.
Также вы можете зарегистрировать собственную область виджетов и добавить в нее виджеты. WordPress содержит некоторые виджеты по умолчанию Поиск, Категория, Теги и многое другое.
После добавления виджета в область виджетов его можно отобразить с помощью функции dynamic_sidebar() разместив её в шаблоне. Обычно её добавляют в файл sidebar.php текущей темы.
В этом уроке мы создадим и добавим собственный виджет и отобразим его содержимое на страницах сайта на CMS WordPress.
Оптимизация WordPress
Ваш сайт WordPress может быть медленным по многим различным причинам: забитая база данных, работающая в фоновом режиме, является одним из них. Профессиональный рабочий процесс поддержки WordPress включает в себя регулярную оптимизацию базы данных, в ходе которой вы избавляетесь от ненужных данных, а также обнаруживаете и исправляете ошибки и несоответствия в вашей базе данных. Мы уже рассматривали как ускорить сайт на WordPress. В этой статье поговорим о оптимизации базы данных.
Оптимизация базы данных WordPress не требует специальных знаний в области программирования, хотя иногда вам нужно отредактировать файл wp-config. В этой статье мы покажем вам несколько рекомендаций по оптимизации базы данных WordPress.
Настрой плагин и получай контент автоматически
Для того чтобы не искать самостоятельно нужную информацию среди множества ненужных текстов, продвинутые вебмастера уже давно не пользуются ручным поиском. Для этого есть специальные плагины-грабберы, которые способны самостоятельно собрать информацию и внести ее на сайт.
Мы рады представить Вам современный и уникальный плагин — «WPGabber». Этот граббер поможет Вам в минимальные сроки наполнить свой сайт любым контентом с других интернет-источников. Он выуживает необходимые Вам данные с любого интернет-сайта и может автоматически оформлять их в виде полного поста на Вашем сайте.
Представленный плагин обладает множеством возможностей. Помимо совместимости с «JoomlaGrabber».
Для последнего используется переводчик от Яндекса. Его может получить бесплатно любой зарегистрированный пользователь Яндекс. Далее ключ достаточно вставить в плагин и сохранить все произведенные изменения. Теперь в настройках можно отредактировать условия перевода и наблюдать за тем, как на Вашем сайте начинают появляться уникальные новости, которых еще нет даже на крупных новостных бордах.
Трудно ли настроить WPGrabber?
Настроить данный плагин-граббер сможет даже ребенок. Для того чтобы контент начал импортироваться из RSS-потоков, после приобретения «WPGrabber» достаточно только ввести нужный URL-адрес.
А если Вам нужно получить полнотекстовую статью с источника, то помимо URL, понадобится указать и другие данные:
Ввод перечисленных данных довольно прост. И совершить его можно как самостоятельно, так и при помощи наших специалистов. Наши профессионалы работают не только с WPGrabber, но и с JoomlaGrubber, поскольку они основаны на одном принципе. Поэтому, если у Вас уже есть один из плагинов, то Вы все равно можете обратиться к нам за помощью.
Преимущества WPGrabber
У данного плагина есть несколько отличительных черт, которые выделяют его на фоне остальных конкурентов:
Также стоит отметить, что основой для плагина служит принцип, который используется в известном многим компоненте «JoomlaGrabber». Его используют еще с 2009 года, и сейчас более тысячи пользователей успешно применяют его для своих сайтов. А за счет общего формата файлов для экспорта и импорта Вы можете без особых трудностей одновременно пользоваться уже настроенными лентами в данных приложениях.
Что нужно для работы на сервере?
Для того чтобы данный плагин-граббер начал работу на Вашем сервере, не нужно создавать специальных условий. Достаточно открыть возможность для рассылки внешних запросов любым способом. Например, через стандартную PHP-функцию «file_get_contents» или же библиотеку CURL.
Для стабильной работы Вы можете включить автообновление плагина. Сделать это можно буквально за пару секунд. Достаточно открыть настройки, и на вкладке автообновлений переставить отметку напротив записи «Да». После этого программа будет автоматически обновляться при выходе новой версии, а Вы будете одними из первых получать улучшенные возможности плагина.
В данном примере мы разберем настройку html-импорта новостей с сайта https://top.rbc.ru/, а точнее с его раздела Главные новости.
1) Выбираем Новая лента в плагине WPGrabber и в поле Наименование ленты пишем какое-либо название для нашей первой настройки импорта. Вы можете написать в данный параметр все что угодно, к примеру: Главные новости РБК.
2) В типе ленты у нас должно быть выбрано значение html
3) Следующий обязательный параметр, который нужно указать это URL индексной страницы. Это URL-адрес в строке браузера той страницы сайта, с которой мы будем собирать ссылки на необходимые нам новости.
4) Далее нам надо указать такой важный параметр как Кодировка HTML-страницы.
Кодировку страницы сайта можно узнать в ее исходном HTML-коде.
Теперь для удобства откройте страницу https://top.rbc.ru/ на другой вкладке вашего браузера.
После загрузки данной страницы, откройте ее исходный код (HTML-код страницы).
В браузере Google Chrome это делается с помощью нажатия сочетания клавиш Ctrl + U.
Можно также просто щелкнуть в любом месте по странице правой кнопкой мыши и выбрать Просмотр кода страницы.
В FireFox и Internet Explorer сочетание Ctrl + U работает так же.
В открытом исходном коде ищем строку вида:
Здесь utf-8 как раз таки и есть кодировка страницы! Потому выбираем в параметре Кодировка HTML-страницы значение UTF-8.
В некоторых случаях при большом количестве кода для того чтобы проще найти строку с упоминанием кодировки воспользуйтесь поиском слова charset. Для поиска в Google Chrome и других браузерах достаточно лишь нажать сочетание клавиш Ctrl + F и ввести слово charset. Скорее всего первым результатом поиска в исходном коде будет нужная вам строка с указанием кодировки.
Еще раз обратите внимание на то, как в исходном html-коде страницы указывается кодировка:
На некоторых сайтах кодировка не указана, тогда пробуйте значение: Исходная, или же WINDOWS-1251.
5) Теперь нам необходимо определить один из самых главных параметров (параметр: Шаблон ссылок), с которого начинается сбор ссылок на интересующие нас страницы сайта, которые мы хотим импортировать к себе на сайт.
Для того чтобы правильно задать параметр Шаблон ссылок, нужно сначала посмотреть на вид ссылок в исходном коде HTML страницы.
Для этого выделяем и копируем текст (или часть текста) первого или любого другого заголовка новости (т.е. непосредственно текст ссылки ведущей на страницу новости) на странице https://top.rbc.ru/, к примеру на момент написания данной статьи заголовок первой новости: «На Украине стартовали выборы в Раду»
Теперь переходим на открытую нами ранее вкладку исходного кода страницы https://top.rbc.ru/ и делаем поиск в ней по скопированному нами тексту заголовка. Для этого я нажимаю сочетание клавиш Ctrl + F и в поле поиска вставляю скопированный текст: «На Украине стартовали».
Обратите внимание на то, что совсем не обязательно искать весь текст заголовка, он может оказаться слишком длинным. Можно выделить его небольшую часть, как в этом примере и искать эту часть в исходом коде.
Проанализируем структуру этого URL-адреса:
обратите внимание, что описав таким словесным способом этот адрес мы оставляем без изменений некоторые его части, а именно: адрес сайта https://top.rbc.ru, потому эта часть адреса остается неизменной для всех остальных ссылок, представленных на странице.
Теперь давайте посмотрим на другие ссылки к остальным новостям:
Все выше перечисленные ссылки подходят по ранее описанный «словесный» шаблон. Для задания шаблона ссылок в WPGrabber необходимо использовать определенный формат описания таких шаблонов (формат описания регулярных выражений PCRE, о PCRE на Википедии).
Как мы видим, за место вхождения части под названием «слово» в словесном описании адреса у нас встречаются следующие варианты текста: textonlines, society, politics и economics. Эти варианты имеют разную длину (кол-во символов), а также скорее всего могу включать в себя еще и цифры. Единственный символ который не может встретится в части адреса под названием «слово» — это символ пробела, потому что пробелы в URL адресах недопустимы!
В регулярных выражениях PCRE любой непробельный символ обозначается следующей конструкцией S
Обратите внимание на слэш перед заглавной буквой S. Обратный слэш в регулярных выражениях отменяет обычное действие символа, мы могли бы написать просто символ буквы S и тогда она была бы просто заглавной буквой S в нашем регулярном выражении. Однако S — означает ровным образом один любой символ, кроме пробела!
Так как наши вариации слов: textonlines, society, politics и economics состоят из нескольких символов (букв слова), нам нужно как-то указать в нашем выражении кол-во символов. Для этого используются фигурные скобки.
Давай-те еще раз взглянем на наши варианты: textonlines, society, politics и economics. Длина слов : 11, 7, 8 и 9 символов. Для большей надежности можно предположить, что длина слов в этой части адреса будет составлять от 1-го и более символов.
Переписав начальную часть нашего шаблона мы получим следующее:
На данном этапе мы могли бы записать весь шаблон ссылок в виде:
Перепишем наше выражение с учетом вхождения в него именно цифр а не всех символов:
Данное выражение можно смело вставить в Шаблон ссылок, нажать на кнопку Применить, и после сохранения настроек ленты нажать на кнопку Тест импорта, чтобы убедится в правильности составления регулярного выражения поиска ссылок в тексте сайта.
Теперь обратите внимание, что Плагин нашел гораздо больше ссылок, чем нам нужно. Более того в наш список ссылок попали такие ненужные нам ссылки:
А также, неправильные (не работающие) ссылки вида :
Нас же интересуют только буквы и цифры в последней части URL-адресов ссылок:
Когда нам нужно в регулярном выражении перечислить вхождение разных символов (набора символов), то мы можем использовать квадратные скобки.
Для верности переходим на страницу https://top.rbc.ru/ и считаем кол-во ссылок на новости проверяя правильность настройки шаблона ссылок. На странице https://top.rbc.ru/ помимо 10 ссылок расположенных в центре страницы под наш шаблон попали еще 2 ссылки, расположенные в других частях страницы. В следующем уроке Вы сможете найти информацию о том, как выбрать ссылки только из определенной части начальной страницы.
Если в режиме теста импорта у вас на экране отображается надпись Найдено ссылок: 0 — дальнейшая настройка других параметров ленты практически лишена смыла! Нет ссылок на новости — не будет импортированных записей в WordPress.
А если WPGrabber не находит ссылки на новости — значит вы сделали ошибку в написании регулярного выражения шаблона ссылок или же неправильно указали параметры: URL индексной страницы или Кодировка HTML-страницы.
Еще одно небольшое важное замечание по поводу правил написания регулярных выражений. Все дело в том что в регулярных выражениях формата PCRE, есть специальный набор символов или как еще их часто называют управляющие символы.
Когда вы в регулярном выражении пишите к примеру символ точки (.)- то он не означает в прямом смысле простую точку в тексте. Точка в регулярном выражении — это служебный символ обозначающий вхождение любого символа алфавита, циферного символа, символа пробела и вообще любого другого символа. Т.е. точка в регулярном выражении — это вообще любой символ в тексте.
Для того чтобы в регулярное выражение вставить именно символ точки, нужно перед управляющим символом поставить обратный слэш, т.е. выражение . обозначает как раз таки обычную точку в тексте.
Таким образом, по правильному наш шаблон необходимо переписать в следующий вид: т.е. экранировать в нем все вхождения точки как служебного символа.
Если вы прокрутите страницу с результатом теста импорта ленты чуть ниже отображения ссылок вы увидите следующее:
Мы не задали правила выборки двух основных параметров для записей WordPress — это заголовок и текст.
6) Начнем с Заголовка — который при импортировании ленты будет заголовком создаваемых в WordPress записей (постов).
Для того чтобы WPGrabber нашел заголовок в тексте страницы определенной новости нам необходимо описать шаблон его поиска. Тут тоже используется формат регулярных выражений как и в описании Шаблона ссылок.
Попав на страницу новости, открываем ее исходный код (как открыть исходный код страницы было описано выше, используйте сочетание Ctrl + U). Произведем поиск нашего заголовка в исходном тексте страницы:
Однако не спешите использовать это вхождение, ведь в нём у нас помимо текста самого заголовка «На Украине стартовали выборы в Верховную раду» присутствует еще и добавочный текст » : Политика : РосБизнесКонсалтинг», который нам совсем ни к чему в заголовке записей.
Для обозначения выборки определенной части текста из строки, в регулярных выражениях применяются группирующие символы круглых скобок ( ). Внутри которых как раз и должна быть та часть текста, которую мы хотим выбрать из строки.
Кроме того в регулярных выражениях есть такая конструкция вида: .*?
Это конструкция вбирает (поглощает) в себя любое кол-во символов вплоть до встречи со следующим символом после нее. Т.е. к примеру выражение вида: .*?b — вернет все слова оканчивающие буквой b или же внутри которых есть буква b. Попробуем применить эту конструкцию к нашему выражению:
<meta name=»title» content=»(.*?)»
Скопируем это выражение в поле Шаблон заголовка, нажмем кнопку Применить и снова кнопку Тест импорта.
Видим, что WPGrabber теперь находит правильные заголовки:
7) Следующим важным этапом является поиск основного текста страницы.
Копируем часть начального текста (не обязательно с самого начала, можно в середине текста), открываем исходный код страницы, и производим поиск по этой части текста. Есть вероятность того, что этот текст будет встречаться у вас в исходном коде страницы не один раз, потому важно найти именно то вхождение, которое является началом текста новости на странице. Сравните текст в исходном коде и на самой странице, найдите его начало и конец.
Важной задачей правильного определения границ текста является нахождение уникальных частей HTML-кода или любых других конструкций (части текста и т.д.) до и после полного текста новости.
Итак, находим начальную точку текста:
Итак, вставляем в поле Начальная точка полного текста строку:
Далее находим конец текста новости. Для этого также можно воспользоваться поиском по словам в последнем предложении текст новости:
и в коде:
Итак, в поле Конечная точка полного текста можно вставить:
Скорость загрузки сайта определяет не только комфорт работы с ним, но и влияет на позиции в поисковой выдаче Яндекс и Google. Поисковики отдают предпочтение более быстрым сайтам. Соответственно если скорость вашего сайта ниже, чем у схожих, то это негативно скажется на его позициях.
В примере рассмотрим базовую оптимизацию сайта на WordPress. Конечно же для каждого отдельного сайта рекомендации будут индивидуальные, но эти инструкции помогут эффективно ускорить его работу. Их необходимо сделать в первую очередь.
Шаг 1. Определяем скорость загрузки сайта
Чтобы определить скорость загрузки, воспользуемся сервисом от Google PageSpeed Insights Вводим адрес сайта и нажимаем анализировать.
После анализа сервис выдаст оценку и рекомендации по улучшению производительности сайта. Если у сайта оценка от 0 до 49, сайт окажется в красной зоне, это означает, что его скорость низкая, от 50 до 89 средняя — оранжевая и от 90 до 100 зеленая зона — самый лучший показатель.
Шаг 2. Включаем кэширование
Кэширование однозначно поможет повысить скорость загрузки вашего сайта. Для этого воспользуемся самым популярным плагином для кэширования станиц WP Super Cache. Скачиваем и устанавливаем плагин.
На вкладке Расширенные переключаем «Метод доставки кеша» в «Эксперт» и обновляем настройки.
Спускаемся ниже и нажимаем «Обновить правила mod_rewrite».
Далее устанавливаем настройки времени кэша, как на рисунке ниже и обновляем новые значения.
Переходим на вкладку «Общий кэш» и устанавливаем новые значения в соответствии с рисунком ниже. Сохраняем настройки.
Шаг 3. Оптимизируем скрипты и включаем отложенную загрузку изображений
Оптимизация скриптов заключается в том, чтобы объединить все существующие CSS скрипты в один сжатый файл .css и скрипты JS в один сжатый файл .js. Интернет-магазин смотреть тут
Так же рекомендуется включить отложенную загрузку изображений (Lazy loading), которая позволяет загружать изображения на странице не все сразу, а поэтапно в процессе её просмотра. В этом нам поможет плагин Autoptimize.
Переходим на вкладку «Изображения» и ставим галочку «Отложенная загрузка изображений». Сохраняем текущие настройки.
Ну вот и все! Теперь попробуйте снова проверить скорость загрузки вашего сайта в PageSpeed Insights.