Поиск дублей как страниц так и мета тегов

Содержание
  1. Обзор Screaming Frog Seo Spider
  2. Запуск сканирования сайта
  3. Поиск дублей (как страниц, так и мета-тегов)
  4. Поиск страниц с совпадающими Title и H1
  5. Как сгенерировать Sitemap.xml
  6. Поиск внешних (исходящих) ссылок
  7. Поиск битых ссылок
  8. Итоги
  9. Парсинг сайта в Screaming Frog
  10. Зачем нужен парсинг SEO-специалисту?
  11. Программы для парсинга
  12. Как спарсить сайт в Screaming Frog
  13. Технический аудит сайта с помощью Screaming Frog SEO spider
  14. Как пользоваться Screaming Frog SEO Spider
  15. Basic
  16. Limits
  17. Advanced
  18. Preferences
  19. Скорость парсинга
  20. Проверим качество парсинга
  21. Пример аудита сайта
  22. Проверка кодировки страниц
  23. Проверяем мета-теги с помощью SEO Spider Screaming Frog
  24. Оптимизация изображений
  25. Анализ перелинковки
  26. Поиск пустых страниц
  27. Поиск проблемных URL
  28. Анализ внешних ссылок с сайта с помощью Frog Sreaming
  29. Экспертное мнение
  30. Первые шаги в Screaming SEO Spider: установка и начало работы 02.12.2015
  31. Вступление
  32. Установка Screaming frog SEO spider
  33. Как работать со Screaming frog SEO spider
  34. Заключение

Обзор Screaming Frog Seo Spider

Как Вы знаете, мы периодически публикуем обзоры на инструменты, которыми сами пользуемся (ярчайшие примеры – KeyCollector и KeyAssort). Пришло время рассказать про еще один такой мощнейший инструмент. Инструмент называется Screaming Frog Seo Spider. Данную программу можно использовать и бесплатно, но функционал в этом случае будет прилично так урезан.

Обзор на данную программу будет неполным, ибо мы расскажем только про тот функционал, который сами используем. Причем в основном мы используем данную программу при проведении аудитов. Также в этом обзоре нередко будет фигурировать Excel, т.к. именно там мы с помощью формул обрабатываем большие объемы данных буквально в 2 клика.

Запуск сканирования сайта

Ну тут нам ничего не остается, кроме, как просто включить «Капитана Очевидность» и сказать, что перед тем, как приступить к анализу каких-либо данных, эти данные необходимо сначала получить. Этим и займемся.

Первым делом заходим в меню Mode и ставим галочку Spider.

Далее указываем имя сайта и нажимаем Start.

Кстати, с недавних пор это наш клиент (мы про сайт). Разумеется, «весь аудит» мы не покажем, но большинство «основных моментов» все же рассмотрим.

Всё – осталось только дождаться, когда программа завершит сканирование сайта. Имейте в виду, что в бесплатном режиме можно просканировать не более 500 адресов. Хотя… Если сайт очень маленький, то вполне возможно, что в лимит Вы упрётесь нескоро.

Как только сканирование будет окончено, в правом нижнем углу программы появится 100% и точное количество отсканированных адресов.

В данном случае их 20366, а это далеко за пределами «бесплатного» лимита. Итак, сканирование завершено. Ну а теперь переходим непосредственно к тому, какие данные мы обычно используем, как их анализируем и какие выводы из этого делаем.

Поиск дублей (как страниц, так и мета-тегов)

В контексте SEO «дублями» принято считать документы, которые доступны по разным адресам. Например, когда одна и та же карточка товара находится в двух разных разделах интернет-магазина и, как следствие, имеет 2 разных адреса.

Однако, в рамках данной статьи речь пойдет не только о дублях документов, но и о дублях мета-тегов. Поэтому давайте договоримся, что дубли страниц мы будем называть «документальными дублями», а дубли мета-тегов – просто «дублями».

По идее было бы логичнее рассказать отдельно про дубли и отдельно про документальные дубли. Но фишка в том, что методика их выявления абсолютно идентична. Более того, с помощью Screamшng Frog Seo Spider имеет смысл имеет смысл искать и то и другое, причем одновременно, чтобы сэкономить на этом кучу времени.

Итак, что мы знаем о документальных дублях? Правильно – у них всегда совпадают мета-теги. Следовательно, выбираем вкладку Page Titles и сортируем заголовки по алфавиту.

И вот тут мы видим сразу 2 косяка.

Во-первых, на сайте присутствуют страницы как с www., так и без. Следовательно, дубли на сайте присутствуют. Непорядок. Надо заносить эту информацию в аудит и ставить ТЗ на исправление.

Во-вторых, были обнаружены страницы, на которых Title и вовсе отсутствует. Однако, разобравшись, что это за страницы, вопросы отпали – это технические адреса, при посещении которых:

  • товар добавляется в корзину;
  • пользователь попадает в корзину, куда товар уже добавлен.

Следовательно, отсутствие заголовка Title в данном случае вполне допускается. Однако, все равно непонятно, имеются ли какие-либо косяки по Title или нет.

Что же делать? Правильно – экспортировать данные в Excel (кстати, в бесплатном режиме эта функция недоступна), для чего нажимаем на Export, даём имя файлу и выбираем желаемый для сохранения формат – текстовый (csv), либо Excel’евский, причем как старый, так и новый. Мы предпочитаем последний.

Вот так выглядит выгруженная из Screaming Frog Seo Spider таблица:

Что же мы видим по таблице?

1) часть страниц не индексируется, о чем свидетельствуют записи “Non-Indexable” и “noindex”, следовательно, эти страницы нужно убрать из таблицы, чтобы они не мешали дальнейшему анализу;

2) не индексируются именно те страницы, которые лишены заголовков Title;

3) на многих страницах очень короткий Title (см 4 и 5 столбцы, где указана длина Title в символах и в пикселях соответственно).

Итак, чистим таблицу от мусора:

1) удаляем первую строку, чтобы Excel не воспринимал ее содержимое, как заголовок таблицы;

2) выделяем таблицу и сортируем по последнему столбцу «от Я до А» — это нужно для того, чтобы все неиндексируемые страницы были в самом верху таблицы;

3) выделяем все строки с неиндексируемыми страницами и удаляем их – их анализировать бессмысленно;

4) повторяем пункт 2), но на этот раз сортируем не по последнему столбцу, а по первому – это необходимо для того, чтобы все адреса с www. были вверху таблицы, затем также выделяем эти строки и удаляем их – ранее мы про эти дубли уже занесли информацию в аудит, а потому на данном этапе все www.-страницы нам будут сейчас только мешать;

5) снова сортируем таблицу, но уже по столбцу Title – это необходимо для того, чтобы адреса с одинаковыми Title были рядом друг с другом.

Упс… А странички с одинаковыми Title-то присутствуют!

Остается только выяснить, являются ли эти дубли документальными. Единственный способ проверить – вручную зайти на каждый из двух адресов, и…

… и, как видим, контент на них отличается. Следовательно, это не документальные дубли.

И вот сейчас многие зададут вопрос – а что делать, если в таблице несколько тысяч адресов, больше половины из которых с совпадающими Title’ами? Как их быстро «выстроить»? Очень просто – с помощью Excel’евской формулы «если».

Что делает данная формула? Допустим, у нас в ячейке C2 присутствует Title. Формула сверяет значение этой ячейки с ячейками на позицию выше и на позицию ниже (т.е. C1 и C3 соответственно). Если совпадение есть – формула так и скажет, мол, СОВПАДЕНИЕ. А если нет – промолчит. Теперь осталось «растянуть» эту формулу до конца таблицы.

Ну а теперь сортируем таблицу по значениям последнего столбца от Я до А, тогда все адреса с одинаковыми Title’ами окажутся сверху. Упс… А совпадений-то много, однако!

А это значит, что проверка на то, какие из этих страниц являются документальными дублями, займет некоторое время. Однако, в реальной жизни получение этого списка – дело 1-2 минут после окончания сканирования сайта. Ничего себе?

Спойлер: в данном случае документальных дублей не было (если не считать страницы с www. в начале адреса).

Вот такими нехитрыми манипуляциями мы буквально за пару минут выяснили, что:

  • на сайте присутствуют документальные дубли (с www. и без);
  • на сайте присутствуют документы с одинаковыми Title;
  • на сайте присутствуют документы без Title, но при этом они скрыты от индексирования;
  • на сайте присутствуют документы со слишком короткими Title.

Про последний пункт в статье ничего не говорилось, да и говорить особо нечего: если Title слишком длинный, то можно попробовать его сократить (если, конечно, есть возможность), а если слишком короткий, то его можно расширить дополнительными ключевыми словами.

Поиск страниц с совпадающими Title и H1

Как Вы уже знаете из прошлых статей, совпадение мета-тега Title и заголовка H1 в SEO не допускается. Однако, данное явление не является редкостью. Иногда это сделано потому, что заказчик «я сказал делаем так – значит делаем так», но нередко это бывает из-за технических ошибок. В любом случае это не нормально. И снова с помощью Screaming Frog SEO Spider эти страницы (после сканирования) можно найти всем скопом в пару кликов, а именно:

  • открываем вкладку “Internal”;
  • в списке “Filter” ставим “HTML” – это необходимо для того, чтобы в списке УРЛов были только адреса страниц.

Далее экспортируем данные в эксель, открываем и удаляем из таблицы все столбцы, кроме:

  • Address;
  • Title 1;
  • H1-1;
  • H1-2 (если есть);
  • Indexability.
Читайте также:  Sweet Baby Mega Lexus Trike трехколесный велосипед розовый 10 12 Air Music bar

Остальные столбцы нам на данном этапе не нужны. Момент с удалением www.-дублей тоже пропустим, впрочем, как и момент удаления неиндексируемых страниц.

Далее сортируем «от Я до А» по столбцу H1-2 – это необходимо для того, чтобы быстро выявить страницы, на которых более одного заголовка H1. Кстати, рекомендуется их отделить от остальных страниц пустой строкой.

Далее в последнем столбце с помощью оператора =если формируем формулу, которая нам сообщит, в каких именно строках Title совпадает с H1:

В пределах скриншота совпадения, увы, есть везде. Но ТОЛЬКО в пределах скриншота. Последний штрих – сортируем «от Я до А» по последнему столбцу, чтобы переместить в самый верх таблицы строки, в которых совпадают Title и H1. В реальной жизни эта процедура занимает буквально 2-3 минуты, не более.

По последнему скриншоту видно, что:

  • на сайте присутствуют страницы, у которых Title и H1 идентичны;
  • у которых более одного H1;
  • в большинстве случаев страницы из предыдущих двух пунктов – это одни и те же страницы.

Как видите, с точки зрения SEO на сайте всё очень плохо. А ведь нам это всё придется исправлять…

По дублям закончили.

Как сгенерировать Sitemap.xml

Sitemap.xml на нашем сайте уже давно разжеван вдоль и поперек, поэтому мы не будем снова рассказывать о том, насколько он важен, чем полезен и т.д. Но что делать, если его нет, а настроить его автоматическое генерирование средствами сайта не получается? Правильно – придется генерировать вручную. Но имейте в виду, что необходимо, чтобы robots.txt уже присутствовал на сайте и был составлен правильно – это необходимо для того, чтобы «ненужные» страницы не попали в sitemap.xml. К делу.

Итак, сайт уже просканирован, потому заходим в меню Sitemaps и выбираем XML Sitemap.

В открывшемся окне… короче, можно оставить все настройки по умолчанию и вообще ничего не трогать. Ну… Самый максимум – можно еще поставить галочку “Canonicalised”, что в большинстве случаев это бессмысленно, либо поставить галочку “PDFs” (например, если у Вас прайс-лист оформлен именно в этом формате).

Теперь дело за малым – нажать на кнопку Next, сохранить сгенерированный Sitemap.xml, закинуть его на сайт и (при необходимости) скорректировать на него ссылку в robots.txt. И, вроде бы, всё здорово, но есть еще один важнейший момент… В случае с нашим клиентом такой подход будет… НЕПРАВИЛЬНЫМ, поскольку присутствует большое количество www.-дублей и все они пойдут в sitemap.xml, а это не есть хорошо. В данном случае необходимо:

  • склеить www.-дубли с помощью 301-переадресации;
  • заново просканировать сайт;
  • только потом генерировать sitemap.xml.

Именно в такой последовательности.

С картой сайта, будем считать, разобрались.

Поиск внешних (исходящих) ссылок

Про внешние ссылки уже тоже было многократно рассказано, поэтому сейчас не будем опять заострять внимание на то, когда внешние ссылки можно «оставлять открытыми», а когда нужно закрывать.

Собственно, внешние ссылки после сканирования сайта даже выискивать не нужно – Screaming Frog SEO Spider выносит их на отдельную вкладку – “External”.

И вот тут, казалось бы, все просто – экспортируем список внешних ссылок, добавляем их в аудит и всё! Но возникает вполне логичный вопрос – ОК, список внешних ссылок мы нашли, но как их искать в пределах сайта? Как узнать, на какой странице располагается вот эта конкретная внешняя ссылка? Очень просто – в самом низу будет вкладка “inlinks”, в которой будет отражена данная информация:

В данном случае у нас чуть более 30 внешних ссылок. Вручную заносить в аудит информацию о том, где каждая из них располагается – это тот еще садизм, поэтому мы поступаем по-хитрому, а именно:

1) выделяем все внешние ссылки, указанные в программе;

2) целиком выделяем столбцы “From” и “To”;

3) копипастим эти 2 столбца в эксель;

4) чистим строки от дублей (на всякий случай).

Полученные результаты сохраняем в отдельный эксель-файл и ссылаемся на него в аудите. В данном случае количество строк превысило 36000. Такое бешеное количество строк связано с тем, что большинство внешних ссылок (если не все) являются «сквозными», т.е. находятся на каждой странице сайта (например, в подвале, шапке и т.д.). Следовательно, если убрать одну такую «сквозную» ссылку – таблица резко похудеет на несколько тысяч строк. Не отрицаем, данный подход, мягко говоря, не слишком удобен, но зато так куда сложнее что-то упустить.

Поиск битых ссылок

Про битые ссылки тоже уже не раз рассказывалось на нашем сайте, поэтому останавливаться на теоретической части и рассказывать в очередной раз о том, что битые ссылки необходимо либо исправлять/удалять/переадресовывать [нужное подчеркнуть] не будем и перейдем к практике.

Первым делом переходим на вкладку “Response Codes” (это необязательно, просто вкладка “External” гораздо сильнее нагружена информацией, которая для поиска битых ссылок один фиг не используется). Далее в поиске ставим галочку Status code и в поле поиска вводим всеми нами любимое число 404.

После этого у нас в таблице остаются только битые ссылки, причем как внешние (исходящие), так и внутренние. Как выискивать их расположение на сайте? Ровно так же, как и внешние:

И теперь ровно по той же схеме удаляем повторяющиеся строки и www.-дубли через эксель. Всё – профит!

Хотя, ради справедливости, отметим, что после столбцов “From” и “To” есть и другие. Например, столбец, в котором будет показан текст анкора (если ссылка анкорная), текст тега alt (всплывающая подсказка при наведении) и даже информация о том, является ли это ссылка dofollow (true), либо nofollow (false).

Однако, информацию из этих трех столбцов мы в аудит уже не добавляем – нет необходимости.

Итоги

Вот такой вот получился обзор на «лягушку-скримера». По секрету скажем, что здесь перечислено далеко не всё, что было добавлено в аудит и далеко не всё, что было экспортировано для добавления в тот же аудит. Тем не менее, даже при таком раскладе Вы убедились, что программа крайне полезная в плане диагностики сайта.

Еще раз – что мы сделали:

  • выявили битые ссылки, а также страницы, на которых это битьё размещено;
  • выявили внешние ссылки;
  • выявили документальные дубли;
  • выявили дубли мета-тегов, причем как в плане документ1=документ2, так и в плане Title=H1;
  • выявили страницы, на которых более одного заголовка H1;
  • сгенерировали валидный sitemap.xml (хотя, в данном случае это была ошибка, т.к. присутствуют www.-дубли, но не суть).

Теперь осталось решить самый важный вопрос – а стоит ли платить за эту программу? А вот теперь давайте по-честному.

Если у Вас очень небольшой сайт, то Вам лимита в 500 УРЛ и урезанного функционала на первое время хватит, ибо его достаточно, чтобы выявить «общие» проблемы сайта.

Если же Вы используете Screaming Frog SEO Spider в коммерческих целях (например, для проведения аудита клиентского сайта), то тут имеет смысл поддержать разработчиков финансово. Да, лицензия стоит немало – 149 фунтов, что в пересчете на рубли – примерно 13-13,5 тысяч, причем это цена за год, а не за лайфтайм. Но подумайте вот о чем: 13500 в год = чуть более, чем 1100 рублей в месяц, а теперь вспомните, сколько стоит аудит – минимум в 7-8 раз дороже, а то и в 10, а то и в 15, а сколько таких аудитов Вы делаете в месяц? Ну а если Вы все-таки решили зажать для разработчиков эти 13,5 килорублей, то… Вы знаете, что делать.

Источник

Парсинг сайта в Screaming Frog

Содержание:

Парсинг – это процесс автоматического сбора необходимой информации по заданным нами критериям. Парсить (сканировать) можно данные с сайтов, поисковой выдачи, форумов и социальных сетей, порталов и агрегаторов.

Зачем нужен парсинг SEO-специалисту?

С помощью парсера SEO-специалист может сократить время, которое тратит на просмотр и анализ каждой отдельной страницы сайта. Ведь если на Вашем сайте более 1000 страниц , то процесс поиска необходимой информации на каждой из них займет у Вас довольно большое количество времени, сократить которое можно с помощью парсера. Парсер собирает следующие данные:

  1. URL-адрес страницы;
  2. Мета-теги Title и Description;
  3. Заголовки H1, H2 и другие;
  4. Размер и формат картинок;
  5. Канонический адрес страницы;
  6. Код ответа сервера (200, 301,404 и т.д.);
  7. Протокол передачи данных (HTTP/HTTPS);

И многое другое.

Программы для парсинга

В интернете существуют большое количество бесплатных и платных программ для парсинга, самым удобным и популярным для SEO среди них считается Screaming Frog SEO Spider . У программы есть платная и бесплатная версия (не более 500 URL-адресов). Лицензия на год обойдется примерно в 15 000 рублей (£149.00).

Как спарсить сайт в Screaming Frog

1. Откройте программу на рабочем столе, кликнув по этому значку:

Читайте также:  Бытовой вентилятор Rix RSF 3000W

2. Скопируйте ссылку на сайт и вставьте в поле на картинке, далее нажмите «Start» :

Начнется сканирование сайта, время которого зависит от объема данных на сайте. После того, как индикатор « Crawl » заполнится до 100% , можно переходить к следующему шагу.

3. Во вкладке « Internal » сделайте фильтр по HTML как на картинке ниже, так как нас интересуют только страницы на сайте.

4. Нажмите кнопку « Export » и выгрузите файл. Обязательно переименуйте его по названию сайта и укажите дату парсинга как на картинке ниже.

5. Файл выгрузится в формате Excel , откройте его и начинайте работу над страницами:

Спасибо, что дочитали до конца. Переходите к следующей инструкции.

Источник

Технический аудит сайта с помощью Screaming Frog SEO spider

screaming seo frog

Очень не люблю долгие вступления. Да, и пришли вы сюда не за этим. Давайте сразу к делу: сегодня мы рассмотрим вопрос технического аудита сайта с помощью программы Screaming Frog SEO.

Как пользоваться Screaming Frog SEO Spider

Сама программа распространяется бесплатно, хоть и имеется платная версия — функционал при этом мало ограничен, что позволяет провести полноценный технический аудит сайта. Но прежде чем приступить к работе, необходимо немного ознакомится с настройками в Screaming Frog . Давайте разберем самые важные. Заходим Configuration > Spider и далее по вкладкам.

Basic

Чтобы ускорить анализ сайта, можно исключить из парсинга CSS стили, JavaScript, SWF (это проприетарный формат для флеш-анимации, векторной графики, видео и аудио в инете).

screaming frog seo spider как пользоваться

Limits

Тут нас интересует только Limit Search Depth — это настройка ограничения по вложенности страницы. Например, страницы больших сайтов с огромным количеством товаров в каталоге обычно имеют глубокую вложенность по url. Ставим подходящее нам ограничение и заметно экономим время.

Advanced

Cтавим галочки так, как показано на скриншоте. Тем самым будем изучать только ту информацию, которую видят поисковые роботы.

ad33266313

Preferences

Screaming SEO Frog предлагает указать пожелания по размеру метатегов, урла, заголовков h1/h2, длине атрибута alt и размера изображения. Можно указать большие значения, чтобы не упускать ничего.

3b49537d0a

Бывает, что необходимо проверить только определенные разделы или один, а может и наоборот — все, кроме некоторых или кроме одного. Чтобы проверить конкретные разделы, заходим в Configuration > Include, где указываем раздел. Если нужно исключить: Configuration > Exclude и аналагично указываем исключаемые разделы.

Если у вас новый сайт, который еще не готов к открытию (и админки как таковой еще нет), а провести технический аудит нужно — в SEO Screamig Frog можно указать логин и пароль. Чтобы не указывать админский доступ, можно создать ограниченный — гостевой

Если сайт закрыт в robots. txt, в настройках (вкладка Basic) необходимо включить опцию игнорирования данного файла.

Скорость парсинга

Еще одна основная настройка SEO Frog. При запуске парсинга в самом низу указывается средняя скорость и текущая. Если сайт не выдерживает большой скорости, то лучше в настройках указать определенное значение.

4851f59a2a

Все настройки готовы и теперь можно приступить к старту парсинга сайта. В верхней части SEO Frog указываем сайт, нажимаем Start и ждем. Время ожидания зависит от размера сайта, в основном это от 5 до 25 минут.

Проверим качество парсинга

Переходим в правую часть программы и ищем Response Codes. Если в строке No Response слишком большое значение, то необходимо вернуться в настройки и понизить скорость парсинга. Тише едешь — дальше будешь.

35aaf647e1

Пример аудита сайта

Перед тем как приступить к работе, хочется дать небольшой совет. Каждую страницу из SEO Spider Frog можно выгружать и затем форматировать на свое усмотрение в Excel. В большинстве случаев это очень удобно: можно фильтровать и откидывать ненужную информацию. В данной статье мы разберем программу и информацию без выгрузки файлов, но суть от этого не меняется.

Итак, давайте из всей отчетной информации выберем самую важную.

Проверка кодировки страниц

Выбираем вкладку Internal и в фильтре HTLM и глазами пробегаемся по столбцу Content. Везде должна быть кодировка UTF-8. Если она отличается, то следует посмотреть на код ответа сервера в соседней колонке. Например, если есть 301 редирект, значит все ок.

Проверяем мета-теги с помощью SEO Spider Screaming Frog

Данный пункт имеет большое значение. Сперва стоит проверить на всех ли страницах есть h1, title и description. Для этого находим нужный столбец, фильтруем его двойным нажатием на заголовок и смотрим результат. На скриншоте видно, что все страницы без мета-тега Title имеют код ответа сервера 404 или 301 редирект. За исключением одной страницы, но это ошибка при парсинге, т.к. если зайти на нее можно убедиться, что тайтл присутствует. Ошибки программа выдает крайне редко и 1 на 500 страниц не так и страшно, если ошибок много, то следует уменьшить в настройках скорость парсинга и перезапустить процесс.

screaming frog

Так можно проверить title, description, заголовки h1 и h2. Помимо наличия в соседней колонке указывается длина в символах и ширина в пикселях. Поэтому необходимо после проверки наличия мета-тегов проверить и их длину.

Также следует проверить одинаковые description, title и h1. Сделать это можно вручную: пробежать глазами по списку (если страниц немного) или во вкладке отфильтровать должным образом.

spider seo

После проверки необходимо заполнить все мета-теги и сделать их уникальными в пределах ресурса. Данная процедура имеет немалое значение в SEO оптимизации сайта и весьма положительно влияет на место в выдаче.

Теперь перейдем к вопросу — как найти дубли страниц на сайте. Переходим во вкладку URL, в фильтре выбираем дубликат. В идеале получаем такой результат.

как пользоваться screaming frog seo spider

Если дубли все же есть, необходимо избавиться от них. Сделать это можно двумя способами: удалить все дубли или закрыть от индексации поисковыми системами в файле robots.txt.

Также стоит обратить внимание на размеры и время загрузки страниц сайта. Возвращаемся во вкладку Internal и ищем колонки Size и Response Time. Размер кода страницы не должен превышать 200 килобайт, если видим больше — заходим на страницу и анализируем проблему. Скорость загрузки не должна превышать 5−6 секунд. Обычно «тяжелые» страницы прогружаются именно на этом временном пороге, т. е. больше уже плохо. Опять же заходим, анализируем, исправляем.

Оптимизация изображений

Оптимизация картинок также имеет свое значение в комплексном аудите сайта. Например, Яндекс охотнее возьмет картинку в соответствующую выдачу, а это дополнительный трафик и + в карму от поисковой системы. Скриминг фрог и в этом вопросе может нам помочь. Переходим на вкладку Images, в фильтре выбираем Over 100 kb, ищем объемные картинки и затем Missing Alt Text. Конечно, настроек изображений много, но это основные две, которые рекомендуется соблюдать.

Анализ перелинковки

Не будем подробно разбирать правила перелинковки, просто расскажу два важных правила:

  1. Важные для продвижения страницы должны быть как можно ближе к главной.
  2. Должны иметь как можно больше входящих ссылок и меньше исходящих, чтобы у страницы был хороший внутри-ссылочный вес.

Во вкладке Internal ищем inlinks и outlinks, сортируем по значению. Желательно найти все важные и продвигаемые разделы в списке, для этого можно воспользоваться поиском. Значения входящих и исходящих ссылок у каждого сайта будут разные. Поэтому стоит отталкиваться от общего количества страниц и средне-ссылочной массы каждой из них.

Поиск пустых страниц

Там же (во вкладке Internal) выбираем в фильтр HTML и переходим к столбцу Word Count. Отфильтровываем по значению и смотрим, где значение равно нулю либо подозрительно маленькое. Главное, сразу отбросить страницы с кодом 404 и 301 редиректами. Пустые страницы следует наполнить контентом (если они нужны). В противном случае закройте их от индексации или избавьтесь от них вовсе.

Поиск проблемных URL

В SEO Spider Frog переходим во вкладку URL и смотрим по разным параметрам фильтра, но прежде давайте разберемся «who is who».

  • Non ASCII Characters — это урлы, которые имеют символы, не входящие в схему кодировки ASCII символов. Исправляем, т.к. в будущем возникнут проблемы с ссылками на такие страницы.
  • Underscores — урлы, в которых используется нижнее подчеркивание. Правилом хорошего тона считается написание через дефис. Это не критично, но исправить желательно.
  • Duplicate — самый важный фильтр, ради которого мы заходим в этот раздел. Видим все дублирующие страницы на сайте. Необходимо найти причину образования дублей и как можно быстрее решить проблему.
  • Dynamic — показывает список url, которые содержат символы типа «&», «!» и «?». Задача не критичная, но проанализировать стоит.
  • Over 115 characters — покажет нам длинные url. К данному пункту стоит присмотреться. Т.к. есть любители поспамить ключами в урлах, за что часто можно поплатиться санкциями за переспам.

В любых операциях с URL не стоит забывать про 301 редирект.

Анализ внешних ссылок с сайта с помощью Frog Sreaming

Вкладка External позволяет просмотреть список всех исходящих внешних ссылок. Желательно провести детальный анализ и затем периодически проверять их количество и качество. Переходим на вкладку External и фильтруем колонку Status Code по значению. Нас интересуют нерабочие ссылки. Просматриваем, меняем их на своем сайте или удаляем вовсе. Внизу во вкладке In Links можно увидеть список страниц, которые содержат ссылку на определенный сайт.

Читайте также:  Показания к применению Пенициллин g натриевая соль

Далее желательно просмотреть все ссылки, проверить все ли ваши. Бывают случаи, когда кто-то получает доступ к вашему сайту и шпионским образом проставляет ссылки. Случай редкий, но проверить надо.

Экспертное мнение

С каждым днем факторов ранжирования поисковыми системами становиться все больше. Попасть в заветный ТОП выдачи все сложнее, а тут еще и конкуренты выкатывают свои сайты. Необходимо встать на голову (а то и на две) выше остальных. Для этого SEO специалисты делают технический аудит сайта и детально анализируют каждый пункт.

Если вы не сеошник, то решение провести самостоятельный технический аудит сайта похвально. Такая программа как Screaming Frog Spider SEO может очень помочь вам в этом деле, но для полной оптимизации сайта этого все же недостаточно. Существует множество сервисов, которые помогают проанализировать проблемы, но, на мой взгляд, данная программа имеет самый обширный арсенал возможностей. И помните главное правило — лучше делать долго, но качественно, чем быстро и почти никак.

Источник

Первые шаги в Screaming SEO Spider: установка и начало работы 02.12.2015

В статье рассмотрены следующие сервисы: Screaming Frog SEO Spider

Вступление

Screaming frog SEO spider – парсер, который умеет парсить весь сайт целиком или отдельно указанные URLстраниц.

В этой статье мы рассмотрим, как пользоваться программой Screaming frog SEO spider, и основные ее настройки, которые необходимы для работы программы, покажем, как можно упростить парсинг сайта, используя Screaming frog SEO spider.

В нашей инструкции использована бесплатная версия программы Screaming frog SEO spider, которую можно скачать с официального сайта по ссылке: http://www.screamingfrog.co.uk/SEO-spider/. Бесплатная версия программы имеет ограничения в настройках. Ее нельзя так гибко настроить, как платную версию. Второе ограничение бесплатной версии Frog SEO spider: максимальное количество проверяемых страниц – 500. Обычно этого достаточно для проверки небольших сайтов.

Установка Screaming frog SEO spider

Чтобы установить программу на компьютер, ее необходимо скачать. Во избежание вирусов рекомендуем скачивать программу только с официального сайта.

Как установить Screaming frog SEO spider:

  1. Переходим на официальный сайт программы (http://www.screamingfrog.co.uk)
  2. На главной странице переходим в меню «SEO Spider» и нажимаем «Download»
  3. На странице загрузки в правой части страницы нажимаем кнопку «DOWNLOAD». На скриншоте ниже красным прямоугольником обведена кнопка загрузки клиента для ОС Windows.

Запускаем файл, который скачали. У нас появляется окно, в котором нажимаем кнопку «Next»:

В следующем окне нажимаем кнопку «Install» и ждем некоторое время, пока завершится процесс установки.

После того, как завершится процесс установки, нажимаем кнопку «Close»

Теперь программа Frog SEO Spider установлена на вашем компьютере.

Как работать со Screaming frog SEO spider

Парсинг страниц с помощью Spider SEO не занимает много времени и усилий. После запуска программы ее необходимо совсем немного настроить под ваши требования.

Первое, что нам нужно сделать, – настроить режим парсинга (вкладка «Mode»). В зависимости от ваших потребностей, можно выбрать один из доступных режимов работы программы.

  • Spider – парсинг сайта.
  • List – парсинг указанных URL адресов.
  • SERP – проверка Title и Description страниц. Расчет количества знаков, ширины и длины в пикселях, прежде чем метатеги попадут на сайт.

Режим Spider

В этом режиме происходит парсинг всего сайта полностью, в том числе парсинг изображений. Здесь все просто – вставляем URL сайта в адресную строку и нажимаем кнопку «Start»

Режим List

В этом режиме программа будет парсить только те URL адреса, которые вы зададите.

Список адресов можно добавить в Screaming frog несколькими способами. Для этого делам следующее:

  1. Выбираем режим «List»
  2. Нажимаем кнопку «Upload List» и в выпадающем меню выбираем способ добавления URL адресов:
    • Загрузить файл со списком URL адресов кнопкой «From a File…»
    • Ввести вручную, выбрав пункт «Enter Manually…»
    • Скопировать URL адреса в буфер обмена и вставить их в программу кнопкой «Past»

После того как Screaming frog SEO spider спарсит ваш сайт или заданные URL адреса, в главном окне программы появится отчет с адресами и информацией о них.

Отчет сформирован так, что каждая строка – это отдельная страница сайта или же просто ссылка, а столбцы – характеристики.

Переходим к основным вкладкам программы, которые расположены в верхней части главного окна нашей программы. В каждой вкладке есть свои таблицы с URL адресами и фильтрами по характеристикам.

Подробнее о вкладках и о том, за что они отвечают:

  • Internal – обычно она открыта по умолчанию и отображает основные собранные данные по URL адресам, в том числе ответ сервера. В этой вкладке отображено больше всего параметров.
  • External – здесь отображаются исходящие ссылки.
  • Response Codes – вкладка, которая отображает заголовки HTTP страниц.
  • URL – здесь отображаются проблемные URL адреса. Изначально мы видим все URL, которые программа спарсила; чтобы посмотреть проблемные ссылки, необходимо выбрать тип проблемы в фильтре.
  • Page Titles – вкладка, где можно отследить страницы с проблемными заголовками. Аналогично предыдущему пункту, чтобы увидеть адреса страниц с проблемными заголовками, необходимо выбрать тип проблемы в фильтре.
  • Meta Description – аналогично Page Titles, только для описания страниц (метатег Description).
  • Meta Keywords – отображает результаты по содержанию тега Keywords для каждой страницы. Здесь можно увидеть адреса страниц с дублями ключевых слов или страницы, где метатег Keywords не заполнен.
  • Вкладки H1 и H2 соответственно отображают результаты по всем заголовкам H1 и H2, найденные на каждой странице сайта.
  • Images – эта вкладка отображает список изображений, их размер и количество ссылающихся на них ссылок.
  • Directives – здесь можно увидеть типы URL адресов: follow/nofollow, refresh, canonical и другие.

На каждой вкладке, как мы уже говорили ранее, есть фильтр, кнопка экспорта, кнопка вида таблицы и поисковая строка.

  • Фильтр – таблицы на каждой вкладке можно фильтровать по параметрам, которые в свою очередь зависят от типа вкладки.
  • Кнопка экспорта – таблицы (отчеты) можно экспортировать. Экспортируются они с учетом фильтра и сортировки. (Например, если вы указали в фильтре файлы только CSS, и у вас отображается только CSS файл, то и в экспорт попадут исключительно CSS файлы.)
  • Вид – здесь есть 2 варианта: древовидный вид и список (второй вид отображен на скриншоте).
  • Строка поиска – поиск общий, указанные значения ищутся во всех параметрах отчета активной вкладки.

В нижней части программы Screaming frog SEO spider есть окно с вкладками. В этом окне выводится информация по каждому выбранному URL адресу из основного окна. Подробнее о каждой вкладке:

  • URL Info – основная информация о ссылке
  • Inlinks – входящие ссылки
  • Outlinks исходящие ссылки
  • Image Info – информация об изображениях, связанных с выбранным URL адресом.
  • SERP Snippet – информация о сниппете выбранного URL адреса.

И последнее, что мы разберем в этой статье, – правый блок программы, у которого, аналогично остальным блокам, есть вкладки, которые расположены вверху.

Подробнее о каждой из вкладок:

  • Overview – здесь можно увидеть количество элементов и его процентную часть от общего количества элементов. Отображается как общее количество, так и количество элементов каждого типа.
  • Site Structure – в этой вкладке отображается структура сайта.
  • Response Times – эта вкладка отвечает за отображения скорости загрузки элементов сайта. На примере ниже мы видим, что 332 элемента нашего сайта загружается менее чем за 1 секунду и 8 элементов загружается за время менее 2 секунд. В третьем столбце выводится процентная доля каждой группы от общего количества.

Заключение

В этой инструкции мы рассказали об основных пунктах меню Screaming frog SEO spider, которые необходимо знать, чтобы приступить к работе с программой, а также показали основные элементы программы, немного рассказав о каждом.

После прочтения данной инструкции парсинг сайта – уже не проблема для вас. Напоследок добавим, что Screaming frog SEO spider может пригодиться при проверке перелинковки сайта или, например, при проверке ответа сервера.

Screaming frog SEO spider – это универсальная и гибкая программа, которая может пригодиться при проверке сайта на различные параметры в абсолютно разных случаях.

А если вы хотите получить больше информации про подобные сервисы, наши коллеги подготовили небольшой обзор-сравнение Screaming Frog с Comparser.

Источник

Поделиться с друзьями
Adblock
detector