Screaming Frog: как проводить технический аудит сайта

Screaming Frog SEO Spider — настольный краулер для технического аудита сайтов. Он имитирует работу поискового робота: обходит все страницы, собирает данные о мета-тегах, заголовках, ссылках, статусах ответа, скорости, изображениях и десятках других параметров. За 20 минут работы на среднем сайте выдаёт исчерпывающий технический срез, на сбор которого вручную ушли бы дни.

Что умеет Screaming Frog: полный функционал

Функциональность Screaming Frog выходит далеко за рамки «проверки мета-тегов». Это полноценная платформа технического аудита с интеграцией внешних сервисов.

Основные возможности

• Краулинг до 500 URL бесплатно (без ограничений в платной версии за £259/год).
• Анализ мета-тегов: Title, Description, заголовков H1–H6 — дубли, пропущенные, слишком длинные или короткие.
• Проверка статусов ответа: 200, 301, 302, 404, 500 — полная карта редиректов и ошибок.
• Анализ внутренней перелинковки: граф ссылок, глубина страниц, изолированные страницы.
• Проверка изображений: отсутствующий alt, тяжёлые файлы, битые ссылки на изображения.
• Извлечение пользовательских данных через XPath/RegEx — любые элементы страницы.
• Интеграция с Google Analytics, Google Search Console, PageSpeed API, Ahrefs API.
• JavaScript-рендеринг — краулинг SPA-сайтов на React, Vue, Angular.

«Технический аудит без Screaming Frog — как диагностика автомобиля без подключения к бортовому компьютеру. Можно посмотреть визуально, но половину проблем не найдёшь.»

Настройка перед первым краулингом

Правильная настройка до запуска краулинга экономит время и повышает качество данных.

Ключевые настройки Configuration

• User-agent: выберите Googlebot или Yandexbot для имитации конкретного поисковика. Некоторые сайты отдают разный контент разным агентам — это важно обнаружить.
• Crawl limit: для первичного аудита крупного сайта ограничьте до 10 000 URL — получите общую картину быстро.
• Exclude: исключите ненужные разделы (URL с параметрами, корзина, профиль пользователя), чтобы не засорять данные.
• Render: включите JavaScript-рендеринг только если сайт на SPA — это значительно замедляет краулинг.
• Cookies: настройте cookies авторизации, если нужно проверить защищённые разделы.

Как провести технический аудит через Screaming Frog: пошаговая инструкция

Запустите краулинг и дождитесь завершения

Введите URL в строку и нажмите Start. Средний сайт на 500 страниц краулится 5–10 минут. Крупный (10 000+ страниц) — 30–90 минут. Во время краулинга наблюдайте за вкладкой Overview: там видно соотношение кодов ответа в реальном времени. Если сразу видно много 404 или 301 — это сигнал для приоритетного внимания.

Проверьте критические ошибки индексации

Вкладка «Response Codes» → фильтр 4xx и 5xx. Страницы с ошибкой 404, на которые ведут внутренние ссылки — критическая проблема: поисковый робот «застревает» на нерабочих страницах. Вкладка «Directives» — страницы с noindex, nofollow, canonical. Убедитесь, что noindex стоит только там, где нужно, и не закрывает важные страницы по ошибке.

Проанализируйте мета-теги

Вкладка «Page Titles»: Missing (нет Title), Duplicate (дубли), Over 60 Characters (слишком длинный), Below 30 Characters (слишком короткий). Аналогично для Meta Description. Экспортируйте проблемные страницы в CSV — это готовый список задач для копирайтера или разработчика. Особое внимание — дублям Title: они создают конкуренцию между собственными страницами.

Оцените внутреннюю перелинковку

Вкладка «Crawl Depth» — распределение страниц по глубине. Страницы глубже 3 кликов от главной плохо индексируются. Вкладка «Inlinks» — список страниц, на которые не ведёт ни одна внутренняя ссылка (изолированные). Такие страницы невидимы для робота и не получают ссылочный вес. «Визуализация» (Visualisation) — граф внутренней перелинковки: сразу виден дисбаланс и «узкие места».

Проверьте изображения и скорость

Вкладка «Images» → Missing Alt Text — список изображений без alt-атрибута. Alt — это не только SEO (текстовый сигнал для алгоритма), но и доступность. Вкладка «Images» → Over 100KB — тяжёлые изображения, которые замедляют загрузку. Интеграция с PageSpeed API (Configuration → API Access) добавит данные Core Web Vitals прямо в краулинг-отчёт.

Приоритизация находок: что исправлять в первую очередь

Технический аудит часто выдаёт сотни рекомендаций. Браться за всё сразу — типичная ошибка. Приоритизация по матрице «влияние × усилие» показывает, с чего начинать.

Контентные задачи из технического аудита: где Screaming Frog встречается со смыслами

Технический аудит обнаруживает не только ошибки кода, но и проблемы с контентом: пустые H1, дублированные Description, страницы с минимальным количеством текста. Но исправление этих проблем — уже не техническая, а содержательная задача.

Список страниц с отсутствующими или слабыми мета-тегами — это готовый технический список. Но чтобы написать работающий Title, который повысит CTR, или Description, который убедит кликнуть именно на ваш результат, нужно понимать, что важно для вашего пользователя. Именно это даёт карта смыслов от Мамонтов.топ: она переводит технический список «страниц с плохими Description» в содержательную задачу «написать Description, закрывающий главный страх клиента перед обращением». Техника и смысл работают в паре — одно без другого даёт неполный результат.

Проблема и решение: краулер не обходит весь сайт

Проблема: Сайт содержит 5000 страниц, но Screaming Frog обнаружил только 800. Большая часть каталога не проиндексирована и в аудите отсутствует.

Решение: Причин несколько. Первая: страницы не связаны внутренними ссылками — краулер идёт по ссылкам, а не по базе данных. Добавьте XML Sitemap в Configuration → Crawl → Include XML Sitemap — краулер пройдёт и по страницам без входящих ссылок. Вторая: JavaScript-рендеринг не включён, а страницы генерируются динамически. Включите рендеринг и проверьте разницу. Третья: robots.txt блокирует часть URL — проверьте файл на предмет избыточных правил Disallow.

FAQ: вопросы о техническом аудите через Screaming Frog

Нужна ли платная версия Screaming Frog или хватит бесплатной?

Бесплатная версия ограничена 500 URL — достаточно для небольших сайтов (лендинги, сайты-визитки, небольшие блоги). Для интернет-магазинов, корпоративных сайтов и любых ресурсов с сотнями страниц нужна платная версия (£259/год, около 32 000 рублей). Платная версия также добавляет JavaScript-рендеринг, интеграции с API, пользовательские извлечения данных и расписание автоматических краулингов. Для профессиональной работы — платная версия окупается после первого же аудита среднего сайта.

Как часто нужно проводить технический аудит через Screaming Frog?

Для активно развивающихся сайтов — раз в месяц. После крупных изменений (редизайн, новый раздел, миграция) — сразу после деплоя. Для стабильных сайтов с редкими обновлениями — раз в квартал. В платной версии можно настроить автоматический краулинг по расписанию с сохранением результатов для дифференциального анализа: новые ошибки сравниваются с прошлым прогоном автоматически.

Как использовать Screaming Frog для проверки редиректов?

После краулинга перейдите в вкладку «Response Codes» → 3xx Redirects. Видите все редиректы и их цепочки. Особое внимание: цепочки 301→301→301 (redirect chains) — каждый дополнительный редирект замедляет загрузку и немного теряет ссылочный вес. Исправление: сделать прямой редирект с исходного URL на финальный. Также проверьте 302 редиректы (временные) — если постоянная страница отдаёт 302, замените на 301.

Можно ли использовать Screaming Frog для аудита конкурентов?

Да, Screaming Frog краулит любой публично доступный сайт. Аудит сайта конкурента покажет его структуру, количество страниц, глубину каталога, использование мета-тегов и заголовков. Ограничение: вы видите только то, что доступно публично — содержимое корзины, личных кабинетов и других закрытых разделов не краулится. Для анализа конкурентов краулинг полезен прежде всего для изучения архитектуры сайта и подхода к оптимизации страниц.

Заключение

Screaming Frog — один из немногих инструментов, которые одинаково полезны как начинающему SEO-специалисту (простой интерфейс, наглядные отчёты), так и опытному (кастомные извлечения, интеграции с API, JavaScript-рендеринг). Его ценность — в скорости и полноте технического среза сайта.

Технический аудит через Screaming Frog — это не разовое мероприятие, а регулярный процесс. Сайты постоянно меняются: добавляются страницы, появляются редиректы, случайно закрываются разделы. Регулярный краулинг — это контроль технического здоровья, который предотвращает потерю позиций из-за незамеченных ошибок.