Обход сайта и карта URL

Раздел Обход сайта настраивает фоновую техническую проверку: URL из sitemap, стартового списка и внутренних ссылок, HTTP-ответы, цепочки редиректов и данные страниц. Запуск не требуется для простого просмотра уже существующей карты.

Настроить обход

• Проверьте выбранный проект.

• Выберите источник: Весь сайт (главная, sitemap и внутренние ссылки) либо Список URL (по одному в строке или TXT/CSV). Для списка интерфейс показывает максимум 1 000 исходных URL.

• Ограничьте число страниц быстрым пресетом или вручную: доступные варианты на экране — 100, 250, 500, 1 000, 2 500 и 5 000.

• Задайте скорость. Интерфейс ограничивает её максимумом 1 страница/с на host и сообщает, что robots.txt соблюдается всегда.

• При необходимости включите проверки главной: HTTP → HTTPS, WWW-вариант, лишние слеши.

• В Дополнительных параметрах настройте переход по внутренним ссылкам, максимальную глубину, sitemap URL (до 10), обработку query-параметров и включаемые/исключаемые пути.

• Оставьте Сохранить карту сайта, если хотите перенести найденные страницы, метатеги и показатели загрузки в карту проекта.

• Сверьте блок Параметры запуска, затем нажмите Запустить обход. Прогресс и ответы будут доступны на странице операции.

Если sitemap недоступен, интерфейс сообщает, что проверка продолжится по ссылкам. Для крупного сайта начинайте с ограниченного объёма и умеренной скорости, чтобы увидеть качество обнаружения URL.

Карта страниц

В Карте страниц слева отображается дерево URL, справа — таблица. Можно найти страницу по URL, Title или H1, отфильтровать тип/индексируемость/раздел и экспортировать данные. В таблице представлены URL, HTTP-статус, Title, H1, время ответа, размер и проблемы; рядом с URL видно число связанных запросов и кластеров.

Кнопка Добавить страницу открывает карточку планируемого или существующего URL: канонический URL, тип, индексируемость, приоритет, Title, H1 и статус контента. У существующей строки Изменить открывает те же параметры, В архив убирает её из активного списка. Эти действия не заменяют публикацию страницы в CMS.

Для работы по посадочным удобно сравнивать целевой URL запросов с картой: есть ли страница, какой у неё HTTP-статус и метаданные, сколько фраз к ней привязано. Отсутствие HTTP-значения в карте может означать, что URL ещё не проверяли в текущем проекте.

Скриншоты относятся к интерфейсу на 8 октября 2026 года.