Netpeak spider

Публикуем обзор на краулер Netpeak Spider и подробную инструкцию по работе с ним.Содержание:УстановкаОсновные настройки сканированияПараметрыЗапуск сканированияРабота с результатами сканирования и отчётамиСохранение проекта и выгрузка данныхВстроенные инструменты Netpeak SpiderВыводыNetpeak Spider — программа, которая помогает провести детальный аудит сайта и найти проблемы, связанные с внутренней оптимизацией. Краулер также снабжен различными инструментами, которые способны облегчить и автоматизировать работу специалистов из разных сфер, включая SEO, контент-маркетинг, линкбилдинг, PPC и продажи. Благодаря высокой производительности и удобному юзабилити вы сможете получить все нужные данные в кратчайшие сроки, даже работая с сайтами-гигантами.УстановкаПрограмма предусматривает бесплатный 14-дневный пробный период, за время которого вы успеете ознакомиться со всеми её возможностями и решить, стоит ли совершать покупку.Чтобы воспользоваться пробным периодом, вам необходимо:Зарегистрировать аккаунт на сайте Netpeak Software.Скачать и установить программу для управления продуктами Netpeak Launcher и авторизоваться в нём.Установить Netpeak Spider прямо из Launcher.Несколько несложных манипуляций, и программа уже на вашем компьютере.Установка Netpeak Spider из LauncherНастройки сканированияПосле запуска Netpeak Spider перед вами откроется основное окно программы.Настройки Netpeak SpiderВы можете сразу запустить сканирование сайта, но все же лучше разобраться в настройках, чтобы максимально кастомизировать их под свои нужды. В окне с настройками программы вы найдете 10 вкладок, каждую из которых рассмотрим по порядку. На 7 из них вы можете выбрать готовые шаблоны настроек, либо же создать собственные.Основные настройкиЗдесь вы можете менять язык интерфейса, регулировать скорость сканирования и управлять базовыми настройками сканирования. Настраивая скорость сканирования, будьте аккуратны, так как чем больше потоков, тем больше нагрузка на сканируемый сайт. Основные настройкиПродвинутые настройкиНа этой вкладке настраивается учет инструкций по индексации, сканирование ссылок из тега, а также определяются условия, при которых сканирование будет остановлено автоматически. Продвинутые настройкиВиртуальный robots.txtЭто специальная встроенная функция, с помощью которой вы можете тестировать новый или обновлённый файл robots.txt и проверять, как сайт может быть воспринят роботами поисковых систем. Виртуальный robots.txtПарсингЗдесь можно настроить до 15 потоков парсинга (извлечения данных) и собирать любые данные,

Сегодня чёткая коммуникация и коллаборация между участниками команды в онлайне особенно много значат для развития бизнеса. Именно поэтому в новом Netpeak Spider 3.7 мы внедрили интеграцию с Google Drive, определение структурированных данных и ещё несколько интересных улучшений. Кликайте на пункты содержания, чтобы быстро попасть на нужный раздел ?1. Интеграция с Google Drive 2. Определение структурированных данных (микроразметки)3. Парсинг: 100 условий и новый сводный отчёт4. Улучшения генератора SitemapБонусы Коротко о главном 1. Интеграция с Google DriveОт любви до ненависти один шаг, вернее — одна неосторожная фраза в Телеграме. Поэтому мы внедрили в Netpeak Spider интеграцию с Google Drive, в том числе чтобы не возникало таких ситуаций:А вот как изменится ситуация при переходе на Google Drive и использовании Google Таблиц:У нас в Netpeak Software большинство рабочих процессов построено на Google Docs & Sheets, и мы уже не можем представить себе нашу жизнь без них. Даже наши новички хорошо дружат с форматированием, обрезкой ненужных ячеек, функциями и формулами (правда, у них нет другого выбора, испытательный срок же хочется пройти ?).Конечно же, мы хотим облегчить работу нашим пользователям, чтобы и у вас всё происходило быстро и гладко. Новая фича в Netpeak Spider будет полезна тем, у кого большая часть рабочей коммуникации происходит в сервисах Google.А если у вас не так, то как вы вообще работаете? ? Напишите, пожалуйста, в комментариях под постом, что вы используете вместо Google Документов?Благодаря интеграции можно быстро экспортировать отчёты напрямую в Google Таблицы без каких-либо ограничений и в пару кликов давать к ним доступ коллегам. Аналогично и с PDF-отчётами: они выгружаются сразу на Google Диск, а значит вам останется только скопировать ссылку и отправить клиенту или руководителю.Включить функцию очень просто — нужно добавить свой аккаунт Google в настройках экспорта программы. Сам экспорт работает по стандартной логике Netpeak Spider для всех таблиц.Больше деталей о том, как работает интеграция с Google Drive, вы найдёте в статье из руководства пользователя «Настройки экспорта».Эта функция доступна пользователям, которые подписаны на платные тарифы. Если вы используете бесплатную версию, как насчёт апгрейднуть её прямо сейчас? ?2. Определение структурированных данных (микроразметки)Поисковый робот использует данные из микроразметки в сниппете, чтобы сделать его полезным для пользователя. А это, в свою очередь, улучшает кликабельность. Теперь Netpeak Spider умеет определять наличие структурированных данных на странице, их формат (JSON-LD, Microdata, RDFа) и типы.С новой функцией вы сможете определять, на каких страницах есть микроразметка, а на каких нет, хотя она должна там быть. Также можно посмотреть используемые форматы разметки на страницах и проверить, какие типы данных размечены.2.1. Что мы добавилиВнутреннюю таблицу в базе данных «Микроразметка» со столбцами: URL, формат, тип и количество типов данных.Параметр «Микроразметка: типы данных» в боковой панели.Отчёт «Микроразметка» в группе экспорта «Массивные отчёты из базы данных (XL)».Ошибку низкой критичности «Отсутствует микроразметка».Пункт «Содержат микроразметку» в отчёте «Сводка» на боковой панели.Пункт «Google Structured

Главная База знаний Netpeak Spider Инструменты Netpeak Spider ... Генератор Sitemap Генератор Sitemap и виды карт сайта. Работа с инструментом. Настройки Генератора Sitemap. Загрузка XML Sitemap на сайт. 1. Генератор Sitemap и виды карт сайта Генератор Sitemap — встроенный инструмент программы Netpeak Spider, позволяющий в несколько кликов создавать файлы Sitemap на основе рекомендаций Google и Яндекса. Netpeak Spider генерирует следующие виды Sitemap: XML Sitemap → стандартный файл Sitemap, который содержит только ссылки на просканированные страницы. Генерируется на основе официальной документации Standard Sitemap Protocol. Image Sitemap → файл, содержащий ссылки на просканированные страницы и ссылки на все уникальные изображения на этих страницах с 200 OK кодом ответа и не закрытые от индексации. Если на странице нет изображений, то ссылка на неё не попадает в Image Sitemap. Для генерации Image Sitemap перед сканированием необходимо включить параметр «Изображения» в группе «Контент» на боковой панели. Также на вкладке «Основные» настроек программы, убедитесь, что включён параметр «Проверять изображения». HTML Sitemap → файл в формате HTML, содержащий ссылки на все страницы и разделы сайта. Позволяет встроить карту в раздел или категорию сайта. TXT Sitemap → текстовая карта сайта с аналогичным списком ссылок на все просканированные страницы сайта: менее популярный, но всё же актуальный способ помочь поисковым системам проиндексировать ваш сайт. В инструменте реализована возможность добавлять в карту сайта как индексируемые так и неиндексируемые страницы для выполнения более широкого спектра задач. В случае, если в карту сайта необходимо внести только индексируемые URL, они должны соответствовать следующим условиям: HTML-файлы с кодом ответа строго 200 OK; Доступ разрешён в файле robots.txt (или в виртуальном robots.txt); Тег Canonical отсутствует или указывает на этот же URL; Meta Refresh отсутствует или указывает на этот же URL; Разрешена индексация в X-Robots-Tag или Meta Robots (index); Разрешён переход по ссылкам в X-Robots-Tag или Meta Robots (follow). 2. Работа с инструментом Алгоритм создания Sitemap: 1. Просканируйте нужные URL; 2. Откройте инструмент «Генератор Sitemap» с помощью: 2.1. главного меню → «Инструменты»; 2.2. панели управления → «Запустить инструмент»; 2.3. горячих клавиш Alt+G. 3. Настройте нужные вам параметры. 4. Нажмите «Сгенерировать... » и выберите путь сохранения файлов Sitemap. 3. Настройки Генератора Sitemap Вы можете сгенерировать Sitemap для выбранного