软件介绍
Screaming Frog SEO Spider 是 Mac 上一款专门用于抓取网址进行分析的网络爬虫开发工具，你可以通过这款软件来快速抓取网站中可能出现的损坏链接和服务器错误，或是识别网站中临时、永久重定向的链接循坏，同时还能检查出网址、网页标题、说明以及内容等信息中心可能出现的重复问题。收集关键的数据以便于 SEO 做出正确的决策。
- 查找断开的链接，立即抓取网站并查找断开的链接（404s）和服务器错误。批量导出要修复的错误和源网址，或发送给开发者。
- 审核重定向，查找临时和永久重定向，识别重定向链和循环，或上传要在站点迁移中审核的 URL 列表
- 分析页面标题和元数据，在抓取过程中分析网页标题和元描述，并找出那些太长、太短、缺失或在整个网站中重复的网页标题和元描述。
- 发现重复内容，通过 md5 算法检查发现完全重复的 URL，部分重复的元素（如页面标题、说明或标题），并查找低内容页面。
- 使用 XPath 提取数据，使用 CSS Path、XPath 或 regex 从网页的 HTML 中收集任何数据。这可能包括社交元标签，其他标题，价格，SKU或更多！
- 审查机器人和指令，查看被机器人.txt、元机器人或 X-Robots-Tag 指令（如 'noindex' 或 'nofollow'）以及规范和 rel=“next” 和 rel=“prev” 阻止的网址。
- 生成 XML 站点地图，快速创建 XML 站点地图和图像 XML 站点地图，对 URL 进行高级配置，以包括上次修改时间、优先级和更改频率。
- 与 GA、GSC 和 PSI 集成，连接到 Google Analytics（分析）、Search Console 和 PageSpeed Insights API，并在抓取中所有网址的用户和性能数据，以获得更深入的洞察。
- 抓取 JavaScript 网站，使用集成的Chromium WRS渲染网页，以抓取动态的，富含JavaScript的网站和框架，例如Angular，React和Vue.js。
- 可视化网站体系结构，使用交互式爬网和目录强制导向图以及树形图网站可视化来评估内部链接和 URL 结构。
- 安排审核，安排抓取功能按选定的时间间隔运行，并自动将抓取数据导出到任何位置，包括 Google 表格。或者完全通过命令行实现自动化。
- 比较爬网和暂存，跟踪 SEO 问题和机会的进度，并查看抓取之间的更改。使用高级 URL 映射将过渡与生产环境进行比较。
软件截图
