目前最好用的模拟蜘蛛爬行工具，可以对网站的URL和标题进行分析
Screaming Frog是英国的一家搜索引擎优化营销机构，也是网站爬虫和日志分析工具的创建者，该平台最知名的就是“SEO蜘蛛工具”，曾受到全球SEO用户和机构的好评。
我们对网站进行优化的过程中，常需要搭配许多工具的辅助来让我们快速分析网站架构，通过Screaming Frog可以分析网站的：
1、文件类别(html、javascript、css、image、pdf、flash、other);
2、HTTP 状态码(Status Code);
3、Page Title 和Page Title 的长度;
4、Meta Description 和Meta Description 的长度;
5、Meta Keywords 和Meta Keywords 的长度;
6、H1 和H1 的长度;
7、H2 和H2 的长度;
8、Canonical URL;
9、文件大小：网址和图片的大小。
通过Screaming Frog可以找到断开的链接，分析页面标题和元数据，提取数据，并生成XML站点地图，还可以模拟搜寻引擎检索网站内容，由这些模拟检索的资料来查看网站的基础结构是否正确。
BT资源库是一个神奇的稀缺资源导航网站！！更有利于在搜索引擎获得靠前的排名… …
