打通搜索引擎蜘蛛抓取通道提升收录
- 编辑：小平SEO -打通搜索引擎蜘蛛抓取通道提升收录
一、本节课程
1、如何提升页面收录
2、如何提高搜索引擎蜘蛛抓取几率？
3、新站如何增加收录？
二、前期准备
三、页面内容、链接抓取、收录索引
四、提升页面收录
1、URL唯一
2、规范链接地址
3、不要限制搜索引擎蜘蛛抓取：#号、？号、特殊符号、链接过长、中文链接
五、真假蜘蛛
六、蜘蛛抓取
1、优先抓取站内最有价值的地址
（1）核心文章页面、新闻目录、产品页、帮助页面、FAQ
（2）留言页面、在线客服、百度动态地图、提交表单
2、减少无用链接抓取
（1）屏蔽掉垃圾页面
（2）无效页面
3、提升链接抓取效率
4、判断真假蜘蛛
（1）减少带宽占用
（2）影响正常用户访问
5、常见的搜索引擎蜘蛛
（1）百度蜘蛛：BaiduSpider
（2）谷歌蜘蛛：Googlebot
（3）360蜘蛛：360Spider
（4）搜狗蜘蛛：Sogou News Spider
（5）必应蜘蛛：bingbot
（6）SOSO蜘蛛：Sosospider
（7）雅虎蜘蛛：Yahoo! Slurp China（雅虎中国）或Yahoo! Slurp（雅虎英文）
（8）MSN蜘蛛：msnbot，msnbot-media
6、判断真假蜘蛛
（1）使用 nslookup ip 命令反解ip来判断
（2）nslookup 123.125.71.106
7、robots.txt的用法
User-agent： *
User-agent：Googlebot
Disallow：/ liuyan
8、百度帮助文档
（1）百度spider介绍
https://ziyuan.baidu.com/college/articleinfo?id=34
（2）如何识别 Baiduspider
https://ziyuan.baidu.com/college/articleinfo?id=21
（3）Baiduspider常见问题解答http://help.baidu.com/question?prod_en=master&class=476&id=2996
七、抓取与效率
八、提交抓取频率
1、让搜索引擎蜘蛛来得更频繁些
2、提升收录机率
3、链接推送功能
（1）https://ziyuan.baidu.com/linksubmit/index
4、自动推送
5、sitemap提交
九、新站数据特权提交
1、新站保护数据推送通道可提交链接总限额为300条，每日最多提交10条
2、站点属性-主体备案号-已填写且符合新站保护条件
十、蜘蛛抓取异常
1、可以让站长从百度蜘蛛的视角查看抓取内容，自助诊断百度蜘蛛，看到的内容和预期是否一致。
