打通蜘蛛抓取通道提升收录
- 编辑：小平SEO -打通蜘蛛抓取通道提升收录
一、本节课程
1、如何提升页面收录？
2、如何提高蜘蛛抓取效率？
3、新站如何增加收录？
二、能抓取到
1、路径
2、畅通
3、带宽
4、速度
三、能收录
1、符合质量要求
2、抓取进入索引库
3、筛选过滤
四、有排名
五、前期准备
1、页面内容、链接抓取、收录索引
2、提升页面收录
（1）URL唯一
（2）规范链接地址
（3）不要限制蜘蛛抓取：#号、特殊符号、路径过长，中文路径
六、真假蜘蛛
七、蜘蛛抓取
1、优先抓取站内最有价值的地址
（1）核心文章页面、新闻目录、产品页、帮助页面
（2）留言页面、在线客服、百度动态地图、提交表单
2、减少无用链接抓取
（1）屏蔽掉垃圾页面
（2）无效页面
3、提升链接抓取效率
4、判断真假蜘蛛
（1）减少带宽占用
（2）影响正常用户访问
5、常见搜索蜘蛛
（1）谷歌蜘蛛：Googlebot
（2）百度蜘蛛：Baiduspider
（3）360蜘蛛：360spider
（4）必应蜘蛛：Bingbot
（5）搜狗蜘蛛：Sougou News Spider
（6）MSN蜘蛛：MSNBot
（7）Ahrefs Bot
6、判断真假蜘蛛
（1）使用nslookup ip命令反解ip来查询
（2）运行win【R】-cmd，输入 nslookup 123.125.71.106，回车即可查看。
7、robots.txt用法
（1）User-agent：*
（2）User-agent：bingbot
Disallow：liuyan
八、抓取与效率
1、提升抓取频率
（1）让蜘蛛来的更频繁些
（2）提升收录几率
（3）链接推送功能
九、百度站长平台
1、https://ziyuan.baidu.com/linksubmit/index
2、自动推送
3、sitemap：创建xml网站地图
十、新站特权提交
1、新站保护数据推送通道可提交链接总限额300条，每日最多提交10条
十一、抓取异常分析
1、诊断：可以让站长从百度蜘蛛的视角查看抓取内容，自助诊断百度蜘蛛看到的内容和预期是否一致。
2、异常查看
