本文作者:changrun90

百度:网页长度大于128k会影响甚至不收录

changrun90 3年前 ( 2017-07-10 ) 661
摘要: 百度站长学院前几天公布了一个案例,里面提到一些细节,特别值得站长重视。它这个页面对爬虫爬取做的优化,直接将图片二进制内容放到了html中导致页面长度过长,大小164K,导致内容不...

百度站长学院前几天公布了一个案例,里面提到一些细节,特别值得站长重视。

它这个页面对爬虫爬取做的优化,直接将图片二进制内容放到了html中导致页面长度过长,大小164K,导致内容不被百度收录。


网站如果针爬虫做优化,那么网页的长度最要在128K以内,不要过长。不然爬虫抓取内容后,页面内容过长被截断,已抓取部分无法识别到主体内容,最终导致页面被认定为空短而不收录。

言下之意,这可能是百度技术缺陷导致,如果网页在128K以上,爬虫无法抓取就无法收录。如果各位站长的网站内容过长,尽量删除一部分不太重要的信息,以保证内容收录。


百度工程师建议:

1、不建议站点使用js生成主体内容,如js渲染出错,很可能导致页面内容读取错误,页面无法抓取

2、 如站点针对爬虫爬取做优化,建议页面长度在128k之内,不要过长

3、针对爬虫爬取做优化,请将主题内容放于前方,避免抓取截断造成的内容抓取不全


文章版权及转载声明:

作者:changrun90本文地址:http://changrun.org/svip/612.html发布于 3年前 ( 2017-07-10 )
文章转载或复制请以超链接形式并注明出处昌润博客

分享到:

发表评论

快捷回复:

评论列表 (暂无评论,661人围观)参与讨论

还没有评论,来说两句吧...