搜索引擎不抓取页面 服务器端的五个问题

来源:深圳网站建设沙漠风   2016-12-28

  1、错误的封禁

  在百度的robots.txt的更新上,如果多次点击“检测并更新”就会出现时常可以更新,但是又时常无法更新的问题。如此一来:不应当被收录的东西,在robots.txt上禁止的被收录了,又删除就很正常了。那么它的问题是什么呢?并非服务器负载过度,而是因为防火墙错误的将部分Baiduspider列入了黑名单。

robots检测  


  2、服务器异常

  常规的服务器就不说了,大家都知道的,北上广的一般都不错。不过有一些特殊服务器,想必绝大多数的站长都不知道吧?例如西部数码的“港台服务器”就很有趣,真的是港台的吗?本身机房在国内,还算什么港台?为了逃避备案而用一个港台的IP,数据全部在国内。

  这样有什么不好呢?我们会发现:站点的服务器是经过CDN的,哪怕是你上传的一张图片,都会显示为“302状态码”,访问速度是提升上去了,可是这样利于SEO吗?

  3、获取不到真实IP

  规模较大的网站,一般都会使用CDN加速,但是有些站点不仅仅对“设备”使用了CDN加速,而且还对Spider使用了加速功能。最后的结果是什么呢?如果CDN节点不稳定,那么对网站spider来讲,这个问题将是致命的。

  很多大型站点开放CDN的原因就是容易被攻击,这个时候如果不做“蜘蛛回源”就可想而知了。你的站点做了CDN了吗?请登录百度站长平台查看一下spider是否可以抓取真实IP地址吧!

  4、频繁的50X类错误

  这样的链接其中一个共同的特点是:当打开后,全部都是正常的,那么Spider为什么会报错提醒呢?只是因为在爬虫发起抓取的那一刻,httpcode返回了5XX",你的站点是否频繁有这样的问题呢?有的话需要立即安排技术,或者通报IDC服务商做解决了!


50X错误


  5、错误的抓取比例

  任何网站都做不到100%不出问题,但是万事有一个度:我们认为,这个比例不超过5%,对网站基本上是无影响的,且这样的错误不应当每天都出现。最常见的抓取错误一般都是连接超时:"抓取请求连接建立后,下载页面速度过慢,导致超时,可能原因服务器过载,带宽不足"这种情况:

  A:尽量在不影响图片质量的情况下,对图片进行压缩,上传的时候就进行了压缩。
  B:减少如JS脚本文件类型的使用,或者进行合并
  C:页面大小进行控制,尤其是一些浏览量、抓取量较高的页面,不建议超过2MB。
  D:增加网站的带宽,提升下载速度,或者更换服务器。

  今天沙漠风关于网站收录服务器端问题就分享到这里,更多网站建设、优化等问题可咨询沙漠风技术团队。
标签:

上一篇:深圳特发信息股份公司网站制作建设完成上线

下一篇:香港威盛手机版网站制作由深圳沙漠风完成上线

返回列表

上线新闻

网站营销微信营销公众号网站运营

自媒体网站制作网站开发网站内链

网站收录网站优化SEO搜索引擎

网站架构网页制作手机网站网站设计

用户体验HTML5APP官网

联系我们

业务电话:0755/83739159

业务 QQ:  455605838传真: 0755-83739169

E-mail:  sales@szweb.cn投诉邮箱:  tousu@szweb.cn

售后QQ : 1792517401

我们的认知

当对手还在将注意力停留在碎片化的互联网设计或程序实现时,沙漠风早已开始将数字品牌的建设和传播进一步整合。只有通过整体的互联网品牌分析,帮助品牌建立互联网品牌传播价值,并围绕价值建立品牌粘性,提升品牌与用户的互动,更好的帮助品牌传播,触发用户的行动力才是我们工作的终极目标,这正是一流品牌的成功秘诀。
不可否认,建立互联网品牌传播价值的确是门艺术,但互联网不同于艺术涂鸦,企业投资品牌绝不是希望品牌成为某个艺术家的实验品。互联网传播的对象是用户,用户拥有自己的文化体系,群落共性才是互联网品牌传播创意的源头,如果我们不能帮助企业激发目标用户的共鸣,产生购买冲动,那将是品牌的悲剧! 因此,互联网传播必须建立品牌传播价值,为梦想者创造梦想品牌,沙漠风与您同行!

Hi,Are you ready?

准备好开始了吗?
那就与我们取得联系吧

有一个互联网项目想和我们谈谈吗?您可以填写右边的表格,让我们了解您的项目需求,这是一个良好的开始,我们将会尽快与你取得联系。当然也欢迎您给我们写信或是打电话,让我们听到你的声音!

Smartwind 沙漠风互联网整合营销

地址:深圳市福田区泰然四路创新科技广场一期A座1304

业务热线:0755-83739159

大客户专线:15818561755

传真:0755-83739169

E-mail:sales@szweb.cn

合作意向表

您需要的服务

现有网站改版
我需要做微信营销
建设全新的企业网站
要找长期合作公司,需要年度服务
我需要做购物商城
我需要做系统平台

您最关注的地方

对功能要求比较高
对设计创意要求比较高
需要可以购物支付
搜索引擎排名

预算

3-5万 5-8万 8-10万 10万以上 大型项目需要招标
  • 验证码

业务QQ 0755/83739159 提交需求 深圳网站建设沙漠风官网微信