查看: 1496|回复: 1
收起左侧

百度“蜘蛛爬虫”什么是百度蜘蛛?百度爬虫是什么?

[复制链接]
发表于 2012-5-22 17:55:42 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转随县论坛。

您需要 登录 才可以下载或查看,没有账号?注册会员

×
第一,百度蜘蛛极为活跃,经常看看你的服务器日志,你就怀发现百度蜘蛛抓取的频率和数量都非常大。百度蜘蛛几乎每天都会访问我的论坛,并且至少抓取几十个网页。我的论坛只开通了不到一个月,网页数目还没有完善,但是百度蜘蛛的活动已经相当可观了。大量捕获是百度的强项,其他任何搜索引擎都没办法相比。但是百度中文网页数目并不是最大的,百度蜘蛛抓取的频率和网页更新情况有关。天天更新的网站一定会吸引百度蜘蛛更频繁的访问,我有一个非常明显的例子, 这个域名比较(老),注册已经快一年了,开始做了一个学习站,感觉更新比较麻烦,而且也没有很多时间去维护,但是这个学习站是关于电脑方面的,虽然内容不多,但是页面却不下两W(是别人的整站源码),---第一天,几个好朋友光顾了一下,9IP,没想到

    第二天早上打开网站,居然发现从百度来了100多IP!!奇迹,百度蜘蛛就有这么神气,,查一下,晕了,一晚上时间,被收录了2000多页??

   应该说这个学习站继续做下去有点前途,但是我时间还真不够用,所以K掉了这个学习站,用这个域名做了一个笑话站,有留言,也有网友上传,轻松多了,不过这下被收录的页面全部是死链,要从头开始了吧,但是我又错了,第三天:这个笑话站又被全面抓取了,!!!,----我发现百度对天天更新的站最敏感!,彻底换内容更敏感----哈哈,看来这个机器人也是喜新厌旧的家伙啊!

    最近还是因为时间不够,又用这个域名改了论坛,不知道还有没有奇迹出现--我相信只要内容够多(百度蜘蛛也贪),你站的内容如果不达到么个数目,它可能懒得理你,具体多少,好象是百度内部机密,哈哈

第二,我注意了一下蜘蛛似乎更注重页面内的因素。与Google更加重视内部,有点爬虫类的味道,越黑越深,它越是喜欢往里钻,--不相信你做100个页面,做得再漂亮,只要链接没有层次,哈哈,不好意思,你最多就孤零零的被收录可怜的一点点东西。我前两个站开通不到一个月,也很少有外部链接。但因为本身的结构是比较有层次,一些竞争不太激烈的关键词在百度的排名还不错。

第三:要想排名靠前,目标关键词应该完整匹配地出现在页面中。比如说,你想让你的网站在用户搜索”电脑学习”时出现在前面,那么在你的网页上,”电脑学习”这四个字应该完整连续的出现,而不能”电脑”出现在第一段,”学习”出现在第二段。

第四:百度排名算法是以网页为基础,比较少关注整个网站的主题。联系到上一点,这说明百度排名算法中比较注重内部结构缺少完整的语义分析。所以一些目前比较认同的关于site:之间那几个所谓关系到搜索质量的东西,并不是百度蜘蛛所最敏感的,

第五:百度并不被所谓的优化迷惑!!GG对优化好象远远没有百度敏感,百度尤其反感所谓的优化,不知道是用什么方法识别----我的看法是目前最”先进“ 的优化方法,好象对百度没什么大的作用,大家都这么干了,机器人是有点死脑筋,但是百度那些IT也不是吃白饭的哈,要知道他是全球最先进的中文搜索老大,,GG在中文搜索这快--哈哈,不用说了吧:)没得比!

第六:充分利用百度的一个最大的优势--大家可能觉得它的优势对我们来说就是难事了嘛:呵呵,的确是可以利用的,百度收录速度可以用海量来形容,正因为速度快,就给我们留下了可以利用的空间!---回头来还是要说到优化了:)--虽然百度对优化并不感冒,但是只要你优化方式友好,还是能起到不错的效果,--我比较认同适量优化!--至于到底优化到什么程度才是最佳?我也不能说出1,2,3。呵呵--但是别忘了,因为百度收录太快,我们就可以经常使用一些不同的方法测试效果,,而且百度蜘蛛也乐意你天天给它玩新花样,呵呵,看来这个神秘的东西也是有点孩子气的哈,需要人来哄哄,也爱凑凑热闹--好象这样做还有一个好处,如果你的站从来都懒得去玩花样--哈哈,那很可能哪天蜘蛛不再光顾你的网站了,为什么? K掉了嘛!--百度蜘蛛有一个青蛙一样的眼睛吧,呵呵,动的东西再远也能看见,而且特别注意,静的东西在它身边也未必能看见!

发表于 2012-6-13 13:20:38 | 显示全部楼层
您需要登录后才可以回帖 登录 | 注册会员

本版积分规则

快速入职
隐私保护
薪资透明
信息可靠
手机找工作

快速回复 返回顶部 返回列表