• 欢迎使用超级蜘蛛查,网站外链优化,收藏快捷键 CTRL + D

搜索引擎蜘蛛收录网站robots.txt设置方法


有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形?想象一下,如果要向世界上所有的人公开你的私人日记,你能接受吗?的确是很矛盾的问题,站长们大都忧虑“如何让搜索引擎收录的我的网站?”,而我们还是要研究一下“如何让搜索引擎不收录我们的网站”,也许我们同样也用的到。

22.jpg

一、搜索引擎如何工作的?

简单的说,搜索引擎实际上依靠的庞大的网页数据库。按搜索方式可以分为 全文搜索 和 目录搜索 两种。

所谓全文搜索,是搜索引擎通过从网页自动提取信息来建立数据库的过程。至于提取的原理,就是SEO狂热者们所研究的算法,在他们的理想情况下,网页应该是针对搜索引擎设计的,具有最好的收录效果。当然,不是本文的话题。搜索引擎的自动信息搜集功能分两种。一种是定期搜索,即每隔一段时间(比如Google一般是28天),搜索引擎主动派出“蜘蛛”程序,对一定IP地址范围内的互联网站进行检索,一旦发现新的网站,它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索,即网站拥有者主动向搜索引擎提交网址,它在一定时间内(2天到数月不等)定向向你的网站派出“蜘蛛”程序,扫描你的网站并将有关信 息存入数据库,以备用户查询。

与全文搜索引擎相比,目录索引有许多不同之处。目录索引完全是手工操作的。

首先,搜索引擎属于自动网站检索,而目录索引则完全依赖手工操作。用户提交网站后,目录编辑人员会亲自浏览你的网站,然后根据一套自定的评判标准甚至编辑人员的主观印象,决定是否接纳你的网站。

其次,搜索引擎收录网站时,只要网站本身没有违反有关的规则,一般都能登录成功。而目录索引对网站的要求则高得多,有时即使登录多次也不一定成功。尤其象Yahoo!这样的超级索引,登录更是困难。

最后,搜索引擎中各网站的有关信息都是从用户网页中自动提取的,所以用户的角度看,我们拥有更多的自主权;而目录索引则要求必须手工另外填写网站信息,而 且还有各种各样的限制。更有甚者,如果工作人员认为你提交网站的目录、网站信息不合适,他可以随时对其进行调整,当然事先是不会和你商量的。

目录索引,顾名思义就是将网站分门别类地存放在相应的目录中,因此用户在查询信息时,可选择关键词搜索,也可按分类目录逐层查找。如以关键词搜索,返回的结果跟搜索引擎一样,也是根据信息关联程度排列网站,只不过其中人为因素要多一些。

23.jpg

二、如何拒绝搜索引擎?

其实很简单的,只需要在网站的根目录中放一个名称为Robots.txt的文件,该文件的写法很有讲究的哦,务必按要求写,写法如下:

1、什么是Robots.txt?
Robots.txt是一个文本文件,关键是这个文件所在的位置:在网站的根目录下。弄错了,就不起作用了!

2、Robots.txt如何起作用?

前面提到过搜索引擎的自动提取信息会遵循一定的算法,但是,无论算法如何,第一步都是在寻找这个文件。其含义是,“贵站对我们这些Robots有什么限制?”所谓的Robots就是搜索引擎派出的蜘蛛或者机器人。如果没有得到回应(没有找到这个文件),代表没有什么限制,尽管来抓取吧。如果真的有这个文件,机器人会读来看看,如果自己被拒绝就会停止抓取过程了。

3、怎么写Robots.txt文件?

遵循语法的Robots.txt才可能被机器人识别,至于语法,介绍起来很繁琐,现简单举例如下:

1)禁止所有搜索引擎访问网站的任何部分(也就是网站彻底的拒绝所有搜索引擎收录)

  User-agent: * 
  Disallow: /

2)允许所有的robot访问(也就是网站允许所有搜索引擎收录)

  User-agent: * 
  Disallow:

3)禁止某个搜索引擎的访问(比如禁止百度收录,按如下的方式写)

  User-agent: baiduspider
  Disallow: /

4)允许某个搜索引擎的访问(比如允许百度收录,按如下的方式写)

  User-agent: baiduspider
  Disallow: 
  User-agent: * 
  Disallow: /

5)禁止搜索引擎访问某些目录 

  User-agent: *             
  Disallow: /cgi-bin/
  Disallow: /tmp/
  Disallow: /images/

使用方法:很简单,将代码存为一个文本文件,命名为Robots.txt ,放在网页根目录即可。

注意:所有语句都是单规则的,即每行仅声明一条规则,比如例五中三个目录必须分三行列出来。

本文链接: http://www.cjzzc.com/article/342.html

上一篇:网站SEO整合营销做推广优化

下一篇:域名备案与否对网站SEO的影响分析

相关文章推荐

  1. 百度百科上线“超级名片”,成了网红们的营销新玩法
  2. SEO推广就是搜索引擎优化和推广
  3. SEO搜索引擎优化词库匹配算法
  4. 解读百度SEO搜索优质内容指南
  5. 搜索流量与推荐流量的区别联系
  6. 百度APP移动端搜索悄然下线点赞按钮
  7. 百度取消百度快照,内容“时效性”进一步加强
  8. 百度正在暴力截流SEO,企业老板应该怎么做
  9. 解答百度搜索引擎优化的十五个问题
  10. 搜狗网站收录页面要诀,搜狗快速收录方法
  11. SEO搜索引擎优化:搜索引擎的工作流程的三个阶段
  12. 分析网站快照停滞的9个原因及解决办法
  13. 搜索引擎营销推广,分享百度引流的一些技巧
  14. 为什么网站首页老不被百度收录,百度近期收录异常情况大全
  15. 简要说明七大搜索引擎站长平台入口

蜘蛛技巧最新文章

  1. 网站安全到底有多重要?常见的安全风险来源有哪些...
  2. 为什么很多人觉得做抖音短视频很难做呢?
  3. 51.la统计代码被劫持跳转违法网站JS文件被...
  4. 网页制作对于简体繁体中网站字体如何定义?
  5. 现在做网站有没有的钱赚,做什么样的网站赚钱?
  6. SEO不行了?有流量就有搜索,有搜索就有SEO
  7. 互联网营销中流量词是什么,怎么挖掘流量词?
  8. 微信公众号排名优化,揭秘公众号搜一搜SEO搜索...
  9. 抖音短视频的推荐算法机制,竞品分析的必备能力
  10. 短视频文案号从0起号做到1万以上粉丝全套流程

蜘蛛外链文章推荐

  1. 如何交换友情链接,交换友情链接还有没有用?
  2. 网站降权征兆,为什么引发网站改版降权?
  3. SEO排名从这10个方面分析“竞争对手”网站?
  4. 一个好的文章标题应该具备什么特点?
  5. 搜索引擎是如何给网站排名的,SEO排名算法揭秘
  6. SEO搜索引擎优化培养蜘蛛抓取习惯
  7. SEO流量指标SEO与SEO优化公式
  8. 网站分析技巧,手工检测Web网站指纹
  9. SEO外推基本优化方案,SEO优化干货
  10. SEO超级外链工具,吸引搜索引擎蜘蛛抓取

超级蜘蛛工具

  • 网站链接HTTP状态批量检测_在线批量检测网站链接状态_超级蜘蛛查
  • 百度关键词排名查询_网站关键词排名批量查询_超级蜘蛛查
  • 百度收录查询_在线百度收录批量查询_超级蜘蛛查
  • 域名IP地址批量查询_在线批量查询网站IP地址_超级蜘蛛查
  • 超级外链发布工具_在线免费批量发布SEO外链_超级蜘蛛查
  • 网页蜘蛛模拟抓取测试工具_超级蜘蛛工具_超级蜘蛛查

您可能感兴趣的文章

  • 分析网站快照停滞的9个原因及解决办法
  • 十年互联网营销推广人杂谈
  • 整理分享SEO搜索引擎优化的99个技巧
  • 移动端网站怎么优化才能提升SEO排名?
  • 网站备案小技巧,通过dnspod解析线路不关站备案
  • 高质量软文的5大标准和3个重要的软文写作技巧
  • 分析网站关键词排名下降的13个原因及解决方案
  • 成功商品的定义,让产品成为畅销商品
  • 搜索引擎营销推广,分享百度引流的一些技巧
  • 【网站优化必看】网站死链介绍及设置方法

深圳SEO优化公司汉中定制网站绵阳市阿里店铺运营多少钱焦作品牌网站设计晋城市阿里店铺运营哪家专业信阳网站开发哪家好沧州网站设计公司宜昌市关键词排名价格许昌阿里店铺运营衢州营销网站建设价格周口市网络推广苏州市网站开发多少钱重庆模板网站建设哪家专业焦作市企业网站改版公司惠州市网页设计价格安康建站公司绍兴市定制网站公司阳江网站改版哪家专业上饶定制网站多少钱儋州阿里店铺运营哪家专业绥化网络推广常州网站建设价格大庆市网站推广公司邯郸seo排名公司天水做网站公司商丘市关键词排名哪家专业洛阳企业网站改版多少钱崇左网站改版哪家专业酒泉市企业网站建设公司商洛市营销网站建设报价保山市网站搭建哪家好歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化