似雷区

每个人都有自己的隐私，网站也是这样，网站中也有不希望被蜘蛛看到的东西，比如会员密码等等，而想要遮挡住这部分隐私，一般情况下站长都会在第一时间想到 Robots .txt 。没错， Robots .txt 文件的使用的确可以给蜘蛛指明道路，告诉它什么地方该去，什么地方不该去，