源码基地

 找回密码
 马上注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

查看: 7438|回复: 37

网站优化—百度蜘蛛抓取中涉及到的协议

[复制链接]

新浪微博达人勋

  • TA的每日心情

    2019-1-13 12:18
  • 签到天数: 70 天

    [LV.6]常住居民II

    发表于 2019-1-10 08:15 | 显示全部楼层 |阅读模式
    网站优化—百度蜘蛛抓取中涉及到的协议-1.jpg

    1、http协议

    2、https协议:加密版http协议,可在百度资源平台申请。

    3、UA属性

    UA即user-agent,是http协议中的一个属性,代表了终端的身份向服务器表明我谁是、我来干嘛,进而服务器端可以根据不同的身份来做出不同的效果。

    4、robots协议:robots.txt文件

    百度蜘蛛访问网站的第一个文件,用以确定哪些是可以被允许抓取的。


    回复 天涯海角搜一下: 百度 谷歌 360 搜狗 搜搜 有道 奇虎 雅虎 必应 即刻

    使用道具 举报

    新浪微博达人勋

    该用户从未签到

    发表于 2019-1-10 09:02 | 显示全部楼层
    小手一抖,钱钱到手!
    回复 支持 反对

    使用道具 举报

    新浪微博达人勋

    该用户从未签到

    发表于 2019-1-10 11:12 | 显示全部楼层
    过来看看的
    回复 支持 反对

    使用道具 举报

    新浪微博达人勋

  • TA的每日心情

    2018-7-28 08:48
  • 签到天数: 1 天

    [LV.1]初来乍到

    发表于 2019-1-10 13:06 | 显示全部楼层
    写的真的很不错
    回复 支持 反对

    使用道具 举报

    新浪微博达人勋

    该用户从未签到

    发表于 2019-1-10 13:06 | 显示全部楼层
    占坑编辑ing
    回复 支持 反对

    使用道具 举报

    新浪微博达人勋

    该用户从未签到

    发表于 2019-1-10 16:19 | 显示全部楼层
    围观 围观 沙发在哪里!!!
    回复 支持 反对

    使用道具 举报

    新浪微博达人勋

    该用户从未签到

    发表于 2019-1-10 18:17 来自手机 | 显示全部楼层
    写的真的很不错
    回复 支持 反对

    使用道具 举报

    新浪微博达人勋

    该用户从未签到

    发表于 2019-1-10 21:44 | 显示全部楼层
    边撸边过
    回复 支持 反对

    使用道具 举报

    新浪微博达人勋

    该用户从未签到

    发表于 2019-1-11 10:12 | 显示全部楼层
    ……
    回复 支持 反对

    使用道具 举报

    新浪微博达人勋

    该用户从未签到

    发表于 2019-1-11 12:02 | 显示全部楼层
    支持,楼下的跟上哈~
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 马上注册 新浪微博登陆

    本版积分规则

    关闭

    站长推荐上一条 /5 下一条

    Archiver|VIP商业源码|企业网站源码|建站之星模板|DEDE模板|新闻中心|源码基地 ( 黔ICP备11002644号 )|网站地图

    GMT+8, 2019-1-18 06:16 , Processed in 0.218750 second(s), 27 queries , Gzip On, File On.

    Powered by Discuz! X3.4

    © 2001-2017 Comsenz Inc.

    快速回复 返回顶部 返回列表