# ============================================== # 郎特科技 LED官网 robots.txt 正式配置 # 生效目录:网站根目录 /robots.txt # 适配全网主流搜索引擎爬虫 # ============================================== # 全局通用规则:适配所有搜索引擎 User-agent: * # 安全屏蔽:后台、配置、接口、编辑器核心私密目录 Disallow: /User/ Disallow: /UserControls/ Disallow: /Config/ Disallow: /API/ Disallow: /Component/ Disallow: /FCKeditor/ # 屏蔽低价值、无效页面目录,避免重复收录、浪费爬虫配额 Disallow: /search/ Disallow: /temp/ Disallow: /template/ # 屏蔽会员、登录、留言反馈类隐私交互页面 Disallow: /login/ Disallow: /member/ Disallow: /message/ Disallow: /feedback/ # 精准屏蔽高危动态参数URL,仅拦截危险操作参数,不影响正常参数页面收录 Disallow: /*?action=* Disallow: /*?cmd=* # 放开移动端全站收录,抢占手机端搜索流量 Allow: /mobile/ # ============================================== # 百度爬虫专项规则(国内核心流量渠道) # 去除兜底Allow:/ 避免规则覆盖,精准管控收录 # ============================================== User-agent: Baiduspider Disallow: /*?* Disallow: /User/ Disallow: /Config/ Disallow: /API/ # ============================================== # 谷歌、必应爬虫专项规则(外贸海外流量渠道) # ============================================== User-agent: Googlebot User-agent: Bingbot Disallow: /*?* Disallow: /User/ Disallow: /Config/ Disallow: /API/ # ============================================== # 图片爬虫专项放行(LED产品图、案例图引流核心) # 放开产品、案例、图片存储目录,最大化图片搜索收录 # ============================================== User-agent: Baiduspider-image User-agent: Googlebot-Image Allow: /upload/ Allow: /images/ Allow: /pic/ # ============================================== # 有效站点地图(替换官网失效地图,保证收录生效) # ============================================== Sitemap: http://www.ledlongtech.com/sitemap.xml • User-agent: Bytespider # 豆包/字节全系AIAllow: / • User-agent: TencentBot # 腾讯元宝AIAllow: / • User-agent: QwenBot # 通义千问/阿里全系AIAllow: / • User-agent: DeepSeekBot # DeepSeek大模型Allow: / • User-agent: KimiBot # Kimi/月之暗面大模型Allow: / • User-agent: Baiduspider # 文心一言/百度AI体系Allow: / • User-agent: GPTBot # ChatGPTAllow: / • User-agent: ClaudeBot # Claude/AnthropicAllow: / • User-agent: PerplexityBot # Perplexity AI搜索Allow: /