robots.txt 放在站点根目录,是搜索引擎抓取前最先读取的文件。对影视采集站来说,robots 的主要作用是屏蔽后台、搜索页等没有收录价值的路径,而不是「控制收录多少」的开关,定位先摆正再动手。
苹果CMS站点的 robots 参考写法
典型结构是 User-agent: * 配合若干条 Disallow:把后台入口 /admin.php、搜索结果路径等挡在外面,最后写一行 Sitemap: 指向站点地图地址。注意路径大小写要与实际路由一致,伪静态站要按伪静态之后的 URL 形态来写,否则规则等于没生效。
采集站的分类页、筛选页往往带参数 URL 变体众多,robots 可以适当屏蔽带参数的重复形态,但主分类路径务必保持开放,别为了「干净」把有收录价值的页面也一起挡掉。
常见误区:Disallow 全站导致不收录
最严重的事故是调试期写了 Disallow: / 忘记改回来,全站对所有搜索引擎关闭,表现就是长期零收录,而且恢复后有数周甚至更久的观察期,代价非常高。另外要清楚 robots 只是「君子协定」,它管不住恶意抓取,敏感路径要靠权限和鉴权保护,而不是靠 robots 去藏。收录层面的优化思路可以结合采集源SEO优化一起看。
robots 与 noindex 的区别
robots 管的是「能不能抓」,noindex 管的是「要不要收录」,两件事不能混。对已经收录、又想从结果里移除的页面,封 robots 反而可能让页面以空摘要形式留得更久,正确做法是给页面加 noindex 标记,让引擎自行删除。举个常见例子:TAG 聚合页想下线时,直接 Disallow 往往适得其反。
如何验证 robots 生效
改完直接在浏览器访问 域名/robots.txt 确认内容已更新,各大站长平台也都有 robots 检测工具,可以模拟特定 UA 的抓取结果,比肉眼逐行核对可靠得多。上线前建议把 robots 和 sitemap 一起过一遍,配套的抓取与流量观察可以借助监控看板持续盯。
上线检查建议
robots 属于低频修改但高影响面的文件,任何改动都应记录时间并留一份备份,方便出问题时快速回滚。建议把它纳入新站上线15项检查清单逐项确认,程序侧的背景知识可回看苹果CMS主词条。
对采集类站点还有一层实际意义:合理的 robots 能引导抓取预算流向分类页和详情页,减少无效路径的浪费。抓取预算虽不是一个官方公开的精确数值,但大量重复路径被反复抓取时,新内容的发现速度确实会变慢。写 robots 时多站在爬虫视角想一想:这个路径值不值得被反复访问,想清楚了再落笔。改动的节奏也建议放慢,频繁翻改 robots 没有意义,搜索引擎重新读取并应用规则本身就有延迟。
相关词条:采集源SEO优化、新站上线15项检查清单、苹果CMS