有些时候，我们希望自己的网站暂时不被搜索引擎蜘蛛抓取，这里我们可以利用robots.txt来禁止抓取。当然，有些搜索引擎不是特别严谨。但是是可以用的。
将下面的代码添加到 robots.txt 中，禁止搜索引擎抓取搜索结果页。
User-agent: *
Disallow: /*?s=
Disallow: /search/
或者我们也可以在Meta robots 就是添加以下代码
<meta name='robots' content='index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1' />
如果使用 SEO 插件的话，会有相关的设置，比如 All in one SEO 中有专门的选项在 Search Appearance 中按照路径- Search Page-Show in Search Results选择 NO 就可以了，而 Yoast 则是默认禁止搜索收录搜索结果页。