1 min read

博客防御LLM爬虫:限制旧版浏览器访问,优化网站运营

博客运营者Chris Siebenmann于2025年2月17日宣布,为应对年初以来泛滥的、特别是利用旧版Chrome用户代理字符串以训练大型语言模型(LLM)为目的的高流量爬虫,正试验性地限制对旧版浏览器的访问。此举旨在减轻网站(Wandering Thoughts及其关联的CSpace wiki)的服务器负担。若用户误被拦截,可提供详细浏览器信息(含User-Agent字符串)以便排查。对于通过archive.today等服务访问的用户,因其爬取方式与恶意行为难以区分(如使用旧版Chrome UA、IP地址混淆及伪造反向DNS记录),建议转而使用行为更规范的archive.org进行访问。

Chris’s Wiki :: blog/web/WebsitesDontCareAboutClients
订阅情报