刚刚在找 Friendica 的 robots.txt 设置方法想把 ChatGPT 的爬虫给禁了,结果发现官方两天前似乎已经在develop 分支上加上了(
好像不对,Mastodon 禁的是 GPTBot,Friendica 这里只是禁了 ChatGPT-User……总之两个都加上吧(
github.com/friendica/friendica…
Add a ChatGPT role for the built in robots.txt by annando · Pull Request #13337 · friendica/friendica
The default robots.txt now contains a rule to prevent crawling via ChatGPT.GitHub