Appearance
AI 爬虫把带宽吃满了?按 IP 归属地和反查结果给 GPTBot 这类爬虫分额度(Node.js 实现)
今年 4 月,一个做技术内容站的朋友把带宽账单发给我:月流量从 900G 涨到 1.7T,服务器没换、文章没多、推广也没做。拉了三天日志,答案很直接——AI 爬虫的请求占了 38%,其中 GPTBot、Bytespider、ClaudeBot 三家占了大头。更麻烦的是,这些"爬虫"里有四分之一是假的:UA 写着 GPTBot,IP 查出来是某省的家庭宽带。
他们的 robots.txt 早就写了 Disallow,一点用都没有。这件事我后来复盘了很久,结论是:robots.txt 是一份意愿声明,不是执行机制。想真的把带宽管住,得在请求进来的那一层动手,而动手的前提是能分清「谁在抓、从哪抓」。
一、robots.txt 管得住谁,管不住谁
先把期待放正:
- 守规矩的:Googlebot、Bingbot 这类老牌爬虫,以及明确声明遵守 robots 的 GPTBot、ClaudeBot、PerplexityBot。你写 Disallow,它们会退出。
- 不完全守规矩的:Bytespider 这类,历史上被大量站长投诉过无视 robots;各种内容聚合站、镜像站、SEO 工具自建的爬虫,基本不看。
- 完全不管的:伪装成 AI 爬虫的脚本。它们甚至不需要真的抓内容,只要能把你站上的搜索页、列表页翻个底朝天,带宽就没了。
而且 robots 还有反向作用:AI 搜索类爬虫(OAI-SearchBot、PerplexityBot)被封之后,你的内容在这些产品里就不再被引用。所以"一刀切禁止"是拿流量换带宽,得分开处理。
务实的做法是两层:robots.txt 表达意愿、给合规爬虫定预算;CDN 或应用层做执行、给不守规矩的定上限。
二、只认 UA 等于没认
UA 是请求头里最容易伪造的一个字段,curl -A "GPTBot" 就能装。所以核验要三步走:
第一步,UA 归类。 匹配家族 token,得到"它自称是谁"。
第二步,反查。 Googlebot 用反向 DNS(*.googlebot.com、*.google.com)验证;OpenAI 在官方文档里公布了出口网段,需要定期同步。这一步能过滤掉大部分低级伪装。
第三步,归属地佐证。 这是最省事、也最容易被忽略的一层:
- 真正的 AI 爬虫跑在云上,出口 IP 查出来通常是 AWS、GCP、Azure、Cloudflare 的机房。我实测
20.171.207.90,isp字段直接写着Microsoft/Azure/GitHub,国家美国。 - 一个 UA 声称是 GPTBot、IP 却查出来「中国 北京 中国联通」家宽的请求,基本没有第二种解释。
- 反过来,Bytespider 是字节的,从国内 IP 出来才正常。所以「境外=真、境内=假」这种一刀切是错的,期望来源地必须按家族分别配置。
免费版的归属地字段够判断"是不是国内",但要确认"是不是机房",得看 VIP 版的 ip_type(ISP/BUS/IDC)和 ip_asn——机房 IP 和家庭宽带在风控上是两种东西,这个字段比城市名有用得多。
三、配额怎么分,才不至于把真读者一起赶走
配额不是"每个 IP 每秒几次",那样对分布式爬虫毫无意义。按两个维度分桶更实际:
家族维度。 训练类爬虫(GPTBot、CCBot、ClaudeBot)只消耗带宽、不带来流量,给低配额;搜索类爬虫(OAI-SearchBot、PerplexityBot)会带来引用和点击,给高一些,甚至可以给到文章页不限量。
页面成本维度。 这是被最多人忽略的一层。同一篇 30KB 的文章页,和一次带 ?q= 的站内搜索(要查库、要渲染列表、还要翻页),后端成本差几十倍。真正把带宽吃穿的往往不是文章页,是搜索页和 /page/N 的无限翻页。
所以规则可以很粗暴但有效:
| 页面类型 | 训练类爬虫 | 搜索类爬虫 |
|---|---|---|
| 文章页 | 每分钟 6 次 | 每分钟 20 次 |
| 列表/标签/分页 | 每分钟 2 次 | 每分钟 10 次 |
| 站内搜索 | 直接 429 | 直接 429 |
配额用令牌桶实现,超了返回 429 加 Retry-After——让对方降速,而不是彻底断掉。断掉的结果是它们换个 IP 继续,你连统计都拿不到。
四、Node.js 实现
下面的代码是完整可跑的:UA 归类 → 查归属地 → 校验来源地 → 按「家族 + 页面成本」扣令牌 → 给出处置。可以直接挂到 Express/Koa 中间件里,也可以放在 Nginx 后面的 Node 网关。
javascript
'use strict';
const IP9_API = 'https://ip9.com.cn/get';
// 每个家族:期望来源地、页面配额(每分钟 / 每天)
const BOT_RULES = [
{ name: 'GPTBot', re: /GPTBot/i, region: 'overseas', perMin: 6, perDay: 800 },
{ name: 'OAI-SearchBot', re: /OAI-SearchBot/i, region: 'overseas', perMin: 20, perDay: 3000 },
{ name: 'ClaudeBot', re: /ClaudeBot|anthropic-ai/i, region: 'overseas', perMin: 6, perDay: 800 },
{ name: 'PerplexityBot', re: /PerplexityBot/i, region: 'overseas', perMin: 20, perDay: 3000 },
{ name: 'CCBot', re: /CCBot/i, region: 'overseas', perMin: 4, perDay: 400 },
{ name: 'Bytespider', re: /Bytespider/i, region: 'cn', perMin: 4, perDay: 400 },
];
// 页面成本:搜索页最贵,列表分页其次,文章正文最便宜
function pageClass(path) {
if (path.startsWith('/search') || path.includes('?q=')) return 'expensive';
if (/^\/page\/\d+/.test(path) || /\/tag\/|\/category\//.test(path)) return 'list';
return 'article';
}
const geoCache = new Map(); // ip -> { geo, at }
const buckets = new Map(); // key -> { tokens, at, day, dayCount }
function matchBot(ua = '') {
return BOT_RULES.find((b) => b.re.test(ua)) || null;
}
async function lookup(ip) {
if (!/^[0-9a-fA-F:.]{3,45}$/.test(ip)) return null;
const hit = geoCache.get(ip);
if (hit && Date.now() - hit.at < 24 * 3600 * 1000) return hit.geo;
for (let attempt = 0; attempt < 3; attempt++) {
try {
const ctrl = new AbortController();
const timer = setTimeout(() => ctrl.abort(), 1200);
const resp = await fetch(`${IP9_API}?ip=${encodeURIComponent(ip)}`, { signal: ctrl.signal });
clearTimeout(timer);
if (resp.status === 429) { await new Promise((r) => setTimeout(r, 800)); continue; }
if (!resp.ok) return null;
const body = await resp.json();
if (body.ret !== 200) return null; // 400 = 非法 IP
geoCache.set(ip, { geo: body.data, at: Date.now() });
return body.data;
} catch {
await new Promise((r) => setTimeout(r, 300 * (attempt + 1)));
}
}
return null;
}
// 令牌桶:按「家族 + 页面成本」分桶,扣到 0 就 429
function takeToken(key, perMin, perDay) {
const now = Date.now();
const today = new Date(now).toISOString().slice(0, 10);
let b = buckets.get(key);
if (!b || b.day !== today) b = { tokens: perMin, at: now, day: today, dayCount: 0 };
const refill = Math.floor((now - b.at) / 60000) * perMin;
if (refill > 0) { b.tokens = Math.min(perMin, b.tokens + refill); b.at = now; }
if (b.dayCount >= perDay) { buckets.set(key, b); return { ok: false, why: 'daily' }; }
if (b.tokens <= 0) { buckets.set(key, b); return { ok: false, why: 'minute' }; }
b.tokens -= 1;
b.dayCount += 1;
buckets.set(key, b);
return { ok: true, left: b.tokens };
}
async function decide(req) {
const bot = matchBot(req.ua);
if (!bot) return { action: 'allow', reason: 'ordinary-visitor', bot: null };
const geo = await lookup(req.ip);
// 接口抖动时按最低配额放行,绝不因为第三方故障把全站打成 429
if (!geo) {
const t = takeToken(`${bot.name}:unknown:${pageClass(req.path)}`, 2, 200);
return { action: t.ok ? 'allow' : 'throttle', reason: 'geo-unavailable', bot: bot.name };
}
const fromCN = (geo.country_code || '').toLowerCase() === 'cn';
const idc = geo.ip_type === 'IDC'; // VIP 字段,免费版拿不到就当 false
const regionOK = bot.region === 'cn' ? fromCN : !fromCN;
if (!regionOK) {
// UA 说是海外爬虫、IP 却在境内:伪装概率极高,不占爬虫配额,按访客放行并单独记账
return { action: 'allow', reason: `spoofed:${bot.name}@${geo.prov || geo.country}`,
bot: null, suspicious: true };
}
const cls = pageClass(req.path);
if (cls === 'expensive') {
return { action: 'block', reason: 'expensive-page', bot: bot.name, status: 429 };
}
const perMin = cls === 'list' ? Math.max(2, Math.floor(bot.perMin / 2)) : bot.perMin;
const t = takeToken(`${bot.name}:${cls}`, perMin, bot.perDay);
if (!t.ok) {
return { action: 'throttle', reason: `quota-${t.why}`, bot: bot.name,
status: 429, retryAfter: 60 };
}
return { action: 'allow', reason: idc ? 'idc-verified' : 'region-verified',
bot: bot.name, bucket: `${bot.name}:${cls}`, left: t.left };
}
// ---- 用几条「日志」演示决策 ----
const samples = [
{ ip: '20.171.207.90', ua: 'Mozilla/5.0 (compatible; GPTBot/1.2; +https://openai.com/gptbot)', path: '/blog/ip-shudi.html' },
{ ip: '123.116.60.1', ua: 'Mozilla/5.0 (compatible; GPTBot/1.2)', path: '/blog/ip-shudi.html' },
{ ip: '114.114.114.114',ua: 'Mozilla/5.0 (compatible; Bytespider; spider-feedback@bytedance.com)', path: '/blog/ip-shudi.html' },
{ ip: '20.171.207.90', ua: 'Mozilla/5.0 (compatible; GPTBot/1.2)', path: '/search?q=ip' },
{ ip: '52.167.144.1', ua: 'Mozilla/5.0 (compatible; OAI-SearchBot/1.0)', path: '/page/3' },
];
(async () => {
for (let round = 0; round < 3; round++) {
for (const s of samples) {
const d = await decide(s);
console.log(`[${round}] ${s.ip} ${s.path} -> ${d.action} (${d.reason}${d.bot ? ', ' + d.bot : ''}${d.left !== undefined ? ', left=' + d.left : ''})`);
}
}
})();跑出来的结果:
[0] 20.171.207.90 /blog/ip-shudi.html -> allow (region-verified, GPTBot, left=5)
[0] 123.116.60.1 /blog/ip-shudi.html -> allow (spoofed:GPTBot@北京)
[0] 114.114.114.114 /blog/ip-shudi.html -> allow (region-verified, Bytespider, left=3)
[0] 20.171.207.90 /search?q=ip -> block (expensive-page, GPTBot)
[0] 52.167.144.1 /page/3 -> allow (region-verified, OAI-SearchBot, left=9)三行代码之外,几个设计取舍值得说明:
- 伪装请求不拦,只记账。 第 2 行
spoofed:GPTBot@北京的处理是"按普通访客放行"。原因很简单:它伪装成 GPTBot,说明它想绕过你的爬虫策略,但它的行为在访客维度并不异常;直接封 IP 会误伤同一个出口下的真实用户(尤其是家宽)。把它记到单独的指标里,如果这类请求量很大,再按 IP 段或ip_type收紧。 geo.ip_type只在 VIP 版有。 免费版拿不到,代码里idc就恒为false,判定退化成"来源国核验",依然有效。- 配额桶是按家族共享的,不是按 IP。 一个爬虫家族会用几百个 IP 轮换,按 IP 限速等于没限;按家族总量限速,才对带宽预算有意义。要更精细就按
ip_asn分桶,同一云厂商共享一个桶。
五、上线顺序:先看两周,再动手
直接上拦截是最容易翻车的方式。建议分三步:
第一步,影子模式跑两周。 只记录不改行为,日志里打上 bot、归属地省市、isp、页面类型、决策结果。两周后你会得到一张表:哪个家族占多少请求、打在哪些页面上、伪装比例多高。这张表是后面所有阈值的依据,也是跟老板解释"为什么要花钱买带宽"的材料。
第二步,先砍最贵、误伤最小的。 站内搜索和无限翻页对真实用户价值最低、对爬虫价值最高,先拦这里,几乎不会有投诉。这一步通常能砍掉三到五成的爬虫流量。
第三步,再上家族总配额。 按第一阶段的分布,给每个家族定一个"比当前实际用量低三成"的额度,让它们自然降速,同时保留文章页的访问权(尤其是搜索类爬虫)。
几个别做的事:
- 别按归属地整国封禁。 你封了美国,美国读者也一起没了,而爬虫换个欧洲节点继续。
- 别在 robots.txt 里写一堆
Disallow然后以为完事。 那只是给守规矩的爬虫看的,账单不会因此下降。 - 别忘了 CDN 层。 Cloudflare、又拍云、阿里云 CDN 都有 Bot 管理或 WAF 规则,能挡掉大部分低级爬虫,Node 层只做精细化的兜底,成本低得多。
总结
AI 爬虫这件事,难点不在"识别",在"分清哪些该留"。训练类爬虫只烧带宽,搜索类爬虫能带来引用,两者配额必须不同;页面成本差几十倍,配额也必须分页面。归属地在其中的位置很明确:它证明不了对方是谁,但能证明对方不是谁——一个自称 GPTBot 却从国内家宽发请求的客户端,不需要再看别的证据。
具体用起来,免费版 https://ip9.com.cn/get?ip=<ip> 就能拿到 country、country_code、prov、city、isp 这些字段,判断境内境外够用;要区分机房和家宽、拿到 ASN 做分桶,得用 VIP 版的 ip_type 和 ip_asn。接口和字段的完整说明在官网 https://www.ip9.com.cn。