Skip to content

AI 爬虫把带宽吃满了?按 IP 归属地和反查结果给 GPTBot 这类爬虫分额度(Node.js 实现) ​

今年 4 月,一个做技术内容站的朋友把带宽账单发给我:月流量从 900G 涨到 1.7T,服务器没换、文章没多、推广也没做。拉了三天日志,答案很直接——AI 爬虫的请求占了 38%,其中 GPTBot、Bytespider、ClaudeBot 三家占了大头。更麻烦的是,这些"爬虫"里有四分之一是假的:UA 写着 GPTBot,IP 查出来是某省的家庭宽带。

他们的 robots.txt 早就写了 Disallow,一点用都没有。这件事我后来复盘了很久,结论是:robots.txt 是一份意愿声明,不是执行机制。想真的把带宽管住,得在请求进来的那一层动手,而动手的前提是能分清「谁在抓、从哪抓」。

一、robots.txt 管得住谁,管不住谁 ​

先把期待放正:

  • 守规矩的:Googlebot、Bingbot 这类老牌爬虫,以及明确声明遵守 robots 的 GPTBot、ClaudeBot、PerplexityBot。你写 Disallow,它们会退出。
  • 不完全守规矩的:Bytespider 这类,历史上被大量站长投诉过无视 robots;各种内容聚合站、镜像站、SEO 工具自建的爬虫,基本不看。
  • 完全不管的:伪装成 AI 爬虫的脚本。它们甚至不需要真的抓内容,只要能把你站上的搜索页、列表页翻个底朝天,带宽就没了。

而且 robots 还有反向作用:AI 搜索类爬虫(OAI-SearchBot、PerplexityBot)被封之后,你的内容在这些产品里就不再被引用。所以"一刀切禁止"是拿流量换带宽,得分开处理。

务实的做法是两层:robots.txt 表达意愿、给合规爬虫定预算;CDN 或应用层做执行、给不守规矩的定上限。

二、只认 UA 等于没认 ​

UA 是请求头里最容易伪造的一个字段,curl -A "GPTBot" 就能装。所以核验要三步走:

第一步,UA 归类。 匹配家族 token,得到"它自称是谁"。

第二步,反查。 Googlebot 用反向 DNS(*.googlebot.com、*.google.com)验证;OpenAI 在官方文档里公布了出口网段,需要定期同步。这一步能过滤掉大部分低级伪装。

第三步,归属地佐证。 这是最省事、也最容易被忽略的一层:

  • 真正的 AI 爬虫跑在云上,出口 IP 查出来通常是 AWS、GCP、Azure、Cloudflare 的机房。我实测 20.171.207.90,isp 字段直接写着 Microsoft/Azure/GitHub,国家美国。
  • 一个 UA 声称是 GPTBot、IP 却查出来「中国 北京 中国联通」家宽的请求,基本没有第二种解释。
  • 反过来,Bytespider 是字节的,从国内 IP 出来才正常。所以「境外=真、境内=假」这种一刀切是错的,期望来源地必须按家族分别配置。

免费版的归属地字段够判断"是不是国内",但要确认"是不是机房",得看 VIP 版的 ip_type(ISP/BUS/IDC)和 ip_asn——机房 IP 和家庭宽带在风控上是两种东西,这个字段比城市名有用得多。

三、配额怎么分,才不至于把真读者一起赶走 ​

配额不是"每个 IP 每秒几次",那样对分布式爬虫毫无意义。按两个维度分桶更实际:

家族维度。 训练类爬虫(GPTBot、CCBot、ClaudeBot)只消耗带宽、不带来流量,给低配额;搜索类爬虫(OAI-SearchBot、PerplexityBot)会带来引用和点击,给高一些,甚至可以给到文章页不限量。

页面成本维度。 这是被最多人忽略的一层。同一篇 30KB 的文章页,和一次带 ?q= 的站内搜索(要查库、要渲染列表、还要翻页),后端成本差几十倍。真正把带宽吃穿的往往不是文章页,是搜索页和 /page/N 的无限翻页。

所以规则可以很粗暴但有效:

页面类型训练类爬虫搜索类爬虫
文章页每分钟 6 次每分钟 20 次
列表/标签/分页每分钟 2 次每分钟 10 次
站内搜索直接 429直接 429

配额用令牌桶实现,超了返回 429 加 Retry-After——让对方降速,而不是彻底断掉。断掉的结果是它们换个 IP 继续,你连统计都拿不到。

四、Node.js 实现 ​

下面的代码是完整可跑的:UA 归类 → 查归属地 → 校验来源地 → 按「家族 + 页面成本」扣令牌 → 给出处置。可以直接挂到 Express/Koa 中间件里,也可以放在 Nginx 后面的 Node 网关。

javascript
'use strict';
const IP9_API = 'https://ip9.com.cn/get';

// 每个家族:期望来源地、页面配额(每分钟 / 每天)
const BOT_RULES = [
  { name: 'GPTBot',        re: /GPTBot/i,                 region: 'overseas', perMin: 6,  perDay: 800 },
  { name: 'OAI-SearchBot', re: /OAI-SearchBot/i,          region: 'overseas', perMin: 20, perDay: 3000 },
  { name: 'ClaudeBot',     re: /ClaudeBot|anthropic-ai/i, region: 'overseas', perMin: 6,  perDay: 800 },
  { name: 'PerplexityBot', re: /PerplexityBot/i,          region: 'overseas', perMin: 20, perDay: 3000 },
  { name: 'CCBot',         re: /CCBot/i,                  region: 'overseas', perMin: 4,  perDay: 400 },
  { name: 'Bytespider',    re: /Bytespider/i,             region: 'cn',       perMin: 4,  perDay: 400 },
];

// 页面成本:搜索页最贵,列表分页其次,文章正文最便宜
function pageClass(path) {
  if (path.startsWith('/search') || path.includes('?q=')) return 'expensive';
  if (/^\/page\/\d+/.test(path) || /\/tag\/|\/category\//.test(path)) return 'list';
  return 'article';
}

const geoCache = new Map();   // ip -> { geo, at }
const buckets  = new Map();   // key -> { tokens, at, day, dayCount }

function matchBot(ua = '') {
  return BOT_RULES.find((b) => b.re.test(ua)) || null;
}

async function lookup(ip) {
  if (!/^[0-9a-fA-F:.]{3,45}$/.test(ip)) return null;
  const hit = geoCache.get(ip);
  if (hit && Date.now() - hit.at < 24 * 3600 * 1000) return hit.geo;

  for (let attempt = 0; attempt < 3; attempt++) {
    try {
      const ctrl  = new AbortController();
      const timer = setTimeout(() => ctrl.abort(), 1200);
      const resp  = await fetch(`${IP9_API}?ip=${encodeURIComponent(ip)}`, { signal: ctrl.signal });
      clearTimeout(timer);
      if (resp.status === 429) { await new Promise((r) => setTimeout(r, 800)); continue; }
      if (!resp.ok) return null;
      const body = await resp.json();
      if (body.ret !== 200) return null;          // 400 = 非法 IP
      geoCache.set(ip, { geo: body.data, at: Date.now() });
      return body.data;
    } catch {
      await new Promise((r) => setTimeout(r, 300 * (attempt + 1)));
    }
  }
  return null;
}

// 令牌桶:按「家族 + 页面成本」分桶,扣到 0 就 429
function takeToken(key, perMin, perDay) {
  const now   = Date.now();
  const today = new Date(now).toISOString().slice(0, 10);
  let b = buckets.get(key);
  if (!b || b.day !== today) b = { tokens: perMin, at: now, day: today, dayCount: 0 };

  const refill = Math.floor((now - b.at) / 60000) * perMin;
  if (refill > 0) { b.tokens = Math.min(perMin, b.tokens + refill); b.at = now; }

  if (b.dayCount >= perDay) { buckets.set(key, b); return { ok: false, why: 'daily' }; }
  if (b.tokens <= 0)        { buckets.set(key, b); return { ok: false, why: 'minute' }; }

  b.tokens -= 1;
  b.dayCount += 1;
  buckets.set(key, b);
  return { ok: true, left: b.tokens };
}

async function decide(req) {
  const bot = matchBot(req.ua);
  if (!bot) return { action: 'allow', reason: 'ordinary-visitor', bot: null };

  const geo = await lookup(req.ip);
  // 接口抖动时按最低配额放行,绝不因为第三方故障把全站打成 429
  if (!geo) {
    const t = takeToken(`${bot.name}:unknown:${pageClass(req.path)}`, 2, 200);
    return { action: t.ok ? 'allow' : 'throttle', reason: 'geo-unavailable', bot: bot.name };
  }

  const fromCN   = (geo.country_code || '').toLowerCase() === 'cn';
  const idc      = geo.ip_type === 'IDC';        // VIP 字段,免费版拿不到就当 false
  const regionOK = bot.region === 'cn' ? fromCN : !fromCN;

  if (!regionOK) {
    // UA 说是海外爬虫、IP 却在境内:伪装概率极高,不占爬虫配额,按访客放行并单独记账
    return { action: 'allow', reason: `spoofed:${bot.name}@${geo.prov || geo.country}`,
             bot: null, suspicious: true };
  }

  const cls = pageClass(req.path);
  if (cls === 'expensive') {
    return { action: 'block', reason: 'expensive-page', bot: bot.name, status: 429 };
  }

  const perMin = cls === 'list' ? Math.max(2, Math.floor(bot.perMin / 2)) : bot.perMin;
  const t = takeToken(`${bot.name}:${cls}`, perMin, bot.perDay);
  if (!t.ok) {
    return { action: 'throttle', reason: `quota-${t.why}`, bot: bot.name,
             status: 429, retryAfter: 60 };
  }
  return { action: 'allow', reason: idc ? 'idc-verified' : 'region-verified',
           bot: bot.name, bucket: `${bot.name}:${cls}`, left: t.left };
}

// ---- 用几条「日志」演示决策 ----
const samples = [
  { ip: '20.171.207.90',  ua: 'Mozilla/5.0 (compatible; GPTBot/1.2; +https://openai.com/gptbot)', path: '/blog/ip-shudi.html' },
  { ip: '123.116.60.1',   ua: 'Mozilla/5.0 (compatible; GPTBot/1.2)',                            path: '/blog/ip-shudi.html' },
  { ip: '114.114.114.114',ua: 'Mozilla/5.0 (compatible; Bytespider; spider-feedback@bytedance.com)', path: '/blog/ip-shudi.html' },
  { ip: '20.171.207.90',  ua: 'Mozilla/5.0 (compatible; GPTBot/1.2)',                            path: '/search?q=ip' },
  { ip: '52.167.144.1',   ua: 'Mozilla/5.0 (compatible; OAI-SearchBot/1.0)',                     path: '/page/3' },
];

(async () => {
  for (let round = 0; round < 3; round++) {
    for (const s of samples) {
      const d = await decide(s);
      console.log(`[${round}] ${s.ip} ${s.path} -> ${d.action} (${d.reason}${d.bot ? ', ' + d.bot : ''}${d.left !== undefined ? ', left=' + d.left : ''})`);
    }
  }
})();

跑出来的结果:

[0] 20.171.207.90 /blog/ip-shudi.html -> allow (region-verified, GPTBot, left=5)
[0] 123.116.60.1 /blog/ip-shudi.html -> allow (spoofed:GPTBot@北京)
[0] 114.114.114.114 /blog/ip-shudi.html -> allow (region-verified, Bytespider, left=3)
[0] 20.171.207.90 /search?q=ip -> block (expensive-page, GPTBot)
[0] 52.167.144.1 /page/3 -> allow (region-verified, OAI-SearchBot, left=9)

三行代码之外,几个设计取舍值得说明:

  • 伪装请求不拦,只记账。 第 2 行 spoofed:GPTBot@北京 的处理是"按普通访客放行"。原因很简单:它伪装成 GPTBot,说明它想绕过你的爬虫策略,但它的行为在访客维度并不异常;直接封 IP 会误伤同一个出口下的真实用户(尤其是家宽)。把它记到单独的指标里,如果这类请求量很大,再按 IP 段或 ip_type 收紧。
  • geo.ip_type 只在 VIP 版有。 免费版拿不到,代码里 idc 就恒为 false,判定退化成"来源国核验",依然有效。
  • 配额桶是按家族共享的,不是按 IP。 一个爬虫家族会用几百个 IP 轮换,按 IP 限速等于没限;按家族总量限速,才对带宽预算有意义。要更精细就按 ip_asn 分桶,同一云厂商共享一个桶。

五、上线顺序:先看两周,再动手 ​

直接上拦截是最容易翻车的方式。建议分三步:

第一步,影子模式跑两周。 只记录不改行为,日志里打上 bot、归属地省市、isp、页面类型、决策结果。两周后你会得到一张表:哪个家族占多少请求、打在哪些页面上、伪装比例多高。这张表是后面所有阈值的依据,也是跟老板解释"为什么要花钱买带宽"的材料。

第二步,先砍最贵、误伤最小的。 站内搜索和无限翻页对真实用户价值最低、对爬虫价值最高,先拦这里,几乎不会有投诉。这一步通常能砍掉三到五成的爬虫流量。

第三步,再上家族总配额。 按第一阶段的分布,给每个家族定一个"比当前实际用量低三成"的额度,让它们自然降速,同时保留文章页的访问权(尤其是搜索类爬虫)。

几个别做的事:

  • 别按归属地整国封禁。 你封了美国,美国读者也一起没了,而爬虫换个欧洲节点继续。
  • 别在 robots.txt 里写一堆 Disallow 然后以为完事。 那只是给守规矩的爬虫看的,账单不会因此下降。
  • 别忘了 CDN 层。 Cloudflare、又拍云、阿里云 CDN 都有 Bot 管理或 WAF 规则,能挡掉大部分低级爬虫,Node 层只做精细化的兜底,成本低得多。

总结 ​

AI 爬虫这件事,难点不在"识别",在"分清哪些该留"。训练类爬虫只烧带宽,搜索类爬虫能带来引用,两者配额必须不同;页面成本差几十倍,配额也必须分页面。归属地在其中的位置很明确:它证明不了对方是谁,但能证明对方不是谁——一个自称 GPTBot 却从国内家宽发请求的客户端,不需要再看别的证据。

具体用起来,免费版 https://ip9.com.cn/get?ip=<ip> 就能拿到 country、country_code、prov、city、isp 这些字段,判断境内境外够用;要区分机房和家宽、拿到 ASN 做分桶,得用 VIP 版的 ip_type 和 ip_asn。接口和字段的完整说明在官网 https://www.ip9.com.cn。