Skip to content

多语言站按 IP 自动跳转,Google 会不会只收录一个版本?PHP 实现与收录自检 ​

有个做工业配件外贸的客户,站是 PHP 写的,中文和英文两套页面,逻辑很"贴心":访客 IP 是中国的,跳 /zh/;是美国的,跳 /en/。上线半年,Google Search Console 里英文版收录了 400 多条,中文版只有 7 条,还都是首页和"关于我们"。

他一开始怀疑是中文内容质量不行。我让他打开 URL 检查工具,随手抓了一个中文产品页——抓取结果显示的是英文页面的内容,302 跳过去了。

事情到这里就清楚了:不是内容不行,是爬虫根本没机会看到中文页。

一、三个问题叠在一起,才把它拖死 ​

单看"按 IP 跳转"这一件事,危害没那么大。真正致命的是三件事同时发生:

第一,Googlebot 抓取时也带 IP,而且来自全球多地。 它不是固定从美国来的一个爬虫。你在日志里能看到来自各地区的抓取请求。所以"按 IP 判断语言"对爬虫来说约等于随机——今天从中国 IP 抓,你给它中文;明天从美国 IP 抓,你给它英文。中文页面的抓取预算被切得七零八落。

第二,302 会消耗抓取预算,还容易形成链条。 /products/valve → 302 → /zh/products/valve → 前端又判断一次 → 再 302 一次到带尾斜杠的地址。Googlebot 对重定向链有耐心上限,链一长就直接放弃,页面从此不被索引。

第三,canonical 和 hreflang 一起缺位。 这位客户的模板里 canonical 是写死的 https://www.example.com/(对,首页),hreflang 一个都没有。于是就算中文页被抓到了,也被 canonical 指到首页去,等于自己告诉 Google"这页别收"。

Google 自己的多区域多语言指南里有一条很直白的建议:不要根据"感知到的语言"自动重定向用户,而是让每个语言版本有独立、可直接访问的 URL,用 hreflang 把它们串起来。这条不是 SEO 圈的玄学,是按它的抓取机制写的。

二、把两件事拆开:语言"建议"和内容"可访问" ​

我的建议是把现在的逻辑拆成两层,很多人卡在这里,是因为把"用户体验"和"URL 结构"捆在了一起。

第一层,内容可访问性——任何 URL 都必须 200。 /zh/products/valve 就是这个中文页,不管访客 IP 在哪、UA 是什么,打开就是中文。英文同理。这一层不许有任何智能判断。

第二层,语言建议——只在"用户第一次进站且没表达偏好"时,给个提示。 常见做法是顶部一条横幅:"检测到你在中国大陆,切换到中文版?"用户点了才跳,跳完写 cookie,下次不再打扰。

如果你实在想要"自动跳",也守住三条:只在 GET 请求上跳;只跳一次(cookie 记住);爬虫 UA 不跳。但我得说清楚,第三条只是补丁——按 UA 给爬虫和用户不同内容,边界离 cloaking(伪装)很近,Google 的文档对此有明确说明。真要稳,别跳。

顺带说一个别人不太提的点:能不能靠 hreflang 让 Google 自己去选? 能,而且这是官方推荐路径。hreflang 的作用就是告诉 Google"这几个 URL 是同一内容的不同语言版本,给对应语言的用户看"。你要做的只是每个页面都输出全套 hreflang、互相指向,再加一个 x-default 指向默认版本。这件事和跳不跳转完全无关,跳转删了它也得在。

三、PHP 实现:一个门卫 + 一段 hreflang ​

下面这份代码可以直接放进现有 PHP 站的公共头部。它做四件事:取真实 IP、查国家、给建议语言、输出 hreflang 标签。跳转判断单独抽成函数,方便你按自己的阈值改。

php
<?php
// i18n_gate.php —— 多语言站:IP 只用来"建议语言",绝不做强制跳转
declare(strict_types=1);

const GEO_API   = 'https://ip9.com.cn/get?ip=%s';
const CACHE_DIR = '/tmp/geo_cache';
const CACHE_TTL = 21600;          // 6 小时,够用又不至于让城市长期钉死

function client_ip(array $server): string {
    $xff = $server['HTTP_X_FORWARDED_FOR'] ?? '';
    if ($xff !== '') {
        $first = trim(explode(',', $xff)[0]);
        if (filter_var($first, FILTER_VALIDATE_IP)) return $first;
    }
    return $server['REMOTE_ADDR'] ?? '';
}

function geo_lookup(string $ip): ?array {
    if (!filter_var($ip, FILTER_VALIDATE_IP)) return null;
    $file = CACHE_DIR . '/' . md5($ip) . '.json';
    if (is_file($file) && time() - filemtime($file) < CACHE_TTL) {
        $cached = json_decode((string)file_get_contents($file), true);
        return is_array($cached) ? $cached : null;
    }
    $ctx = stream_context_create([
        'http' => [
            'timeout' => 1.5,
            'header'  => "User-Agent: i18n-gate/1.0\r\n",
            'ignore_errors' => true,
        ],
    ]);
    $raw = @file_get_contents(sprintf(GEO_API, rawurlencode($ip)), false, $ctx);
    if ($raw === false) return null;                       // 超时、DNS、TLS 一律当查不到
    $body = json_decode($raw, true);
    if (!is_array($body) || ($body['ret'] ?? 0) !== 200) return null;
    $d = $body['data'] ?? [];
    $geo = [
        'country'      => (string)($d['country'] ?? ''),
        'country_code' => strtolower((string)($d['country_code'] ?? '')),
        'prov'         => (string)($d['prov'] ?? ''),
        'city'         => (string)($d['city'] ?? ''),
    ];
    @mkdir(CACHE_DIR, 0775, true);
    @file_put_contents($file, json_encode($geo, JSON_UNESCAPED_UNICODE));
    return $geo;
}

/** 只做"建议",返回语言代码;查不到就回落到站点默认语言 */
function suggest_lang(?array $geo, array $map = ['cn' => 'zh']): string {
    if ($geo === null || $geo['country_code'] === '') return 'en';
    return $map[$geo['country_code']] ?? 'en';
}

/**
 * 是否跳转。返回 ['action' => 'redirect'|'stay', 'lang' => ..., 'reason' => ...]
 * 跳转条件苛刻到近乎不跳:GET、非爬虫、没选过语言、没带 lang 参数、目标页存在。
 */
function decide_redirect(array $server, array $get, array $cookies, callable $exists): array {
    if (($server['REQUEST_METHOD'] ?? 'GET') !== 'GET') {
        return ['action' => 'stay', 'reason' => 'not_get'];
    }
    if (isset($get['lang']) || isset($cookies['site_lang'])) {
        return ['action' => 'stay', 'reason' => 'user_chose'];
    }
    $ua = strtolower($server['HTTP_USER_AGENT'] ?? '');
    foreach (['googlebot', 'bingbot', 'baiduspider', 'yandex', 'applebot', 'petalbot'] as $bot) {
        if (str_contains($ua, $bot)) return ['action' => 'stay', 'reason' => 'crawler'];
    }
    $path = parse_url($server['REQUEST_URI'] ?? '/', PHP_URL_PATH) ?: '/';
    if (preg_match('#^/(zh|en)(/|$)#', $path)) {
        return ['action' => 'stay', 'reason' => 'already_localized'];
    }
    $ip  = client_ip($server);
    $geo = geo_lookup($ip);
    $lang = suggest_lang($geo);
    if ($lang === 'en') {                       // 默认语言不跳,避免多一跳
        return ['action' => 'stay', 'lang' => $lang, 'reason' => 'default_lang', 'geo' => $geo];
    }
    $target = '/' . $lang . $path;
    if (!$exists($target)) {
        return ['action' => 'stay', 'lang' => $lang, 'reason' => 'no_localized_page', 'geo' => $geo];
    }
    return ['action' => 'redirect', 'lang' => $lang, 'reason' => 'geo_hint',
            'geo' => $geo, 'target' => $target];
}

/** hreflang 全量互指 + x-default,和跳不跳没关系,必须每个页面都输出 */
function hreflang_tags(string $path, string $host = 'https://www.example.com'): string {
    $map = ['zh-CN' => '/zh', 'en' => '/en'];
    $out = '';
    foreach ($map as $code => $prefix) {
        $out .= sprintf('<link rel="alternate" hreflang="%s" href="%s%s%s">' . PHP_EOL,
            $code, $host, $prefix, rtrim($path, '/'));
    }
    $out .= sprintf('<link rel="alternate" hreflang="x-default" href="%s/en%s">' . PHP_EOL,
        $host, rtrim($path, '/'));
    return $out;
}

// —— 本地自测:php i18n_gate.php ——
if (PHP_SAPI === 'cli') {
    foreach (['114.114.114.114', '8.8.8.8', '1.2.4.8', '2408:8000:9000::1'] as $ip) {
        $geo = geo_lookup($ip);
        $lang = suggest_lang($geo);
        printf("%-22s %-6s %-6s %-10s -> %s\n", $ip,
            $geo['country_code'] ?? '-', $geo['prov'] ?? '-', $geo['city'] ?? '-', $lang);
    }
    echo PHP_EOL, hreflang_tags('/pricing');
    $demo = decide_redirect(
        ['REQUEST_URI' => '/pricing', 'REMOTE_ADDR' => '114.114.114.114',
         'HTTP_USER_AGENT' => 'Mozilla/5.0'],
        [], [], fn(string $p): bool => $p === '/zh/pricing'
    );
    echo PHP_EOL, json_encode($demo, JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES), PHP_EOL;
    $bot = decide_redirect(
        ['REQUEST_URI' => '/pricing', 'REMOTE_ADDR' => '114.114.114.114',
         'HTTP_USER_AGENT' => 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'],
        [], [], fn(string $p): bool => true
    );
    echo json_encode($bot, JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES), PHP_EOL;
}

命令行跑一遍的实测输出:

114.114.114.114        cn     江苏 南京     -> zh
8.8.8.8                us                       -> en
1.2.4.8                cn                       -> zh
2408:8000:9000::1      cn     上海 上海     -> zh

<link rel="alternate" hreflang="zh-CN" href="https://www.example.com/zh/pricing">
<link rel="alternate" hreflang="en" href="https://www.example.com/en/pricing">
<link rel="alternate" hreflang="x-default" href="https://www.example.com/en/pricing">

{"action":"redirect","lang":"zh","reason":"geo_hint","geo":{"country":"中国","country_code":"cn","prov":"江苏","city":"南京"},"target":"/zh/pricing"}
{"action":"stay","reason":"crawler"}

几个和"语言判断"有关、和"城市判断"不太一样的地方:

  • 看 country_code,不看 city。 语言是按国家分的,1.2.4.8 这种国内骨干网段查不出省市(prov、city 都是空串),但 country_code 是 cn,判断照样成立。反过来,做同城业务就完全依赖 city,那类脚本必须处理空城市的兜底。
  • 默认语言不跳。 英文站的默认版是 /en/,英文用户进来不跳转,少一跳就少一份抓取预算消耗。
  • $exists 这个回调别省。 很多站只有部分页面做了翻译,跳过去是 404,等于给 Google 送一堆软 404。上线前跑一遍全站 URL,把没有对应语言版的路径排除掉。
  • 缓存落文件,不落 session。 md5($ip) 做 key、6 小时过期,一天几万 IP 也就是几千个小文件。查一次接口能用几百次,免费版 60 次/分钟的限制基本不会碰到。

四、改完怎么验证有没有救回来 ​

别等 Google 自己发现,按这个顺序推:

1. 先确认爬虫看到的是对的。 用 curl 带 Googlebot 的 UA 打一次,看状态码和 HTML 语言:

curl -sI -A 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' \
  https://www.example.com/zh/products/valve

必须是 200,不能是 301/302;返回的 HTML 里 <html lang="zh-CN">,标题是中文。

2. 在 GSC 的 URL 检查里看"已发现"和"抓取方式"。 重点看中文页的"用户声明的规范网址"是不是指向自己——如果还指着首页,先修模板的 canonical。

3. hreflang 用工具校验一遍。 常见错误是"返回值不一致"(A 指向 B,B 不指回 A)和"缺少自指"。检查方法很土但有效:随便挑 5 个产品页,把页面里所有 hreflang 的 URL 拼出来,逐个 curl,看是否都能 200 且互相包含。

4. 看日志里 Googlebot 抓的语言分布。 改之前 /zh/ 的抓取占比大概只有个位数,改完两到三周应该能看到明显上升。这个指标比收录数更早反应。

5. sitemap 分语言全列。 别只提交英文的。两个 sitemap,或者一个里面同时列 /zh/ 和 /en/,都可以,但每条 URL 必须是 200 的最终地址,不要放会跳转的。

6. 关于 302 还是 301。 语言建议这种"可以变"的跳转用 302;真做了 URL 迁移(比如 /product/x 永久改成 /zh/product/x)才用 301。混用是常见的坑:拿 301 做 IP 跳转,等于告诉 Google"这个地址永久搬走了",你以后想取消跳转都难。

总结 ​

按 IP 自动跳转这件事,问题不在"跳",在"跳得没有退路"。可访问性一旦被跳转绑架,爬虫就只剩下一个版本可看,收录自然只剩一个版本。

要动手,最小的三处改动是:把跳转从"强制 302"降级成"横幅建议 + cookie"、给每个语言页输出全套 hreflang 和自指 canonical、把 sitemap 补全两种语言。改完两周内去 GSC 看中文页的抓取量,那是唯一靠谱的验收指标。

IP 归属地在这里的作用很窄——只是判断"这个访客大概来自哪个国家",用来决定横幅文案。接口是 GET https://ip9.com.cn/get?ip=<ip>,免费版免注册、支持 IPv6,返回里有 country、country_code、prov、city,做国家判断用前两个字段就够;要区县粒度(area)或判断访客是不是机房/代理出口(ip_type),那属于 IP9 官网 上 VIP 版的能力。别拿它去猜"用户想说什么语言"——语言偏好该由用户自己告诉我们,IP 只是个不值钱的初猜。