Appearance
多语言站按 IP 自动跳转,Google 会不会只收录一个版本?PHP 实现与收录自检
有个做工业配件外贸的客户,站是 PHP 写的,中文和英文两套页面,逻辑很"贴心":访客 IP 是中国的,跳 /zh/;是美国的,跳 /en/。上线半年,Google Search Console 里英文版收录了 400 多条,中文版只有 7 条,还都是首页和"关于我们"。
他一开始怀疑是中文内容质量不行。我让他打开 URL 检查工具,随手抓了一个中文产品页——抓取结果显示的是英文页面的内容,302 跳过去了。
事情到这里就清楚了:不是内容不行,是爬虫根本没机会看到中文页。
一、三个问题叠在一起,才把它拖死
单看"按 IP 跳转"这一件事,危害没那么大。真正致命的是三件事同时发生:
第一,Googlebot 抓取时也带 IP,而且来自全球多地。 它不是固定从美国来的一个爬虫。你在日志里能看到来自各地区的抓取请求。所以"按 IP 判断语言"对爬虫来说约等于随机——今天从中国 IP 抓,你给它中文;明天从美国 IP 抓,你给它英文。中文页面的抓取预算被切得七零八落。
第二,302 会消耗抓取预算,还容易形成链条。 /products/valve → 302 → /zh/products/valve → 前端又判断一次 → 再 302 一次到带尾斜杠的地址。Googlebot 对重定向链有耐心上限,链一长就直接放弃,页面从此不被索引。
第三,canonical 和 hreflang 一起缺位。 这位客户的模板里 canonical 是写死的 https://www.example.com/(对,首页),hreflang 一个都没有。于是就算中文页被抓到了,也被 canonical 指到首页去,等于自己告诉 Google"这页别收"。
Google 自己的多区域多语言指南里有一条很直白的建议:不要根据"感知到的语言"自动重定向用户,而是让每个语言版本有独立、可直接访问的 URL,用 hreflang 把它们串起来。这条不是 SEO 圈的玄学,是按它的抓取机制写的。
二、把两件事拆开:语言"建议"和内容"可访问"
我的建议是把现在的逻辑拆成两层,很多人卡在这里,是因为把"用户体验"和"URL 结构"捆在了一起。
第一层,内容可访问性——任何 URL 都必须 200。 /zh/products/valve 就是这个中文页,不管访客 IP 在哪、UA 是什么,打开就是中文。英文同理。这一层不许有任何智能判断。
第二层,语言建议——只在"用户第一次进站且没表达偏好"时,给个提示。 常见做法是顶部一条横幅:"检测到你在中国大陆,切换到中文版?"用户点了才跳,跳完写 cookie,下次不再打扰。
如果你实在想要"自动跳",也守住三条:只在 GET 请求上跳;只跳一次(cookie 记住);爬虫 UA 不跳。但我得说清楚,第三条只是补丁——按 UA 给爬虫和用户不同内容,边界离 cloaking(伪装)很近,Google 的文档对此有明确说明。真要稳,别跳。
顺带说一个别人不太提的点:能不能靠 hreflang 让 Google 自己去选? 能,而且这是官方推荐路径。hreflang 的作用就是告诉 Google"这几个 URL 是同一内容的不同语言版本,给对应语言的用户看"。你要做的只是每个页面都输出全套 hreflang、互相指向,再加一个 x-default 指向默认版本。这件事和跳不跳转完全无关,跳转删了它也得在。
三、PHP 实现:一个门卫 + 一段 hreflang
下面这份代码可以直接放进现有 PHP 站的公共头部。它做四件事:取真实 IP、查国家、给建议语言、输出 hreflang 标签。跳转判断单独抽成函数,方便你按自己的阈值改。
php
<?php
// i18n_gate.php —— 多语言站:IP 只用来"建议语言",绝不做强制跳转
declare(strict_types=1);
const GEO_API = 'https://ip9.com.cn/get?ip=%s';
const CACHE_DIR = '/tmp/geo_cache';
const CACHE_TTL = 21600; // 6 小时,够用又不至于让城市长期钉死
function client_ip(array $server): string {
$xff = $server['HTTP_X_FORWARDED_FOR'] ?? '';
if ($xff !== '') {
$first = trim(explode(',', $xff)[0]);
if (filter_var($first, FILTER_VALIDATE_IP)) return $first;
}
return $server['REMOTE_ADDR'] ?? '';
}
function geo_lookup(string $ip): ?array {
if (!filter_var($ip, FILTER_VALIDATE_IP)) return null;
$file = CACHE_DIR . '/' . md5($ip) . '.json';
if (is_file($file) && time() - filemtime($file) < CACHE_TTL) {
$cached = json_decode((string)file_get_contents($file), true);
return is_array($cached) ? $cached : null;
}
$ctx = stream_context_create([
'http' => [
'timeout' => 1.5,
'header' => "User-Agent: i18n-gate/1.0\r\n",
'ignore_errors' => true,
],
]);
$raw = @file_get_contents(sprintf(GEO_API, rawurlencode($ip)), false, $ctx);
if ($raw === false) return null; // 超时、DNS、TLS 一律当查不到
$body = json_decode($raw, true);
if (!is_array($body) || ($body['ret'] ?? 0) !== 200) return null;
$d = $body['data'] ?? [];
$geo = [
'country' => (string)($d['country'] ?? ''),
'country_code' => strtolower((string)($d['country_code'] ?? '')),
'prov' => (string)($d['prov'] ?? ''),
'city' => (string)($d['city'] ?? ''),
];
@mkdir(CACHE_DIR, 0775, true);
@file_put_contents($file, json_encode($geo, JSON_UNESCAPED_UNICODE));
return $geo;
}
/** 只做"建议",返回语言代码;查不到就回落到站点默认语言 */
function suggest_lang(?array $geo, array $map = ['cn' => 'zh']): string {
if ($geo === null || $geo['country_code'] === '') return 'en';
return $map[$geo['country_code']] ?? 'en';
}
/**
* 是否跳转。返回 ['action' => 'redirect'|'stay', 'lang' => ..., 'reason' => ...]
* 跳转条件苛刻到近乎不跳:GET、非爬虫、没选过语言、没带 lang 参数、目标页存在。
*/
function decide_redirect(array $server, array $get, array $cookies, callable $exists): array {
if (($server['REQUEST_METHOD'] ?? 'GET') !== 'GET') {
return ['action' => 'stay', 'reason' => 'not_get'];
}
if (isset($get['lang']) || isset($cookies['site_lang'])) {
return ['action' => 'stay', 'reason' => 'user_chose'];
}
$ua = strtolower($server['HTTP_USER_AGENT'] ?? '');
foreach (['googlebot', 'bingbot', 'baiduspider', 'yandex', 'applebot', 'petalbot'] as $bot) {
if (str_contains($ua, $bot)) return ['action' => 'stay', 'reason' => 'crawler'];
}
$path = parse_url($server['REQUEST_URI'] ?? '/', PHP_URL_PATH) ?: '/';
if (preg_match('#^/(zh|en)(/|$)#', $path)) {
return ['action' => 'stay', 'reason' => 'already_localized'];
}
$ip = client_ip($server);
$geo = geo_lookup($ip);
$lang = suggest_lang($geo);
if ($lang === 'en') { // 默认语言不跳,避免多一跳
return ['action' => 'stay', 'lang' => $lang, 'reason' => 'default_lang', 'geo' => $geo];
}
$target = '/' . $lang . $path;
if (!$exists($target)) {
return ['action' => 'stay', 'lang' => $lang, 'reason' => 'no_localized_page', 'geo' => $geo];
}
return ['action' => 'redirect', 'lang' => $lang, 'reason' => 'geo_hint',
'geo' => $geo, 'target' => $target];
}
/** hreflang 全量互指 + x-default,和跳不跳没关系,必须每个页面都输出 */
function hreflang_tags(string $path, string $host = 'https://www.example.com'): string {
$map = ['zh-CN' => '/zh', 'en' => '/en'];
$out = '';
foreach ($map as $code => $prefix) {
$out .= sprintf('<link rel="alternate" hreflang="%s" href="%s%s%s">' . PHP_EOL,
$code, $host, $prefix, rtrim($path, '/'));
}
$out .= sprintf('<link rel="alternate" hreflang="x-default" href="%s/en%s">' . PHP_EOL,
$host, rtrim($path, '/'));
return $out;
}
// —— 本地自测:php i18n_gate.php ——
if (PHP_SAPI === 'cli') {
foreach (['114.114.114.114', '8.8.8.8', '1.2.4.8', '2408:8000:9000::1'] as $ip) {
$geo = geo_lookup($ip);
$lang = suggest_lang($geo);
printf("%-22s %-6s %-6s %-10s -> %s\n", $ip,
$geo['country_code'] ?? '-', $geo['prov'] ?? '-', $geo['city'] ?? '-', $lang);
}
echo PHP_EOL, hreflang_tags('/pricing');
$demo = decide_redirect(
['REQUEST_URI' => '/pricing', 'REMOTE_ADDR' => '114.114.114.114',
'HTTP_USER_AGENT' => 'Mozilla/5.0'],
[], [], fn(string $p): bool => $p === '/zh/pricing'
);
echo PHP_EOL, json_encode($demo, JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES), PHP_EOL;
$bot = decide_redirect(
['REQUEST_URI' => '/pricing', 'REMOTE_ADDR' => '114.114.114.114',
'HTTP_USER_AGENT' => 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'],
[], [], fn(string $p): bool => true
);
echo json_encode($bot, JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES), PHP_EOL;
}命令行跑一遍的实测输出:
114.114.114.114 cn 江苏 南京 -> zh
8.8.8.8 us -> en
1.2.4.8 cn -> zh
2408:8000:9000::1 cn 上海 上海 -> zh
<link rel="alternate" hreflang="zh-CN" href="https://www.example.com/zh/pricing">
<link rel="alternate" hreflang="en" href="https://www.example.com/en/pricing">
<link rel="alternate" hreflang="x-default" href="https://www.example.com/en/pricing">
{"action":"redirect","lang":"zh","reason":"geo_hint","geo":{"country":"中国","country_code":"cn","prov":"江苏","city":"南京"},"target":"/zh/pricing"}
{"action":"stay","reason":"crawler"}几个和"语言判断"有关、和"城市判断"不太一样的地方:
- 看
country_code,不看city。 语言是按国家分的,1.2.4.8这种国内骨干网段查不出省市(prov、city都是空串),但country_code是cn,判断照样成立。反过来,做同城业务就完全依赖city,那类脚本必须处理空城市的兜底。 - 默认语言不跳。 英文站的默认版是
/en/,英文用户进来不跳转,少一跳就少一份抓取预算消耗。 $exists这个回调别省。 很多站只有部分页面做了翻译,跳过去是 404,等于给 Google 送一堆软 404。上线前跑一遍全站 URL,把没有对应语言版的路径排除掉。- 缓存落文件,不落 session。
md5($ip)做 key、6 小时过期,一天几万 IP 也就是几千个小文件。查一次接口能用几百次,免费版 60 次/分钟的限制基本不会碰到。
四、改完怎么验证有没有救回来
别等 Google 自己发现,按这个顺序推:
1. 先确认爬虫看到的是对的。 用 curl 带 Googlebot 的 UA 打一次,看状态码和 HTML 语言:
curl -sI -A 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' \
https://www.example.com/zh/products/valve必须是 200,不能是 301/302;返回的 HTML 里 <html lang="zh-CN">,标题是中文。
2. 在 GSC 的 URL 检查里看"已发现"和"抓取方式"。 重点看中文页的"用户声明的规范网址"是不是指向自己——如果还指着首页,先修模板的 canonical。
3. hreflang 用工具校验一遍。 常见错误是"返回值不一致"(A 指向 B,B 不指回 A)和"缺少自指"。检查方法很土但有效:随便挑 5 个产品页,把页面里所有 hreflang 的 URL 拼出来,逐个 curl,看是否都能 200 且互相包含。
4. 看日志里 Googlebot 抓的语言分布。 改之前 /zh/ 的抓取占比大概只有个位数,改完两到三周应该能看到明显上升。这个指标比收录数更早反应。
5. sitemap 分语言全列。 别只提交英文的。两个 sitemap,或者一个里面同时列 /zh/ 和 /en/,都可以,但每条 URL 必须是 200 的最终地址,不要放会跳转的。
6. 关于 302 还是 301。 语言建议这种"可以变"的跳转用 302;真做了 URL 迁移(比如 /product/x 永久改成 /zh/product/x)才用 301。混用是常见的坑:拿 301 做 IP 跳转,等于告诉 Google"这个地址永久搬走了",你以后想取消跳转都难。
总结
按 IP 自动跳转这件事,问题不在"跳",在"跳得没有退路"。可访问性一旦被跳转绑架,爬虫就只剩下一个版本可看,收录自然只剩一个版本。
要动手,最小的三处改动是:把跳转从"强制 302"降级成"横幅建议 + cookie"、给每个语言页输出全套 hreflang 和自指 canonical、把 sitemap 补全两种语言。改完两周内去 GSC 看中文页的抓取量,那是唯一靠谱的验收指标。
IP 归属地在这里的作用很窄——只是判断"这个访客大概来自哪个国家",用来决定横幅文案。接口是 GET https://ip9.com.cn/get?ip=<ip>,免费版免注册、支持 IPv6,返回里有 country、country_code、prov、city,做国家判断用前两个字段就够;要区县粒度(area)或判断访客是不是机房/代理出口(ip_type),那属于 IP9 官网 上 VIP 版的能力。别拿它去猜"用户想说什么语言"——语言偏好该由用户自己告诉我们,IP 只是个不值钱的初猜。