Appearance
Perl 怎么获取 IP 归属地?把十年前抓 HTML 的老脚本换成调 JSON 接口(完整可跑)
上个月帮一个做机房运维的朋友收拾烂摊子。他们有一套跑了十来年的日志分析脚本,Perl 写的,每天凌晨扫一遍设备日志,把外网访问 IP 丢给某个查询网站,用正则把 HTML 里的「江苏南京」抠出来,再汇总成报表。
那天早上报表空了。脚本没报错,只是每一行都打印 -。
原因不复杂:那个网站改版了,归属地现在是前端异步渲染的,HTML 源码里根本没有那几行字。十年老脚本就这么无声无息地废了。我给他换了个写法——不抓页面,直接调 JSON 接口。代码只有一百多行,比原来还短。
这篇就把这个写法完整给出来。用 Perl 的理由很现实:老系统里跑着的那批脚本,重写成本比改造高得多,运维宁愿在 Perl 里再战十年。
一、抓 HTML 这条路为什么走不通了
先把坑说清楚,省得你还在原来的脚本上修补。
页面渲染方式变了。 归属地现在多为前端渲染或按需加载,LWP::Simple 拿到的 HTML 里只有骨架。想拿到数据就得上 headless 浏览器,Perl 生态做这个很别扭。
反爬是常态。 老脚本里那种一秒一个请求的循环,在今天的查询站上通常活不过三分钟:先给你返回验证码页,再给你返回 403。而且很多站明确禁止程序化抓取,这条路的合规风险也在。
解析成本高且脆。 用正则抠 HTML,页面结构一改就废——这次的事故就是这么来的。归属地这类结构化数据,本来就有现成的 JSON 接口,没必要跟 HTML 较劲。
所以方向是明确的:把「抓网页」换成「调接口 + 解析 JSON」。下面这份脚本,接口用的是 https://ip9.com.cn/get?ip=<IP>,免费版不用注册,一个 IP 每分钟 60 次,IPv4 和 IPv6 都能查。
二、方案设计:四件事要做对
整体结构不复杂,但要能长期无人值守地跑,有四件事必须做对:
请求层。 用 LWP::UserAgent 发 GET,超时给 5 秒。别用 LWP::Simple——它拿不到状态码,出错时你只能靠猜。
限速层。 免费版限制是「每分钟 60 次」,并且是按来源 IP 计的。换句话说是按你这台机器的出口算账。脚本里做单线程串行 + 固定间隔最省事:间隔设 1.05 秒,留一点余量,别卡在临界值上。限速要放在调用方,接口不会因为你礼貌就多给配额。
缓存层。 同一个 IP 反复查没意义——归属地是按运营商分配段登记的,变化以月计。命中过的 IP 落一份本地 JSON 缓存,脚本重启后直接用,省下的配额留给新 IP。
异常层。 接口返回里 ret 是状态:200 正常、400 IP 格式非法、429 被限流。三种要分开处理:400 是这条数据的问题,429 是你的问题,前者跳过、后者要退避重试。
三、Perl 实现
依赖两个模块:LWP::UserAgent(Debian/Ubuntu 下 sudo apt install libwww-perl)和 JSON::PP(Perl 5.14 起是核心模块,不用装)。老到 5.8 的系统,单独装一个 JSON::PP 或 JSON::XS 也行。
perl
#!/usr/bin/perl
use strict;
use warnings;
use LWP::UserAgent;
use JSON::PP;
use URI::Escape qw(uri_escape);
use Time::HiRes qw(sleep time);
my $API = 'https://ip9.com.cn/get';
my $INTERVAL = 1.05; # 免费版 60 次/分钟,保守取值
my $CACHE_F = ($ENV{HOME} // '/tmp') . '/.ip9_perl_geo_cache.json';
my $UA = LWP::UserAgent->new(timeout => 5, agent => 'ip9-perl-demo/1.0');
my $JSON = JSON::PP->new->utf8; # 自动处理 UTF-8 中文
my $cache = load_cache();
my $last = 0;
sub throttle {
my $wait = $INTERVAL - (time - $last);
sleep($wait) if $wait > 0;
$last = time;
}
# 返回 hashref:成功 = 正常字段;失败 = { error => '...' }
sub query_ip {
my ($ip) = @_;
my $cached = $cache->{$ip};
return $cached if ref $cached eq 'HASH' && defined $cached->{ip}; # 命中缓存,不消耗配额
throttle();
my $res = $UA->get($API . '?ip=' . uri_escape($ip));
# 接口对非法 IP 返回的是 HTTP 400,但 body 里同样带 JSON,所以先解 body 再判状态码
my $obj = eval { $JSON->decode($res->content) };
if (ref $obj eq 'HASH') {
my $ret = $obj->{ret} // 0;
return { error => 'invalid_ip' } if $ret == 400;
return { error => 'rate_limited' } if $ret == 429;
return { error => "ret_$ret" } unless $ret == 200;
return { error => 'empty_data' } unless ref $obj->{data} eq 'HASH';
my $d = $obj->{data};
my $geo = {
ip => $d->{ip} // $ip,
country => $d->{country} // '',
prov => $d->{prov} // '',
city => $d->{city} // '',
isp => $d->{isp} // '',
big_area => $d->{big_area} // '',
};
$cache->{$ip} = $geo; # 只缓存成功结果,失败下次还能重试
return $geo;
}
return { error => 'bad_json' } if $res->is_success;
return { error => 'http_' . $res->code };
}
sub load_cache {
return {} unless -s $CACHE_F;
open my $fh, '<:raw', $CACHE_F or return {};
my $raw = do { local $/; <$fh> };
close $fh;
my $h = eval { JSON::PP->new->utf8->decode($raw) };
return {} unless ref $h eq 'HASH';
# 只认结构完整的条目:这个缓存文件可能被别的工具改过,半残记录会让统计表出现空行
return { map { $_ => $h->{$_} } grep { ref $h->{$_} eq 'HASH' && defined $h->{$_}{ip} } keys %$h };
}
sub save_cache {
open my $fh, '>:raw', $CACHE_F or do { warn "cache write failed: $!"; return };
print $fh JSON::PP->new->utf8->canonical->encode($cache);
close $fh;
}
binmode STDOUT, ':encoding(UTF-8)';
print "ip\tcountry\tprov\tcity\tisp\tbig_area\tstatus\n";
while (my $line = <>) {
chomp $line;
$line =~ s/^\s+|\s+$//g;
next if $line eq '' || $line =~ /^#/;
my $g = query_ip($line);
if ($g->{error}) {
print join("\t", $line, ('-') x 5, $g->{error}), "\n";
next;
}
print join("\t", @{$g}{qw(ip country prov city isp big_area)}, 'ok'), "\n";
}
save_cache();跑法很直接,ips.txt 一行一个 IP(日志里 awk '{print $1}' access.log | sort -u > ips.txt 就能生成):
bash
perl ipgeo.pl ips.txt > geo.tsv失败的行会打印 invalid_ip 或 rate_limited,一眼能看出是脏数据还是配额爆了。第二遍再跑同样的文件,所有结果都来自本地缓存,几乎秒出。
四、落地注意事项
别把间隔调到 1 秒以内。 免费版是按出口 IP 计 60 次/分钟的,机房出口往往是几十台机器共享一个公网 IP,你的脚本可能和监控、爬虫、其他业务脚本抢同一份配额。保守一点没坏处,被限流之后重试的成本更高。
缓存给个保质期。 上面这份是「永久缓存」,对半个月跑一次的报表够了。如果脚本天天跑,建议在缓存里加个时间戳:超过 30 天就重新查一次。归属地变动不算频繁,但确实会变——IP 段被运营商转售、企业迁移机房,都能让老记录失效。
想提速别加并发。 这类接口的瓶颈在配额不在网络,多进程并发的结果通常是一半请求吃 429。真要处理几十万 IP,本地缓存 + 分批跑(每天跑几万个)比并发靠谱;或者把量级算清楚,上 VIP 版(18 万次/分钟)——配额这件事,先用免费版摸出真实需求再决定。
IPv6 的细节。 免费版同样支持 IPv6,但返回的 long_ip 字段对 IPv6 是 0 值(IPv6 是 128 位,塞不进整数),需要整数形式时只能用 IPv4 的 IP。日志里有 IPv6 别慌,ip、prov、city 这些照常返回。
非法 IP 也是 400。 上面代码里有个容易踩的点:接口对格式不合法的 IP 直接返回 HTTP 400,但 body 里照样带 JSON。所以判断逻辑要先解 body、再看状态码,否则脏数据会被统统归到"HTTP 错误"里,排查时分不清是网络问题还是数据问题。
缓存文件起个专属名字。 老系统上可能已经存在别处写的 .ip9_geo_cache.json,键名一样、结构不一样,读进来就是一堆半残记录(表现是输出里省份为空、还夹着 warning)。脚本里用专属文件名,外加一层"结构完整才认"的校验,能省掉一次很隐蔽的排查。
顺手把字段补齐。 我做日志地域统计时习惯多存 isp 和 big_area(国内大区):前者能帮你区分「用户真在江苏」还是「某个云厂商在江苏的机房」,后者做省→大区上卷时省掉一张映射表。要做区县级定位、判断出口是不是 IDC 机房(ip_type)、或者拿 AS 号,这些字段属于 VIP 版能力,按需再上。
总结
Perl 查 IP 归属地,核心就三行:拼 URL、发 GET、解 JSON。剩下的都是工程细节——限速放调用方、缓存放本地、错误分类处理,这三件事做好了,脚本就能安静地跑下去。
老脚本的教训也值得记一下:把数据来源从「页面」换成「接口」,是你花最小代价把十年老代码续命的办法。抓 HTML 的写法必然会被下一次改版干掉,JSON 接口的字段则相对稳定。
接口地址就这一个:https://ip9.com.cn/get?ip=<IP>,返回字段的含义和免费版、VIP 版的差别,官网 https://www.ip9.com.cn 上写得很清楚。先拿几个 IP 手工试一次,确认字段能对上你的报表,再把脚本里的 URL 换掉——比全量改代码稳。