Appearance
Nginx 日志里访客来自哪个城市?GoAccess 的 GeoIP 在国内只到国家,用 Shell 补省市
上周帮一个做本地装修报价站的客户看流量。他装好了 GoAccess,报表花花绿绿,点开「地理位置」那一栏,国家一列只有「China」占 92%,剩下几个是 Singapore、United States。他问我:这报表我怎么知道该往哪个城市投广告?
这是个很典型的卡点:日志里明明每条都有 IP,工具却只能给出国家级结论。不是工具不行,是它背后用的 GeoIP 库在国内只有国家维度靠得住,省和市基本靠猜。想在服务器上直接拿到「南京 40 次、杭州 25 次」这种粒度,与其折腾商业库,不如把 IP 抽出来,用接口翻译成地名,再用 shell 做聚合。整个过程不需要 Python、不需要装任何依赖,curl + jq + awk 三件套就够。
一、GoAccess 的城市列为什么是空的
GoAccess 的地理位置功能依赖 MaxMind 的 GeoLite2 库,挂载方式是 --geoip-database=GeoLite2-City.mmdb。理论上它有城市字段,实际在国内用会撞上三件事:
- 国内城市字段缺失率高。GeoLite2 对中国大陆的省级还算能对,市级大量落到「未知」或者一个错误的邻近城市;运营商级别的段(比如某些 IDC 转售段)干脆只有国家。
- 库要手动更新。MaxMind 现在下载 mmdb 需要账号,很多教程里的免费直链早已失效,运维装完就再也没更新过,半年后数据更不准。
- IPv6 段覆盖差。移动网络大量走 IPv6,日志里
240e:开头的地址在旧库里几乎查不到。
所以问题不在 GoAccess 的图表能力——它的时段分布、状态码、UA 分析都好用——而在「IP → 城市」这一步的数据源。把这一步换掉,剩下的交给它或者交给 shell,都能出结果。
二、拆成三步:抽 IP、翻译、聚合
思路很朴素,关键是中间那张缓存表:
| 步骤 | 做什么 | 为什么 |
|---|---|---|
| 抽 IP | 从 access.log 第一列取客户端 IP,去掉端口,剔掉内网地址 | 内网/回环地址查了也是空,白白消耗额度 |
| 翻译 | 每个唯一 IP 查一次 https://ip9.com.cn/get?ip=<ip>,结果写进 TSV 缓存 | 日志里 IP 重复率极高,几千条日志往往只有几百个唯一 IP;缓存能省掉 80% 以上的调用 |
| 聚合 | 拿缓存表把日志逐行替换成「省/市」,按省市计数排序 | awk 处理百万行日志是秒级的事,不用上数据库 |
免费版接口是 60 次/分钟,所以脚本里给每次未命中的查询留了 1 秒间隔。第一次跑会慢——1 万个唯一 IP 就是要跑将近 3 小时,建议放凌晨的 crontab 里;第二天开始绝大部分 IP 都命中缓存,几分钟就能出报表。如果日志量大到每天几万个新 IP,那是该考虑 VIP 版(18 万次/分钟)或者干脆离线预生成字典表的场景了。
三、Shell 实现:一个脚本出三张表
下面这段是完整脚本,存成 nginx-city-report.sh,chmod +x 就能跑。它输出三块内容:总量与境外占比、省份汇总、城市排行。
bash
#!/usr/bin/env bash
# nginx-city-report.sh —— 把 nginx access.log 变成「省市访问排行」
# 用法: ./nginx-city-report.sh /var/log/nginx/access.log 15
set -uo pipefail
LOG="${1:-/var/log/nginx/access.log}"
TOP="${2:-15}"
CACHE="${CACHE:-./ip-city.cache.tsv}"
API="https://ip9.com.cn/get"
SLEEP="${SLEEP:-1.05}" # 免费版 60 次/分钟:未命中缓存时 1 秒查 1 个
[ -r "$LOG" ] || { echo "读不到日志: $LOG" >&2; exit 1; }
touch "$CACHE"
lookup() { # $1=ip → 打印 "国家<TAB>省<TAB>市<TAB>运营商",失败无输出
local ip="$1" raw
raw=$(curl -s --max-time 4 --get --data-urlencode "ip=$ip" "$API") || return 1
jq -r 'if (.ret == 200) and (.data != null)
then [(.data.country // ""), (.data.prov // ""), (.data.city // ""), (.data.isp // "")]
| map(if . == "" then "-" else . end) | @tsv
else empty end' <<<"$raw"
}
# 1) 第一列客户端 IP。注意 IPv6 不能按「冒号后全是数字」去端口,会切掉 ::1 尾部
mapfile -t IPS < <(awk '{print $1}' "$LOG" \
| sed -E 's/^([0-9]{1,3}(\.[0-9]{1,3}){3}):[0-9]+$/\1/' \
| grep -Ev '^(10\.|127\.|192\.168\.|172\.(1[6-9]|2[0-9]|3[01])\.|::1$|fe80)' \
| sort -u)
echo "日志 $(wc -l < "$LOG") 行,去重后可查 IP ${#IPS[@]} 个" >&2
# 2) 命中缓存直接用,未命中查一次并落盘;查不到也落盘,避免重复打接口
miss=0
for ip in "${IPS[@]}"; do
if ! grep -qP "^\Q${ip}\E\t" "$CACHE"; then
if row=$(lookup "$ip") && [ -n "$row" ]; then
printf '%s\t%s\n' "$ip" "$row" >> "$CACHE"; miss=$((miss+1)); sleep "$SLEEP"
else
printf '%s\t-\t-\t-\t-\n' "$ip" >> "$CACHE"
fi
fi
done
echo "本次新查 ${miss} 个,缓存累计 $(wc -l < "$CACHE") 条" >&2
# 3) 把每条请求换成地名(缓存按 TAB 分列,日志按空格分列,两套分隔符分开处理)
# 内网/回环请求在这里直接跳过,不参与地域统计
awk -F'\t' 'NR==FNR{c[$1]=$2"\t"$3"\t"$4; next}
{n=split($0,f," "); ip=f[1];
if (ip ~ /^[0-9]+\.[0-9]+\.[0-9]+\.[0-9]+:[0-9]+$/) sub(/:[0-9]+$/,"",ip);
if (ip ~ /^(10\.|127\.|192\.168\.|172\.(1[6-9]|2[0-9]|3[01])\.)/ || ip=="::1" || ip ~ /^fe80/) next;
print (ip in c ? c[ip] : "-\t-\t-")}' "$CACHE" "$LOG" > /tmp/nginx.city.tsv
# 4) 三张表:总览 / 省份 / 城市 TOP
awk -F'\t' -v top="$TOP" '
{ total++
if ($1 != "中国") { oversea++; k = "境外 " ($1=="-" ? "未知" : $1) }
else { p=($2=="-"?"未知省份":$2); pc[p]++; k = p "/" ($3=="-"?"未知城市":$3) }
cc[k]++ }
END {
printf "总请求 %d,其中境外/未知 %d(%.2f%%)\n\n", total, oversea, (total?oversea*100/total:0)
print "—— 省份汇总 ——"
for (p in pc) printf "%7d %s\n", pc[p], p | "sort -rn | head -8"
close("sort -rn | head -8")
print "\n—— 城市排行 ——"
for (k in cc) printf "%7d %s\n", cc[k], k | "sort -rn | head -" top
close("sort -rn | head -" top)
}' /tmp/nginx.city.tsv拿一份测试日志跑出来是这样(里面有 114DNS、阿里 DNS、Google、Cloudflare 几个公共 IP,故意混了内网和回环):
日志 133 行,去重后可查 IP 5 个
本次新查 5 个,缓存累计 5 条
总请求 97,其中境外/未知 14(14.43%)
—— 省份汇总 ——
40 江苏
25 浙江
18 广东
—— 城市排行 ——
40 江苏/南京
25 浙江/杭州
18 广东/广州
9 境外 美国
5 境外 澳大利亚第二次跑的时候「本次新查 0 个」,因为缓存全命中了。这一步是整条链路能不能日常化的关键——把缓存表持久化,别每次都从零查。
四、几个必须处理的细节
IPv6 的冒号。 上面脚本里那行 sed 是有意写死的:只处理 1.2.3.4:5678 这种 IPv4 带端口的形态。很多人图省事写 sed 's/:[0-9]*$//',结果 240e:3b5:3a0:1f00::1 被削成 240e:3b5:3a0:1f00:,查出来是空,日志里所有 IPv6 用户集体消失。第一次跑完发现 IPv6 占比 0,先怀疑这里。
日志格式。 脚本按 combined 格式(第一列是 IP)写的。如果开了 log_format 自定义,或者前面套了 CDN,第一列可能是回源 IP 而不是真实访客——这时候要把 $http_x_forwarded_for 的第一段取出来,并且只信任自己 CDN 的段,否则 XFF 谁都能伪造。
返回字段的边界。 接口返回的 lng/lat 是城市中心点,不是访客坐标,做地图可视化时别把它当精确位置用;area(区县)在免费版是空字符串,要区县级统计得上 VIP 版;- 代表接口没给出该级地名,聚合时要单独归到「未知」,不要混进任何一个省。
失败要落盘。 查不到(ret=400 非法 IP、超时、429 限速)也写一行 - 进缓存。否则日志里那些历史垃圾 IP 每次跑都会重试,既慢又浪费额度。
合规。 access.log 里的 IP 属于个人信息。缓存表别放公开目录,权限设 600;对外报表只输出「省市 + 数量」,别把 IP 明细贴进周报。如果要做长期留存,先看清自家隐私政策里写没写「为安全审计记录访问日志」。
总结
GoAccess 的图表留着看时段和状态码,地域这一层换成「接口翻译 + 本地缓存 + awk 聚合」,一台 1 核 2G 的机器就能跑,不需要额外服务。
把脚本挂进 crontab,每天早上 6 点生成一份 report-$(date +%F).txt 丢给运营,比让他自己去点工具靠谱。接口就是 https://ip9.com.cn/get?ip=<ip>,不传参数则返回请求方自己的归属地,IPv4/IPv6 都支持;字段说明和免费额度在官网 https://www.ip9.com.cn 上有完整清单。