Appearance
ELK 日志里的访客 IP 归属地怎么显示?GeoIP 在国内不准,用 curl 补回来
搭 ELK 的人基本都干过同一件傻事:Kibana 上拖一个地图出来,期待看到用户在全国铺开,结果一半的点全挤在北京和上海,另一半国外 IP 孤零零飘在海上。你回去翻日志确认 IP 是真的、分布也真的是广东最多,但地图就是不认。
问题不在 Kibana,在 geoip 处理器用的那份 IP 库。
一、Kibana 地图上的点,是怎么来的
Elasticsearch 里让 IP 变成地理位置,走的是 ingest pipeline 里的 geoip 处理器(8.x 后期版本改名叫 ip_location),它内部用的数据库是 MaxMind 的 GeoLite2 City——免费版。这份库有几个在国内场景特别扎心的特点:
- 国内只到城市级,城市还会漂。 家宽 IP 段动态分配,运营商一个段分给好几个地市,GeoLite2 常常整段归到一个大城市,于是你看到「全国流量集中在北京」。
- 更新滞后。 GeoLite2 的更新节奏跟不上国内运营商重新规划网段的速度,新段直接查不到。
- 私有网段和部分机房段没有结果。 公司内网、容器网段、部分国内机房段在 GeoLite2 里是空的,日志进 ES 后
geoip.location就不存在,地图上连点都没有。 - Kibana 要做地图,字段类型也得对得上。 Maps 面板要
geo_point(或者你自己拼经纬度),只存一个省份名字符串,Kibana 只能拿它做聚合柱状图,画不出点来。
所以「地图不准」是数据源问题,「地图没点」是字段类型问题,两件事要分开解决。
二、三条补全路线,先选对再动手
| 路线 | 做法 | 适合谁 | 代价 |
|---|---|---|---|
| A. 应用/网关侧打标 | 请求进来时(或日志落盘前)查一次归属地,把 prov/city/isp 直接写进日志字段 | 绝大多数自建日志系统的团队 | 业务侧加几行代码,接口按免费版限速调用 |
| B. 日志管道实时查 | Logstash 的 ruby filter(或社区 http filter)在管道里同步调接口 | 日志量不大、不想改业务代码 | 管道里做同步 HTTP 是高危操作:对端一慢你的管道就堵,必须加缓存、限速、超时与失败兜底 |
| C. 换成自建 IP 库 | 把自备的 mmdb 库丢进 ES 的 ingest-geoip 目录,处理器里指定 database_file | 已经买了商业 IP 库、或自己构建过 mmdb | 你得先有一份 mmdb,且库要定期替换重启生效 |
对多数团队,A 是最省事也最稳的一条:归属性字段在写入 ES 之前就确定好,ES 只负责存和画。下面这条 Shell 脚本把 A 走通,同时顺手验证 ES 侧的查询和 Kibana 面板要用的字段类型。
bash
#!/usr/bin/env bash
# es_ip_geo.sh —— 取 Nginx 日志的 IP,补上归属地后写进 ES(依赖 jq)
set -euo pipefail
ES=${ES:-http://127.0.0.1:9200}
IDX=web-access-$(date +%Y.%m.%d)
LOG=${LOG:-/var/log/nginx/access.log}
GEO_API="https://ip9.com.cn/get" # 不传 ip 查当前请求方;?ip= 查指定 IP
LIMIT=${LIMIT:-2000} # 本次处理最后多少行,先小批量试
# ① 建索引:ip/省市/运营商用 keyword(聚合友好),location 用 geo_point(Kibana 地图要用)
curl -sS -X PUT "$ES/$IDX" -H 'Content-Type: application/json' -d '{
"mappings": { "properties": {
"ts": { "type": "date" },
"ip": { "type": "keyword" },
"path": { "type": "keyword" },
"prov": { "type": "keyword" },
"city": { "type": "keyword" },
"isp": { "type": "keyword" },
"location": { "type": "geo_point" }
} } }' | jq -r '"建索引: " + (.acknowledged|tostring)'
# ② 查一次归属地,输出 "省|市|运营商|经度|纬度";出错(ret=400/429)统一返回空值
geo() {
curl -sS -m 5 -A 'ip9-es-demo/1.0' "$GEO_API?ip=$1" | jq -r '
if .ret != 200 or (.data|length) == 0 then "|未知|||"
else "\(.data.prov)|\(.data.city)|\(.data.isp)|\(.data.lng)|\(.data.lat)" end'
}
declare -A CACHE # 进程内缓存:同一 IP 只查一次,别把免费额度打空
geo_cached() {
if [[ -n "${CACHE[$1]+x}" ]]; then printf '%s' "${CACHE[$1]}"; return; fi
local v; v=$(geo "$1")
CACHE[$1]="$v"; sleep 1.1 # 免费版 60 次/分钟/IP,留点余量
printf '%s' "$v"
}
# ③ 逐行打标 + 批量写入(bulk 的 NDJSON 每条末尾都要换行)
{
while read -r ip path; do
v=$(geo_cached "$ip"); IFS='|' read -r prov city isp lng lat <<<"$v"
ts=$(date +%s)000
printf '{"index":{"_index":"%s"}}\n' "$IDX"
if [[ -n "$lng" && -n "$lat" ]]; then
printf '{"ts":%s,"ip":"%s","path":"%s","prov":"%s","city":"%s","isp":"%s","location":{"lat":%s,"lon":%s}}\n' \
"$ts" "$ip" "$path" "$prov" "$city" "$isp" "$lat" "$lng"
else
printf '{"ts":%s,"ip":"%s","path":"%s","prov":"%s","city":"%s","isp":"%s"}\n' \
"$ts" "$ip" "$path" "$prov" "$city" "$isp"
fi
done < <(awk '{print $1, $7}' "$LOG" | tail -n "$LIMIT")
} | curl -sS -X POST "$ES/_bulk?refresh=true" \
-H 'Content-Type: application/x-ndjson' --data-binary @- \
| jq -r '"写入: errors=" + (.errors|tostring) + " 条数=" + (.items|length|tostring)'
# ④ 聚合:按省份看访问量,这就是 Kibana 上柱状/区域图要的数据
curl -sS "$ES/$IDX/_search" -H 'Content-Type: application/json' -d '{
"size": 0,
"aggs": { "prov": { "terms": { "field": "prov", "size": 15 } } }
}' | jq -r '.aggregations.prov.buckets[] | "\(.key)\t\(.doc_count)"'跑完之后 location 字段就是标准 geo_point,Kibana 里新建 Maps 面板、图层选 Documents、把 location 拖进去,点就按你查出来的经纬度画出来了;想按省看量级,直接在 Discover 里对 prov 做 terms 聚合就行。注意经纬度是城市中心点,同一个城市的所有 IP 会叠成同一个点,别把它当精确定位来用,做热力图时按城市去重或加权更合适。
如果你的日志是 Logstash 直接收的、确实想走 B 路线,配置结构大致是 filter { ruby { code => "...查库或调接口..." } }。真要走这条路,务必注意三点:给接口加进程内缓存(同一 IP 一天最多查一次)、限速到免费版额度以内、超时和异常必须 event.set('prov','未知') 兜底,绝不能因为接口抖动把日志丢进 DLQ。
四、落地注意事项
别在写入路径上做重活。 日志系统最怕的就是「写入被下游拖死」。A 路线里那次 HTTP 查询如果串在业务请求线程上,接口一抖,用户请求就变慢。更稳的做法是异步:业务只把 IP 写进日志,一个独立的消费者按批处理、补标、再写 ES——上面脚本的整体形态就是这个模式,只不过数据源换成了已经落盘的日志文件。
字段类型开工前就定好。 ip、prov、city、isp 一律 keyword,不要用 text(聚合会出现「广东省」和「广东 省」两个桶);经纬度必须用 geo_point 或用 lat/lon 显式指定,靠动态映射大概率会给你生成一个普通数字字段,Kibana 照样画不出点。
精确度和合规一起想。 城市中心点的精度足够做地域分布、异常来源统计,但别用它推导「这个人住在哪」。另外 IP 归属地在个保法下属于个人信息范畴,做地图统计时只保留统计需要的字段、设好留存期限,别把完整访问日志长期明文堆在 ES 里。
只补有统计价值的 IP。 真实的访问日志里,独立 IP 数量远小于请求数。先按 IP 聚合一次(在 ES 里 terms 聚合,或在 ClickHouse/SQL 里 GROUP BY ip),拿到去重后的列表再批量补标,能省掉八成以上的接口调用。量特别大的时候,可以只补出现次数达到阈值的头部 IP,长尾统一归到「未知」。
境外 IP 的 prov/city 本来就是空的。 接口对海外 IP 一般只返回到国家一级(比如 8.8.8.8 → 美国 / Google Cloud,prov 和 city 都是空串,经纬度是国家中心点)。做报表时别把空值当查询失败,单独按 country 归一个维度,国内流量再按省市细分。
库和接口可以混用。 想在图上看全球分布、又想让国内更准,可以两条路并存:geoip 处理器给国外 IP 补一份,国内 IP 用接口结果覆盖。国内 IP 判定的依据就是接口返回的 country_code=cn(或者 prov 非空),冲突时以精度更高的那份为准。
总结
Kibana 地图不准,根子在 GeoLite2 对国内 IP 的分段和更新;Kibana 地图没点,是字段类型没落到 geo_point。把归属地在写日志/写 ES 之前查好、作为普通字段带过去,地图和报表立刻就正常了,还省掉了在 ES 里装库、重启服务的麻烦。
接口依旧是一条:https://ip9.com.cn/get?ip=xxx(不传参数查当前请求方,IPv4/IPv6 都支持,免费版 60 次/分钟),prov、city、isp、lng、lat 这几个字段刚好够画图和聚合;要区县级精度做更细的地域分层,得用 VIP 版的 area 字段,以官网 https://www.ip9.com.cn 说明为准。