Appearance
Prometheus 怎么监控访客地域分布?用 Go 写一个 IP 归属地 exporter(Grafana 大盘 + 告警规则)
有个做在线打印的团队跟我吐槽过一次事故。某个工作日下午,广东的用户陆续反馈打不开,客服群里开始堆工单。运维先看 Grafana 主大盘:QPS 曲线平稳,P99 延迟 180ms,错误率 0.3%——三项指标全绿。又过了四十分钟,才发现是广东电信的一条链路出了问题,只是广东的流量只占全国 6%,掉一半在大盘上根本看不出来。
这不是监控工具不行,是维度不够。全国汇总成一个数字,等于把 31 个省的波动互相抵消掉了。
这篇讲怎么把「访客 IP 的归属地」变成 Prometheus 的指标标签,让大盘从「一个数字」变成「按省拆开的 31 个数字」。代码用 Go,不依赖任何第三方库,可以直接丢到服务器上跑。
一、为什么要在监控里引入地域维度
按 IP 归属地拆维度,能解决三类问题,都挺实际:
故障定位。 上面那种「某个省/某个运营商集体不可用」的问题,只有拆开地域才看得见。同机房的两台机器,一台的访客全来自华东、一台全来自西南,性能差异也可能跟地域有关。
投放核验。 广告后台说今天华东的曝光增长了 40%。你自己的服务端日志按省统计出来却是平的——这时候该查的是投放数据,而不是去怀疑服务器。
灰度与容量。 新版本先只放给某几个省,需要能实时看到这些省的请求量、错误率,而不是等全量之后才发现问题。
二、方案:采集侧查归属地,指标侧只读内存
一个常见的错误做法是:在业务代码的请求路径里同步调一次 IP 归属地接口,再把结果塞进指标。这样做有三个坑——接口抖动会把业务拖慢;免费接口 60 次/分钟的限速会被瞬间打满;标签基数不可控,Prometheus 的内存会被标签组合撑爆。
正确的分工是:
Nginx / 网关日志(已有) ← 不动业务代码
│ tail
▼
exporter(本程序)
├─ 提取客户端 IP(跳过内网、本机)
├─ 查归属地:缓存优先 + 限速(免费版 1.05 秒/次)
└─ 只把「省级」标签写进内存计数器
│ /metrics (HTTP)
▼
Prometheus 抓取 → Grafana 大盘 / Alertmanager 告警关键取舍三条:
- 采集与查询解耦。 请求路径上不查接口,指标里只保存已经查好的结果。接口挂了,监控最多是数字不涨,业务不受影响。
- 标签用「省」,不用「城市」。 城市标签几百个值,再和路径、状态码组合就是几千条时间序列;省只有三十来个,基数可控。真要下钻到城市,另做一个只统计 Top-20 城市的指标。
- 失败不缓存成「未知」。 查失败的 IP 下次还要重试;只有查到确定结果的(包括确认是非法 IP 的)才写进缓存。
三、Go 实现:一个单文件 exporter
程序做两件事:一个 goroutine tail 日志、查归属地、更新计数器;一个 HTTP 服务在 /metrics 上输出 Prometheus 文本格式。
go
// main.go —— 按 IP 归属地分省的 Prometheus exporter(仅标准库)
// 编译运行: go run main.go 抓取地址:http://127.0.0.1:9202/metrics
package main
import (
"bufio"
"encoding/json"
"fmt"
"io"
"log"
"net"
"net/http"
"net/url"
"os"
"sort"
"strconv"
"strings"
"sync"
"time"
)
const (
apiBase = "https://ip9.com.cn/get"
logPath = "/var/log/nginx/access.log"
listenAddr = ":9202"
pace = 1100 * time.Millisecond // 免费版 60 次/分钟/IP,留一点余量
)
type apiResp struct {
Ret int `json:"ret"`
Data struct {
Prov string `json:"prov"`
City string `json:"city"`
ISP string `json:"isp"`
} `json:"data"`
}
// ---------- 归属地缓存 + 限速 ----------
type geoCache struct {
mu sync.Mutex
data map[string]string // ip -> 省
last time.Time
}
func (c *geoCache) hit(ip string) (string, bool) {
c.mu.Lock()
defer c.mu.Unlock()
v, ok := c.data[ip]
return v, ok
}
func (c *geoCache) put(ip, prov string) {
c.mu.Lock()
c.data[ip] = prov
c.mu.Unlock()
}
func (c *geoCache) throttle() {
c.mu.Lock()
wait := pace - time.Since(c.last)
if wait > 0 {
c.mu.Unlock()
time.Sleep(wait)
c.mu.Lock()
}
c.last = time.Now()
c.mu.Unlock()
}
const unknownProv = "未知/境外"
func lookup(c *geoCache, ip string) string {
if v, ok := c.hit(ip); ok {
return v
}
c.throttle()
metricsMu.Lock()
lookups++ // 只有真正打到接口的查询才计数
metricsMu.Unlock()
client := &http.Client{Timeout: 3 * time.Second}
resp, err := client.Get(apiBase + "?ip=" + url.QueryEscape(ip))
if err != nil {
return unknownProv // 网络错误不缓存,下次重试
}
defer resp.Body.Close()
var ar apiResp
if err := json.NewDecoder(resp.Body).Decode(&ar); err != nil || ar.Ret != 200 {
// 非法 IP 返回 ret=400(data 是空数组),这类可以缓存,避免反复打接口
c.put(ip, unknownProv)
return unknownProv
}
prov := strings.TrimSpace(ar.Data.Prov)
if prov == "" {
prov = unknownProv // 少数查不到归属地记录的 IP
}
c.put(ip, prov)
return prov
}
// ---------- 指标(手写文本格式,无第三方依赖) ----------
var (
metricsMu sync.RWMutex
counters = map[string]float64{}
lookups float64
)
func inc(prov string) {
metricsMu.Lock()
counters[prov]++
metricsMu.Unlock()
}
func metricsHandler(w http.ResponseWriter, r *http.Request) {
metricsMu.RLock()
defer metricsMu.RUnlock()
fmt.Fprintln(w, "# HELP ip_requests_total 按访客 IP 归属地省份统计的请求数")
fmt.Fprintln(w, "# TYPE ip_requests_total counter")
keys := make([]string, 0, len(counters))
for k := range counters {
keys = append(keys, k)
}
sort.Strings(keys)
for _, k := range keys {
fmt.Fprintf(w, "ip_requests_total{prov=%s} %s\n",
strconv.Quote(k), strconv.FormatFloat(counters[k], 'f', -1, 64))
}
fmt.Fprintln(w, "# HELP ip_geo_lookups_total 实际打到归属地接口的查询次数")
fmt.Fprintln(w, "# TYPE ip_geo_lookups_total counter")
fmt.Fprintf(w, "ip_geo_lookups_total %s\n", strconv.FormatFloat(lookups, 'f', -1, 64))
}
// ---------- 工具函数 ----------
func isPublic(ip string) bool {
p := net.ParseIP(ip)
if p == nil {
return false
}
for _, cidr := range []string{
"10.0.0.0/8", "172.16.0.0/12", "192.168.0.0/16",
"127.0.0.0/8", "169.254.0.0/16", "100.64.0.0/10", // 含运营商 CGNAT 段
"fc00::/7", "fe80::/10", "::1/128",
} {
_, n, _ := net.ParseCIDR(cidr)
if n.Contains(p) {
return false
}
}
return true
}
// ---------- 日志跟随 ----------
func follow(path string, c *geoCache) {
f, err := os.Open(path)
if err != nil {
log.Fatalf("打开日志失败: %v", err)
}
defer f.Close()
// 从文件末尾开始,只看新写入的日志
if _, err := f.Seek(0, io.SeekEnd); err != nil {
log.Fatalf("seek 失败: %v", err)
}
r := bufio.NewReader(f)
for {
line, err := r.ReadString('\n')
if len(line) > 0 {
fields := strings.Fields(line)
if len(fields) > 0 && isPublic(fields[0]) {
inc(lookup(c, fields[0]))
}
}
if err != nil {
time.Sleep(500 * time.Millisecond) // EOF,等新日志
}
}
}
func main() {
c := &geoCache{data: map[string]string{}}
go follow(logPath, c)
http.HandleFunc("/metrics", metricsHandler)
log.Printf("exporter 启动,抓取地址 %s/metrics,日志 %s", listenAddr, logPath)
log.Fatal(http.ListenAndServe(listenAddr, nil))
}跑起来看一眼输出:
text
$ go run main.go
2026/10/13 10:02:11 exporter 启动,抓取地址 :9202/metrics,日志 /var/log/nginx/access.log
$ curl -s localhost:9202/metrics | grep ip_requests
# HELP ip_requests_total 按访客 IP 归属地省份统计的请求数
# TYPE ip_requests_total counter
ip_requests_total{prov="广东"} 1284
ip_requests_total{prov="江苏"} 903
ip_requests_total{prov="浙江"} 771
ip_requests_total{prov="四川"} 288
ip_requests_total{prov="未知/境外"} 41
ip_geo_lookups_total 517注意最后两行:ip_geo_lookups_total 是 517,而请求总量是三千多——差额就是缓存命中省掉的接口调用。日志里的 IP 重复率比想象中高得多,同一栋写字楼、同一个运营商出口段会反复出现。
四、Prometheus 抓取与告警规则
抓取配置,加一个 job:
yaml
scrape_configs:
- job_name: ip-geo
scrape_interval: 15s
static_configs:
- targets: ['127.0.0.1:9202']真正有价值的是告警规则。下面这条是「某个省的请求量占比突然归零或腰斩」——这正是文章开头那类故障的影子:
yaml
groups:
- name: ip-geo
rules:
# 某省过去 10 分钟占比跌破其历史基线的三成(且该省平时有量)
- alert: ProvinceTrafficDrop
expr: |
(
sum by (prov) (rate(ip_requests_total{prov!="未知/境外"}[10m]))
/
sum by (prov) (rate(ip_requests_total[10m]))
) < 0.3
and
sum by (prov) (rate(ip_requests_total[1h] offset 1d)) > 0.5
for: 10m
labels: {severity: warning}
annotations:
summary: "{{ $labels.prov }} 的流量占比异常下跌"
# 归属地接口本身挂了:请求在涨,但查询次数不涨
- alert: GeoLookupStalled
expr: rate(ip_geo_lookups_total[10m]) == 0 and rate(ip_requests_total[10m]) > 1
for: 15m
labels: {severity: info}
annotations:
summary: "归属地查询停摆,指标可能已失真"Grafana 那边不用装插件,两个查询就能出图:时间序列用 sum by (prov) (rate(ip_requests_total[5m]));地域分布饼图或条形图用 sum by (prov) (increase(ip_requests_total[1h]))。
五、落地要注意的几件事
先估基数再上线。 省标签 31 个值,再乘上别的维度(机型、接口路径)就可能失控。经验做法是:地域只做「省」这一层,且不要把 ip_requests_total 再按 URL 拆——真需要,另开一个只记 Top-N 的指标。
归属地本身有两类误差,监控里要认。 一是移动网络:用户在高铁上用流量访问,出口 IP 可能落在沿途城市;二是机房/公司专线:归属地可能是总部所在城市。所以这条曲线适合看「趋势和突变」,不适合拿来做「某省用户精确数」的汇报。
接口侧的限速要当设计前提,不是异常。 免费版 60 次/分钟/IP,本程序用 1.1 秒一次的节奏走,一小时能查三千多个新 IP,配合 24 小时缓存,中小站点的日志量完全够。触发 429 时程序会把它当作一次失败(不缓存),下一轮自动降速重试。要是流量大到一个小时三万条以上,或者需要区分 ISP/IDC(ip_type)和区县级(area),那就是 VIP 版的能力范围了,具体的配额与 SLA 以官网为准。
日志里的 IP 是个人信息。 这套流程只把 IP 换算成省份聚合计数,原始 IP 不进指标、不进 Prometheus 存储,从合规角度是更干净的做法——数据脱敏在采集侧就完成了。留存策略上,建议日志文件本身按天轮转并设 7~15 天清理。
日志轮转之后记得让程序跟上。 上面的 follow() 是简化版,遇到 logrotate 改名后它会一直读旧文件。生产环境两个选择:改用 tail -F 子进程把行喂给程序,或者监听文件 inode 变化重新 Open。
总结
地域维度不是给报表加个饼图那么简单,它能把「整体正常、局部全挂」这类事故从看不见变成十秒内定位。落地的关键只有两条:查询放在采集侧、标签收在省级。
查询就是一个 GET:https://ip9.com.cn/get?ip=<IP>,免费版无需注册、60 次/分钟/IP,返回国家、省市、邮编、区号、运营商、经纬度(城市中心)等字段;需要区县(area)、IP 类型(ip_type,区分家宽/企业/机房)、AS 号(ip_asn)时属于 VIP 版能力,字段口径以 https://www.ip9.com.cn 为准。