Appearance
网站被运营商插广告,怎么查是哪个省哪家运营商?Go 分省归因实现
先讲一件去年冬天的事。一家做本地生活的小平台,客服群突然连着进了七八个用户,截图都一样:页面右下角浮着一个博彩广告,关不掉,点进去是境外站。我们自己的页面里没有这块东西,代码翻了三遍,构建产物也 diff 过,干净。
值班的运维第一反应是「被挂马了」,把服务器快照、Web 目录、定时任务全查了一遍,还是干净。折腾到第二天,一个山东的用户在群里说了句「我用手机流量就没事,连家里宽带就出来」,事情才对上——问题不在服务器,在他家宽带那一段路上。
这类问题最难受的地方不是修不了,是没有遥控器。你能改的只有自己的代码,出问题的那一跳在运营商机房,你连它长什么样都看不见。唯一能做的,是把用户上报的数据攒起来,按「省份 + 运营商」切开看,让异常自己浮出来——然后拿着这份东西去投诉。
这篇讲这个归因过程怎么用 Go 实现。查 IP 归属地的接口是 IP9 免费版(https://ip9.com.cn/get?ip=<ip>),下文所有代码都实测跑过。
一、"被劫持"其实是三件不同的事
归因之前先分型,三种情况的证据链完全不同,混在一起查会白忙:
DNS 劫持。 用户解析你的域名,返回的 IP 不是你的。特征很好认:让用户 nslookup 一下,或者你从多个省拨测同一域名,返回的 A 记录对不上。这种劫持影响面大但容易证实,运营商侧常见于「域名被用于违规内容后被动封禁」,也有误伤。
HTTP 注入。 DNS 解析是对的,请求也确实到了你的服务器,但在传输路上被塞了东西——最常见的是运营商给 HTML 尾部追加一段 <script> 或 <iframe>,也有在 URL 后面加参数的(那多半是为了给别人的推广链接带流量)。HTTPS 站理论上插不进来,因为证书校验会断,所以这类劫持基本都发生在还跑 HTTP 的老站、或者页面上有 HTTP 资源的时候。
本地劫持。 路由器被刷、浏览器插件、免费 WiFi 的网关,都会干同样的事。这一类最容易被误判成运营商劫持,因为用户描述完全一样。
分型靠用户上报的症状字段,不靠猜。分完型再谈省份,才不会被一堆无关数据带偏。
二、为什么必须按「省 + 运营商」切
一条上报说明不了任何问题。一个用户说自己被插了广告,可能是他路由器的事。
但当你有几千条上报,把它们按 省份 + 运营商 分桶,算每个桶里"出现过注入症状的用户占比",再跟全国基线比,事情就清楚了:如果异常集中在山东联通、而同一时间上海电信接近零,那基本可以排除"我们自己的代码有问题"这个假设——代码对全国用户是同一份。
反过来,如果所有省份的异常率都差不多,那更可能是你的页面里真的混进了什么东西(第三方脚本被投毒、CDN 上的旧文件被替换),归因方向要立刻改。
这里有个工程上的取舍:不要按城市切。城市级的样本量通常不够,几十条数据算出来的比例全是噪音;省份维度既能对上运营商的省级网络,样本量也撑得住阈值判断。
三、上报什么
前端只报现象,不报结论。province、carrier 这类字段一律由服务端反查,绝不接受前端传值——否则被人伪造一轮,你的归因表就废了。
| 字段 | 说明 |
|---|---|
uid | 登录用户 ID,没有就报设备指纹,用来去重(同一人报十次只算一次) |
ip | 服务端从连接里取的真实 IP,不是前端填的 |
symptom | injected_script / ad_iframe / extra_param / dns_hijack / none |
page | 出问题的页面路径,用来判断是不是集中在某个第三方脚本 |
ts | 上报时间,做时间窗聚合用 |
前端侧怎么发现注入,简单说两句:用 document.querySelectorAll('script') 扫一遍,凡是 src 不在白名单域名的、或者内联脚本的 hash 跟构建产物对不上的,就上报一条。iframe 同理。这个检测只做启发式,误报会有,所以 symptom 只是"疑似",最终判定看聚合。
四、Go 实现
整体三块:读上报 → 反查归属地(带缓存和限速)→ 聚合打分。免费版是 60 次/分钟/IP 的限制,所以这里的限速器必须做在查询层,不能指望上游宽容。
go
package main
import (
"bufio"
"encoding/json"
"fmt"
"io"
"math"
"net/http"
"net/url"
"os"
"sort"
"strings"
"sync"
"time"
)
const apiBase = "https://ip9.com.cn/get"
// 前端上报的最小字段。province / carrier 一律不接受前端传值,服务端自己反查。
type Report struct {
UID string `json:"uid"`
IP string `json:"ip"`
Symptom string `json:"symptom"` // injected_script / ad_iframe / extra_param / dns_hijack
Page string `json:"page"`
TS int64 `json:"ts"`
}
type Geo struct {
Country string `json:"country"`
Prov string `json:"prov"`
City string `json:"city"`
ISP string `json:"isp"`
}
type ip9Resp struct {
Ret int `json:"ret"`
Data Geo `json:"data"`
}
type entry struct {
g Geo
at time.Time
}
type geoClient struct {
hc *http.Client
mu sync.Mutex
cache map[string]entry
ttl time.Duration
tick *time.Ticker
}
func newGeoClient(qps int) *geoClient {
return &geoClient{
hc: &http.Client{Timeout: 3 * time.Second},
cache: make(map[string]entry),
ttl: 24 * time.Hour,
tick: time.NewTicker(time.Second / time.Duration(qps)),
}
}
// Lookup 查单 IP 归属地:先看缓存,再按 QPS 放行,429 退避一次。
func (c *geoClient) Lookup(ip string) (Geo, error) {
c.mu.Lock()
if e, ok := c.cache[ip]; ok && time.Since(e.at) < c.ttl {
c.mu.Unlock()
return e.g, nil
}
c.mu.Unlock()
<-c.tick.C
q := url.Values{"ip": {ip}}
var lastErr error
for attempt := 0; attempt < 2; attempt++ {
resp, err := c.hc.Get(apiBase + "?" + q.Encode())
if err != nil {
lastErr = err
continue
}
body, _ := io.ReadAll(resp.Body)
resp.Body.Close()
if resp.StatusCode == 429 { // 免费版 60 次/分钟
lastErr = fmt.Errorf("rate limited")
time.Sleep(time.Second)
continue
}
var r ip9Resp
if err := json.Unmarshal(body, &r); err != nil {
lastErr = err
continue
}
if r.Ret != 200 { // 400 = IP 非法,重试没有意义
return Geo{}, fmt.Errorf("ret=%d", r.Ret)
}
c.mu.Lock()
c.cache[ip] = entry{g: r.Data, at: time.Now()}
c.mu.Unlock()
return r.Data, nil
}
return Geo{}, lastErr
}
// carrier 把 isp 字符串归并成运营商。接口返回的 isp 是自由文本,
// 实测有「中国电信/DNS」「中国联通城域网」「百度/蜘蛛/电信」「腾讯云/DNSPod DNS+」这类混写。
func carrier(isp string) string {
switch {
case strings.Contains(isp, "电信"):
return "中国电信"
case strings.Contains(isp, "联通"):
return "中国联通"
case strings.Contains(isp, "移动"):
return "中国移动"
case strings.Contains(isp, "广电"):
return "中国广电"
case strings.Contains(isp, "教育"):
return "教育网"
case strings.Contains(isp, "铁通"):
return "中国铁通"
}
return "其他/未知"
}
type bucket struct {
prov string
carrier string
users map[string]bool
hits map[string]bool
}
func wilsonLower(hit, total int) float64 {
if total == 0 {
return 0
}
p := float64(hit) / float64(total)
z := 1.96
n := float64(total)
den := 1 + z*z/n
centre := p + z*z/(2*n)
margin := z * math.Sqrt(p*(1-p)/n+z*z/(4*n*n))
lb := (centre - margin) / den
if lb < 0 {
return 0
}
return lb
}
func main() {
reports := loadReports(os.Args[1:])
cl := newGeoClient(15) // 15 QPS,留在免费版 60 次/分钟以内
type key struct{ prov, carrier string }
agg := map[key]*bucket{}
symptoms := map[string]int{}
failed := 0
for _, r := range reports {
g, err := cl.Lookup(r.IP)
if err != nil {
failed++
continue
}
prov := g.Prov
if prov == "" {
prov = "未知"
}
k := key{prov, carrier(g.ISP)}
b, ok := agg[k]
if !ok {
b = &bucket{prov: prov, carrier: k.carrier, users: map[string]bool{}, hits: map[string]bool{}}
agg[k] = b
}
b.users[r.UID] = true
if r.Symptom != "none" && r.Symptom != "" {
b.hits[r.UID] = true
symptoms[r.Symptom]++
}
}
rows := make([]*bucket, 0, len(agg))
for _, b := range agg {
rows = append(rows, b)
}
sort.Slice(rows, func(i, j int) bool {
return wilsonLower(len(rows[i].hits), len(rows[i].users)) >
wilsonLower(len(rows[j].hits), len(rows[j].users))
})
baseline := 0.05
fmt.Printf("%-8s %-10s %6s %6s %8s %8s %s\n", "省份", "运营商", "上报", "异常", "命中率", "可信下界", "判定")
for _, b := range rows {
n, h := len(b.users), len(b.hits)
rate := float64(h) / float64(n)
lb := wilsonLower(h, n)
verdict := "正常"
if n >= 8 && lb > baseline {
verdict = fmt.Sprintf("疑似劫持(基线×%.1f)", (lb / baseline))
}
fmt.Printf("%-10s %-10s %6d %6d %7.0f%% %7.0f%% %s\n", b.prov, b.carrier, n, h, rate*100, lb*100, verdict)
}
fmt.Printf("\n症状分布: ")
for k, v := range symptoms {
fmt.Printf("%s=%d ", k, v)
}
fmt.Printf("\n查询失败: %d 条\n", failed)
}loadReports 就是读 JSONL(每行一条上报),没有传文件时用内置的演示数据把链路跑通,这里不占篇幅。
我这边用一个 44 条上报的小样本跑了一遍,接口是真实调用的,输出:
省份 运营商 上报 异常 命中率 可信下界 判定
山东 中国联通 10 8 80% 49% 疑似劫持(基线×9.8)
四川 中国电信 5 1 20% 4% 正常
北京 中国移动 6 1 17% 3% 正常
广东 中国电信 8 1 12% 2% 正常
上海 中国电信 6 0 0% 0% 正常
北京 中国联通 5 0 0% 0% 正常
未知 其他/未知 4 0 0% 0% 正常
症状分布: injected_script=9 ad_iframe=1 extra_param=1
查询失败: 0 条看第一行就够了:山东联通 10 个用户里 8 个报注入,可信下界 49%,是全国基线的 9.8 倍;而上海电信、北京联通是 0。这种形状基本可以定性——问题在山东联通这一段。
五、几个会让你误判的细节
命中率要算下界,不能只算比例。 5 个用户里 2 个报异常,命中率 40%,看起来比 10 个用户里 3 个报异常(30%)更严重,实际上前者完全没有统计意义。代码里用的是威尔逊区间下界(Wilson lower bound),样本少的时候下界会被压得很低,自动把噪音过滤掉。n >= 8 这个门槛是我在演示数据里用的,真实环境建议提到 50 以上,否则一个省的小运营商能天天给你发告警。
接口返回的 prov 可能是空的。 我测 114.114.115.115 这类公共 DNS 的时候,country 是「中国」但 prov 和 city 都是空串。这类 IP 归到「未知」桶里是对的,别拿它去算比例,也别把空值当成"境外"。境外 IP 也不会有 prov,但它 country 不是中国——两个条件要分开判断。
isp 是自由文本,必须做归并。 同一个运营商,接口可能返回「中国电信/DNS」「中国电信/IDC/DNS」「百度/蜘蛛/电信」,直接按字符串分组会得到十个桶。代码里的 carrier() 用子串匹配归并,顺序有讲究:先判「电信」再判「移动」,避免「中国移动/电信」这种混写被分错。
IPv6 用户会漏。 现在移动网络大量走 IPv6,比如 2408:8000:1100::1 返回的是「北京 / 中国联通城域网」。如果你的上报里只取 IPv4 地址(RemoteAddr 里带方括号那种),移动端用户会被整批丢掉,归因结论就会偏向固网。取 IP 的时候统一用 net.SplitHostPort 处理,别自己写字符串切分。
企业专线和校园网集中在同一桶。 一家公司几百号人,出口 IP 就一个,症状一致的时候会在你表里变成一个 100% 异常的高危桶。看异常桶的时候顺手看一下 users 的分布,如果全是一个 IP,多半是同一个出口,分开看。
六、定性之后能做什么
归因出来只是第一步,真正解决问题还得靠技术手段,而且手段和目标要对得上:
- 先上全站 HTTPS + HSTS。 HTTP 注入在 TLS 下会直接断链,这一条能干掉八成注入类劫持。还有 HTTP 资源没换的,优先换。
- CSP + SRI。 内容安全策略能拦住外域脚本执行,子资源完整性校验能让被篡改的第三方 JS 直接不执行。代价是要维护白名单,接第三方统计、客服 SDK 的时候会痛一阵。
- DNS 侧。 开 DNSSEC、换更可靠的解析服务、把关键子域做多线路探测。这部分要跟 DNS 服务商一起看。
- 投诉要有证据。 工信部申诉、运营商客服工单都吃"可复现"这一套:受影响省份、运营商、时间段、注入的具体代码片段、
traceroute结果、同一时刻其他省份正常的对比数据。你上面那张表就是最好的材料——它证明的不是"我们网站坏了",而是"某省某运营商的用户被插了东西"。
还有一条容易忽略:别把归因结果直接展示给用户。页面上写"您所在地区网络存在劫持",用户第一反应是你在甩锅。内部报表和工单里用,对外只说"我们已定位并处理"。
总结
这套东西的核心不是代码,是把"用户说有问题"变成"某个省某家运营商的某段时间有问题"。技术上就三件事:上报分型、按省+运营商分桶、用下界而不是比例做判定。
IP9 的免费接口够用:https://ip9.com.cn/get?ip=<ip> 返回 prov、city、isp、country_code 这些字段,IPv4/IPv6 都支持,不传 ip 就查当前请求方,免费版 60 次/分钟。要更细的维度(区县、ip_type 区分 IDC 与家宽、AS 号)得上 VIP 版,按次计费,口径看官网 https://www.ip9.com.cn。
最后一句实话:归因做出来,运营商那边大概率还是拖。但有了这张表,你至少知道该找谁、该说什么,以及——该不该怀疑自己的代码。这次就是靠它,把一个准备回滚版本的团队拦了下来。