Skip to content

网站被运营商插广告,怎么查是哪个省哪家运营商?Go 分省归因实现 ​

先讲一件去年冬天的事。一家做本地生活的小平台,客服群突然连着进了七八个用户,截图都一样:页面右下角浮着一个博彩广告,关不掉,点进去是境外站。我们自己的页面里没有这块东西,代码翻了三遍,构建产物也 diff 过,干净。

值班的运维第一反应是「被挂马了」,把服务器快照、Web 目录、定时任务全查了一遍,还是干净。折腾到第二天,一个山东的用户在群里说了句「我用手机流量就没事,连家里宽带就出来」,事情才对上——问题不在服务器,在他家宽带那一段路上。

这类问题最难受的地方不是修不了,是没有遥控器。你能改的只有自己的代码,出问题的那一跳在运营商机房,你连它长什么样都看不见。唯一能做的,是把用户上报的数据攒起来,按「省份 + 运营商」切开看,让异常自己浮出来——然后拿着这份东西去投诉。

这篇讲这个归因过程怎么用 Go 实现。查 IP 归属地的接口是 IP9 免费版(https://ip9.com.cn/get?ip=<ip>),下文所有代码都实测跑过。

一、"被劫持"其实是三件不同的事 ​

归因之前先分型,三种情况的证据链完全不同,混在一起查会白忙:

DNS 劫持。 用户解析你的域名,返回的 IP 不是你的。特征很好认:让用户 nslookup 一下,或者你从多个省拨测同一域名,返回的 A 记录对不上。这种劫持影响面大但容易证实,运营商侧常见于「域名被用于违规内容后被动封禁」,也有误伤。

HTTP 注入。 DNS 解析是对的,请求也确实到了你的服务器,但在传输路上被塞了东西——最常见的是运营商给 HTML 尾部追加一段 <script> 或 <iframe>,也有在 URL 后面加参数的(那多半是为了给别人的推广链接带流量)。HTTPS 站理论上插不进来,因为证书校验会断,所以这类劫持基本都发生在还跑 HTTP 的老站、或者页面上有 HTTP 资源的时候。

本地劫持。 路由器被刷、浏览器插件、免费 WiFi 的网关,都会干同样的事。这一类最容易被误判成运营商劫持,因为用户描述完全一样。

分型靠用户上报的症状字段,不靠猜。分完型再谈省份,才不会被一堆无关数据带偏。

二、为什么必须按「省 + 运营商」切 ​

一条上报说明不了任何问题。一个用户说自己被插了广告,可能是他路由器的事。

但当你有几千条上报,把它们按 省份 + 运营商 分桶,算每个桶里"出现过注入症状的用户占比",再跟全国基线比,事情就清楚了:如果异常集中在山东联通、而同一时间上海电信接近零,那基本可以排除"我们自己的代码有问题"这个假设——代码对全国用户是同一份。

反过来,如果所有省份的异常率都差不多,那更可能是你的页面里真的混进了什么东西(第三方脚本被投毒、CDN 上的旧文件被替换),归因方向要立刻改。

这里有个工程上的取舍:不要按城市切。城市级的样本量通常不够,几十条数据算出来的比例全是噪音;省份维度既能对上运营商的省级网络,样本量也撑得住阈值判断。

三、上报什么 ​

前端只报现象,不报结论。province、carrier 这类字段一律由服务端反查,绝不接受前端传值——否则被人伪造一轮,你的归因表就废了。

字段说明
uid登录用户 ID,没有就报设备指纹,用来去重(同一人报十次只算一次)
ip服务端从连接里取的真实 IP,不是前端填的
symptominjected_script / ad_iframe / extra_param / dns_hijack / none
page出问题的页面路径,用来判断是不是集中在某个第三方脚本
ts上报时间,做时间窗聚合用

前端侧怎么发现注入,简单说两句:用 document.querySelectorAll('script') 扫一遍,凡是 src 不在白名单域名的、或者内联脚本的 hash 跟构建产物对不上的,就上报一条。iframe 同理。这个检测只做启发式,误报会有,所以 symptom 只是"疑似",最终判定看聚合。

四、Go 实现 ​

整体三块:读上报 → 反查归属地(带缓存和限速)→ 聚合打分。免费版是 60 次/分钟/IP 的限制,所以这里的限速器必须做在查询层,不能指望上游宽容。

go
package main

import (
	"bufio"
	"encoding/json"
	"fmt"
	"io"
	"math"
	"net/http"
	"net/url"
	"os"
	"sort"
	"strings"
	"sync"
	"time"
)

const apiBase = "https://ip9.com.cn/get"

// 前端上报的最小字段。province / carrier 一律不接受前端传值,服务端自己反查。
type Report struct {
	UID     string `json:"uid"`
	IP      string `json:"ip"`
	Symptom string `json:"symptom"` // injected_script / ad_iframe / extra_param / dns_hijack
	Page    string `json:"page"`
	TS      int64  `json:"ts"`
}

type Geo struct {
	Country string `json:"country"`
	Prov    string `json:"prov"`
	City    string `json:"city"`
	ISP     string `json:"isp"`
}

type ip9Resp struct {
	Ret  int `json:"ret"`
	Data Geo `json:"data"`
}

type entry struct {
	g  Geo
	at time.Time
}

type geoClient struct {
	hc    *http.Client
	mu    sync.Mutex
	cache map[string]entry
	ttl   time.Duration
	tick  *time.Ticker
}

func newGeoClient(qps int) *geoClient {
	return &geoClient{
		hc:    &http.Client{Timeout: 3 * time.Second},
		cache: make(map[string]entry),
		ttl:   24 * time.Hour,
		tick:  time.NewTicker(time.Second / time.Duration(qps)),
	}
}

// Lookup 查单 IP 归属地:先看缓存,再按 QPS 放行,429 退避一次。
func (c *geoClient) Lookup(ip string) (Geo, error) {
	c.mu.Lock()
	if e, ok := c.cache[ip]; ok && time.Since(e.at) < c.ttl {
		c.mu.Unlock()
		return e.g, nil
	}
	c.mu.Unlock()

	<-c.tick.C
	q := url.Values{"ip": {ip}}
	var lastErr error
	for attempt := 0; attempt < 2; attempt++ {
		resp, err := c.hc.Get(apiBase + "?" + q.Encode())
		if err != nil {
			lastErr = err
			continue
		}
		body, _ := io.ReadAll(resp.Body)
		resp.Body.Close()
		if resp.StatusCode == 429 { // 免费版 60 次/分钟
			lastErr = fmt.Errorf("rate limited")
			time.Sleep(time.Second)
			continue
		}
		var r ip9Resp
		if err := json.Unmarshal(body, &r); err != nil {
			lastErr = err
			continue
		}
		if r.Ret != 200 { // 400 = IP 非法,重试没有意义
			return Geo{}, fmt.Errorf("ret=%d", r.Ret)
		}
		c.mu.Lock()
		c.cache[ip] = entry{g: r.Data, at: time.Now()}
		c.mu.Unlock()
		return r.Data, nil
	}
	return Geo{}, lastErr
}

// carrier 把 isp 字符串归并成运营商。接口返回的 isp 是自由文本,
// 实测有「中国电信/DNS」「中国联通城域网」「百度/蜘蛛/电信」「腾讯云/DNSPod DNS+」这类混写。
func carrier(isp string) string {
	switch {
	case strings.Contains(isp, "电信"):
		return "中国电信"
	case strings.Contains(isp, "联通"):
		return "中国联通"
	case strings.Contains(isp, "移动"):
		return "中国移动"
	case strings.Contains(isp, "广电"):
		return "中国广电"
	case strings.Contains(isp, "教育"):
		return "教育网"
	case strings.Contains(isp, "铁通"):
		return "中国铁通"
	}
	return "其他/未知"
}

type bucket struct {
	prov    string
	carrier string
	users   map[string]bool
	hits    map[string]bool
}

func wilsonLower(hit, total int) float64 {
	if total == 0 {
		return 0
	}
	p := float64(hit) / float64(total)
	z := 1.96
	n := float64(total)
	den := 1 + z*z/n
	centre := p + z*z/(2*n)
	margin := z * math.Sqrt(p*(1-p)/n+z*z/(4*n*n))
	lb := (centre - margin) / den
	if lb < 0 {
		return 0
	}
	return lb
}

func main() {
	reports := loadReports(os.Args[1:])
	cl := newGeoClient(15) // 15 QPS,留在免费版 60 次/分钟以内

	type key struct{ prov, carrier string }
	agg := map[key]*bucket{}
	symptoms := map[string]int{}
	failed := 0

	for _, r := range reports {
		g, err := cl.Lookup(r.IP)
		if err != nil {
			failed++
			continue
		}
		prov := g.Prov
		if prov == "" {
			prov = "未知"
		}
		k := key{prov, carrier(g.ISP)}
		b, ok := agg[k]
		if !ok {
			b = &bucket{prov: prov, carrier: k.carrier, users: map[string]bool{}, hits: map[string]bool{}}
			agg[k] = b
		}
		b.users[r.UID] = true
		if r.Symptom != "none" && r.Symptom != "" {
			b.hits[r.UID] = true
			symptoms[r.Symptom]++
		}
	}

	rows := make([]*bucket, 0, len(agg))
	for _, b := range agg {
		rows = append(rows, b)
	}
	sort.Slice(rows, func(i, j int) bool {
		return wilsonLower(len(rows[i].hits), len(rows[i].users)) >
			wilsonLower(len(rows[j].hits), len(rows[j].users))
	})

	baseline := 0.05
	fmt.Printf("%-8s %-10s %6s %6s %8s %8s  %s\n", "省份", "运营商", "上报", "异常", "命中率", "可信下界", "判定")
	for _, b := range rows {
		n, h := len(b.users), len(b.hits)
		rate := float64(h) / float64(n)
		lb := wilsonLower(h, n)
		verdict := "正常"
		if n >= 8 && lb > baseline {
			verdict = fmt.Sprintf("疑似劫持(基线×%.1f)", (lb / baseline))
		}
		fmt.Printf("%-10s %-10s %6d %6d %7.0f%% %7.0f%%  %s\n", b.prov, b.carrier, n, h, rate*100, lb*100, verdict)
	}

	fmt.Printf("\n症状分布: ")
	for k, v := range symptoms {
		fmt.Printf("%s=%d ", k, v)
	}
	fmt.Printf("\n查询失败: %d 条\n", failed)
}

loadReports 就是读 JSONL(每行一条上报),没有传文件时用内置的演示数据把链路跑通,这里不占篇幅。

我这边用一个 44 条上报的小样本跑了一遍,接口是真实调用的,输出:

省份       运营商            上报     异常      命中率     可信下界  判定
山东         中国联通           10      8      80%      49%  疑似劫持(基线×9.8)
四川         中国电信            5      1      20%       4%  正常
北京         中国移动            6      1      17%       3%  正常
广东         中国电信            8      1      12%       2%  正常
上海         中国电信            6      0       0%       0%  正常
北京         中国联通            5      0       0%       0%  正常
未知         其他/未知           4      0       0%       0%  正常

症状分布: injected_script=9 ad_iframe=1 extra_param=1 
查询失败: 0 条

看第一行就够了:山东联通 10 个用户里 8 个报注入,可信下界 49%,是全国基线的 9.8 倍;而上海电信、北京联通是 0。这种形状基本可以定性——问题在山东联通这一段。

五、几个会让你误判的细节 ​

命中率要算下界,不能只算比例。 5 个用户里 2 个报异常,命中率 40%,看起来比 10 个用户里 3 个报异常(30%)更严重,实际上前者完全没有统计意义。代码里用的是威尔逊区间下界(Wilson lower bound),样本少的时候下界会被压得很低,自动把噪音过滤掉。n >= 8 这个门槛是我在演示数据里用的,真实环境建议提到 50 以上,否则一个省的小运营商能天天给你发告警。

接口返回的 prov 可能是空的。 我测 114.114.115.115 这类公共 DNS 的时候,country 是「中国」但 prov 和 city 都是空串。这类 IP 归到「未知」桶里是对的,别拿它去算比例,也别把空值当成"境外"。境外 IP 也不会有 prov,但它 country 不是中国——两个条件要分开判断。

isp 是自由文本,必须做归并。 同一个运营商,接口可能返回「中国电信/DNS」「中国电信/IDC/DNS」「百度/蜘蛛/电信」,直接按字符串分组会得到十个桶。代码里的 carrier() 用子串匹配归并,顺序有讲究:先判「电信」再判「移动」,避免「中国移动/电信」这种混写被分错。

IPv6 用户会漏。 现在移动网络大量走 IPv6,比如 2408:8000:1100::1 返回的是「北京 / 中国联通城域网」。如果你的上报里只取 IPv4 地址(RemoteAddr 里带方括号那种),移动端用户会被整批丢掉,归因结论就会偏向固网。取 IP 的时候统一用 net.SplitHostPort 处理,别自己写字符串切分。

企业专线和校园网集中在同一桶。 一家公司几百号人,出口 IP 就一个,症状一致的时候会在你表里变成一个 100% 异常的高危桶。看异常桶的时候顺手看一下 users 的分布,如果全是一个 IP,多半是同一个出口,分开看。

六、定性之后能做什么 ​

归因出来只是第一步,真正解决问题还得靠技术手段,而且手段和目标要对得上:

  • 先上全站 HTTPS + HSTS。 HTTP 注入在 TLS 下会直接断链,这一条能干掉八成注入类劫持。还有 HTTP 资源没换的,优先换。
  • CSP + SRI。 内容安全策略能拦住外域脚本执行,子资源完整性校验能让被篡改的第三方 JS 直接不执行。代价是要维护白名单,接第三方统计、客服 SDK 的时候会痛一阵。
  • DNS 侧。 开 DNSSEC、换更可靠的解析服务、把关键子域做多线路探测。这部分要跟 DNS 服务商一起看。
  • 投诉要有证据。 工信部申诉、运营商客服工单都吃"可复现"这一套:受影响省份、运营商、时间段、注入的具体代码片段、traceroute 结果、同一时刻其他省份正常的对比数据。你上面那张表就是最好的材料——它证明的不是"我们网站坏了",而是"某省某运营商的用户被插了东西"。

还有一条容易忽略:别把归因结果直接展示给用户。页面上写"您所在地区网络存在劫持",用户第一反应是你在甩锅。内部报表和工单里用,对外只说"我们已定位并处理"。

总结 ​

这套东西的核心不是代码,是把"用户说有问题"变成"某个省某家运营商的某段时间有问题"。技术上就三件事:上报分型、按省+运营商分桶、用下界而不是比例做判定。

IP9 的免费接口够用:https://ip9.com.cn/get?ip=<ip> 返回 prov、city、isp、country_code 这些字段,IPv4/IPv6 都支持,不传 ip 就查当前请求方,免费版 60 次/分钟。要更细的维度(区县、ip_type 区分 IDC 与家宽、AS 号)得上 VIP 版,按次计费,口径看官网 https://www.ip9.com.cn。

最后一句实话:归因做出来,运营商那边大概率还是拖。但有了这张表,你至少知道该找谁、该说什么,以及——该不该怀疑自己的代码。这次就是靠它,把一个准备回滚版本的团队拦了下来。