Skip to content

日志里的 IP 属于个人信息,但报表还要按地域统计?Python 做「留地域、去 IP」脱敏 ​

这事几乎每个做到一定规模的团队都会碰上。

安全侧:《网络安全法》要求网络日志留存不少于六个月,等保测评也会看日志留存的完整性;同时 IP 地址在《个人信息保护法》口径下属于可以识别到个人的信息——日志平台里躺着六个月的全量 IP,任何有查询权限的同事都能导出,这本身就是风险点。

业务侧:运营要看"各省访问量环比",安全要看"境外攻击来源 TOP10",数据要看"按城市的转化率"。报表全是按地域切的。

于是要么把 IP 全删了(报表废掉),要么原样留着(合规和越权风险都在)。这篇讲的第三条路:把原始 IP 换成地域标签,只保留分析需要的那一层精度。

一、先明确"脱敏成功"的标准 ​

很多人第一次做脱敏,是写个脚本把 ip 字段删掉,然后发现所有地域报表都瞎了,又在旁边留了一张 IP → 城市 的映射表方便"以后要查"。那张映射表就是漏洞本身——凡是能把脱敏结果反推回原始 IP 的东西,都不能和脱敏数据放在一起。

对我而言,脱敏要实现两件事:

  1. 不可反向识别:输出里只得出现到"国家-省-市"这一级(城市级归属地本来就回不到具体设备,除非运营商配合),并且原始 IP 不出现在输出文件里;
  2. 不破坏可分析性:地域维度照样能聚合,另外还需要一个"同一 IP 关联"的能力——比如统计"某个 IP 一天请求了多少次""几个账号是不是同一出口"。

第二条用加盐指纹解决:fp = HMAC-SHA256(盐, 原始IP) 取前 16 位。同一个 IP 在同一天、用同一把盐算出来的指纹是稳定的,所以频次统计、团伙关联照做;但拿着指纹反推 IP 是不可能的(前提是盐足够长、独立保管、不写进日志)。这比直接对 IP 做裸 MD5 强得多——IP 空间只有 43 亿,裸 MD5 拿张表跑一遍就能反查。

二、方案:落盘之前就换掉 ​

脱敏最忌讳"事后补救"。正确的位置是在日志离开业务进程、进入存储或日志平台之前:采集 agent 的过滤阶段、日志网关、或者离线批处理任务里。历史日志已经堆了六个月的,再补跑一遍离线任务。

脚本的逻辑很直白:

读日志行 → 用正则找出 IP(IPv4、带端口、X-Forwarded-For 里的多跳)→ 内网/回环地址直接标 PRIVATE 不查接口 → 其余查归属地(带 TTL 缓存 + 限速)→ 就地替换成 CN-Guangdong-Shenzhen 这种标签(可选追加指纹)→ 输出。

有三个工程细节必须提前想清楚,否则跑起来会很难受:

  • 缓存命中率决定可行性。一份访问日志里,IP 的"行数"很多,但"独立 IP 数"往往只有行数的百分之几。缓存命中之后,接口调用量是按独立 IP 算的,不是按行数算的。
  • 免费版额度要算清楚账。https://ip9.com.cn/get?ip=xxx 免费版是 60 次/分钟/IP,一天最多约 8.6 万次查询。如果一天三千万行日志里独立出去重后有 20 万个 IP,免费版要跑两三天,得分批做;独立 IP 在 8 万以内,一天就能过完。量更大的时候要么上 VIP 版(18 万次/分钟),要么把长尾低频 IP 直接归到"未知"(它们对地域报表几乎没贡献)。
  • 失败兜底不能写原 IP。接口超时、限速(返回 {"ret": 429, "msg": "rate_limit; ..."})、非法 IP(返回的是 "data": [],空数组,不是空对象),任何一种情况都要替换成占位标签(比如 ??-UNKNOWN),而不是"查不到就保留原样"——那等于脱敏有个洞。

还有个新手必踩的坑:请求不带 User-Agent 会直接吃 403,正文就一行 error code: 1010。原因是接口前面有完整性检查,默认的 urllib 请求头过不去。代码里必须显式设置 UA。

三、Python 实现:一份能直接跑的脱敏脚本 ​

python
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
日志 IP 脱敏:原始 IP -> 地域标签(+ 可选加盐指纹),保留地域分析能力。
用法:
  python3 ip_mask.py access.log -o access.masked.log --fingerprint
  cat access.log | python3 ip_mask.py - > access.masked.log
"""
import argparse
import hashlib
import hmac
import ipaddress
import json
import re
import sys
import time
import urllib.error
import urllib.parse
import urllib.request
from collections import OrderedDict

API = "https://ip9.com.cn/get?ip="
UA = "log-masker/1.0 (+https://example.com)"   # 必带:不带 UA 会被 403(error code: 1010)
IPV4 = re.compile(r"(?<![\d.])((?:\d{1,3}\.){3}\d{1,3})(?![\d.])")
TOKEN = re.compile(r"[0-9A-Fa-f:.]{2,45}")     # IPv6 候选串,交给 ipaddress 校验,避免误伤时间戳
MAX_CACHE = 300_000


class GeoResolver:
    """查归属地 + 缓存 + 限速 + 指纹;失败一律返回占位标签,绝不回吐原 IP。"""

    def __init__(self, salt: bytes, min_gap: float = 1.05, ttl: int = 21600):
        self.salt = salt
        self.min_gap = min_gap          # 免费版 60 次/分钟 -> 至少隔 1 秒
        self.ttl = ttl
        self.cache = OrderedDict()      # ip -> (expire_ts, label, fingerprint)
        self.last_call = 0.0
        self.queries = 0
        self.hits = 0

    def fingerprint(self, ip: str) -> str:
        return hmac.new(self.salt, ip.encode(), hashlib.sha256).hexdigest()[:16]

    def label(self, ip: str):
        now = time.time()
        hit = self.cache.get(ip)
        if hit and hit[0] > now:
            self.hits += 1
            self.cache.move_to_end(ip)
            return hit[1], hit[2]

        gap = self.min_gap - (now - self.last_call)
        if gap > 0:
            time.sleep(gap)
        self.last_call = time.time()

        data = self._fetch(ip)
        self.queries += 1
        if data is None:
            label = "??-UNKNOWN"
        else:
            parts = [(data.get("country_code") or "??").upper(),
                     data.get("prov") or "",
                     data.get("city") or ""]
            label = "-".join(p for p in parts if p) or "??-UNKNOWN"

        fp = self.fingerprint(ip)
        self.cache[ip] = (now + self.ttl, label, fp)
        self.cache.move_to_end(ip)
        while len(self.cache) > MAX_CACHE:
            self.cache.popitem(last=False)
        return label, fp

    def _fetch(self, ip: str, retries: int = 3):
        url = API + urllib.parse.quote(ip, safe=":")
        req = urllib.request.Request(url, headers={"User-Agent": UA, "Accept": "application/json"})
        body = None
        for attempt in range(retries):
            try:
                with urllib.request.urlopen(req, timeout=2) as resp:
                    body = resp.read().decode("utf-8", "replace")
                break
            except urllib.error.HTTPError as e:
                if e.code == 429:                 # 限速:指数退避后重试
                    time.sleep(2 ** attempt)
                    continue
                return None
            except Exception:
                if attempt == retries - 1:
                    return None
                time.sleep(0.5)
        if body is None:
            return None
        try:
            payload = json.loads(body)
        except ValueError:
            return None
        data = payload.get("data")
        if payload.get("ret") != 200 or not isinstance(data, dict):   # 非法 IP 时 data 是 []
            return None
        return data


def mask_line(line: str, resolver: GeoResolver, with_fp: bool) -> str:
    def repl(ip: str) -> str:
        try:
            addr = ipaddress.ip_address(ip)
        except ValueError:
            return ip
        if addr.is_private or addr.is_loopback or addr.is_reserved or addr.is_link_local:
            return "PRIVATE"                        # 内网地址没必要查,也不该出现在脱敏输出里
        label, fp = resolver.label(ip)
        return f"{label}#{fp}" if with_fp else label

    # 先处理 IPv4("IP:端口"这种形式只会替换 IP 部分,端口原样保留)
    masked = IPV4.sub(lambda m: repl(m.group(1)), line)

    # 再处理 IPv6:先用宽松规则扫出候选串,再用 ipaddress 校验
    out, cursor = [], 0
    for m in TOKEN.finditer(masked):
        try:
            ipaddress.ip_address(m.group(0))        # 时间戳、HTTP 版本号在这里被过滤掉
        except ValueError:
            continue
        out.append(masked[cursor:m.start()])
        out.append(repl(m.group(0)))
        cursor = m.end()
    out.append(masked[cursor:])
    return "".join(out)


def main():
    ap = argparse.ArgumentParser(description="日志 IP 脱敏:留地域、去 IP")
    ap.add_argument("input", help="日志文件,- 表示 stdin")
    ap.add_argument("-o", "--output", default="-", help="输出文件,默认 stdout")
    ap.add_argument("--salt", required=True, help="HMAC 盐(独立保管,别写进日志)")
    ap.add_argument("--min-gap", type=float, default=1.05, help="两次真实请求最小间隔(秒)")
    ap.add_argument("--fingerprint", action="store_true", help="在地域标签后追加稳定指纹")
    args = ap.parse_args()

    resolver = GeoResolver(args.salt.encode(), min_gap=args.min_gap)
    fin = sys.stdin if args.input == "-" else open(args.input, "r", encoding="utf-8", errors="replace")
    fout = sys.stdout if args.output == "-" else open(args.output, "w", encoding="utf-8")

    lines = 0
    try:
        for line in fin:
            fout.write(mask_line(line, resolver, args.fingerprint))
            lines += 1
    finally:
        if fin is not sys.stdin:
            fin.close()
        if fout is not sys.stdout:
            fout.close()

    total_lookups = resolver.queries + resolver.hits
    hit_rate = (resolver.hits / total_lookups * 100) if total_lookups else 0.0
    print(f"[mask] 行数={lines} 独立IP查询={resolver.queries} 缓存命中={resolver.hits}"
          f" 命中率={hit_rate:.1f}%", file=sys.stderr)


if __name__ == "__main__":
    main()

跑一遍看效果(日志是 nginx 默认格式):

text
# 脱敏前
203.0.113.10 - - [09/Oct/2026:10:12:01 +0800] "GET /api/list HTTP/1.1" 200 512 "X-Forwarded-For: 114.114.114.114, 10.0.0.7"
# 脱敏后(--fingerprint)
CN-Jiangsu-Nanjing#9f2c8a1b4d0e7f31 - - [09/Oct/2026:10:12:01 +0800] "GET /api/list HTTP/1.1" 200 512 "X-Forwarded-For: CN-Jiangsu-Nanjing#9f2c8a1b4d0e7f31, PRIVATE"

验证方式很土但有效:grep -cE '([0-9]{1,3}\.){3}[0-9]{1,3}' 输出文件,如果不为 0,就说明有 IP 漏过了正则(常见原因是日志里 IP 被拼进了 URL 参数、JSON 字段里带冒号端口,或者被 base64 过)。

四、落地时要补的几件事 ​

盐怎么管。 盐泄露 = 指纹可被反查(攻击者拿 IP 空间全量算一遍就能建对照表)。所以盐放 KMS/密钥管理里,按季度轮换;轮换后指纹会变,历史数据的"同一 IP 关联"就断了,这是可接受的代价。

"溯源用"的原始 IP 放哪。 如果安全团队确实需要在被攻击时回溯到具体 IP,唯一的合规做法是:安全侧单独存一份原始日志(独立存储、独立权限、更短留存、访问全审计),业务和分析侧只拿到脱敏版。千万不要在同一张表里"脱敏字段 + 原始字段"并存。

脱敏不要改变可聚合性。 地域标签要统一格式(国家码-省-市,或者用 - 占位),否则"广东"和"广东省"会变成两个分组。这一点建议在采集阶段就定死,回填历史的成本很高。

注意 IPv6。 现在日志里 IPv6 占比不低,脚本里 IPv6 是"先用宽松规则扫出候选串、再用 ipaddress 校验"处理的——这样既不会漏掉 2400:3200::1 这种地址,也不会把 [09/Oct/2026:10:12:01 里的时间戳误当成地址。接口本身支持 IPv6 查询(返回的 long_ip 会是 0,这是正常的),但部分 IPv6 段在城市级会查不到,此时会落到 ??-UNKNOWN,属于可接受的结果——宁可丢掉地域维度,也不要把原始地址留着。

别用 IP 归属地做"用户画像"。 脱敏的目的是收敛数据用途,如果脱敏完还拿地域标签去做营销定向,那在前端页面早就该按合规流程单独评估——这是另一件事,不是脱敏能兜住的。

总结 ​

"日志留存六个月"和"IP 是个人信息"并不冲突,冲突的是"留存原始 IP"和"只用地域维度做分析"混在一起这件事。分开处理就好:分析侧只留到城市级的地域标签 + 加盐指纹,安全侧单独管原始日志。 一个单文件 Python 脚本、一张域名到接口的映射、一条限速,就能把这套流水线跑起来。

用到的接口还是同一个:https://ip9.com.cn/get?ip=<IP>,不传 ip 查当前请求方,返回国家、省市、运营商、经纬度(城市中心点)等字段;免费版 60 次/分钟/IP,批量脱敏时用缓存把调用量压到"独立 IP 数"的量级。需要区县精度(area)、IP 类型(ip_type,判断机房/家庭宽带)、ASN 的时候再用 VIP 版,额度和计费以官网 https://www.ip9.com.cn 为准。