← 返回目录

AISTATS 2017 · PMLR 54: 496–504

Near-optimal Bayesian Active Learning with Correlated and Noisy Tests

EC² 在测试结果有一般噪声时失去保证。ECED 改为按似然比"打折"而不是"切断"不同类之间的边,在测试结果相关、带独立噪声时,证明了与最优策略接近的代价。

Yuxin Chen,S. Hamed Hassani,Andreas Krause(苏黎世联邦理工)。本页依据 PMLR 官方 PDF(9 页正文);附录中的完整证明与第三个应用未读。

1研究问题

要通过一系列带噪声的测试,确定目标变量 Y 的取值(例如该用哪种治疗)。难点在于测试并不直接依赖 Y,而是依赖一个隐藏的"根因" Θ(例如病人的真实身体状况),Y 是 Θ 的函数。于是给定 Y 时,测试结果之间是相关的。这种情况下,按信息增益或 GBS 贪心都可能任意差。

2模型

3为什么简单推广失败

有噪声时,单个结果不能彻底排除某个根因,边无法"切断"。一个自然想法是按似然更新边权(作者称 EC²-Bayes),每次选能让总边权期望下降最多的测试。作者给了一个三根因的小例子:一个完全随机的测试和一个无噪声的有用测试相比,EC²-Bayes 反而选前者(期望下降 0.18 对 0.112)。直接优化预测误差也不行,因为它不是自适应子模的,测试间的互补性会让贪心任意差。

4ECED 算法

  1. 初始边与 EC² 相同:不同目标值的根因两两连边,边权为先验概率之积。
  2. 观测到结果 x 后,对每个根因 θ 计算似然比 λ = P(x|θ) / max_x' P(x'|θ)。结果与 θ 最可能的结果一致时 λ=1,不打折;不一致时 λ<1。
  3. 测试的价值 = 期望被打掉的边权,再减去一个"偏移项",使纯噪声测试的价值恰好为 0。
  4. 每次选价值最大的测试,观测结果后按似然更新边权,直到 MAP 误差不超过 δ。

5理论保证(定理 1)

在测试结果为二值、各测试噪声率与根因无关的情形下:要让期望误差低于 δ,ECED 运行的步数是"达到更低误差的最优策略的代价"乘以一个对数平方量级的因子,再除以噪声强度 c_ε = min_e (1−2ε_e)²。噪声越大,界越差;c_ε=1(无噪声)时 ECED 退化为 EC²。证明结合了一个信息论辅助函数与自适应子模性。

6实验

两个应用:沿用 EC² 的行为经济学理论区分实验,以及通过成对比较的主动偏好学习。正文报告 ECED 的表现优于常见基线;附录还有一个基于样本池的主动学习应用。没有图或传播的实验。

7代码情况

2026-10-13 在 GitHub 按算法名与作者检索,没有找到作者发布的代码,本页不讲解实现。正文算法 1 已给出完整步骤:初始化跨类边权、按"似然比打折减去偏移项"选测试、观测后按似然更新边权、MAP 误差低于 δ 时停止。每一步要对所有跨类根因对求和,根因数大时需要像 EC² 的 EFFECXTIVE 那样做近似。

8与你的方案(传感器部署 + 有效源集合)的关系