ETR-AMR●
NCMMSC 2026 · ETR-AMR

Post-fusion Event-aware Time-Frequency
Refinement for Audio Moment Retrieval

Feiyang Xiao†, Li’ang Luo†, Kejia Zhang, Qiaoxi Zhu,
Guangjun He, Pengming Feng, Jian Guan*

Harbin Engineering University · University of Technology Sydney
State Key Laboratory of Space Information System and Integrated Application

† 共同第一作者 * 通讯作者  /  NCMMSC 2026

面向音频时刻检索的融合后事件感知时频细化

01 / THE TASK

什么是音频时刻检索?

Audio Moment Retrieval · AMR

给定一段长录音和一句自然语言查询,AMR 需要找到与描述相符的声音事件,并返回它的开始时间与结束时间。它不仅判断录音中是否出现某种声音,还要定位这段声音具体发生在何时。

输入 → 输出
“物体相互碰撞,并响起警报”

长录音 + 文本查询 相关音频片段 1–3 秒

示例 01 的人工标注;一条查询也可能对应多个时间区间。

长录音中,背景声、相似事件和重叠声源都会干扰目标定位。ETR-AMR 在音频与文本融合之后进一步细化特征,为时间边界预测提供更有区分力的事件表征。

02 / THE IDEA

融合之后,再细化一步。

在跨模态交互与时间定位之间,
增强事件响应,减少无关干扰。

01

音频与文本交互

利用 CLAP 提取音频帧与文本特征,通过跨模态注意力建立查询与声音之间的语义联系。

02

事件感知时频细化

时间帧门控调节各时刻的响应,频率细化进一步处理融合特征序列中的时频成分。

03

时间片段定位

将细化后的特征送入 DETR 定位模块,预测候选片段的起止时间与置信度。

ETR-AMR 框架:CLAP 特征经音频文本交互、时间帧门控、STFT 频率加权与 ISTFT 后,进入 DETR 时间定位模块
ETR-AMR 整体框架 · 时频变换作用于融合特征序列
03 / LISTEN & LOCALIZE

听见声音,看见定位。

三个真实样本,比较引入 ETR 前后的检索结果。
佩戴耳机体验更佳;视频按原始速度播放。

TEXT QUERY

时间定位对比 点击区间跳转播放
00:00
下载当前样本 ↗1080p / 30 fps / 原始音频

绿:真实标注 蓝:未使用 ETR 红:使用 ETR。IoU 为首位预测与各真值区间的最大时间交并比;展示的是论文中的选定案例,不代表全部测试样本。

04 / BENCHMARK

更准确的时间边界。

CASTELLA 测试结果
同一训练协议下的对比 · 单位 % · 越高越好

29.40%

R1@50% 较 UVCOM +7.05 个百分点

15.07%

R1@70% 较 UVCOM +5.20 个百分点

12.63%

mAP-avg 较 UVCOM +3.85 个百分点

CASTELLA 性能对比
方法R1@50%R1@70%mAP@50%mAP@70%mAP-avg
AM-DETR19.307.0515.934.826.41
QG-DETR13.885.8613.284.335.71
UVCOM22.359.8720.636.818.78
ETR-AMR OURS29.4015.0725.3511.1512.63

ETR-AMR 在 CASTELLA 的以上五项指标中领先对比方法;在其他数据集上的收益存在差异,并非所有场景均领先。

不同目标片段时长下的检索表现

在 CASTELLA 上按目标片段时长分组,对比有无 ETR 时的 R1@50% 和 R1@70%。横轴是目标片段的时长,并非滑动窗口的配置长度。

CASTELLA 不同目标片段时长下的召回率对比,分组为0至10、10至20、20至30、30至40、40至50、50至60和大于60秒;加入ETR后两项召回指标在所有时长组均提升
论文图 3 · 不同目标片段时长下的检索表现,召回率越高越好。

例如,40–50 秒组的 R1@50% 由 10.00% 提升至 24.00%,R1@70% 由 2.00% 提升至 12.00%。短事件组的整体召回率仍然较低。

05 / CITATION

引用本文

下载 BibTeX ↗
@inproceedings{xiao2026etramr,
  title     = {Post-fusion Event-aware Time-Frequency Refinement for Audio Moment Retrieval},
  author    = {Xiao, Feiyang and Luo, Li'ang and Zhang, Kejia and Zhu, Qiaoxi and He, Guangjun and Feng, Pengming and Guan, Jian},
  booktitle = {NCMMSC 2026},
  year      = {2026}
}

根据当前论文题名、作者及录用信息整理;正式出版后的卷页与 DOI 可在公布后补充。