重复动作计数
让模型在完全没有计数标注的情况下学会数重复。真实动作会在视频中途忽快忽慢,而几乎所有既有方法都默认周期固定——这个假设一旦失效,计数就崩了。我在多个时间尺度上自适应地建模周期,让重复结构被学出来,而不是被假设出来。
- 自监督学习
- 时序循环一致性
- 多尺度建模
- 周期自适应
中国 · 泉州 / 福州
我研究视频语言模型究竟需要看见多少——以及怎样让它只在必要处花算力。
让模型在完全没有计数标注的情况下学会数重复。真实动作会在视频中途忽快忽慢,而几乎所有既有方法都默认周期固定——这个假设一旦失效,计数就崩了。我在多个时间尺度上自适应地建模周期,让重复结构被学出来,而不是被假设出来。
骨架表示会把相机的姿态一并继承下来。我用重力方向作为稳定的外部参考,把视角与动作语义解耦;同时把异常建模为一种关系属性——因为一个人的行为是否异常,往往取决于他周围的人。
多数 VideoLLM 采用密集或固定预算的抽帧,却没有任何证据说明这些帧是否足够。我直接度量最小充分帧集,再把不确定的样本路由到更大的帧预算——算力花在模型真正拿不准的地方,同时如实报告这套策略在哪个模型上失效。
一个自监督框架:不再假设周期固定,而是自适应动作周期变化,将多尺度循环一致性、动作相似性目标与多专家共识计数流程结合。在 RepCount 上取得 0.129 MAE / 0.842 OBO,Countix 上取得 0.098 MAE / 0.879 OBO——在完全不使用计数标注的前提下超过既有监督基线。
面向移动边缘设备的资源感知端侧重复动作感知
独立一作 · 唯一学生作者
面向自监督重复计数的语义引导表征解耦
学生二作 · 唯一学生作者
视角鲁棒的骨架动作识别
独立一作 · 唯一学生作者
多人骨架异常检测
独立一作 · 唯一学生作者
结合动态阈值的时序循环一致性鲁棒计数
学生二作
面向重复计数的全局多几何特征学习
学生二作
自适应节点交互的柔性图建模
学生二作
依照双盲评审惯例,在投论文暂不公开具体标题。完整信息可查阅简历或来信索取。
既有重复计数方法默认单个视频内周期固定。真实动作会在序列中途加速或减速,这个假设恰恰在最需要准确计数的地方失效;同时多数方法还依赖密集的计数标注。
周期自适应的多尺度时序循环一致性,配合动作相似性目标,从无标注骨架序列中学习重复结构;再由多专家共识流程把学到的结构转换为计数结果。
成果发表于 CVPR 2026 Findings,并获 CVPR Compute Gold Star。我主导了问题定义、方法设计、完整 PyTorch 实现、全部实验与消融分析及论文撰写。
VideoLLM 评测普遍采用密集或固定预算抽帧,却没人验证这些帧是否充分——结果是难度差异极大的问题,算力却被均匀地平摊了。
在 1,336 个 LongVideoBench 验证样本上,对 Qwen2.5-VL 与 LLaVA-Video 度量最小充分帧集,并设计视觉 Token Masking、答案选项评分与嵌套置信度路由——只把不确定的样本升级到更大的帧预算。
以可复现工程包交付:模型适配器、自动化测试、CI、脱敏实验产物与完整的数据/许可证说明。跨模型未迁移的结论与正面结果同等醒目地呈现——适用边界本身就是一个发现,而不是一次失败。
骨架动作表示与相机坐标系纠缠在一起,视角一变识别性能就下降;而多人异常检测通常孤立地评估每个人,丢掉了真正定义"异常"的社会情境。
用重力感知的视角解耦与自适应特征调制,剥离相机依赖同时保留动作语义;并对人与人之间的依赖关系做门控动态建模,让社会情境参与异常判定。
两条方法路线形成两篇 AAAI 2027 投稿,均为独立一作。
做研究之前,我先做交付。近两年企业级服务器平台产品工程师,之后是银行电子保函系统的产品经理实习,本科期间还带过一家学生软件公司。正因如此,我的科研代码交付时带着测试、CI 和成本模型,而不是一堆散落的脚本。
他独立定位了变速动作序列中的瓶颈,构思出缓解策略并推动实现落地——展现出博士研究所必需的学术独立性。
在我近年合作过的硕士研究者中,他在主动性、执行力与对同事的体谅这三者的结合上尤为突出。
在这些项目中,他完整展现了问题定义、实现、部署、评估到修正的全流程能力。
即使与自己的实验无关,他也愿意去解决那些影响整个团队的基础设施问题。
人工智能专业硕士研究生,中国科学院海西研究院泉州装备制造研究所联合培养。我的研究关心视频理解能在没有标注、没有浪费的前提下走多远:让模型自己学会重复结构的自监督时序建模,以及只在真正需要时才花算力的推理策略。目前最感兴趣的方向是自适应视觉 Token 分配、高效多模态推理,以及在真实算力预算下,效率收益究竟能否迁移到不同的视频语言模型架构上。读研之前,我做了近两年产品工程师,交付过企业级服务器平台——那段工程训练至今影响我做研究的方式:可复现的流程、算得清的成本、如实报告的负面结果。
人工智能 · 工程硕士
机电工程学院 · 中国 · 福州 / 泉州
中国科学院海西研究院泉州装备制造研究所联合培养
学位论文:《基于动作相似性的弱监督重复动作计数方法研究》。导师:李俊研究员、李琦铭副研究员。综测专业前 10%。
软件工程 · 工学学士
计算机科学学院 · 中国 · 武汉
综测专业前 10%。多次获学业奖学金;获"互联网+"省级三等奖、"挑战杯"省级三等奖。本科期间全程负责校内软件创业团队。
担任 Image and Vision Computing 期刊审稿人,2026。
指导本科毕业设计,协助完成研究问题拆解、方法选择、实验规划与论文写作。
指导实习生进行科研代码开发与会议论文撰写——任务拆解、编码里程碑、实验汇报与稿件反馈。
负责实验室共享 GPU 服务器运维与算力分配协调,保障团队工作流可复现。
我没想过要改变世界。我希望能推动一个领域——哪怕只有一点,往好的方向——并留下一些别人能接着往下做的工作。这就是我想读博的全部理由。
每一封邮件我都会读。无论你是潜在的导师、合作者,还是单纯对这些工作感兴趣,都欢迎直接来信。
正在申请 2027 年入学博士项目 · 欢迎科研合作
本站统计站内页面访问、前台停留时长与附件点击,用于改进内容。