中国 · 泉州 / 福州

高世钊

我研究视频语言模型究竟需要看见多少——以及怎样让它只在必要处花算力。

  • CVPR 2026 Findings · 独立一作
  • CVPR Compute Gold Star · 前 5%
  • 中国科学院联合培养
8
篇论文
其中 4 篇独立一作
0.129
RepCount MAE
无标注 SOTA,超过监督基线
18.0%
FLOPs 节省
VideoLLM 路由,准确率接近基线
100+
个工程项目
服务器平台交付,3000 万订单
研究

我反复回到的三个问题

01

重复动作计数

让模型在完全没有计数标注的情况下学会数重复。真实动作会在视频中途忽快忽慢,而几乎所有既有方法都默认周期固定——这个假设一旦失效,计数就崩了。我在多个时间尺度上自适应地建模周期,让重复结构被学出来,而不是被假设出来。

  • 自监督学习
  • 时序循环一致性
  • 多尺度建模
  • 周期自适应
02

骨架动作理解

骨架表示会把相机的姿态一并继承下来。我用重力方向作为稳定的外部参考,把视角与动作语义解耦;同时把异常建模为一种关系属性——因为一个人的行为是否异常,往往取决于他周围的人。

  • 视角鲁棒识别
  • 重力感知解耦
  • 多人异常检测
  • 图建模
03

视频语言模型高效推理

多数 VideoLLM 采用密集或固定预算的抽帧,却没有任何证据说明这些帧是否足够。我直接度量最小充分帧集,再把不确定的样本路由到更大的帧预算——算力花在模型真正拿不准的地方,同时如实报告这套策略在哪个模型上失效。

  • 帧充分性
  • 置信度路由
  • 视觉 Token Masking
  • FLOP 分析
论文

代表性论文

已发表

在投与返修

IEEE TMC CCF-A · 中科院二区 Top

面向移动边缘设备的资源感知端侧重复动作感知

独立一作 · 唯一学生作者

Under review
IJCV CCF-A

面向自监督重复计数的语义引导表征解耦

学生二作 · 唯一学生作者

Under review
AAAI 2027 CCF-A

视角鲁棒的骨架动作识别

独立一作 · 唯一学生作者

已投稿 · 审稿中
AAAI 2027 CCF-A

多人骨架异常检测

独立一作 · 唯一学生作者

已投稿 · 审稿中
Pattern Recognition 中科院一区 Top

结合动态阈值的时序循环一致性鲁棒计数

学生二作

已返修
Pattern Recognition 中科院一区 Top

面向重复计数的全局多几何特征学习

学生二作

已返修
IEEE TCSVT 中科院一区 Top

自适应节点交互的柔性图建模

学生二作

Under review

依照双盲评审惯例,在投论文暂不公开具体标题。完整信息可查阅简历或来信索取。

项目

深入的工作

硕士学位论文课题 · 主要完成人

周期自适应自监督重复动作计数

2024.09 — 至今
  • RepCount 0.129 MAE · 0.842 OBO
  • Countix 0.098 MAE · 0.879 OBO
问题

既有重复计数方法默认单个视频内周期固定。真实动作会在序列中途加速或减速,这个假设恰恰在最需要准确计数的地方失效;同时多数方法还依赖密集的计数标注。

方法

周期自适应的多尺度时序循环一致性,配合动作相似性目标,从无标注骨架序列中学习重复结构;再由多专家共识流程把学到的结构转换为计数结果。

结果

成果发表于 CVPR 2026 Findings,并获 CVPR Compute Gold Star。我主导了问题定义、方法设计、完整 PyTorch 实现、全部实验与消融分析及论文撰写。

独立研究 · 开源项目

视频语言模型的帧充分性与自适应路由

2026
  • Qwen2.5-VL −18.0% FLOPs, near-baseline accuracy
  • LLaVA-Video Did not transfer — reported as a limit
问题

VideoLLM 评测普遍采用密集或固定预算抽帧,却没人验证这些帧是否充分——结果是难度差异极大的问题,算力却被均匀地平摊了。

方法

在 1,336 个 LongVideoBench 验证样本上,对 Qwen2.5-VL 与 LLaVA-Video 度量最小充分帧集,并设计视觉 Token Masking、答案选项评分与嵌套置信度路由——只把不确定的样本升级到更大的帧预算。

结果

以可复现工程包交付:模型适配器、自动化测试、CI、脱敏实验产物与完整的数据/许可证说明。跨模型未迁移的结论与正面结果同等醒目地呈现——适用边界本身就是一个发现,而不是一次失败。

中科院项目 2024QZC001R · 核心成员

骨架动作理解

2024.09 — 至今
  • 承担工作 共享预处理、时空表征、训练与评测流程
问题

骨架动作表示与相机坐标系纠缠在一起,视角一变识别性能就下降;而多人异常检测通常孤立地评估每个人,丢掉了真正定义"异常"的社会情境。

方法

用重力感知的视角解耦与自适应特征调制,剥离相机依赖同时保留动作语义;并对人与人之间的依赖关系做门控动态建模,让社会情境参与异常判定。

结果

两条方法路线形成两篇 AAAI 2027 投稿,均为独立一作。

工程

不只是一个研究者

做研究之前,我先做交付。近两年企业级服务器平台产品工程师,之后是银行电子保函系统的产品经理实习,本科期间还带过一家学生软件公司。正因如此,我的科研代码交付时带着测试、CI 和成本模型,而不是一堆散落的脚本。

武汉长江计算科技有限公司

产品工程师 2022.06 — 2024.01
  • 将客户技术规范转化为服务器配置、产品适配方案、验证计划与交付方案,累计参与 100 余个企业与公共部门项目。
  • 主导高密度计算平台的兼容性验证与系统集成,协调研发、供应链、质量、生产与销售团队。
  • 主导导入的产品线在上线初期获得 3,000 万元订单。
  • 服务器平台
  • 系统集成
  • 硬件验证
  • 跨团队交付

福建天和众诚科技发展有限公司

产品经理实习生 2024.10 — 2025.04
  • 负责银行电子保函产品的流程、业务规则、角色权限与异常场景设计,将业务需求转化为结构化需求、功能边界与验收标准。
  • 协调产品、研发与业务团队完成方案评审、联调、验收与上线推进——项目提前 1 个月交付,且未出现重大线上缺陷。
  • 需求设计
  • 金融科技
  • 权限模型
  • 上线管理

九黎(武汉)软件开发公司 · 学生创业团队

总负责人 2018 — 2022
  • 完整运营校内软件创业团队:承接与拆解外包项目、统筹人力分工,并作为开发者参与小程序、网站与管理系统的实现交付。
  • 全栈开发
  • 小程序
  • 团队管理
  • 客户交付
推荐

导师的评价

他独立定位了变速动作序列中的瓶颈,构思出缓解策略并推动实现落地——展现出博士研究所必需的学术独立性。
在我近年合作过的硕士研究者中,他在主动性、执行力与对同事的体谅这三者的结合上尤为突出。

李俊 研究员

研究员 · 博士生导师

中国科学院海西研究院泉州装备制造研究所

2024 年 9 月起任主要科研导师

阅读完整推荐信
在这些项目中,他完整展现了问题定义、实现、部署、评估到修正的全流程能力。
即使与自己的实验无关,他也愿意去解决那些影响整个团队的基础设施问题。

李琦铭 副研究员

副研究员

中国科学院海西研究院泉州装备制造研究所

日常科研导师;现有全部论文的通讯作者

阅读完整推荐信
关于

背景

高世钊本人照片

人工智能专业硕士研究生,中国科学院海西研究院泉州装备制造研究所联合培养。我的研究关心视频理解能在没有标注、没有浪费的前提下走多远:让模型自己学会重复结构的自监督时序建模,以及只在真正需要时才花算力的推理策略。目前最感兴趣的方向是自适应视觉 Token 分配、高效多模态推理,以及在真实算力预算下,效率收益究竟能否迁移到不同的视频语言模型架构上。读研之前,我做了近两年产品工程师,交付过企业级服务器平台——那段工程训练至今影响我做研究的方式:可复现的流程、算得清的成本、如实报告的负面结果。

教育背景

福建农林大学

2024.09 — 2027.06(预计)

人工智能 · 工程硕士

机电工程学院 · 中国 · 福州 / 泉州

中国科学院海西研究院泉州装备制造研究所联合培养

学位论文:《基于动作相似性的弱监督重复动作计数方法研究》。导师:李俊研究员、李琦铭副研究员。综测专业前 10%。

中南民族大学

2018.09 — 2022.06

软件工程 · 工学学士

计算机科学学院 · 中国 · 武汉

综测专业前 10%。多次获学业奖学金;获"互联网+"省级三等奖、"挑战杯"省级三等奖。本科期间全程负责校内软件创业团队。

学术服务与指导

同行评审

担任 Image and Vision Computing 期刊审稿人,2026。

本科生指导

指导本科毕业设计,协助完成研究问题拆解、方法选择、实验规划与论文写作。

实习生指导

指导实习生进行科研代码开发与会议论文撰写——任务拆解、编码里程碑、实验汇报与稿件反馈。

实验室基础设施

负责实验室共享 GPU 服务器运维与算力分配协调,保障团队工作流可复现。

荣誉与奖项

2026 CVPR Compute Gold Star — 涵盖 Main Track 与 Findings,入选前 5%
2025 中国科学院学业奖学金
2025 "华为杯"中国研究生数学建模竞赛全国三等奖 — 队长
2018–2022 本科学业奖学金多次;"互联网+"、"挑战杯"省级三等奖

技术能力

视频与多模态模型

  • Qwen2.5-VL
  • LLaVA-Video
  • InternVL
  • Transformers
  • LongVideoBench
  • Frame scaling
  • Confidence routing
  • FLOP profiling

深度学习与视觉

  • PyTorch
  • MMAction2
  • OpenCV
  • NumPy
  • Pandas
  • Self-supervised learning
  • Temporal modeling
  • Pose & skeleton analysis

系统与部署

  • Python
  • C++
  • Linux
  • Git
  • Docker
  • CUDA
  • ONNX
  • TensorRT
  • nginx
  • CI/CD

产品与交付

  • Requirements engineering
  • Technical specification
  • Acceptance testing
  • Cross-team coordination
  • Full-stack web
  • Mini-program

证书与语言

  • 软件设计师 — 计算机技术与软件专业技术资格(软考中级)
  • 英语 — 具备技术文档、学术阅读与科研写作的专业工作能力
为什么读博

我没想过要改变世界。我希望能推动一个领域——哪怕只有一点,往好的方向——并留下一些别人能接着往下做的工作。这就是我想读博的全部理由。

联系

取得联系

gsz1999@fafu.edu.cn

每一封邮件我都会读。无论你是潜在的导师、合作者,还是单纯对这些工作感兴趣,都欢迎直接来信。

正在申请 2027 年入学博士项目 · 欢迎科研合作

本站统计站内页面访问、前台停留时长与附件点击,用于改进内容。