基于飞桨实现乒乓球时序动作定位大赛 ：B榜第12名方案
该方案基于飞桨实现乒乓球时序动作定位，获B榜第12名。采用宽4s滑窗分割视频为100帧数据，改进BMN模型，将TEM改为双分支融合输出，用DIOU-soft-NMS替代Soft-NMS避免漏检。经数据处理、模型训练与推理，A榜得分44.45754，B榜45.22373，还提出了后续改进方向。
基于飞桨实现乒乓球时序动作定位大赛 ：B榜第12名方案
赛题介绍
在众多大规模视频分析情景中，从冗长未经修剪的视频中定位并识别短时间内发生的人体动作成为一个备受关注的课题。当前针对人体动作检测的解决方案在大规模视频集上难以奏效，高效地处理大规模视频数据仍然是计算机视觉领域一个充满挑战的任务。其核心问题可以分为两部分，一是动作识别算法的复杂度仍旧较高，二是缺少能够产生更少视频提案数量的方法（更加关注短时动作本身的提案）。
这里所指的视频动作提案是指一些包含特定动作的候选视频片段。为了能够适应大规模视频分析任务，时序动作提案应该尽可能满足下面两个需求： （1）更高的处理效率，例如可以设计出使时序视频片段编码和打分更高效的机制； （2）更强的判别性能，例如可以准确定位动作发生的时间区间。
本次比赛旨在激发更多的开发者和研究人员关注并参与有关视频动作定位的研究，创建性能更出色的动作定位模型。
数据集介绍
本次比赛的数据集包含了19-21赛季兵乓球国际比赛（世界杯、世锦赛、亚锦赛，奥运会）和国内比赛（全运会，乒超联赛）中标准单机位高清转播画面的特征信息，共包含912条视频特征文件，每个视频时长在0～6分钟不等，特征维度为2048，以pkl格式保存。我们对特征数据中面朝镜头的运动员的回合内挥拍动作进行了标注，单个动作时常在0～2秒不等，训练数据为729条标注视频，A测数据为91条视频，B测数据为92条视频，训练数据标签以json格式给出。
本赛题中的数据包含912条ppTSM抽取的视频特征，特征保存为pkl格式，文件名对应视频名称，读取pkl之后以(num_of_frames, 2048)向量形式代表单个视频特征。其中num_of_frames是不固定的，同时数量也比较大，所以pkl的文件并不能直接用于训练。同时由于乒乓球每个动作时间非常短，为了可以让模型更好的识别动作，所以需要将数据进行分割。
思路介绍
- 本赛题的视频数据帧数不固定，单个pkl文件包含的乒乓球动作数量也不固定，参考BMN_tabletennis的数据分割方式，使用宽4s的滑窗,把每一个视频里的动作片段提取出来,分割为4X25=100帧的数据。
- 本项目基于BMN模型开发,借鉴TVNet中对TEM模块的改进思路，将TEM改成双分支融合后直接输出xs\xe的思路。
- 改进了删除冗余proposal的策略，将原本的Soft-NMS改进为DIOU-soft-NMS，避免漏检。
具体方案分享
- 整体流程框图
- BMN模型结构
- TEM模块改进
BMN中原本的TEM实现为两个分支单独进行xs和xe的预测，考虑到一个动作的起止互相是具有强关联性的，起始时间和终止时间的特征应该共同用于预测，因此改进后的TEM模块先通过两个分支分别提取起始时间和终止时间相关的特征，再将特征进行融合最后预测输出。
- DIOU-soft-NMS
原本的Soft-NMS采用IOU来表示proposal的重叠程度以判断冗余性，而预测过程中可能出现强包含关系如下图所示:
p1与p2、p3具有相同的重叠度，但很明显p1与p2中心点重合大概率为同一动作的不同保守程度的估计，而p1与p3中心点偏离较大，可以认为是两个不同的动作。
为了避免漏检p3这样的动作，本项目采用diou来替代iou进行非极大值抑制，diou的计算公式如下:
其中ρ(·)是两proposal中心点的欧几里得距离，c是覆盖两个proposal的最小时间长度。
代码运行与训练测试
- 首先解压数据集 执行以下命令解压数据集，解压之后将压缩包删除，保证项目空间小于100G。否则项目会被终止。
In [1]
%cd /home/aistudio/data/ !tar xf data122998/Features_competition_train.tar.gz !tar xf data123004/Features_competition_test_A.tar.gz !tar xf data123009/Features_competition_test_B.tar.gz !cp data122998/label_cls14_train.json . !rm -rf data12*
/home/aistudio/data
In [2]
import osimport sysimport jsonimport randomimport pickleimport numpy as np
- 解压好数据之后，首先对label标注文件进行分割。本赛题的视频数据帧数不固定，单个pkl文件包含的乒乓球动作数量也不固定，参考BMN_tabletennis的数据分割方式，使用宽4s的滑窗,把每一个视频里的动作片段提取出来,分割为4X25=100帧的数据。
In [3]
source_path = "/home/aistudio/data/label_cls14_train.json"
In [ ]
import jsonwith open('/home/aistudio/data/label_cls14_train.json') as f:
data = json.load(f)
f.close()
In [5]
#按照9:1划分训练 测试集l=len(data['gts'])
l=int(l*0.1)
val = {'gts': data['gts'][0:l], 'fps': 25}
jsonString = json.dumps(val, indent=4, ensure_ascii=False)
jsonFile = open('/home/aistudio/data/label_cls14_val.json', 'w')
jsonFile.write(jsonString)
jsonFile.close()
train = {'gts': data['gts'][l:], 'fps': 25}
jsonString = json.dumps(train, indent=4, ensure_ascii=False)
jsonFile = open('/home/aistudio/data/label_cls14_train.json', 'w')
jsonFile.write(jsonString)
jsonFile.close()
In [6]
"""
get instance for bmn
使用winds=4的滑窗，将所有子窗口的长度之和小于winds的进行合并
合并后，父窗口代表bmn训练数据，子窗口代表tsn训练数据
"""import osimport sysimport jsonimport randomimport pickleimport numpy as npimport math# for table tennisbmn_window = 4dataset = "/home/aistudio/data"feat_dir = dataset + '/Features_competition_train'out_dir = dataset + '/Input_for_bmn'label_files = { 'train': 'label_cls14_train.json', 'validation': 'label_cls14_val.json'}global fpsdef gen_gts_for_bmn(gts_data):
"""
@param, gts_data, original gts for action detection
@return, gts_bmn, output gts dict for bmn
"""
fps = gts_data['fps']
gts_bmn = {'fps': fps, 'gts': []} for sub_item in gts_data['gts']:
url = sub_item['url']
max_length = sub_item['total_frames']
gts_bmn['gts'].append({ 'url': url, 'total_frames': max_length, 'root_actions': []
})
sub_actions = sub_item['actions'] # 跳过没有动作的片段
if len(sub_actions) == 0: continue
# duration > bmn_window， 动作持续时间大于bmn_windows，直接删除
for idx, sub_action in enumerate(sub_actions): if sub_action['end_id'] - sub_action['start_id'] > bmn_window:
sub_actions.pop(idx) # 【滑动窗口，把每一个视频里的动作片段提取出来】
root_actions = [sub_actions[0]] # before_id, 前一动作的最后一帧
# after_id, 后一动作的第一帧
before_id = 0
for idx in range(1, len(sub_actions)):
cur_action = sub_actions[idx]
duration = (cur_action['end_id'] - root_actions[0]['start_id']) if duration > bmn_window: # windows只能包住一个动作就包，包不住就包多个
after_id = cur_action['start_id']
gts_bmn['gts'][-1]['root_actions'].append({ 'before_id':
before_id, 'after_id':
after_id, 'actions':
root_actions
})
before_id = root_actions[-1]['end_id'] #更新滑窗
root_actions = [cur_action] else:
root_actions.append(cur_action) if idx == len(sub_actions) - 1:
after_id = max_length
gts_bmn['gts'][-1]['root_actions'].append({ 'before_id':
before_id, 'after_id':
after_id, 'actions':
root_actions
}) return gts_bmndef combile_gts(gts_bmn, gts_process, mode):
"""
1、bmn_window 范围内只有一个动作，只取一个目标框
2、bmn_window 范围内有多个动作，取三个目标框(第一个动作、最后一个动作、所有动作)
"""
global fps
fps = gts_process['fps']
duration_second = bmn_window * 1.0
duration_frame = bmn_window * fps
feature_frame = duration_frame for item in gts_process['gts']:
url = item['url']
basename = os.path.basename(url).split('.')[0]
root_actions = item['root_actions'] # 把每一个视频里的动作片段提取出来
for root_action in root_actions:
segments = [] # all actions
segments.append({ 'actions': root_action['actions'], 'before_id': root_action['before_id'], 'after_id': root_action['after_id']
}) if len(root_action['actions']) > 1: #如果有多个动作，则第一个动作和最后一个动作，额外添加一次
# first action
segments.append({ 'actions': [root_action['actions'][0]], 'before_id':
root_action['before_id'], 'after_id':
root_action['actions'][1]['start_id']
}) # last action
segments.append({ 'actions': [root_action['actions'][-1]], 'before_id':
root_action['actions'][-2]['end_id'], 'after_id':
root_action['after_id']
}) # 把动作片段处理成window size大小，以适配BMN输入
for segment in segments:
before_id = segment['before_id']
after_id = segment['after_id']
actions = segment['actions'] # before_id到after_id太长了，从里面取window_size帧，要先确定一个起始点，然后动作都要包住
box0 = max(actions[-1]['end_id'] - bmn_window,
before_id) #确定起始点
box1 = min(actions[0]['start_id'],
after_id - bmn_window) #确实起始点
if box0 360: print(b)
start_frame = round(value['start'] * fps)
end_frame = round(value['end'] * fps) if end_frame > len(feature_video):
miss += 1
continue
feature_cut = [
feature_video[i] for i in range(start_frame, end_frame)
]
np_feature_cut = np.array(feature_cut, dtype=np.float32)
np.save(save_cut_name, np_feature_cut) print('miss number (broken sample):', miss)if __name__ == "__main__": if not os.path.exists(out_dir):
os.mkdir(out_dir)
gts_bmn = {} for item, value in label_files.items():
label_file = os.path.join(dataset, value)
gts_data = json.load(open(label_file, 'rb'))
gts_process = gen_gts_for_bmn(gts_data)
gts_bmn = combile_gts(gts_bmn, gts_process, item) with open(out_dir + '/label.json', 'w', encoding='utf-8') as f:
data = json.dumps(gts_bmn, indent=4, ensure_ascii=False)
f.write(data)
save_feature_to_numpy(gts_bmn, out_dir + '/feature')
save feature for bmn ... miss number (broken sample): 116
In [7]
import copyimport jsonimport reimport os
url = '/home/aistudio/data/Input_for_bmn/feature/'directory = os.fsencode(url)
count = 0target_set = []for file in os.listdir(directory):
filename = os.fsdecode(file)
target_name = filename.split('.npy')[0]
target_set.append(target_name)
count += 1print('Feature size:', len(target_set))with open('/home/aistudio/data/Input_for_bmn/label.json') as f:
data = json.load(f)
delet_set = []for key in data.keys(): if not key in target_set:
delet_set.append(key)print('(Label) Original size:', len(data))print('(Label) Deleted size:', len(delet_set))for item in delet_set:
data.pop(item, None)print('(Label) Fixed size:', len(data))
jsonString = json.dumps(data, indent=4, ensure_ascii=False)
jsonFile = open('/home/aistudio/data/Input_for_bmn/label_fixed.json', 'w')
jsonFile.write(jsonString)
jsonFile.close()
Feature size: 19712 (Label) Original size: 19828 (Label) Deleted size: 116 (Label) Fixed size: 19712
执行完毕后，在data/Input_for_bmn/目录中生成了新的标注文件label_fixed.json。下面开始分割训练集和测试集的数据。
- 执行以下脚本，分割训练集。
In [8]
!rm /home/aistudio/data/Features_competition_train/*.pkl
执行后在data/Features_competition_train/npy目录下生成了训练用的numpy数据。
In [3]
import osimport os.path as ospimport globimport pickleimport paddleimport numpy as np
file_list = glob.glob("/home/aistudio/data/Features_competition_test_B/*.pkl")
max_frames = 9000npy_path = ("/home/aistudio/data/Features_competition_test_B/npy/")if not osp.exists(npy_path):
os.makedirs(npy_path)for f in file_list:
video_feat = pickle.load(open(f, 'rb'))
tensor = paddle.to_tensor(video_feat['image_feature'])
pad_num = 9000 - tensor.shape[0]
pad1d = paddle.nn.Pad1D([0, pad_num])
tensor = paddle.transpose(tensor, [1, 0])
tensor = paddle.unsqueeze(tensor, axis=0)
tensor = pad1d(tensor)
tensor = paddle.squeeze(tensor, axis=0)
tensor = paddle.transpose(tensor, [1, 0])
sps = paddle.split(tensor, num_or_sections=90, axis=0) for i, s in enumerate(sps):
file_name = osp.join(npy_path, f.split('/')[-1].split('.')[0] + f"_{i}.npy")
np.save(file_name, s.detach().numpy()) pass
W0228 15:00:00.428351 176 device_context.cc:447] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 11.0, Runtime API Version: 10.1 W0228 15:00:00.432513 176 device_context.cc:465] device: 0, cuDNN Version: 7.6.
训练模型
数据集分割好之后，可以开始训练模型，使用以下命令进行模型训练。首先需要安装PaddleVideo的依赖包。
In [ ]
# 从Github上下载PaddleVideo代码# %cd ~/work/# 从Github上下载PaddleVideo代码# !git clone https://github.com/PaddlePaddle/PaddleVideo.git
In [ ]
%cd /home/aistudio/PaddleVideo/ !pip install -r requirements.txt
开始训练模型。 在/home/aistudio/work/PaddleVideo/applications/TableTennis/configs/bmn_tabletennis.yaml文件中更改文件的路径
DATASET: #DATASET field batch_size: 16 #single card bacth size test_batch_size: 1 num_workers: 8 train: format: "BMNDataset" file_path: "/home/aistudio/data/Input_for_bmn/label_fixed.json" subset: "train" valid: format: "BMNDataset" file_path: "/home/aistudio/data/Input_for_bmn/label_fixed.json" subset: "validation" test: format: "BMNDataset" test_mode: True file_path: "/home/aistudio/work/BMN/Input_for_bmn/label_fixed.json" subset: "validation"
PIPELINE: #PIPELINE field
train: #Mandotary, indicate the pipeline to deal with the training data
load_feat:
name: "LoadFeat"
feat_path: "/home/aistudio/data/Input_for_bmn/feature"
transform: #Mandotary, image transfrom operator
- GetMatchMap:
tscale: 100
- GetVideoLabel:
tscale: 100
dscale: 100
valid: #Mandotary, indicate the pipeline to deal with the training data
load_feat:
name: "LoadFeat"
feat_path: "/home/aistudio/data/Input_for_bmn/feature"
transform: #Mandotary, image transfrom operator
- GetMatchMap:
tscale: 100
- GetVideoLabel:
tscale: 100
dscale: 100
In [ ]
%cd /home/aistudio/PaddleVideo/#!python main.py -c configs/localization/bmn.yaml!python -B main.py --validate -c applications/TableTennis/configs/bmn_tabletennis.yaml
实际共训练了18个epoch。
模型导出
将训练好的模型导出用于推理预测，执行以下脚本。
In [5]
%cd /home/aistudio/ !python PaddleVideo/tools/export_model.py -c PaddleVideo/applications/TableTennis/configs/bmn_tabletennis.yaml -p PaddleVideo/output/BMN/BMN_epoch_00018.pdparams -o PaddleVideo/inference/BMN
/home/aistudio Building model(BMN)... W0228 15:04:40.308302 894 device_context.cc:447] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 11.0, Runtime API Version: 10.1 W0228 15:04:40.312518 894 device_context.cc:465] device: 0, cuDNN Version: 7.6. Loading params from (PaddleVideo/output/BMN/BMN_epoch_00018.pdparams)... /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/paddle/fluid/layers/utils.py:77: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' is deprecated, and in 3.8 it will stop working return (isinstance(seq, collections.Sequence) and model (BMN) has been already saved in (PaddleVideo/inference/BMN).
推理预测
使用导出的模型进行推理预测，执行以下命令。
In [ ]
%cd /home/aistudio/PaddleVideo/ !python tools/predict.py --input_file /home/aistudio/data/Features_competition_test_B/npy \ --config configs/localization/bmn.yaml \ --model_file inference/BMN/BMN.pdmodel \ --params_file inference/BMN/BMN.pdiparams \ --use_gpu=True \ --use_tensorrt=False
上面程序输出的json文件是分割后的预测结果，还需要将这些文件组合到一起。执行以下脚本：
In [6]
import osimport jsonimport glob json_path = "/home/aistudio/data/Features_competition_test_B/npy/"json_files = glob.glob(os.path.join(json_path, '*_*.json'))
In [7]
len(json_files)
8190
In [8]
submit_dic = {"version": None, "results": {}, "external_data": {}
}
results = submit_dic['results']for json_file in json_files:
j = json.load(open(json_file, 'r'))
old_video_name = list(j.keys())[0]
video_name = list(j.keys())[0].split('/')[-1].split('.')[0]
video_name, video_no = video_name.split('_')
start_id = int(video_no) * 4
if len(j[old_video_name]) == 0: continue
for i, top in enumerate(j[old_video_name]): if video_name in results.keys():
results[video_name].append({'score': round(top['score'], 2), 'segment': [round(top['segment'][0] + start_id, 2), round(top['segment'][1] + start_id, 2)]}) else:
results[video_name] = [{'score':round(top['score'], 2), 'segment': [round(top['segment'][0] + start_id, 2), round(top['segment'][1] + start_id, 2)]}]
json.dump(submit_dic, open('/home/aistudio/submission.json', 'w', encoding='utf-8'))
最后会在用户目录生成submission.json文件，压缩后下载提交即可。
In [9]
%cd /home/aistudio/ !zip submission.zip submission.json
/home/aistudio updating: submission.json (deflated 91%)
最终A榜得分44.45754， B榜得分45.22373
总结和改进思路
- 尝试了SSTAP中的"Temporal feature shift"进行数据扩增，效果不增反降，可能是使用方法不对。
-
BMN输出的proposal后处理方法只采用了不可学习的NMS方法，没有尝试引入Softer-nms等。
-
没有引入PGCN等图神经网络对Proposal进行后处理，或许可以提高效果。
以上就是基于飞桨实现乒乓球时序动作定位大赛 ：B榜第12名方案的详细内容，更多请关注启程网【www.vszh.cn】AI 人工智能栏目。
如非特殊说明，本站内容均来自于网友自主分享，如有任何问题均请联系我们进行处理！
猜您喜欢
奥奇传说光明王精灵定位及技能解析
2026-07-07奥奇传说光明王技能介绍，光明王是新出的精灵，每个大回合开始时，令自身获得效果：第一次受击时清除目标所有增益效果并吸收目标50气势，第二次受击时吸收目标15%全属性，第三次受击时获得50%减伤(持续1个大回合)。 奥奇传说光明王精灵定位及技能解析： 一、精灵定位 光系召唤群体免疫 二、精灵属性 光 三、精灵职业 平衡，召唤师，源起 四、属性评分 生命:A|攻击:S|物防:S|魔防:S|速度:A 五、...
卡厄思梦境全角色职业定位介绍
2026-06-04卡厄思梦境全角色职业定位一览，角色的职业并不影响角色的体验，但是可以通过了解角色职业的定位大致判断出角色在阵容中的定位，职业不同会影响卡牌中立灵光一闪的效果，装备适用效果以及对应的职业专属中立卡。 卡厄思梦境全角色职业定位介绍： 角色的职业并不影响角色的体验，但是可以通过了解角色职业的定位大致判断出角色在阵容中的定位，职业不同会影响卡牌中立灵光一闪的效果，装备适用效果以及对应的职业专属中立卡 新手...
如何在 Windows 11 中开启“超级本地文件搜索” 快速定位 TB 级文档方法
2026-06-02启用Windows11“增强”索引模式并配置内容解析与自定义路径，是实现TB级文件秒级正文搜索的必要条件。需依次切换搜索模式、勾选文档格式内容索引、添加非标准路径、重启WindowsSearch服务以触发全盘重建。 当你需要在Windows11中秒级定位存于D:Projects、E:Archive或OneDrive同步文件夹里的TB级合同、图纸、科研报告时，若当前搜索仅返回文件名、无法匹配“甲方签...
如何在 Windows 11 中开启“超级本地全量搜索” 快速定位电脑中 TB 级海量文档
2026-05-30必须启用“增强”索引模式：1.Win+I进入设置→隐私和安全性→搜索Windows；2.在“查找我的文件”中点击当前模式（如“经典”）→选“增强”；3.确保电脑通电并空闲，点击确定开始全盘扫描；4.等待索引状态显示“已完成”或“已就绪”，TB级数据在NVMe盘需15～45分钟、SATA盘需2～6小时。 您在Windows11中存储了科研数据集、工程图纸库或数万份归档合同，但每次搜索“2025年采购...
解决Windows 11内存时序不兼容蓝屏 调整内存XMP及频率详细教程方案
2026-05-30禁用XMP/EXPO回归JEDEC标准是排查Windows11蓝屏的首要步骤，需进入BIOS关闭XMP/EXPO、确认频率回落至DDR4-2133/2666或DDR5-4800、电压恢复默认值，保存后观察48小时；若稳定则问题源于XMP配置。 Windows11频繁蓝屏且错误代码多为KERNEL_SECURITY_CHECK_FAILURE（0x00000139）、MEMORY_MANAGEMEN...
-
崩坏：星穹铁道千冶•刃核心定位
2026-05-29崩坏星穹铁道千冶•刃定位是什么，千冶·刃是「五星火系虚无辅/副/主C」，定位兼具辅助与输出能力的辅C，配队灵活且就业面广。是一个可以给队伍增伤，和给敌人挂易伤和减防debuff，如果是辅助虚无角色，还能提升虚无角色的大招伤害！ 崩坏：星穹铁道千冶•刃核心定位： 命途：虚无 属性：火令 解放技能强化自身·频繁施加减防易伤·额外战技追击 千冶·刃是一名通过展开特殊结界获得强化和全新技能的输出型角色。 ...
-
小红书怎么设置定位_小红书笔记添加地点位置教程【教程】
2026-05-28小红书笔记无法添加或准确显示地点位置，主要因定位权限未开启、地图数据未同步、POI未收录或操作路径错误；需依次开启定位权限、启用高精度定位、手动添加已有POI、创建新地点或企业号认领门店。 如果您在小红书发布笔记时无法添加或准确显示地点位置，则可能是由于定位权限未开启、地图数据未同步、POI未收录或操作路径错误所致。以下是实现笔记精准添加地点位置的具体方法： 一、开启小红书及系统级定位权限 小红书...
苹果手机怎么改定位？iPhone模拟地理位置设置方法【技巧】
2026-05-28可借助Xcode、爱思助手、iTools/AnyTo、外置硬件或时区调整五种方法实现iPhone虚拟定位：Xcode仅影响调试应用；爱思助手覆盖全局；iTools等支持轨迹模拟；硬件设备绕过软件检测；时区+飞行模式轻量欺骗部分应用。 如果您在使用iPhone时需要临时更改设备报告的地理位置，例如用于测试应用、绕过区域限制或模拟特定地点场景，则需借助外部工具或系统级调试功能实现位置伪造。以下是几种经...