ballbet贝博摘要特定领域的视频解说已成为当前多媒体研究的热点问题其中一个主要应用领域是体育运动的解说与分析=文中介绍一个实用的足球比赛场景的三维重建和视频解说系统E首先通过足球比赛的视频序列恢复场景的三维模型包括球员的位置F速度等参数以及足球的运动轨迹并根据这些信息和特定的先验知识识别球员的动作行为G进而对比赛过程加以评论G最后构造一个’@?H7,的虚拟环境用户可以在球场上漫游从任意视角观看比赛=

　　关键词三维重建视频解说计算机动画跟踪中图法分类号10I#!

　　近年来随着人们对视频信息的需求迅速增加使得视频解说B/‘*?;aHH;AaA‘;HD成为多媒体领域一个重要的研究方向!?=传统的视频解说系统主要研究视频分割F信息检索和提取基于直观的特征如颜色F纹理F形状和运动等=尽管这些特征便于提取在/@?c和/@?c;中也取得广泛应用但是它们表示的只是低层次信息不适用需要高层次信息B语义信息D的视频解说=

　　由于语义信息强烈依赖于应用背景因此通用的解说系统很难实现=因此特定领域的视频解说是当前多媒体研究的热点其中一个主要应用领域为体育运动的解说与分析=国内外在这一领域进行了广泛的研究如/41的橄榄球分

　　析系统$?6a^)等开发的篮球分析系统I?6^*f‘)等开发的网球分析系统?以及7;Hc等开发的足球分析系统?=这些系统具有统一的流程E通过提取球员的信息包括位置F速度F加速度F移动方向等利用领域知识B运动规则D进行分析从而将球员的行为与某个事件关联起来该事件代表的是高层次的语义信息8?=这些系统存在的主要问题是由于错误识别和缺失信息而导致分析结果不稳定=另外仅使用位置和速度信息也限制了语义信息的种类=6;’’?)/aH系统;?通过视频重建足球场景的三维模型比较好地实现了球员跟踪和位置计算但该系统使用图像模板代的三维模型生成的动画不能达到逼真效果=

　　针对上述系统的不足我们实现了一个实用的足球比赛场景的三维重建和视频解说系统=与前人不同我们在共面的假设下通过单个视频序列实现三维重建过程2a,aH滤

　　收稿日期E$%%$3%83$C=本课题得到国家9九七三:重点基础研究发展规划项目B7!##C%I%8%%D和中科院计算所领域前沿青年创新基金B$%%!8$C%3!ID资助=杜威男!#;年生博士研究生主要研究方向为计算机图形学F基于图像的绘制F人机交互技术等=廖永女!#;8年生硕士研究生主要研究方向为人工智能F大规模知识处理=刘国翌男!#;;年生博士研究生主要研究方向为计算机图形学=刘彦宏男!#;C年生硕士研究万生方主数要据研究方向为计算机视觉F可视化技术=陈睿男!#;8年生博士研究生主要研究方向为计算机图形学=李华男!#8年生博士研究员博士生导师主要研究方向为计算机图形学F计算几何F虚拟现实等=

　　波用于消除噪声 !另 外 系 统 利 用 有 限 状 态 自 动 机 识 别 球 员 的动作行为 对 比赛过程进行自动解说!

　　当一个球员在视频序列中首次出现时 应 该识 别 并 辨 认 他 属 于 哪 个 球 队 系 统 通 过 匹 配 球 员 衣 服 的 颜 色 实 现 这 一 功 能 !在 预 处 理 时 对 每一球队 通 过手工交互方式选择典型的球员矩形区域作为球

　　队模板 !计 算候选球员区域与模板的归一化颜色直方图之间的相关 该球员属于相关度高的球队!

　　最后 利 用球员的前后帧信息 如 速度 ’位 置 ’面 积 结 合 基 于 相 关的模板匹配方法 实 现球员的跟踪 !球 员在争球过程中经常会由于 彼此贴近而发生遮挡 遮 挡是跟踪问题的主要难点 !当 一个球员几乎 完 全 遮 挡 住 另 一 个 球 员 时 模 板 匹 配 方 法 失 效 !但 是 当 帧 速 率 较 高 时 球 员 从 分 离 到 完 全 遮 挡 再 到 分 离 总 会 有 一 个 部 分 遮 挡 的 过 程! 在部分遮挡时 利 用前后帧相关信息 结 合模板匹配方法可以得到较 高 的识别率 EFG!如 彩图 (%见 彩图页 B&所 示跟踪结果 整 个序列共 $@C 帧 图 像分辨 率 为 )C(H (FF%见 IJJ+2KKLMNOOO!P-LQ,!RIKS Q,QL,K

　　TURR,VNM-!IJN&!更 多跟踪结果如彩图 $%见 彩 图 页 BL&所 示 !图 中 实 线 框 为 红 队 队 员 虚 线 框 为 白 队 队 员 不 同 颜 色 对 应 不 同 的 球 员 !其 中大的白色虚线框内两队队员发生遮挡 本 文算法仍能够正确跟踪!

　　通过对球员跟踪得到每个球员的图像坐标 !为 了恢复球 员在球 场 上 的 位 置 必 须 计 算 视 频 序 列 中 每 一 帧 的 视 点 即

　　的三维模型 !利 用基于颜色的分割算法提取草坪 ’足 球 ’球 员 和直线等图像特征 基 于模板的相关匹配算法负责在后续帧

　　摄像机 必 须 定 标 !在 转 播 过 程 中 由 于 摄 像 机 的 位 置 一 般 保

　　%(&自 动解说模块 !根 据提取的三维信息 包 括球员和足 球的轨 迹 利 用 有 限 状 态 自 动 机 分 析 球 员 的 行 为 模 型 !自 动 解说模块根据这些动作模型 用 文字的方式 %解 说词 &将 它们

　　在 第 一 帧 中 通 过 提 取 D个 以 上 的 特 征 点 可 以 用 线 性 方法求出摄像机的投影矩阵 !对 投影矩阵进行分解可得到视 点 ’视 线方向和焦长度 E$@G!在 实际应用中 如 果镜头对准球门

　　和 禁区一带 很 容 易 从 图 像 中 找 到 D个 以 上 的 特 征 点 %大 小

　　因为禁区矩形 %如 彩图 )M的 透视投影不再是矩形 将 其 重新校 正 为 矩 形 相 当 于 将 摄 像 机 视 点 调 整 到 正 上 方 而 图

　　根据足 球 场 景 的 特 点 绿 色 的 草 坪 在 图 像 中 占 大 多 数 区 域

　　首先 根 据足球场地的颜色特征 44 草坪 区 象 素 的 绿 色 分 量 大 于红色与蓝色分量 利 用颜色分量差值的统计信息 从 视频序列中自 动分割球员

　　如果一个物于地平面 通 过单幅图像可以计算出物 体的坐标 !但 是 当 足球在空中运行时 因 为不知道其飞行的

　　假设足球在空中的运动轨迹是一条抛物线 !抛 物线的两 个 端点在地面 上 !且 抛 物 线 平 面 与 地 面 垂 直 不 考 虑 香 蕉 球 的情况 #$在 图像 上 !用 直 线 连 接 抛 物 线 的 起 点 和 终 点 !从 足 球的位置向地面作垂线与直线相交 !该 线段长度为足球高度 的投影 !垂 足的 %!&坐 标即为足球的 %!&坐 标 $利 用一些已 知高度的物体作为参照 !可 以求出足球的高度 !即 ’坐 标 (然 后用第 )$*节 的方法计算垂足的 %和 &坐标 !得 到足球在空 中的三 维 坐 标 $计 算 若 干 帧 以 后 !用 参 数 估 计 的 方 法 拟 合 抛 物线 !求 出 曲 线 方 程 !这 样 就 可 以 比 较 好 地 逼 近 足 球 在 空 中 的运动 轨 迹 $该 方 法 的 优 点 是 简 单 易 行 !拟 和 曲 线 还 可 以 消 除 噪 声 的 影 响 (缺 点 是 当 足 球 旋 转 弧 度 较 大 的 时 候 误 差 较 大 $如 彩图 +见 彩 图 页 ,#所 示 为 计 算 足 球 轨 迹 的 示 意 图 及 其处理 结 果 $我 们 使 用 球 门 柱 作 为 参 考 !计 算 足 球 在 空 中 的 高度 $如 彩图 +-中 !深 色点表示足球在空中的位置 !白 色曲 线为拟合的抛物线滤波

　　由于图像噪声的影响以及跟踪错误的累积 !用 上面方法 得到的球员和足球坐标误差较大 !如 彩图 56见 彩图页 ,#所 示 $我 们使用 76896:滤 波;*=将 轨迹平滑 !去 除噪声的影响$

　　规 则 R$假 设 足 球 在 距 离 其 最 近 的 球 员 的 控 制 范 围 之 内 !该 球员进入带球状态$

　　规则 S$如 果 足 球 离 开 了 该 球 员 的 控 制 范 围 !则 足 球 被 踢出 !该 球员进入踢球状态Q

　　规则 .$某 球 员 连 续 带 球 !若 干 对 方 球 员 出 现 在 该 球 员 跑动方向上且距离较近 !该 球员进入攻防状态$

　　这样 !利 用有限状态自动机可以很容易地识别球员的行 为 模 型 $另 外 !球 员 跑 动 轨 迹 蕴 含 丰 富 的 信 息 !如 速 度 U加 速 度和曲 率 !这 些 信 息 也 是 重 要 的 行 为 参 数 !对 于 自 动 解 说 是

　　结合 76896:滤 波的跟踪算法 !从 开始的预测位置 !精 确 搜索定位每个球员的位置和速度 $两 条约束用于限制搜索的 范围 Q#球 员 的 最 大 跑 动 速 度 不 能 超 过 预 先 设 定 的 阈 值( *#球 员的位置不能重叠 $用 76896:滤 波处理后 !球 员 的 运 动 轨迹变得平滑 !基 本消除了噪声的 影 响 !如 彩 图 5-见 彩

　　自动解说根据行为分析得到的球员参数 !用 文字的方式 解 说词 #将 它们组织起来 !对 比赛过程加以评论 $实 际上 !我 们的系统建立了一个解说词库 !由 自动解说模块完成从球员 参数到解说词的映射过程$

　　行为分析识别球员的动作行为 !传 统的方法大都使用动 作模板 $但 是 !对 于大视角的足球场景 !由 于球员区域太小而 不能用 于 识 别 $为 此 !我 们 提 出 一 种 基 于 有 限 状 态 自 动 机 的 球员行为识别方法 !该 方法通过足球和球员的轨迹分析球员 行为$

　　系统用状态空间表示球员的行为模型 $根 据足球和球员 的 关 系 !定 义 如 下 几 类 行 为 状 态 Q无 球 !带 球 !踢 球 !攻 防 !传 球 !抢 断 !过 人 !射 门 $在 比赛的过程中 !球 员的行为随时间改 变 !表 示 为 状万态方之数间据的 转 换 !使 用 有 限 状 态 自 动 机 可 以 很 方

　　见 彩图页 ,XX#所 示 !包 括 跟 踪 U重 建 U分 析 和 解 说 等 功 能 $左 边的面板用于设置颜色分割的阈值 !右 上窗口显示跟踪和三 维重建的结果 !右 下窗口给出视频解说的结果 $实 验表明 !当 三维重建的结果误差较小时 !行 为识别和自动解说的结果比 较 准确 在 我 们 使 用 的 这 个 例 子 中 !球 员 的 动 作 全 部 被 正 确 识别 #$

　　根据球员参数和足球运动轨迹 !系 统自动生成对应的计 算机动 画 $主 要 包 括 场 景 绘 制 和 人 体 运 动 控 制 两 部 分 $场 景 绘制用 Z[\:]^构 造足球场景的三维模型 (人 体运动控制完 成 最 关 键 的 人 物 动 画 !控 制 虚 拟 球 员 沿 着 跑 动 轨 迹 进 行 运

　　动 !系 统 建 立 标 准 的 运 动 参 数 库 从 参 数 库 中 选 出 最 接 近 的 运动参数 映 射到球员身上 !目 前模型库采用手工方式建立! 系统提供一个 #$%&’(的 虚拟环境 用 户可以在球场上任意 漫 游 从 任意 视 角 观 看 比 赛 的 进 行 !如 彩 图 )*见 彩 图 页 +,,- 给出漫游的绘制效果 !更 多结果见彩图 .*见 彩图页 +,,-!

　　本 文 介 绍 一 个 实 用 的 足 球 比 赛 场 景 的 三 维 重 建 和 视 频 解说系统 !系 统通过足球比赛的录像片断恢复场景的三维模 型 根 据特定的先验知识 识 别球员的动作行为并进行解说 最后生 成 动 画 再 现 精 彩 的 比 赛 片 断 !与 前 人 的 工 作 相 比 本 文 具有以下 0个 主 要 贡 献 1*2-提 出 了 一 个 基 于 颜 色 差 分 的 分割方 法 避 免 了 边 界 线 的 干 扰 将 前 后 帧 相 关 信 息 与 模 板

　　单 个 视 频 序 列 实 现 球 员 位 置 的 三 维 重 建 45675&滤 波 用 于 平滑球员的运动轨迹 3*.-对 于足球在空中运动的情况 提 出 了 一个基于抛物线 的 轨 迹 计 算 方 法 3*0-使 用 规 则 而 不 是 图 像模板表示球员的行为模型 利 用有限状态自动机对球员的 状态进 行 识 别 !系 统 建 立 真 正 的 三 维 虚 拟 环 境 用 户 可 以 在 球场任意漫游!

　　系统的改进工 作 集 中 于 以 下 两 方 面 1*2-目 前 的 自 动 解 说仅通过足球和球员的轨迹分析球员行为 所 能表达的行为 模型数 量 有 限 识 别 的 稳 定 性 不 高 如 何 将 图 像 模 板 与 自 动 机结合起来提高系统的识别率是我们今后的一个研究工作!

　　*)-使 用简 单 的 #$%&’(技 术 建 立 的 人 体 模 型 不 够 逼 真 不 能产生 复 杂 的 动 作 需 要 用 真 实 的 人 体 网 格 数 据 从 图 像 上 捕捉运动参数 才 能生成逼真的动画 再 现精彩的比赛片断!