2025-06-19 16:28:13
近日◈✿,抖音内容技术团队开源了 ContentV◈✿,一种面向视频生成任务的高效训练方案◈✿。该方案在多项技术优化的基础上mg不朽情缘◈✿。◈✿,使用 256 块 NPU◈✿,在约 4 周内完成了一个 8B 参数模型的训练◈✿。尽管资源有限◈✿,ContentV 在多个评估维度上取得了与现有主流方案相近的生成效果海贼王娜米3◈✿。
该工作探索了在有限算力条件下训练视频生成模型的可行路径◈✿。目前◈✿,推理代码与模型权重已对外开放◈✿。
CogVideoX海贼王娜米3◈✿、HunyuanVideo 和 Wan2.1 等一系列优秀的开源工作表明◈✿,视频生成的关键并不在于架构上的特殊设计◈✿,而在于如何高效利用有限的数据资源◈✿,并有效对齐人类偏好海贼王娜米3◈✿。
为验证 ContentV 方案的通用性◈✿,本次开源的版本在扩散模型部分采用了经典的文生图模型 Stable Diffusion 3.5 Large◈✿。为了适配视频模态◈✿,模型在结构上仅做了以下两项必要调整◈✿:
将原始图像 VAE 替换为 Wan2.1 中使用的 3D-VAE◈✿;将 2D 位置编码升级为 3D 版本◈✿。在具体编码方式上◈✿,团队对比了传统的绝对位置编码与主流的旋转位置编码◈✿。评估结果显示◈✿,两者在客观指标和主观感受上差异较小◈✿,因此保留了计算更高效的绝对位置编码方案◈✿。
上述的最小化结构改动◈✿,在解锁了视频生成能力的同时◈✿,也最大限度地保留了原模型的图像生成能力◈✿。实验证明◈✿,在新的 VAE 和位置编码的适配阶段◈✿,沿用 Flow Matching 的训练方式◈✿,仅需 1000 步左右的微调◈✿,就能基本还原模型的图片生成能力◈✿,大幅节省图片预训练阶段的训练成本◈✿。
在视频生成的预训练阶段◈✿,为加速收敛实现高效训练◈✿,研究团队设计了一套从「低清短片」到「高清长片」的多阶段渐进式训练流程◈✿,逐步引导模型学习时间维度与空间维度上的动态表征◈✿,从而提升视频的连续性◈✿、动态表现力和画面细节◈✿。
此外◈✿,实验证明◈✿,在推理阶段引入非线性采样步长机制(Flow Shift)能够显著提升视频的整体生成质量◈✿。通过多组对比实验不朽情缘官网登录入口下载◈✿!◈✿,团队最终确定了最优的采样策略◈✿,进一步优化了生成效果◈✿。
在后训练阶段海贼王娜米3mg不朽情缘游戏手机版◈✿,除了使用高质量数据集进行微调外◈✿,通过 RLHF 或 DPO 等对齐人类偏好的监督训练◈✿,也能显著提升视频生成质量◈✿。然而◈✿,这类方法通常依赖大量人工标注◈✿,用于训练奖励模型或直接监督扩散模型◈✿。同时◈✿,相较于图像◈✿,视频的序列长度显著增加了 RLHF 和 DPO 的训练资源需求不朽浪漫试玩平台官网◈✿,◈✿。
为此海贼王娜米3◈✿,ContentV 研究团队提出了一种轻量级的 RLHF 训练方案◈✿,旨在不依赖人工标注的前提下◈✿,低成本提升视频质量◈✿:
利用开源的图像奖励模型对生成视频的单帧进行监督◈✿。相较于视频场景mg不朽情缘游戏手机版◈✿,目前图像奖励模型的训练数据更易获取◈✿,且在实际效果中表现更佳◈✿。实验证明◈✿,由于 MM DiT 采用全局注意力机制◈✿,仅优化单帧即可带动整体视频质量的提升◈✿;将监督范围限制在生成视频的前 1 秒◈✿,相较于对完整视频进行监督◈✿,可大幅减少训练资源的消耗◈✿,同时获得相近的质量提升效果◈✿。
采用上述策略后◈✿,在无需人工标注的情况下◈✿,仅使用少量训练资源◈✿,便可显著提升画面质量◈✿。RLHF 微调后◈✿,模型在视觉质量(VQ)指标上的表现大幅提升◈✿,评估胜率高达 89.38%◈✿。
在 VBench 这一主流视频生成评测基准上◈✿,ContentV(8B)取得了 85.14 的综合得分◈✿,表现优于多个现有的商业闭源模型◈✿,包括 Sora◈✿、Kling 1.6 和 Gen-3 等mg不朽情缘游戏手机版◈✿。
为更贴近真实用户偏好◈✿,研究团队围绕感知质量◈✿、指令跟随◈✿、物理一致性和视觉效果四个维度开展了人类偏好评估◈✿。结果显示◈✿,ContentV 在整体表现上与 CogVideoX-5B◈✿、HunyuanVideo-13B 和 Wan2.1-14B 等主流开源模型相比具有一定优势◈✿。
06月08日◈✿,香港城市当代舞蹈团北京献演港味歌舞剧《大乡下话》mg电子◈✿,爱游戏彩票app◈✿,888真人娱乐平台◈✿,九洲十年信誉娱乐平台◈✿,im电竞娱乐官网
06月08日◈✿,南水北调◈✿:一渠通南北 清流润万家◈✿,lol赛事竞猜app◈✿,云顶娱乐网页◈✿,米乐m6网页版在线登录◈✿,威廉客户端app下载
06月08日海贼王娜米3◈✿,长三角一体化标范区◈✿:发布新一轮重大建设项目三年行动计划◈✿,bet亚洲版在线体育◈✿,大富豪的网址多少◈✿,皇冠体育首页官网◈✿,CQ电子游戏
06月08日“取暖神器”变伤人“凶器”◈✿,冬季取暖电器该怎样正确使用?优博体育平台ManBetx外围官网火狐体育官网登陆不了火狐体育iosapp下载
06月08日中新健康丨冬季呼吸道疾病频发 广西专家称中医药特色疗法有疗效奥门真人彩全民诈金花现金版酷游体育网址中欧官网vip入口
06月08日文旅局长的“卷”也是透视地方发展的窗口AG技巧平台leyu乐鱼在线开户澳门js国际银河国际官网……
06月08日◈✿,从春节申遗看中华文化走向世界◈✿,哪个平台又二八杠的◈✿,永乐国际乐在其中勇往直前◈✿,博天堂在线试玩◈✿,澳门永利下载链接
06月08日◈✿,卓杰“支教记”◈✿,英皇娱乐APP安卓海贼王娜米3mg不朽情缘游戏手机版◈✿,澳门线上网投可靠吗◈✿,博雅德州手机官网◈✿,真金斗地主官方版
06月08日短视频助力两岸青年创业追梦大嘴棋牌游戏大厅官网乐游游戏app江南游戏官方网站凯发娱乐手机版官方登录
06月08日◈✿,2024年青海非物质文化遗产精品展开展◈✿,豫游棋牌游戏中心◈✿,时时送◈✿,中超足球官方网站◈✿,网络千炮捕鱼PC版下载
06月08日◈✿,我国国家公园建设取得积极成效 生物多样性稳定增加mg不朽情缘游戏手机版◈✿,真人AG账号回收◈✿,威尼斯人官网首页◈✿,365网正规平台黑钱吗◈✿,凤凰彩票登陆
06月08日◈✿,天舟货运飞船发射频次调整为“两年三发”◈✿,新濠天地网投平台不朽情缘官方网站◈✿。◈✿,BG大游娱乐APP下载◈✿,足彩外围有哪些平台◈✿,网上真钱炸金花游戏
06月08日政协第十四届广州市委员会第三次会议开幕财经时报国际彩票平台包赚体育开户网站88266凤凰
06月08日时政快讯丨习近平将同法国总统和欧盟委员会主席举行中法欧领导人三方会晤365极电竞龙虎国际网址注册就送300威尼斯官网地址
06月08日近距离感受这份帅气◈✿!海军陆战队员珠海航展地面训练英气逼人188体育外围首页伟德体育平台开户网址天博游戏体育怎么玩棋牌游戏牛牛
谜探路德维希海贼王娜米3◈✿,无法告白习言道|从三对关系◈✿,读懂习近平的两会关切亚新在线官网PG电子游戏下载地址2297娱乐app官方网站皇冠体育软件
全红婵给妈妈买手机引争议◈✿,七夕礼物大PK守护好中华民族文化瑰宝和自然珍宝短评·总书记的改革论|要坚持两手发力万博网址maxRORapp平台银河国际网址是多少欧宝开户
EDG击败FUT获首胜◈✿,丁俊晖0-4不敌特鲁姆普买车容易养车难◈✿!新能源车险的“两难”困境如何破解?欧博备用网址多宝鱼体育官网永利线跳高高试玩平台
北交所上市公司增至260家mg不朽情缘游戏手机版◈✿,特斯拉回应车辆坠崖致夫妻身亡一季度空气和水生态环境质量持续改善澳门百老汇下载天博官网AG真人国际厅网站百家乐在哪开户
BLG 2-1 TES◈✿,近七成受访者感到线下社交能力退化古井贡酒“固态白酒智能化酿造5G工厂”获工信部认定bet9登录线路入口万博网页投注威尼斯人网页版登录ca88网赌
如何看待广西民警为救落水者牺牲◈✿,小伙返乡花14年种国产咖啡销往全球公安机关持续强化水域巡查巡护等安全防护措施龙8平台网址ag亚美银河正规网址pg电子游戏麻将胡了
原来大熊猫的眼妆都不一样◈✿,网友称农村压岁钱畸形攀比严重妊娠期糖尿病预测有了新方法万博manbext网页版下载爱慱体育平台美高梅全站APPJ9九游会平台