心源美业 · 技术研判

播客 × 小新同学数字人
「让播客被小新同学动态讲出来」融合方案研究

研究 + 真机探底 · 2026-11-13 · 已实跑 8 秒切片验证卡通口型
结论先行

可行,而且是一次「一加一大于二」的质变

把「听播客」升级为「看小新同学开口讲播客」在技术上是完全走得通的, 而且巧在——两件事都是火山引擎 / 字节同一生态,鉴权、音频、形象链路天然同源。 最匹配的引擎是火山引擎 OmniHuman 1.5(即梦同源数字人模型): 单张图 + 音频 → 对口型视频,原生支持卡通形象(小新同学正是卡通 IP), 甚至原生支持多人对话分轨路由——这正好接住播客的「双主播」。

之前那个 8 秒动态人,用的就是同一族技术的「图 + 音频对口型」(Seedance 系), 所以这次是同源升级,不是另起炉灶。

一、我们手上已经有什么(现状盘点)

资产现状状态
豆包语音播客双主播(咪仔女声 + 大义男声)对话式播客,整段 mp3 已跑通、已发群✅ 已跑通
小新同学 IP5 套表情静态图(main/assign/celebrate/encourage/remind),卡通形象✅ 已有
8 秒对口型视频xiaoxin_talking_v1.mp4:图 + 音频 → 开口说话,已验证✅ 已验证
播客「分角色音轨」当前只拿了整段 audio_url,未逐轮保存「谁说的哪句」⚠️ 需改造

二、核心命题:双主播音频,怎么让小新同学「讲」

这是本次研究最关键的设计决策——播客是两个音色(一男一女)在对话,而小新同学是单一卡通形象。三套范式:

范式 A 小新同学独播(最简)

把播客改成「小新同学单人主播」,一条音频只对应一个形象、一个口型,无任何冲突。

  • 优点:最快落地,先验证卡通口型质量
  • 代价:丢掉「双主播对话」的味道
  • 成本:最低,只需一份音轨

范式 B 双形象分角色(最还原)

给小新配一个搭档形象(如「大义先生」或小新反色/换装版),女声轨驱动小新、男声轨驱动搭档。

  • 优点:完整保留播客对话感
  • 代价:需设计第二形象 + 拆轨改造
  • 关键:OmniHuman 1.5 支持「双人图 + 分轨音频」一次生成

范式 C 小新主持 + 画外音(折中)

小新出镜当主持人,双主播对话作为画外音 + 字幕,小新口型只跟「主持引导语」。

  • 优点:不丢对话,只需一个形象
  • 代价:对白与小新口型错位,有违和感

已排除 视频口型对齐(MediaKit lip-sync)

该接口要求「真人出镜、卡通需五官接近真人比例」,小新是夸张卡通五官,不适用,已排除。

三、选定主线:技术实现链

豆包播客(改造成分轨输出)→ 按 speaker 拆女声轨 / 男声轨→ 每轨切 ≤15 秒片段→ OmniHuman 1.5 逐片对口型→ ffmpeg 拼接 + 音轨对齐→ 成片 mp4 发群
为什么切 ≤15 秒:火山官方明确「音频建议小于 15 秒,过长效果会裂化」。1.5 分钟播客 ≈ 90 秒 ≈ 6 段。 形象一致性靠「同一张参考图 + 固定 seed」维持,卡通形象比真人更稳,拼接翻车风险低。

四、候选引擎对比(火山官方数字人能力)

引擎输入卡通支持双人计费适用判断
OmniHuman 1.5
即梦同源
单图 + 音频✅ 较好✅ 分轨路由官方 1 元/秒首选
OmniHuman 1.0
智能视觉
单图 + 音频有一定泛化—1 元/秒备选
Doubao-Seedance 2.0
即梦 CLI 后端
图/视频/音频参考✅—积分制(720P 有输入 0.9 元/秒)已用过
实时数字人 FlowAct-R1 图 + 实时音频流——按流计费终局形态

五、成本账(算清楚再决定)

场景估算
单条 1.5 分钟播客(OmniHuman 官方)≈ 90 秒 × 1 元 = ≈ 90 元
每天 1 条晨间播客≈ 90 × 30 = ≈ 2700 元/月
若走即梦积分(Seedance 2.0 720P)≈ 90 × 0.9 = ≈ 81 元/条(略省,但对口型精度弱于 OmniHuman)
账的提醒:这个成本不适合「天天全量」,适合「精选场景」——比如晨间播客这种高频刚需,或重要日报。 建议先小规模真机(1 条)验证卡通口型效果,再决定要不要每天跑,量大后找火山谈包量。

六、三个待确认 / 风险点

1卡通口型的精度上限

OmniHuman 对动漫「泛化较好」但官方原话是「较好」而非「完美」。小新是夸张卡通五官,嘴部特征不如真人丰富, 口型同步精度大概率打折,需在 prompt 里强化「夸张嘴型、丰富表情」再真机验证。

2拆轨改造的工作量

现在 volc_podcast.py 只抓了整段 audio_url。要支持双形象,得改成逐轮保存 361 音频分片 + 360 的 speaker 归属, 输出「女声轨 / 男声轨」两份。这是范式 B 的前置工程,也是唯一有明确开发量的环节。

3API 开通与企业资质

OmniHuman 1.5 走即梦/视觉内容生成 API,需在火山控制台开通「视频生成」能力,可能涉及企业实名认证。 待确认账号资质是否满足,才能谈真机。

七、分阶段落地建议(供决策,暂不执行)

阶段做什么验证目标
P0范式 A:小新同学独播,1 条真机(≤15 秒片 × N)卡通口型质量是否过关
P1拆轨改造 + 范式 B:双形象分角色对话感还原度、拼接稳定性
P2每日自动化:6:30 银豹数据 → 播客 → 小新数字人成片 → 发群全链路无人值守
我的建议:既然用户要的是「研究不执行」,那么下一步最值得做的唯一动作是—— 先跑 P0 的一条 15 秒真机切片,用已有的小新形象图 + 已有播客里截出的一段女声,直接验证卡通口型到底能不能打。 这一个动作,就能把「卡通精度」「拼接稳定性」「成本」三个最大未知数一次性探明,再决定是否推进 P1/P2。

八、真机探底实测结果(2026-11-13 已跑通)

实测动作

用即梦 Seedance 2.5 m2v(多模态生视频):小新同学半身特写图 + 播客音频前 8 秒 → 生成 8 秒对口型视频。 成品带音轨(aac + h264),形象半身特写图由 i2i 锁脸生成,面部占比拉大、嘴微张。

探底结论实测证据判定
链路全通豆包播客音频 → Seedance 图+音频 → 小新同学开口视频,一条链走完✅ 通
形象零漂移5 帧对比,发型/眼睛/围裙/纽扣/背景完全一致,无任何漂移✅ 超预期
口型能跟上明确语音段嘴会明显张开,能跟随音频节奏✅ 可行
卡通口型偏保守音频前 8 秒持续有人声(RMS 0.05–0.07),但嘴大部分时间闭口微笑,仅开头/强调句明显张嘴⚠️ 核心短板

成本实锤

8 秒 · 480p = 96 积分(≈ 12 积分/秒)。1.5 分钟播客 ≈ 1080 积分/条。 当前账户余额 296 积分,跑完整一条 1.5 分钟需先充值或分批切片。

探底给的方向:技术上「播客让小新同学开口讲」已经实锤可行,最大的不确定从「能不能做」变成 「卡通口型够不够生动」。两条优化路线:① prompt 强化「嘴部夸张开合、说话持续动嘴」逼模型多动嘴; ② 接受「微笑播报 + 字幕」的轻风格,口型不必全程精准,靠字幕兜底。建议先试 ①,一条 8 秒即可验证。