把「听播客」升级为「看小新同学开口讲播客」在技术上是完全走得通的, 而且巧在——两件事都是火山引擎 / 字节同一生态,鉴权、音频、形象链路天然同源。 最匹配的引擎是火山引擎 OmniHuman 1.5(即梦同源数字人模型): 单张图 + 音频 → 对口型视频,原生支持卡通形象(小新同学正是卡通 IP), 甚至原生支持多人对话分轨路由——这正好接住播客的「双主播」。
之前那个 8 秒动态人,用的就是同一族技术的「图 + 音频对口型」(Seedance 系), 所以这次是同源升级,不是另起炉灶。
| 资产 | 现状 | 状态 |
|---|---|---|
| 豆包语音播客 | 双主播(咪仔女声 + 大义男声)对话式播客,整段 mp3 已跑通、已发群 | ✅ 已跑通 |
| 小新同学 IP | 5 套表情静态图(main/assign/celebrate/encourage/remind),卡通形象 | ✅ 已有 |
| 8 秒对口型视频 | xiaoxin_talking_v1.mp4:图 + 音频 → 开口说话,已验证 | ✅ 已验证 |
| 播客「分角色音轨」 | 当前只拿了整段 audio_url,未逐轮保存「谁说的哪句」 | ⚠️ 需改造 |
这是本次研究最关键的设计决策——播客是两个音色(一男一女)在对话,而小新同学是单一卡通形象。三套范式:
把播客改成「小新同学单人主播」,一条音频只对应一个形象、一个口型,无任何冲突。
给小新配一个搭档形象(如「大义先生」或小新反色/换装版),女声轨驱动小新、男声轨驱动搭档。
小新出镜当主持人,双主播对话作为画外音 + 字幕,小新口型只跟「主持引导语」。
该接口要求「真人出镜、卡通需五官接近真人比例」,小新是夸张卡通五官,不适用,已排除。
| 引擎 | 输入 | 卡通支持 | 双人 | 计费 | 适用判断 |
|---|---|---|---|---|---|
| OmniHuman 1.5 即梦同源 |
单图 + 音频 | ✅ 较好 | ✅ 分轨路由 | 官方 1 元/秒 | 首选 |
| OmniHuman 1.0 智能视觉 |
单图 + 音频 | 有一定泛化 | — | 1 元/秒 | 备选 |
| Doubao-Seedance 2.0 即梦 CLI 后端 |
图/视频/音频参考 | ✅ | — | 积分制(720P 有输入 0.9 元/秒) | 已用过 |
| 实时数字人 FlowAct-R1 | 图 + 实时音频流 | — | — | 按流计费 | 终局形态 |
| 场景 | 估算 |
|---|---|
| 单条 1.5 分钟播客(OmniHuman 官方) | ≈ 90 秒 × 1 元 = ≈ 90 元 |
| 每天 1 条晨间播客 | ≈ 90 × 30 = ≈ 2700 元/月 |
| 若走即梦积分(Seedance 2.0 720P) | ≈ 90 × 0.9 = ≈ 81 元/条(略省,但对口型精度弱于 OmniHuman) |
OmniHuman 对动漫「泛化较好」但官方原话是「较好」而非「完美」。小新是夸张卡通五官,嘴部特征不如真人丰富, 口型同步精度大概率打折,需在 prompt 里强化「夸张嘴型、丰富表情」再真机验证。
现在 volc_podcast.py 只抓了整段 audio_url。要支持双形象,得改成逐轮保存 361 音频分片 + 360 的 speaker 归属, 输出「女声轨 / 男声轨」两份。这是范式 B 的前置工程,也是唯一有明确开发量的环节。
OmniHuman 1.5 走即梦/视觉内容生成 API,需在火山控制台开通「视频生成」能力,可能涉及企业实名认证。 待确认账号资质是否满足,才能谈真机。
| 阶段 | 做什么 | 验证目标 |
|---|---|---|
| P0 | 范式 A:小新同学独播,1 条真机(≤15 秒片 × N) | 卡通口型质量是否过关 |
| P1 | 拆轨改造 + 范式 B:双形象分角色 | 对话感还原度、拼接稳定性 |
| P2 | 每日自动化:6:30 银豹数据 → 播客 → 小新数字人成片 → 发群 | 全链路无人值守 |
用即梦 Seedance 2.5 m2v(多模态生视频):小新同学半身特写图 + 播客音频前 8 秒 → 生成 8 秒对口型视频。 成品带音轨(aac + h264),形象半身特写图由 i2i 锁脸生成,面部占比拉大、嘴微张。
| 探底结论 | 实测证据 | 判定 |
|---|---|---|
| 链路全通 | 豆包播客音频 → Seedance 图+音频 → 小新同学开口视频,一条链走完 | ✅ 通 |
| 形象零漂移 | 5 帧对比,发型/眼睛/围裙/纽扣/背景完全一致,无任何漂移 | ✅ 超预期 |
| 口型能跟上 | 明确语音段嘴会明显张开,能跟随音频节奏 | ✅ 可行 |
| 卡通口型偏保守 | 音频前 8 秒持续有人声(RMS 0.05–0.07),但嘴大部分时间闭口微笑,仅开头/强调句明显张嘴 | ⚠️ 核心短板 |
8 秒 · 480p = 96 积分(≈ 12 积分/秒)。1.5 分钟播客 ≈ 1080 积分/条。 当前账户余额 296 积分,跑完整一条 1.5 分钟需先充值或分批切片。