巨人移动申请生成专业钢琴声音方法专利，基于视频引导的音效生成模型来生成专业钢琴声音

百科大全 2025年08月04日 18:40 1 admin

金融界2025年8月4日消息，国家知识产权局信息显示，巨人移动技术有限公司申请一项名为“一种生成专业钢琴声音的方法”的专利，公开号CN120412504A，申请日期为2025年04月。

专利摘要显示，本发明涉及一种生成专业钢琴声音的方法，包括以下步骤：构建数据集，所述数据集包含10小时钢琴声的专业数据；采用多阶段流匹配框架的训练策略进行训练，阶段如下：第一阶段为监督训练：基于流匹配构建多流DiT架构，融合视频CLIP特征与文本FLAN-T5编码；在Encodec音频潜空间进行跨模态特征映射；第二阶段为CoP指导学习：引入MIDI特征控制生成模块与演奏视频到MIDI特征预测器；分步生成以下流程：顶视图、多视图以及风格化音频生成；第三阶段为组合优化：采用因子化对比学习，解耦音视频共享特征与独立特征，优化互信息边界；采用直接偏好优化方法，基于钢琴家演奏风格偏好数据微调，提升风格可控性。本发明可以基于视频引导的音效生成模型来生成专业钢琴声音。

天眼查资料显示，巨人移动技术有限公司，成立于2017年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本5000万人民币。通过天眼查大数据分析，巨人移动技术有限公司专利信息50条，此外企业还拥有行政许可7个。

本文源自金融界