多媒体AI
多媒体AI(MultiMedia AI)是一款视频AI通用技术平台产品,结合视觉及多模态技术,实现视频审核、视频结构化、视频指纹搜索、视频生产等核心视频应用领域的基础功能,为客户在视频审核、版权保护、视频编目、视频搜索推荐、视频交互、视频辅助生产等应用场景种提供了核心能力,提高人员效率和流量效率。
产品优势
1、识别精度高
结合视频中的图像,语音,文本信息进行内容识别,精度处于业界领先;
2、覆盖领域广
覆盖了传媒,电商,体育等多场景的内容识别;
3、标签体系丰富
拥有万级的基础标签体系,且均经过行业打磨;
4、高效的服务框架
支持多线程多并发的视频处理,显著提升视频处理效率;
产品能力
1、视频内容分析
通过对视频,语音,文本,图像等内容的多维理解,对多媒体进行结构化标签提取,可广泛应用于多媒体内容的管理、审核、搜索和推荐;
a,视频分类
通过理解视频包含的场景,背景含义,人物信息对视频进行类目区分,适配传媒、短视频等多行业,多用于视频素材分类管理场景;
b,人物识别
识别视频中出现的关键政治人物、敏感人物、明星,以及其中出现的时间片段、区域、表情等属性,并提供未知人脸聚合和挖掘的能力;
c,通用物体识别
识别视频中出现的物体,如动物,植物,食品,交通工具等;
d,节目、标识识别
识别视频所对应的节目名称和台标等标识,多用于综艺节目,电影等剧集类素材的分析;
e,动作、违规事件识别
识别视频中出现的动作、涉黄、血腥等违规事件,以及其出现的时间片段,多用于视频审核和视频生产场景。
f,地点、关键词识别
识别视频中出现的地标、场景、组织机构、关键词等,多用于视频推荐和视频搜索。
2、内容素材生成
通过对视频中语音,文本,图像等内容的理解,从丰富度,图像质量,精彩程度,吸引程度等多方面进行分析,同时结合时序和音频辅助判断,生成贴进大众审美的素材内容;
a,视频静态封面
通过理解视频主题含义,结合清晰度,丰富度,对比度,精彩度以及与主题的契合程度5个方面分析,输出符合大众审美的视频封面图,提示视觉和检索体验;
b,视频动态封面
通过理解视频主题含义,结合时序,故事情节,清晰度三方面分析结果,输出能够代表视频大意的视频摘要动图和视频看点动图,提升视频点击率;
c,视频内容检索
通过对目标底库视频,音频数据进行特征提取,通过高维引擎索引实现海量视频的特征比对,用于视频去重和版权保护
d,短视频搜长视频
通过建立视频指纹基础库,可实现上传视频片段检索片段对应的长视频;
场景介绍
1、内容检索
内容结构化技术通过对视频,语音,文本,图像等多媒体内容进行分析理解,准确提取结构化数据,支撑业务进行精准检索,降低人工数据检索成本;
2、内容创作
内容生成技术对视频进行多维度分析处理,通过多模态内容编排,快速生成精彩集锦,炫酷首图/GIF,节约人力创作成本;
3、推荐和审核
结合视频处理技术,对视频进行多维理解和检测,支持业务进行精准个性化的内容推荐,并及时发现涉黄、涉暴、政治敏感等风险内容,大幅减少人工标注和审核的成本;