视频的内容语义提取的技术，整理有以下几种：

1. 提取视频中的商品

应用场景：比如下面的视频，发现视频中正在展示有电视、帽子、相框，那么就可以推送电视、帽子、相框相关的广告。

实现方式：首先人工标注，然后深度学习。

首先看一个人工标注的案例：

来源：特写｜人工智能背后的人 - 知乎专栏

深度学习的结果可以看谷歌现在开源的：搜google video intelligence，可能要翻墙。

谷歌基本上把视频中的物体都可以识别出来，已经非常智能。

适用视频类型：有人物和物品的，有品牌的；

适用场景：电商类，商品类广告；

优势：智能。我们现在看电视剧时，会发现电视剧已经用人工做了这事了，比如三生三世的夜华的长发一垂下来，立刻就推出了洗发水的广告。随着热巴火，贴片广告就放成了热巴代言的品牌。

但是，当面对数万的视频，特别是短视频市场还在快速增长时，就需要机器来完成。

劣势：

比较容易识别出名词来，动词比较难；比如能够识别出“篮球”，但是不能识别“打篮球”。（深度学习可以做到，但是谷歌这个开源没有）

能够识别，但不能判断，比如图片质量的好坏，等。

2. 对视频内容的语义进行关键词提取；

1) 对视频的帧截图：

l 有的是截每一帧；

l 有的是镜头转换时再截，如何判断视频的镜头是否转换呢?计算前后两个图片的差距，差的很多，说明镜头换了，需要再截图。

2) 对截图进行语义识别；

3) 将视频的语音转换成文字；

4) 对文字进行语义识别

5) 将上述截图得到的语义和文字得到的语义综合在一起，就是这个视频的语义；

技术的原话是，“视频内容ffmpeg到声音，语音识别变字幕，nlp处理字幕得到词向量和文档相似度。”，上面是我自己看了一些资料理解的。

优势：比如教育类，视频上的文字内容非常多。

劣势：其他类型的视频文字可能就没这么多了，不足以拆解出语义来。

3. 对标题进行关键词提取；

这种属于对纯文本的提取。词本身的重要程序、词所在的位置，标题比内容重要，前面比后面重要，词频，词的整体出现顺序，综合起来。

优势：计算简单，业内对文本的处理非常成熟，各种算法开源包都很方便。确实能提取出内容来，比如下图是秒拍的转发量前50的短视频的标题，可以看到基本都能覆盖视频的主要内容；

劣势：

标题党问题；

还有一些确实是标题无法分辨具体内容；比如说，有一个视频的标题叫：耳朵怀孕了。视频：一个人唱歌。机器可以识别有个人在唱歌，从开始唱到结束。但是机器不理解为什么标题叫耳朵怀孕了。

4. 对内容人工打标签；

分两块：

l 上述第一种处理方式的人工部分。那篇文章写得也很清楚，我就不多写了。

l 人工编目。这个可以看看豆瓣和视频网站怎么做的，就是比它们界面上显示的标签更细一两层。

l 一些人工打上标签后机器也不能自己学习的，或者学习起来比较吃力，比如场景，还是要靠人工打。

5. 总结

最开始调研的时候，只是想看看业内最先进的方式是什么。但是看下来发现，每一种都只能覆盖一个类目的视频的需求，比如第一种，更适合电视剧或者综艺，如果碰到动漫，就几乎没有作用了。

所以在使用的时候，对每一种类目，都深入分析其视频类型，确定哪一种语义提取方式为主，并且多种方式混合的规则是什么。

要从应用场景往回推，才能推出这一类视频需要哪一种语义提取的方式。