KKBOX 集团旗下串流影音技术公司 KKStream 与台大产学合作,共同开发智慧剧照挑选系统「Stiller」,运用 AI 人工智慧技术判断主角、自动挑选与撷取吸睛剧照,有效提升影片点击率,未来更有望延续研究,发展出自动剪辑影片预告、製作浓缩影片的能力。
以往影片缩图多靠人工作业挑选影片剧照,不仅过程耗时费力,也不一定吸引得住观众目光。KKStream 携手台大合作「视讯理解」(Video Understanding)研究专题,聚焦挑选剧照的实务应用,从演员脸部表情到动作场景,透过不同面向强化 AI 对视讯理解的能力。
双方所共同开发的 Stiller 智慧剧照挑选系统,藉由串流影音服务 KKTV 支援丰富的剧库资料,并整合影像辨识与视觉感知技术,训练 AI「看剧」、学习判断与挑选吸睛剧照。现阶段已经能够判读重要影片情景挑选照片,平均每集影片只需 60 秒就能完成剧照撷取作业,大幅降低原本由美术人员逐格截图的作业时间,而且所挑选出的剧照效果吸睛,能提高观众点击观看的意愿。
▲ 智慧剧照挑选系统开发示意图,剧照愈吸睛愈有助于提高观看意愿
参与系统设计与发表的曹峻宁同学表示,Stiller 结合关键影格撷取(Key-Frame Extraction)与影像美感评估(Image Aesthetic Assessment)两大技术,可从影片中挑选兼具代表性与吸引力的剧照。透过 AI 技术,Stiller 系统经三集训练就能以演算法判断男女主角、自动撷取精彩剧照,期望未来能有机会延续研究,进一步开发自动剪辑预告或浓缩影片的能力,让 AI 不只看见画面,还能看懂影片。
台大多媒体处理及通信实验室教授陈宏铭指出,多媒体科技在影音串流时代的重要性有目共睹,学术研发促进产业发展,正是产学交流的初衷。KKStream 总裁蔡怡仁也感谢台大积极响应,并表示双方透过产学合作,为学术研究和产业应用创造更多可能性。
如今双方合作的研究成果大放异彩,已获国际电机电子工程师学会(IEEE)邀请,近日于美国加州圣荷西 MIPR 国际会议发表。未来 Stiller 系统除了运用在偶像剧,也将持续延伸至不同类型的影片、拓展应用层面,可望在串流影音急速发展的时代当中,发展为不可或缺的关键技术。
(首图、