软件可以识别家庭视频中最精彩的部分,并删除无聊的部分

软件可以识别家庭视频中最精彩的部分,并删除无聊的部分

无论如何,谁愿意看到你的孩子玩 iPad 的整整两分钟?计算机科学博士生赵斌声称他甚至从未看过自己的录像。“我的手机上有很多视频,但现实情况是,我几乎从未回头看过这些视频,”他告诉《大众科学》 。“主要原因是视频本身可能长达五到十分钟。”

赵和他的导师、卡内基梅隆大学的 Eric P. Xing 想出了一个有趣的解决方案。他们创建了一种算法,可以识别视频中无聊的部分并将其剪辑掉。最终产品就像是一个小小的精彩片段。用户甚至可以指定他们想要的片段长度——比如 30 秒。更容易理解。“我们的动机是人们不想看原始视频,”赵说。

赵和星并不是第一批尝试自动识别视频中有趣或重要部分的计算机科学家。许多研究人员和公司正在努力开发软件,以便在监控视频中发现正在发生的异常活动。至少有一家公司表示,它出售一种可以做到这一点的系统,但研究仍在进行中。一个重要场景识别程序也可能是社交媒体公司的福音:想象一下,能够制作精简、简洁的视频与你的互联网朋友分享。

“我们的动机是人们不想看原始视频。”

新算法的工作原理是创建一个“字典”来解释它在处理视频时看到的内容。然后,它会时不时地问自己:“我能用我的字典解释现在发生的事情吗?”如果答案是否定的,这表明视频中正在发生一些新的、令人兴奋的事情,所以算法会记录下来。算法不需要看完整个视频就可以开始整理精彩片段。这与赵和星使用的编码技术一起,有助于算法更快地运行。

赵立坚表示,他的新算法速度异常快,在选择摘录场景方面与人类相似。它可以在一到两个小时内处理一段一小时的视频,而科学文献中发表的类似算法则需要 10 到 20 个小时。为了测试算法是否像人一样选择“有趣”的场景,赵立坚和杏要求三个人观看视频,并从视频中选择要突出显示的片段。然后,计算机科学家检查了人类和算法的选择有多接近。在 20 个个人视频中,有 18 个视频的赵立坚和杏的算法做出了比他们测试的其他三个竞争算法更像人类的选择。两人还检查了五个安全类型的视频,例如人们进入地铁站等场景。他们发现他们的算法和另一个算法的表现优于其他算法。赵立坚本周将在电气和电子工程师协会主办的一次会议上展示他们的研究结果。

赵先生现在计划创办一家名为 PanOptus 的初创公司,将他的软件商业化。PanOptus 的 iPhone 应用程序和 API 正在开发中。

看一下 Xing 儿子的视频中算法的具体工作原理:

<<:  哈雷戴维森推出了一款真正的 LiveWire,也被称为其首款电动摩托车

>>:  为什么最高法院认为流媒体就是有线电视

推荐阅读

将电动科尔维特加速到 212 英里每小时并不容易,而且不会导致发动机故障

本月初,在全国人民还不知道谁将成为前副总统乔·拜登的竞选搭档时,这位民主党总统候选人在推特上开玩笑地...

迈凯伦 GT 是一款时速 200 英里的超级跑车,驾驶起来非常舒适

以 200 英里/小时的速度行驶时,你能有多舒服?麦克拉伦幻想与现实相遇往往令人失望。活泼的中置引擎...

卫星竞赛的舞台是如何搭建的

1957 年 10 月 4 日,斯普尼克号卫星发射,美国感到震惊,但也许不应该如此。和美国一样,苏联...

尤利西斯:圣女贞德与炼金术士骑士——深入回顾引人入胜的故事和人物

尤利西斯:圣女贞德与炼金术士骑士 - 历史与幻想交织的壮丽故事2018年10月至12月播出的电视动画...

《Dekirukana》评论:彻底解读儿童动画的吸引力和教育价值

《你能做到吗?》:通过动画感受西原理惠子的世界观“你能做到吗?”是根据西原理惠子的原作改编的短篇动画...

让我们来猜猜超级变焦之后 Instagram Stories 的下一个效果是什么

超级变焦很有趣,而且非常讨人喜欢。Stan Horaczek如果你今天查看了 Instagram S...

最新的电影盗版工具:Spotify 的“视频播客”

Spotify 的一些用户最近找到了一种巧妙的解决方法,可以不用为电影付费。正如《Fast Com...

《FRAMY》的号召与评价:透彻解读新一代视频编辑工具

《FRAMEY》:NHK 原创动画的魅力《FRAMEY》是NHK制作的原创动画电视连续剧。该剧于20...

苹果正在关闭“我的照片流”。你应该关心吗?

Apple 用户收到了一些令人困惑的电子邮件,称“我的照片流”即将关闭。电子邮件称,这项服务的上传...

网站内容自动一键发布至各大社交平台,省时省心做营销推广

在数字化营销的时代,社交媒体已成为企业与客户沟通的主要渠道。无论是推广新产品、分享博客文章,还是增加...

《软网球!动画》评论:网球与青春的魅力

软化网球!动画 - 软网球!动画-全面回顾和推荐■ 公共媒体电视动画系列■ 原创媒体漫画■ 播出时间...

地球防卫家族评论:家庭关系和太空战斗

地球防卫家族的全面评价与推荐■ 公共媒体电视动画系列■ 原创媒体动漫原创■ 播出时间2001 年 1...

三丽鸥经典动画《美乐蒂的小红帽》《神奇宝贝的趣味西游记》的号召力与评价

Sanrio世界名作动画经典2《My Melody的小红帽》《Pokopon的趣味西游记》 2004...

野生动物讨厌冬天的寒冷吗?

虽然今年冬天外面的天气确实会很可怕,但对于生活在寒冷气候中的人们来说,一件派克大衣、一顶针织帽、一双...

我们为什么有耳垂?这在进化上毫无意义。

每次你随着自己喜欢的音乐点头,或者和朋友闲聊时,一个复杂的系统都在发挥作用。你的耳朵是生物学上的奇迹...