软件可以识别家庭视频中最精彩的部分,并删除无聊的部分

软件可以识别家庭视频中最精彩的部分,并删除无聊的部分

无论如何,谁愿意看到你的孩子玩 iPad 的整整两分钟?计算机科学博士生赵斌声称他甚至从未看过自己的录像。“我的手机上有很多视频,但现实情况是,我几乎从未回头看过这些视频,”他告诉《大众科学》 。“主要原因是视频本身可能长达五到十分钟。”

赵和他的导师、卡内基梅隆大学的 Eric P. Xing 想出了一个有趣的解决方案。他们创建了一种算法,可以识别视频中无聊的部分并将其剪辑掉。最终产品就像是一个小小的精彩片段。用户甚至可以指定他们想要的片段长度——比如 30 秒。更容易理解。“我们的动机是人们不想看原始视频,”赵说。

赵和星并不是第一批尝试自动识别视频中有趣或重要部分的计算机科学家。许多研究人员和公司正在努力开发软件,以便在监控视频中发现正在发生的异常活动。至少有一家公司表示,它出售一种可以做到这一点的系统,但研究仍在进行中。一个重要场景识别程序也可能是社交媒体公司的福音:想象一下,能够制作精简、简洁的视频与你的互联网朋友分享。

“我们的动机是人们不想看原始视频。”

新算法的工作原理是创建一个“字典”来解释它在处理视频时看到的内容。然后,它会时不时地问自己:“我能用我的字典解释现在发生的事情吗?”如果答案是否定的,这表明视频中正在发生一些新的、令人兴奋的事情,所以算法会记录下来。算法不需要看完整个视频就可以开始整理精彩片段。这与赵和星使用的编码技术一起,有助于算法更快地运行。

赵立坚表示,他的新算法速度异常快,在选择摘录场景方面与人类相似。它可以在一到两个小时内处理一段一小时的视频,而科学文献中发表的类似算法则需要 10 到 20 个小时。为了测试算法是否像人一样选择“有趣”的场景,赵立坚和杏要求三个人观看视频,并从视频中选择要突出显示的片段。然后,计算机科学家检查了人类和算法的选择有多接近。在 20 个个人视频中,有 18 个视频的赵立坚和杏的算法做出了比他们测试的其他三个竞争算法更像人类的选择。两人还检查了五个安全类型的视频,例如人们进入地铁站等场景。他们发现他们的算法和另一个算法的表现优于其他算法。赵立坚本周将在电气和电子工程师协会主办的一次会议上展示他们的研究结果。

赵先生现在计划创办一家名为 PanOptus 的初创公司,将他的软件商业化。PanOptus 的 iPhone 应用程序和 API 正在开发中。

看一下 Xing 儿子的视频中算法的具体工作原理:

<<:  哈雷戴维森推出了一款真正的 LiveWire,也被称为其首款电动摩托车

>>:  为什么最高法院认为流媒体就是有线电视

推荐阅读

《旅店大人》:这部温馨动画感人至深、广受好评

旅馆■ 公共媒体剧院■ 原创媒体传记和自传■ 发布日期1954 年 4 月■ 集数第 1 集■ 董事...

地形、天气和燃料的恶劣组合引发了橡树大火

夏季几乎已成为美国西部野火季节的代名词——目前 15 个州发生了 93 起大火,烧毁了 3,116,...

奇怪的晶体可以吸收房间里的所有氧气,然后再释放出来

南丹麦大学的研究人员称,他们发明了一种晶体,可以从空气甚至水中吸收氧气。显然,只需一勺这种物质就能吸...

食物搭配是一门科学,你可以在这里了解

本改编摘录摘自Peter Coucquyt、Bernard Lahousse 和 Johan Lan...

人类学家仍在努力解决对生者和死者的责任

在美国各地,博物馆和研究机构收藏着 10,000 多具遗骸。有些遗骸只有骨头碎片那么小,有些则是完整...

我们能让自己更有同理心吗?一百年的研究仍然让心理学家们束手无策。

从空中城市到机器人管家,未来主义的愿景充斥着 PopSci 的历史。在“我们到达了吗?”专栏中,我们...

当流星撞上你的车道时

改编自罗宾·乔治·安德鲁斯 (Robin George Andrews) 的《如何杀死小行星:行星防...

私营航天产业可以支付军事通信和商业化火星任务的费用

太空商业化的趋势已延伸至军事通信领域,甚至人类火星探险。支持者表示,这种公私合作可以降低任务成本并加...

这个周末你不应该买的四件东西(以及一件你可能应该买的东西)

点击此处查看网络上所有最优惠的黑色星期五优惠。市场研究公司 NPD Group 的资深科技行业分析师...

《哥斯拉:怪兽星球》评论:哥斯拉的新挑战及其吸引力

哥斯拉 怪兽星球 - 哥斯拉概述《哥斯拉:怪兽行星》是一部动画电影,于 2017 年 11 月 17...

2020 年最有用的 8 款新家居产品

说今年充满挑战,其实是轻描淡写。2020 年(及之后)的繁荣发展意味着重新获得对生活的些许掌控感,而...

《波波先生与悠闲工程师》的号召与评价:铁路动画的新视角

波波先生与悠闲工程师——经典动画回顾1949年6月1日上映的《波波亚先生与无忧无虑的工程师》是日本战...

如果海平面持续上升,马尔代夫领导人可能会将整个国家迁往澳大利亚

如果马尔代夫的岛屿被海水淹没,马尔代夫人民将不得不撤离,成为全球变暖导致的第一批难民。马尔代夫总统认...

科学家试图揭开埃及木乃伊 DNA 的秘密

古埃及人以出色的保存遗体技术而闻名。尽管他们的木乃伊制作方法有助于保护皮肤等软组织免受时间的侵蚀,但...

大象能够探测到150英里外的暴雨

狮子可能是动物界的王者,但大象至少可以成为勇敢的气象学家。新研究表明,大象拥有雷达般的敏锐嗅觉,能够...