返回 我的
首页 学校
帮我选课
历史 我的

阿里云在海外爆火的视频生成论文,现在终于有应用了 5死31伤

2024-05-16 12:42:52  人气:290

阿里云在海外爆火的视频生成论文,现在终于有应用了 5死31伤!货车隧道内起火,民警尿湿衣服捂口鼻……

下面给大家讲解“阿里云在海外爆火的视频生成论文,现在终于有应用了 5死31伤!货车隧道内起火,民警尿湿衣服捂口鼻……”的知识,本站信息仅供大家参考哦!

温馨提示:本文章素材来自网络收集整理和聚合(内容观点不代表本站的立场),本站只是一个免费信息分享网站,文章仅供阅读参考用途,如有侵权请联系邮箱:196594267@qq.com 核对后马上删除,谢谢!

 

阿里云在海外爆火的视频生成论文,现在终于有应用了 5死31伤!货车隧道内起火,民警尿湿衣服捂口鼻…… 

阿里云在海外爆火的视频生成论文,现在终于有应用了

现在的大模型应用,越来越卷了。

前一阵,阿里云的通义千问 App 上线了个视频生成的新功能,只需要一张照片,就能生成自定义的舞蹈视频。

根据官方的介绍,这个功能不仅能生成视频,而且面部表情、衣着打扮以及背景等等,也保留了照片原来的特征。

最主要的是,没什么门槛,在手机上下个 App 就能玩。

所以功能上线不久,就在网上掀起了一大波试用风潮,堪称整活大赏。

从兵马俑跳科目三,到科目三席卷三国,还有不少粉丝用自家爱豆的照片 “ 恶搞 ”,短短几天时间各种鬼畜视频层出不穷。

甚至,#兵马俑跳科目三# 的词条,在微博上已经有了千万级别的热度。

“ 科目三火到考古圈 ”、“ 还没学会科目三的不用卷了,下一个通义千问 App 就行 ”、“ 这个世界越来越疯狂了,AI好牛 ”,网络上诸如此类的评论不绝于耳。

趁着热度,知危编辑部也在第一时间下载了最新版的通义千问 App,上手试了试这个新功能。

打开通义千问 App,视频生成功能的入口并没有直接出现在首页的功能模块里,而是需要在对话框里输入 “ 全民舞王 ” 或者 “ 通义舞王 ” 等关键词,再跳转到体验页面。

该功能里面有包括科目三、DJ 慢摇、鬼步舞还有秧歌在内的 12 种舞蹈模板,随机选择舞种再上传一张全身照就行。

当然,如果自己不想上传照片,官方也有默认图片模板可供选择,整个流程操作起来没什么难度。

只不过需要注意的是,在上传照片的时候,照片的分辨率要大于 500 × 500,而且需要正面站立的全身照,不能有遮挡,如果侧身站或者背景过于复杂,可能会影响最后生成的效果。

我们先是拿最近火爆全网的科目三来试了试。

上传一张马斯克的全身照,再等待十分钟左右,一个马斯克跳科目三的视频就新鲜出炉了。

舞蹈动作流畅,包括西装、鞋子在内,也跟原来的照片没什么两样,甚至动起来的老马连眨眼睛都很自然。

虽然跳舞过程中手部有些小瑕疵,但并不影响整体的视觉效果。

随后,我们又用扎克伯格试了划桨舞。

原图

可以看看照片和视频之间的对比,虽然原照片小扎并没有双臂垂直站立,但视频里手臂部分的还原度很高,就连衣服上的褶皱变化都能模拟出来。

之前老马和小扎一直 “ 约架 ” 不成,这次斗舞就当是看个乐呵了。

而除了能让真人跳舞以外,我们发现动漫人物同样也可以整活。

比如,让迪迦奥特曼扭东北秧歌。

还有鸣人跳爱心表白舞。

章鱼哥摆着臭脸,跳兔子舞。

甚至于,雕像也动起来。

就比如,唐代仕女俑再加上 DJ 慢摇的组合。

还有手办鬼步舞。

体验下来,我们觉得这个让照片跳舞的新功能可玩性还是挺高的,而且生成效果同样可圈可点。

但不可否认的是,最后生成的视频并非没有瑕疵,包括背景、脸部和手部,会出现不同程度的抖动或者轻微变形。

不过,这也是视频生成的通病了。

一直以来,视频生成都存在着生成困难、生成时间长还有生成效果不一致的情况,特别是如何保持人物形象一致和动作流畅,更是学界和业界都在攻克的难题。

如果从体验的整体效果来看,这次通义千问上线的视频生成功能已经有了非常大的突破。

而这背后,多亏了阿里研究团队自研的 Animate Anyone 视频生成模型。

正如前文的体验,这个模型可以只通过一张图像,就无缝生成动画视频。

通常,视频生成需要具备一致性、可控性和连续性三要素,也就是视频高度还原图片的细节、姿势动作需要精准可控,还有动作和动作之间连贯不卡壳。

在一致性上,Animate Anyone 引入了 ReferenceNet,这是一种特征提取网络。

简单来理解,用这个就可以提取图像里的一些外观特征,从而使视频高度还原人物形象、面部表情还有服装上的细节。

与此同时,从评测结果来看,Animate Anyone 的性能也要优于国内外的同类模型。

所以,这次全民舞王应用在国内能火起来,也算是在情理之中。

不过,更早些时候,这个模型其实就已率先在海外火起来了。

一个月前,阿里通义实验室团队在 arXiv 上发了一篇关于 Animate Anyone 模型的论文。

很快,这篇论文就在推特和 YouTube 等海外社交媒体平台上,引起了巨大反响。

光是推特上的一篇帖子,就有五千多万的浏览量。

YouTube 上,Animate Anyone 的相关视频播放量轻松破十万。

在 GitHub 上,短短几天时间内也收获了上万颗星。

只不过,当时的 Animate Anyone 对外还只是停留在论文阶段,不少网友都表示要蹲一蹲体验入口。

所以,阿里的团队也趁热打铁在通义千问 App 上推出了这个功能,让国内的用户先体验了一把。

从结果来看,确实也激起了不小的水花。

事实上,从去年下半年开始,在视频生成领域的各种大模型应用可以用百花齐放来形容。

比如,Runway 用画笔涂一涂,图片就能变视频;Pika1.0 免费开放试用;Stability AI 顺势入局图生视频领域,推出 Stable Video Diffusion。

国内方面,在阿里的 Animate Anyone 推出后不久,字节也推了个 Magic Animate,不少评测博主还专门对两个模型进行了对比。

不难看出来,多模态大模型的应用潜力已经被激发,整个行业其实都在往视频生成的方向卷。

从文本生成到图像生成,再到如今爆火的视频生成,过去一年,大模型的发展速度远远超过了人们的预期。《 福布斯 》近期发布的报告也已经明确提出了 2024 年多模态生成将有巨大的潜力。

接下来,视频生成能否诞生一个全新的爆款?

问题的答案需要时间来验证,但 2024 年伊始,阿里这波让照片跳舞的应用成功破圈,算是给行业加了把火。


5死31伤!货车隧道内起火,民警尿湿衣服捂口鼻……

记者从浙江省临海市委宣传部获悉,昨天(8月27日)19时20许,甬台温高速猫狸岭隧道,杭州往临海方向,一辆满载轮胎货车起火。截至22时30分,共有36人送往医院救治,其中5人已死亡,根据当地出示的死亡名单,死者中包含一位4岁男童。事故原因正在进一步调查当中。

【编号:45343543545南都N视频】记者:王凯 刘嘉琳

据了解,8月27日19时许,甬台温高速温州方向全长3.6公里的猫狸岭隧道中,一辆载满轮胎的大货车突然起火,剧烈燃烧的轮胎释放出大量黑色刺鼻浓雾。不到1米的能见度,造成大量车辆拥堵,橡胶烧焦味道也让排队中的乘客感到呼吸困难。

据悉,截至22时50分,事故已造成5人死亡,其余31位伤者正在接受治疗。

5人分别为:

1、王永健,男,40岁,安徽省滩溪县;

2、陈寒冰,男,36岁,上海市闵行区;

3、陈南添,男,4岁,浙江省台州市路桥区;

4、应正法,男,40岁,浙江省台州市路桥区;

5、游伟妙,女,34岁,浙江省台州市玉环市。

记者了解到,死者中有一对是父子,同行的妈妈和女儿也受伤入院,妈妈在ICU。

事故发生初步原因披露

据浙江日报报道,最新通报显示:

2019年8月27日18时24分,G15沈海高速往福建方向1607KM+180米(猫狸岭隧道中洞位置),秦后雨(男,46岁,安徽灵璧人)驾驶皖L28601(赣KG379挂)号重型普通半挂车(灵璧县中粮运输有限公司),因货车起火停于慢速车道内。18时30分,巡逻民警巡逻经过现场时发现起火事故后停车灭火,并立即通知隧道入口卡口,防止车辆继续进入隧道。因浓迅速蔓延,虽经全力组织救援,但仍有部分在卡口前已经进入隧道的车辆无法及时撤离。截止目前,本次事故共造成36人伤亡,其中5人死亡,31人受伤(6人为抢险救援过程中受伤的高速民警和辅警),在ICU病房救治14人。

据高速交警初步调查,事故原因是秦后雨(男,46岁,安徽灵璧人)驾驶皖L28601(赣KG379挂)号重型普通半挂车(灵璧县中粮运输有限公司),因货车起火停于慢速车道内。货车起火后浓迅速蔓延,导致滞留的人员伤亡。具体原因正在进一步调查中。

目前,肇事驾驶员秦某某已被公安部门控制接受调查。事故原因调查及善后等工作正在进行当中。

民警被困1个多小时向同事求救:

衣服用尿弄湿了捂住口鼻,

还是受不了了

昨晚事故发生后,由于雾太大,民警和消防员马上开始组织疏散群众。有些群众坐在车里不撤离,民警和消防员通过喊话,拍打车窗疏散。往后疏散后又返回前部,来回多趟,查找被困群众,最终他们变成最后往北洞口撤离的人员。

据悉,大队中所有的协警、民警还有食堂的厨师,全部开着私家车来救助困在隧道里面的受困人员。民警庞学栋等人被困在隧道内1个多小时,最后实在忍不住在工作群里向同事发出求救:“感觉快要窒息了,快来救救我们,衣服已经用尿弄湿捂住口鼻,还是受不了了,快点!”

在昨晚送医的所有伤员中,有六名参与现场救援的执勤交警和辅警。在事故发生后,他们第一时间赶到现场救援,在起火的隧道内疏散完全部群众后,自己却因吸入大量浓,体力不支而紧急送医。目前,有一名交警及一名辅警因伤势较重而被送往ICU抢救,另外两名交警和两名辅警经过治疗暂无生命危险。

经@浙江台州高速交警支队 民警与消防员的共同救助下,22点左右,事故现场被困人员已经全部疏散,受伤人员已被送往医院。

最新消息是!庞学栋警官因吸入过多浓,现已被送往医院ICU进行观察。

隧道内起火应该如何逃生?

近年来,隧道已经是人们生活中不可或缺的“绿色通道”,隧道火灾的案例也有不少,除烧伤外大多数伤者吸入窒息性气体。隧道发生火灾事故后,浓会迅速聚集。

那么,如遇到隧道火灾,该如何自救呢?

点击视频学习↓

来源:南方都市报、浙江新闻、浙江日报、都市快报等

你可能还错过了↓↓↓↓↓↓↓↓↓

刚刚,陕西省发布25名省管干部任职公示

今晨西安这里的自来水管道爆裂,水喷数米,这些地区供水受影响…

西安叫停加油站加油区扫码支付,严禁“微信扫码”“摇一摇”

陕西人,9月起7件好消息,多数都与你有关!赶紧看看

没想到!清华今年最小博士17岁!90后却…

祈祷

声明:频道所载文章、图片、数据等内容以及相关文章评论纯属个人观点和网友自行上传,并不代表本站立场。如发现有违法信息或侵权行为,请留言或直接与本站管理员联系,我们将在收到您的课程后24小时内作出删除处理。