本文转载自酷 壳 – CoolShell,作者:陈皓 原文地址:https://coolshell.cn/articles/22422.html
这两天技术圈里热议的一件事就是Amazon的流媒体平台Prime Video在2023年3月22日发布了一篇技术博客《规模化Prime Video的音视频监控服务,成本降低90%》,副标题:“从分布式微服务架构到单体应用程序的转变有助于实现更高的规模、弹性和降低成本”,有人把这篇文章在五一期间转到了reddit和hacker news上,在Reddit上热议。
【资料图】
这种话题与业内推崇的微服务架构形成了鲜明的对比。从“微服务架构”转“单体架构”,还是Amazon干的,这个话题足够劲爆。然后DHH在刚喷完Typescript后继续发文《即便是亚马逊也无法理解Servless或微服务》,继续抨击微服务架构,于是,瞬间引爆技术圈,登上技术圈热搜。
今天上午有好几个朋友在微信里转了三篇文章给我,如下所示:
《微服务是不是个蠢主意?》 《单体回归?亚马逊放弃用于视频监控的微服务》 《从微服务转为单体架构、成本降低 90%,亚马逊内部案例引发轰动》看看这些标题就知道这些文章要的是流量而不是好好写篇文章。看到第二篇,你还真当 Prime Video 就是 Amazon 的全部么?然后,再看看这些文章后面的跟风评论,我觉得有 80%的人只看标题,而且是连原文都不看的。所以,我想我得写篇文章了……
要认清这个问题首先是要认认真真读一读原文,Amazon Prime Video 技术团队的这篇文章并不难读,也没有太多的技术细节,但核心意思如下:
1)这个系统是一个监控系统,用于监控数据千条用户的点播视频流。主要是监控整个视频流运作的质量和效果(比如:视频损坏或是音频不同步等问题),这个监控主要是处理视频帧,所以,他们有一个微服务主要是用来把视频拆分成帧,并临时存在 S3 上,就是下图中的 Media Conversion 服务。
2)为了快速达建系统,Prime Video团队使用了Serverless 架构,也就是著名的 AWS Lambda 和 AWS Step Functions。前置 Lambda 用来做用户请求的网关,Step Function 用来做监控(探测器),有问题后,就发 SNS 上,Step Function 从 S3 获取 Media Conversion 的数据,然后把运行结果再汇总给一个后置的 Lambda ,并存在 S3 上。
整个架构看上去非常简单 ,一点也不复杂,而且使用了 Serverless 的架构,一点服务器的影子都看不见。实话实说,这样的开发不香吗?我觉得很香啊,方便快捷,完全不理那些无聊的基础设施,直接把代码转成服务,然后用 AWS 的 Lamda + Step Function + SNS + S3 分分钟就搭出一个有模有样的监控系统了,哪里不好了?!
但是他们遇到了一个比较大的问题,就是 AWS Step Function 的伸缩问题,从文章中我看到了两个问题(注意前方高能):
需要很多很多的并发的 AWS Step Function ,于是达到了帐户的 hard limit。 AWS Step Function 按状态转换收费,所以,贵得受不了了。注意,这里有两个关键点:1)帐户对 Step Function 有限制,2)Step Function 太贵了用不起。
然后,Prime Video 的团队开始解决问题,下面是解决的手段:
1) 把 Media Conversion 和 Step Function 全部写在一个程序里,Media Conversion 跟 Step Function 里的东西通过内存通信,不再走S3了。结果汇总到一个线程中,然后写到 S3.
2)把上面这个单体架构进行分布式部署,还是用之前的 AWS Lambda 来做入门调度。
EC2 的水平扩展没有限制,而且你想买多少 CPU/MEM 的机器由你说了算,而这些视频转码,监控分析的功能感觉就不复杂,本来就应该写在一起,这么做不更香吗?当然更香,比前面的 Serverless 的确更香,因为如下的几个原因:
不再受 Step Function 的限制了,技术在自己手里,有更大的自由度。 没有昂贵的 Step Function 云成本的确变得更低了,如果你把 Lambda 换成 Nginx 或 Spring Gateway 或是我司的Easegress,你把 S3 换成 MinIO,你把 SNS 换成 Kafka,你的成本还能再低。好了,原文解读完了,你有自己的独立思考了吗?下面是我的独立思考,供你参考:
1)AWS 的 Serverless 也好,微服务也好,单体也好,在合适的场景也都很香。这就跟汽车一样,跑车,货车,越野车各有各的场景,你用跑车拉货,还是用货车泡妞都不是一个很好的决定。
2)这篇文章中的这个例子中的业务太过简单了,本来就是一两个服务就可以干完的事。就是一个转码加分析的事,要分开的话,就两个微服务就好了(一个转码一个分析),做成流式的。如果不想分,合在一起也没问题了,这个粒度是微服务没毛病。微服务的划分有好些原则,我这里只罗列几个比较重要的原则:
边界上下文。微服务的粒度不能大于领域驱动里的 Bounded Context(具体是什么 大家自行 Google),也就是一个业务域。 单一职责,高内聚,低耦合。把因为相同原因变化的合在一起(内聚),把不同原因变化的分开(解耦) 事务和一致性。对于两个重度依赖的功能,需要完成一个事务和要保证强一致性的,最好不要拆开,要放在一起。 跟组织架构匹配。把同一个团队的东西放在一起,不同团队的分开。3)Prime Video 遇到的问题不是技术问题,而是 AWS Step Function 处理能力不足,而且收费还很贵的问题。这个是 AWS 的产品问题,不是支持问题。所以,大家不要用一个产品问题来得到微服务架构有问题的结论,这个没有因果关系。试问,如果 Step Funciton 可以无限扩展,而且白菜价,那么 Prime Video 团队还会有动力改成单体吗?他们不会反过来吹爆 Serverless 吗?
4)Prime Video 跟 AWS 是两个独立核算的公司,就像 Amazon 的电商和 AWS 一样,也是两个公司。Amazon 的电商和 AWS 对服务化或是微服务架构的理解和运维,我个人认为这个世界上再也找不到另外一家公司了,包括 Google 或 Microsoft。你有空可以看看本站以前的这篇文章《Steve Yegg对Amazon和Google平台的吐槽》你会了解的更多。
5)Prime Video 这个案例本质上是“下云”,下了 AWS Serverless 的云。云上的成本就是高,一个是费用问题,另一个是被锁定的问题。Prime Video 团队应该很庆幸这个监控系统并不复杂,重写起来也很快,所以,可以很快使用一个更传统的“服务化”+“云计算”的分布式架构,不然,就得像 DHH 那样咬牙下云——《Why We’re Leaving the Cloud》(他们的 SRE 的这篇博文Our Cloud Spend in 2022说明了下云的困难和节约了多少成本)
最后让我做个我自己的广告。我在过去几年的创业中,帮助了很多公司解决了这些分布式,微服务,云原生以及云计算成本的问题,如果你也有类似问题。欢迎,跟我联系:haoel@hotmail.com
另外,我们今年发布了一个平台 MegaEase Cloud,就是想让用户在不失去云计算体验的同时,通过自建高可用基础架构的方式来获得更低的成本(至少降 50%的云计算成本)。目前可以降低成本的方式:
基础软件:通过开源软件自建, 内容分发:MinIO + Cloudflare 的免费 CDN, 马上准备发布的直接与底层IDC合作的廉价GPU计算资源…欢迎大家试用。
如何访问
中国区: https://cloud.megaease.cn 国际区:https://cloud.megaease.com注:这两个区完全独立,帐号不互通。因为网络的不可抗力,千万不要跨区使用。
产品演示
https://www.bilibili.com/video/BV17v4y1R7mA/介绍文章
欢迎使用 MegaEase Cloud 2023 年 03 月重大更新标签:
上一篇 : 短视频“擦边”、直播卖课 警惕非法荐股“变脸重生”
下一篇 : 最后一页
最新推荐
本文转载自酷壳–CoolShell,作者:陈皓原文地址:https: coolshell cn articles 22422 html这两天技术圈
经查,多个犯罪团伙为牟取非法利益,在未取得证券投资咨询业务资质情况下,伙同多名并无从业资质的“讲...
身边的幸福事海南日报记者刘宁玥5月7日上午,琼中黎族苗族自治县湾岭镇水央村村委会一间10平方米的办公室里
由阳光新能源股份有限公司投资并施工的邗江区方巷镇150MW渔光互补项目配套110千伏升压站工程项目正在紧锣密
秀杰村党支部书记王正丁告诉记者,该村动员352户村民发展食用菌产业,种植176座食用菌棚,户均年增收1 2万
哈登过去10年季后赛40+次数超越杜兰特,联盟第二,湖人,76人队,美国篮球,凯文杜兰特,凯文·杜兰特,詹姆斯...
点击查看>>>2023年新昌县各级机关单位考试录用公务员入围考察人员名单原标题:2023年新昌县各级机关单位...
IPO排队近10个月,AI企业思必驰科技股份有限公司(以下简称“思必驰”)将在5月9日迎来科创板上会大考,届...
中国银河证券指出,作为2023年旅游消费的重要风向标,五一黄金旅游市场表现强劲,表明后续假期数据有望维持
根据此前的报道,奥斯梅恩想在夏窗离队前往更大的舞台,正在寻找中锋的拜仁对他有意。据天空体育跟进,按目
1、没有抓到,据说是凶手在河里溺亡了,DNA比对显示是凶手。2、但是从时间来回说有两大疑点答,第一凶手的
小伙伴们,你们好,今天小夏来聊聊一篇关于魅族18X,关于魅族18X简述的文章,网友们对这件事情都比较关注,
再见东契奇!爵士再现10换1史诗级交易,7个首轮啊!库班真难拒绝,塔克,克拉克森,马尔卡宁,美国篮球,犹他爵
1、在日常生活第15集,最后要回去见老师,即将疏远的师傅因为想让老司机带他飞啊!因为第十集也被重制重做了
*原文来自假面骑士日本官网2023年5月7日已播出第34集“慕情Ⅱ:极狐的矛头”编剧:高桥悠也导演:中泽祥...
在列车上欣赏了微笑礼仪舞,还有工作人员表演的古典舞蹈后,G1348次上的乘客们才知道,原来5月8日是第75个
本报讯(记者盛丽)北京市司法局近日出台《关于进一步推动新时代北京司法鉴定工作高质量发展的意见》(以下
解答:1、打开微信,进入聊天界面。微信界面右上角有一个[]标志。点击它找到【添加好友】,点击进入。2、在
1、初到该校,我曾宣誓,我要你们做的事,你们必须办到;你们希望我做的事,我也必须办到。你们办不到,我
Win11设置页面都被没放过!出现Microsoft365推广信息
《傅璇琮文集》傅璇琮著中华书局2023年4月出版中华书局和清华大学人文学院为纪念傅璇琮先生,精心出版了《
据浙江金华市公安局金东分局微信公众号5月8日下午通报,当地警方处置了一起因倒车引发的持菜刀斗殴案件,涉
上交所2023年5月8日交易公开信息显示,陕西建工因属于当日换手率达到20%的证券而登上龙虎榜。
你好,被诈骗了,有QQ信息,有一方的银行卡号,对面似乎是一个
近期,广州市各区均已发布2023年义务教育阶段学校招生工作细则,其中,天河区的招生预警以及公办小学的扩招
百万医疗险一年的保费与具体产品有关,比如长相安长期医疗险,必选责任,0岁首年保费是410元,5岁是321元。
周一(5月8日)亚盘,英镑 美元最新价报1 2636,开盘价为1 2632。强劲的经济数据帮助提振英镑。强劲的经济
餐饮店排起长队、商圈里人流如织、景区中热闹非凡……“五一”小长假期间,我省消费市场实现较快增长,...
医保断交一个月有什么影响?医保断交怎么办?下面跟社保网小编一起来看看具体详情吧!一、医保断交一个月有
近日,重庆高新区一市民吴女士的闲置待拆迁房内的家电、家具被洗劫一空,高新公安接报后快速破案擒获盗贼。
枣核生字组词
胡振宇认为,深圳海洋经济已初具规模,其发展呈现出三个明显特点:一是总量增速快,全市海洋生产总值从...
观点网讯:保利物业5月6日公布,公司已进驻江门市白沙街道。据了解,保利物业于4月29日正式进驻江门市白沙
外媒报道,苹果计划在2024年推出一款新型iPadPro,该产品将首次采用OLED屏幕代替目前的mini-LED面板。Apple
美是美,可惜烂透了 ,一心,金凤,杨紫,顾清明,薛君山,上前线
NBA季后赛次轮G4,76人加时116-115凯尔特人,大比分2-2平。76人球星哈登此役发挥出色,哈登不仅仅在球场上
据国家发改委价格监测中心数据显示,5月第1周全国猪料比价为4 22,环比下降0 94%。按目前价格及成本推算,
nullnullnull“今天艳阳高照,山寨来了这么多‘志愿红’,看来今年又是一个丰收年啊!”近日,雨后天晴,湖
郑州一医院开出2 3万元中药处方,区市监局:若对价格有异议可投诉顶端新闻记者杨晓妍5月6日,郑州市民李先
5月7日晚间,特发信息、西陇科学均公告称,公司因涉嫌信息披露违法违规,被证监会立案调查。今年以来,监管
广西建设职业技术学院5月7日发布情况通报称,5月4日晚22时20分许,该校学生岑某某在学校宿舍卫生间洗澡时晕
这台迈巴赫EQSSUV的动力总成目前得到的消息,最大功率470kw,CLTC续航里程是600km,空气悬架,四轮转向功能
本报讯(侯玉林)近日,建邺区沙洲街道中城社区居民通过12345政务服务热线反映,苏瑞沁园村小区北门门口被
纽卡太脏?多次凶狠铲抢仅吃2黄!巴西国脚干翻枪手3人,险酿群殴,巴西,纽卡,扎卡,舍尔,枪手,阿森纳,吉马良斯
1、因不同的监控设备(硬盘录像机、视频采集卡)所录制视频的压缩编码有所不同,需要的播放(解码)软件也
在前些天尹锡悦访美期间,美韩共同发表了《华盛顿宣言》。尹锡悦把《华盛顿宣言》描述成他这次访美的最大成
本网讯(草原全媒•正北方网记者刘惠)记者从呼和浩特市玉泉区公安分局了解到,五一期间辖区内发生一起盗窃
高考倒计时一个月冲刺tips了解一下,高考,考试,招生,高校
日前,莲湖区教育系统举行“立时代潮头绘青春底色”五四青年节主题团日示范活动。全区各中学(含职校)...
VCU系统是指车辆控制单元,是现代汽车电子控制系统的核心之一。本文将对VCU系统的电气拓扑架构、通讯矩阵拓
成都抗疫的外籍志愿者:愿为城市“康复”贡献力量
当前资讯!百强房企4个月豪掷3000多亿元拿地,民营房企加速回归土拍市场
科尔:我们在客场面对一支防守强队 要比以往更镇定 世界速看料
【天天时快讯】汛期来临!山西开展汛期非煤矿山尾矿库安全生产专项检查
意甲最新积分榜:国米力克罗马暂升第3,AC米兰完胜攀升第5!_环球讯息
世界新资讯:cancel是什么意思中文_cancel中文意思
【天天热闻】穆帅拒绝沙特财团好意,媒体:他并非不想执教豪门,而是另有打算
最新研究数据公布:首个国产二价HPV疫苗免疫原性表现优异-世界简讯
荣盛石化(002493.SZ):目前主要推进的项目有新增140万吨乙烯及下游化工品装置项目、高性能树脂项目及高端新材料项目
高压灭菌后的物品超过下列时间不能使用的是_高压灭菌后的物品超过下列时间不能使用
每日快看:人工智能时代,生命有新的定义了吗?丨四川大学教授敖平导读《生命是什么》
国际金价创历史新高!金银珠宝未来市场规模料超90万亿,龙头股价强势翻倍 全球热闻
辽宁省沈抚改革创新示范区原党工委委员、管委会副主任于扬福被查 天天热文
热点在线丨高效办公从高性能大屏轻薄本华为MateBook D 16开始,5月8日将开售
世界快看:“五一”假期,重点餐饮企业销售额同比增长57.9% 餐饮业迎来强势复苏(大数据观察)
热点聚焦:世卫宣布新冠疫情不再构成“国际关注的突发公共卫生事件”
天天看热讯:《漫长的季节》不走老路不进套路 媒体:网剧不能靠迎合突围
世卫组织:新冠疫情不再构成“国际关注的突发公共卫生事件”-天天速看
焦点快播:股票行情快报:振华风光(688439)5月5日主力资金净卖出1773.69万元
即时:分期乐商城五一消费数据:户外消费火爆 骑行等运动装备销售大增
郧阳区气象台发布雷电黄色预警【III级/较重】【2023-05-05】
Copyright © 2015-2022 华南律师网版权所有 备案号:粤ICP备18025786号-52 联系邮箱: 954 29 18 82 @qq.com