DeepFlow助力银行全栈云构筑云原生可观测性 保障系统稳定安全运行
背景
应用云化、云原生化是企业全面数字化转型的必要技术基础,光大银行2019年开始建设新一代全栈金融混合云平台,在引入了多种云计算核心技术的同时,也开始采用云原生集群架构为应用架构服务化改造提供平台支撑,随着全行应用系统的逐步上云,全栈云的可观测性成为信息科技部关注的重点。
随着云原生技术的应用,网络、系统、应用运维均发生了革命性的变化,应用软件向微服务架构发展,微服务调用关系复杂,开发迭代速度加快,系统资源实时动态变化,云网黑盒化严重,应用迁移上云之后的系统稳定性、业务可靠性保障面临巨大挑战。
图1 云原生应用的复杂度(示例)
同时云原生基础设施与云原生应用的监控运维手段也面临很多新问题,具体包括:
1. 微服务架构下多语言、多网络协议带来应用的埋点成本高;
2. 微服务化导致业务调用链过程复杂,全链路追踪难;
3. 应用交互跨容器、虚拟机、宿主机多层,故障定界难;
4. 网络路径交织复杂、动态多变,逐段抓包难,故障定位难;
5. 应用、系统、云网的指标数据、日志数据、追踪数据、标签数据存在高基多维的特点,数据关联、分析、呈现处理技术复杂;
6. 云原生应用与云原生基础设施之间的数据存在鸿沟,缺乏统一的运维能力,导致应用监控运维与基础设施运维协同难度高,故障处理效率低;
7. 应用从分布式架构向云原生迁移过程中,缺乏有效的工具支撑云原生应用的开发、测试、迁移。
这些变化和挑战给光大银行的IT运维、业务保障带来巨大的困难,传统监控运维手段难以满足云技术变革背景下的运维需求,构建云原生统一可观测性平台就成为解决这类问题的必然技术选择。
DeepFlow云原生可观测性平台
在光大银行新一代全栈金融混合云平台的规划初期,技术团队即结合此前工作中的经验总结,将全栈云和云原生业务的全面可观测性列入到云平台的重要能力中,同步规划、同步验证、同步建设DeepFlow云原生可观测性平台。
整体方案中包括了DeepFlow云原生轻量级采集探针和DeepFlow云原生可观测性分析平台。
DeepFlow轻量级采集探针实现了对云原生可观测性数据的低成本、全面采集,具体包括:
1. 通过BPF技术对IAAS层、PAAS层及NFV网元(LB、NAT Gateway、分布式路由等)的虚拟网络的全链路全流量采集能力,实现业务端到端的网络指标数据、追踪数据、日志数据的统一采集;
2. 通过eBPF技术构建对云原生应用无开发语言依赖、无开发框架依赖、无计算平台依赖的无侵入采集能力,实现云原生应用指标数据、追踪数据、日志数据统一采集;
3. 通过采集探针的开放接口,无缝汇聚Skywalking Agent的OpenTelemetry数据,实现云原生应用进程级的指标数据、追踪数据、日志数据的统一采集;
4. 通过容器平台的API能力,实时感知容器资源的动态变化,实现云原生资源、业务标签数据的统一采集。
DeepFlow云原生可观测性平台的核心技术和实现包括:
1. 通过Autotag技术自动为所有观测数据注入统一的属性标签,消除数据孤岛问题,以释放数据的下钻切分能力;
2. 通过SmartEncoding技术将属性标签编码为整型值,在标签注入阶段直接注入整型标签,以10倍的效率提升可观测性数据的存储、处理性能;
3. 通过高性能数据分析引擎,对海量、高基、多维、异构的可观测性数据进行统一的标记、关联、分析;
4. 通过应用调用链可视化追踪功能,实现对任意一次云原生应用请求从业务代码到框架代码、应用进程、代理进程、容器网络、云网络、NFV网元、物理网络的全链路追踪、指标观测、日志分析能力;
5. 通过网络可视化分析功能,实现了对云网络、容器网络的从宏观到微观的拓扑可视化分析、指标可视化分析、云网流量追踪、网络日志回溯等全方位的洞察能力;
6. 通过NAT追踪功能,实现了面向NFV网元运维的可观测分析能力。
图2 云原生应用调用链追踪
同时DeepFlow云原生可观测性平台实现了开放的可观测性数据共享接口,包括:
1. 通过HTTP等标准接口实现告警事件与公司统一告警平台的对接;
2. 通过API接口实现了Grafana对可观测性数据的全自动调阅,从而通过Grafana构建跨平台的数据查询、呈现能力;
3. SQL查询接口实现了与Skywalking数据共享对接;
4. 通过云原生采集探针的原始流量分发功能,为交易分析、安全分析提供容器网络流量的获取能力。
DeepFlow云原生可观测性平台实现了灵活的视图定制化能力,运维人员构建面向业务的运维监测视图,将云原生业务的服务质量映射为8~10个黄金指标(负载类指标、时延类指标、性能/异常类指标),通过主动的性能指标监测实现了面向云原生应用稳定性、可靠性的主动保障能力。
创新性实战经验
随着DeepFlow云原生可观测性平台的深入应用,在光大银行的全栈云及云原生应用运维中,通过大量的运维实战案例,充分说明了可观测性对于企业IT开发、运维、运营的巨大价值,真正实现了云原生业务的洞察能力和稳定性保障能力的,在实际运维中云原生可观测性平台发挥了直接有效的作用:
1. 在某应用从传统分布式环境向容器平台迁移工作中,开发测试环节发现该应用遇到性能压测明显受限的问题,通过传统的测试工具、APM工具在数周的定位过程中均无法找到问题根因,导致该应用的云原生迁移进度严重受阻,因此DeepFlow云原生可观测性平台紧急增加对该环境的采集覆盖和分析,在1分钟后完成了对该应用访问关系的绘制和应用调用追踪,在5分钟内通过指标分析发现了微服务中的性能瓶颈点和性能瓶颈根因。
2. 在云上某次***业务异常的故障定位中,需要消耗2名中级运维工程师数十个小时的工作量,进行Pcap抓包、读包定位,改用DeepFlow可观测平台提供的手段,通过1步绘制拓扑,8个指标观测,3端日志的关联分析,在30分钟内确定服务端软件异常,进而指导业务运维人员定位发现
3. RabbitMQ消息队列未及时处理,队列积压导致的应用同步状态异常问题。
4. 在某次云上数据库偶发性故障定位中,通过1步绘制拓扑,5个指标观测,3分钟内的日志分析,快速界定出故障源为数据库应用异常。
5. 在某次云上虚拟机访问不通的故障定位中,通过1步绘制拓扑,3个指标观测,1分钟内的日志分析,确定是由于虚拟机路由配置缺失导致。
实现价值
通过DeepFlow云原生观测性平台的构建,在光大银行的运维实践中,产生了巨大的实战价值,包括:
开云、网、应用“黑盒”
通过DeepFlow云原生观测性平台,打开了云网黑盒,打开了云原生平台的系统黑盒,打开了云原生微服务调用的黑盒。
闪速故障定责定界定位
DeepFlow云原生观测性平台的数据关联分析、极简高效的数据呈现,实现了分钟级时延故障定界,分钟级丢包故障定位,分钟级业务异常故障定界,疑难杂症的定位周期由数天缩短至30分钟内。
加速云原生迁移
在实践中,我们还发现通过可观测性不仅仅能加速光大银行线上生产故障定位,提升在线业务可靠性,还能够助力光大银行开发、测试阶段的异常发现、异常定位,缩短开发周期,提高上线代码质量。
而且通过DeepFlow可观测性的快速定界能力,能够厘清故障界面,提升光大银行内部对云、容器平台的可靠性认可,提升应用向云原生重构、迁移的信心。
打破组织边界,构建融合统一运维能力
随着云原生的发展,IT开发组织、运维组织的形态也正在快速变革中,通过DeepFlow可观测性构建光大银行跨云、容器、网络、应用的统一可观测能力,打通了光大网络团队、云技术团队、应用运维团队三个组织的运维边界,通过统一、客观的可观测数据,为跨组织协作提供客观依据,提升沟通效率,减少运维矛盾。
总结
在可观测性平台的建设过程中,我们也遇到很多挑战和困难,比如可观测性概念推广普及难,可观测性建设缺乏指导方法论和建设标准,用户组织架构与观测数据融合的矛盾。首先,对于可观测性概念用户普及难的问题,我们发现真实的原因是可观测性概念抽象、对象宽泛、与监控区分不清、缺乏衡量标准。如果要高效率的推广可观测性,首先要站在用户的角度,结合场景,合理阐述和布道可观测性。通过大量的技术通过与交流,我们总结了简单易接受的可观测性定义:
可观测性定义1:源于监控,又不止于监控;源于运维,又不局限于运维。
可观测性定义2:通过海量、多源、异构数据(指标、追踪、日志)的获取、关联、分析,最大化发掘IT系统数据资产的价值(IT系统大数据分析、数据挖掘)。
其次,对于可观测性建设缺乏指导方法论和建设标准的问题,经过在可观测性平台建设的过程中,我们认识到可观测性的建设不是一朝一夕、一蹴而就的,可观性平台的建设更要关注持续性、成长性,更要关注平台的如下几点能力:
1. 持续提升,不断增加新数据源的能力
2. 持续提升,不断扩充新标签关联的能力
3. 持续提升,不断发掘新的数据价值的能力
最后,对于用户组织架构与观测数据融合的矛盾,核心在于可观测性对于组织中各个团队的价值和收益,我们在DeepFlow可观测性平台的建设中,以价值为锚点,不断地推广、宣传运维数据打通、运维数据关联、运维数据融合的巨大潜力和价值,从而不断争取更多的团队和角色对可观测性的建设提供支持,从而构筑数据更加丰富,使用功能更加强大,数据价值更打的可观测性。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
标签:
您可能也感兴趣:
为您推荐
统计局:2月制造业PMI为52.6% 比上月上升2.5个百分点
日本首相警告:处于社会崩溃边缘!3500亿砸盘逼近 美股危险了?欧洲爆发抛售潮
观焦点:2022年度个人所得税综合所得汇算清缴今日开始 如何办理预约?有哪些注意事项?
排行
精彩推送
- DeepFlow助力银行全栈云构筑云原生可观测性 保障系统稳定安全运行
- 超纯水与芯片生产“环环相扣”,高频科技领先超纯工艺助力半...
- 大行评级 | 瑞信:上调华润医疗(1515.HK)目标价至6.8港元 ...
- 37股获基金调研 杰普特最受关注
- 天天讯息:腾亚精工:短期人民币贬值是有利于公司的发展
- 高水平开放持续推进“聪明钱”积极涌入A股
- 天天关注:航空公司造的首款车来了 均瑶王均金:不比谁烧钱...
- 科汇股份2022年小亏 2021年上市即巅峰国海证券保荐
- 午评:沪指重返3300点关口 通信服务涨幅居前
- 港股异动丨美的置业涨4.33% 2月销售额环比增加31%
- 构建潇贺古道新经济带:下好交通“先手棋”
- 环球今头条!安徽首批体细胞克隆地方猪培育成功
- 全球短讯!家电产品不断升级 智能化更受消费者青睐
- 人民币对美元汇率中间价上调119个基点
- 天天微速讯:近几周美元涨势积聚动能
- 天天快资讯丨圣元环保:公司与三峡启航签订了《福建省海上风...
- 设研院:未来公司将深化大数据、云计算、人工智能、5G、物联...
- 每日短讯:港股异动 | 和黄医药(0013.HK)涨超5% 2022年度...
- 统计局:2月制造业PMI为52.6% 比上月上升2.5个百分点
- 世界消息!港股异动 | 微创医疗(0853.HK)低开超5% 2022年...
- 当前速递!今日上市:华人健康、纳睿雷达、润普食品
- 高通胀难以有效缓解 美元难以回归贬值周期
- 全球信息:美联储加息措施有效果 令美元略有承压
- 日本首相警告:处于社会崩溃边缘!3500亿砸盘逼近 美股危险...
- 观焦点:2022年度个人所得税综合所得汇算清缴今日开始 如何...
- 观焦点:普京签署关于俄暂停履行《新削减战略武器条约》的法律
- 每日头条!风口金选|“退役潮”来袭!动力电池回收蓝海已开启...
- 天天头条:2022年GDP超121万亿高质量发展有何新突破?
- 【世界快播报】全球电动汽车销量强劲增长中国成为主要推动力
- 天天资讯:3月1日起,2022年度个税汇算开始,这些人可退税
- 世界视点!全国政协委员熊水龙:建议调整双休日 试点“隔周...
- 【报资讯】跌无可跌?60万元/吨跌到40万元/吨仅用了3个月 业...
- 世界快讯:美股道指跌0.71% Meta涨3.2%复朗集团斗鱼跌逾5%
- 医保药品新增111个 肿瘤、罕见病等重大创新药在列!医药板块...
- 简讯:万达信息:公司暂未参与上海市人工智能公共算力服务平台
- 拓邦股份:公司订单比较稳定,未发生较大变化
- 焦点信息:飞速创新业绩升境外销售占比99% 供应商隐现竞争对手
- 3月券商“金股组合”出炉 机构看好经济复苏主线
- 美股异动 | Meta(META.US)涨超3% 成立专注人工智能的新团队
- 车圈又现“抄袭门” 两大千亿龙头互掐 长安发律师函 吉利火速回应
- 天天热点!达安基因:公司暂无收购chatGPT公司的计划
- 又现一夜暴富?深圳一业主拆迁签约9栋楼约9000平!能赔多少钱?
- 天天播报:3月1日起 2022年度个税汇算开始 这些人可退税
- 天天短讯!京能置业:拟筹划向特定对象发行股票事项
- 焦点速递!2023北京消费季启动 汽车置换补贴今年延续!
- 【全球播资讯】财报速递:上海谊众全年净利1.43亿元 同比扭亏为盈
- 财报速递:三和管桩全年净利1.56亿元 同比增长98.86%
- 天天热点评!深圳一业主拆迁签约9栋楼约9000平!业内:补偿总...
- 我国成功培育3个基因编辑小型猪新品系
- 诺亚财富北京温暖呈现,品质连接财富之上的人生智慧
- 歌尔股份:公司目前暂无开展自有品牌业务的计划
- 天极科技IPO首发申请被取消审核 保荐机构为东北证券
- 当前速读:明冠新材跌15.69% 东北证券民生证券在其高点唱多
- 知名瑜伽连锁机构突然宣布停业!创始人:所有家产已变卖 几...
- 全球首艘大容量电池混合动力客滚船交付 动力电池迎来新风口
- 证监会同意颀中科技、高华科技、派瑞特气科创板IPO注册
- 【当前独家】亿道信息:子公司深圳市亿多软件有限公司和深圳...
- 天天播报:重磅会议本周召开 将发布产业白皮书 行业风口已至...
- 重大信号 超百股月线阳吞阴!这些低位蓝筹获机构扎堆推荐
- 世界热讯:华锦股份:公司未使用电子合同
- 【全球速看料】长远锂科:公司在储能领域已有磷酸铁锂正极材...
- 龙虎榜:1.18亿抢筹多利科技 机构净买10股 外资净买2股
- 微资讯!数据复盘:主力流入中药行业 资金抢筹多利科技
- 热点!新买的小牛电动车频出问题 车主质疑“超标” 记者调...
- 世界快资讯:快件配送不畅引来大量客诉!"极兔"速递加盟人55...
- 每日头条!入住华住酒店 狗对羊下"重口",人加入了…场面一度混乱
- 多城二手房挂牌量超10万套 楼市迈入先量后价的回暖第一步?
- 速读:义乌房产新政:加大金融支持、加大“房票”使用力度
- 义乌房产新政:加大“房票”使用力度 安置面积可换“房票”
- 天域生态:向特定对象发行A股股票申请获上交所受理
- 今日视点:北向资金今日净卖出13亿 抛售宁德时代、贵州茅台
- 天天新消息丨工作人员一句话 这家公司立马20CM涨停!
- 今亮点!润禾材料:公司有多款产品可用于日化行业
- 世界热点评!晶方科技前独董陶冲收警示函 隐瞒关联关系致信...
- 世界今日讯!明冠新材跌15.69% 东北证券民生证券在其高点唱多
- 当前动态:蓝盾光电跌3.6% 2020年上市募资11.2亿华龙证券保荐
- 今日精选:通过哈啰顺风车运送小狗 结果连人带狗失联了?
- 天岳先进跌6.03% 海通国际证券在其高位唱多
- 动态焦点:2月28日人民币对美元中间价报6.9519 上调53个基点
- 【天天快播报】最多涨47%!机构最新青睐股曝光
- 复盘35只涨停股:数字政通炸板 众合科技2连板 特一药业首板
- 网络游戏板块涨0.92% 昆仑万维涨4.92%居首
- 世界微资讯!破发股信科移动上市当年亏6.7亿 募41亿申万宏源保荐
- 【全球聚看点】摩根士丹利华鑫基金2只基金增聘基金经理陈修竹
- 全球快播:中药板块涨3.18% 九芝堂涨10.05%居首
- 陈文离任淳厚现代服务业股票基金 去年跌17%
- 联动打击金融黑产,平安普惠、平安银行举办消保工作交流会
- 资讯推荐:124年来首次!日本新生儿不足80万人 岸田文雄:日...
- 每日视点!国盾量子:暂不涉及公司的超导量子计算相关业务
- 看点:金信诺:公司在钙钛矿方面仅有部分合作专利,但目前未...
- 环球热议:万安科技:公司有开发关于汽车零部件产品的软件
- 【天天热闻】“卖房就是为了打新” 单日成交超400套 杭州二...
- 天天观速讯丨深圳可售人才房申购条件放宽 单身年龄限制降至30岁
- 天天百事通!白宫要求政府机构禁用TikTok 中方:美国作为世...
- 环球速讯:冀中能源集团与唐山市政府签署战略合作协议 布局...
- 当前讯息:收评:三大指数集体收红沪指涨0.66% 医药板块强势
- 环球观焦点:房地产开发板块涨1.21% 蓝光发展涨9.62%居首
- 世界热资讯!国信证券:消费回暖趋势明确 三八大促有望助力...
- 世界快资讯:A股三大指数集体收涨 中药板块涨幅居前
- 天天时讯:达瑞电子(300976.SZ):通过外延收购新增精密结构件...