如何给网站弄ftp,外贸手机网站建设,沈阳正规制作网站公司,设计师网站导航一、项目介绍
JDV#xff08;可视化大屏#xff09;是京东内部搭建可视化大屏的数据工具平台#xff0c;内置10种模版特效#xff0c;40种风格各异的图表、导航等组件。与集团其他数据工具打通#xff0c;支持一站式、自助化、拖拽式搭建大屏#xff0c;实现数据切换、联…一、项目介绍
JDV可视化大屏是京东内部搭建可视化大屏的数据工具平台内置10种模版特效40种风格各异的图表、导航等组件。与集团其他数据工具打通支持一站式、自助化、拖拽式搭建大屏实现数据切换、联动刷新、大屏下钻等呈现效果便利高管、采销、产研等全集团范围内的数据可视化诉求。在大促期间京东视界大屏项目主要服务作战指挥、庆功会、公关场景实现在大促期间实时数据监控分析并基于大屏数据进行决策和总结同时在公关场景下实现对外部媒体、政府、外部企业领导参观协助公关部对外宣传公司的良好形象。
二、项目挑战
JDV做为可视化大屏搭建平台平台主要由可视化编排和后端服务组成由于大屏在页面中渲染后会通过指定刷新频率主动获取数据每次在页面中渲染后就是一个独立运行实例系统具体架构如下图所示。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YXyh9sfA-1691381013950)(https://mp.toutiao.com/mp/agw/article_material/open_image/get?codeMWRjMjgzNzNiZTc1N2I0OGIzMDhlODc5YjlhMzdjYzQsMTY5MTM3MjQ3MDM1Mg)]
基于可视化大屏特点为了解决大屏在使用过程中能够满足秒级更新、跨0点停数、指标数据快速调整、数据高稳定性、备用屏秒级切换等业务场景需要JDV平台能够足够灵活具体场景细节如下
•数据秒级更新秒级数据刷新对底层数据服务压力较大我们使用请求隔离、限流等技术手段对大屏请求实现高可用保障实现全链路读写真实场景多次高保真压测提前发现并解决链路性能问题并针对QPS高峰等有足够预案处理。
•跨0点停数针对周期累计的数据来讲处于临界点也是突变点0点过后数据接口会重新开始新周期累计我们必须在多服务多机房多容器存在系统时间偏差场景中精准停数。
•数据快速调整在大促期间经常需要根据业务看数需求紧急快速调整当前基于我们PaaS大屏搭建方案能保证90%以上需求调整能在分钟内调整完并交付使用。
•数据高稳定性大屏一般会投放在高管作战指挥室、各业务线指挥室等我们要以高质量交付方便业务基于实时数据调整避免跳数、刷新异常等问题影响业务看数从而错过最佳决策时间。
•备用大屏切换在搭建大屏过程需要考虑线上和线下大屏使用过程中出现的问题情况所有在搭建大屏过程除了需要搭建预估场景下使用的大屏外还需要搭建部分备用屏及拖底屏确保在大促期间所有大屏的使用都万无一失。
基于以上大屏在大促期间使用场景本次618大促期间相关挑战也是非常大主要在大屏搭建量大、使用场景复杂多变、时间紧任务重等方面具体如下
•大屏搭建量大在大促期间需要搭建大屏数据较多过程中还需要根据大促场景随时增加大屏数量大促期间共搭建了80张大屏搭建大屏过程中由于大屏涉及相关人员较多在大促期间沟通成本巨大从4月底开始陆续评审需求后5月初就需要完成作战指挥大屏配合全链路压测京东视界和公关屏逐步进行搭建过程中大屏需求须随时响应调整。
•场景复杂多变大促期间主要分为作战指挥、庆功会、公关大屏3类大屏每类大屏又涉及各种使用场景在本次大促过程中开门红后大屏还紧急支持了28H大屏跨0点停数、615高潮期累计、28H实时订单累计、618晚宴等场景。
•时间紧任务重大屏搭建整体时间范围在1个月左右需要完成与业务方沟通确认细节、完成三方接口和三方屏人员质量把控以及完善平台不同场景相关预案并确认预案操作人等事项预案涉及跨0点停数、制定大屏限流、代理数据源管控、双流切换、线下断网停数、设备切换等不同场景下团队联动演练。
三、技术创新
基于JDV平台在大促期间的重要性及上面提到的各种挑战在大促前期3月底就已梳理规划对平台进行大促技改事项主要目的是提升大屏在复用性、实时监控、请求链路合理性、QPS管控等方向能力建设下面将重点介绍平台在请求状态控制和实时监控方向的思考及技术方案。
1、请求状态管控
背景定时刷新和数据秒级更新是大屏的一个重要能力大屏编排过程中能够灵活指定数据刷新间隔当开屏的数量增加都会提升底层数据服务QPS压力考虑到大屏定时发送请求的特殊性可以通过控制页面数据请求轮询机制来避免用户未看大屏情况下定时请求问题。
方案在该场景下需要通过实现大屏状态识别能力来控制大屏是否定时发送请求当页面不在当前窗口、页面隐藏、窗口最小化等非活跃状态时识别页面渲染实例状态动态控制对服务端发送请求机制通过该方案在一定程度上降低大屏对数据服务QPS压力。
2、大屏实例监控
背景JDV平台是基于编排能力搭建大屏在系统监控上除了需要接入各种泰山平台监控功能外同时也要解决降低相同大屏请求QPS、确保不同用户在相同时刻访问的数据一致。为了解决该场景JDV后端服务采用代理数据源获取数据方式为了确保数据请求准确无误需要对大屏渲染实例进行实时监控实时了解用户使用大屏情况、不同用户同时打开大屏数量、对数据服务QPS请求压力等数据的呈现基于大屏实时使用情况决定是否需要采取预案处理。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lvxXLXxQ-1691381013952)(https://mp.toutiao.com/mp/agw/article_material/open_image/get?codeOTg0MTZkYzVkYTMzZTQyMGRiZjQzYTZmZWU4Y2EyMDcsMTY5MTM3MjQ3MDM1Mg)]
心跳上报流程
方案基于以上大屏使用场景对大屏渲染实例的实时监控将是非常非常重要功能为了方便我们基于大屏实时监控进行异常预案决策在本次618大促前我们已增加了大屏实时监控能力该功能也被我们团队内部认为是监控能力细化的升级版。具体方案流程如“心跳上报流程”图所示对实例监控的思路主要是基于socket长连接心跳机制它像心跳一样每隔固定时间发送一次以此来告诉服务器当前客户端还活着的借鉴基于socket心跳上报机制和JDV大屏项目的使用场景通过在页面前端收集用户账号、版本号、IP地址、大屏ID编码、大屏实例ID、大屏交互参数、访问端标识等信息大屏前端组件将相应心跳上报参数统一进行维护在指定的上报时间后将会进行心跳上报同时服务端接收到心跳信息后与代理数据源任务进行关联实时维护任务的存活状态。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2tn3gLIi-1691381013952)(https://mp.toutiao.com/mp/agw/article_material/open_image/get?codeZjRhYWMzMTQzZjNhMjNlNmMyMGMyNjkzN2FiODNiNWQsMTY5MTM3MjQ3MDM1Mw)]
实时监控与预案联动效果
基于心跳上报数据为基础将心跳上报日志信息进行分析汇总实时掌握每张大屏当前的开屏用户数、开屏实例数、开屏实例数与预估峰值占比、任务创建等信息具体效果如“实时监控与预案联动效果”图所示并基于每张大屏异常情况决策是否需要进行预案联动处理。
四、技术保障
JDV平台为了应对各种业务场景除了上面提到的技术创新方面来保障系统质量外还在大屏视频录制、编排辅助工具、跳数停止更新、跨0点精准停数、代理数据源任务等方面分别辅助编排提效以及系统质量保障具体细节如下
1、大屏视频录制
背景JDV 京东视界场景中跨0点停数及倒计时功能在线下场景使用即便我们已经进行了相对完备的解决方案但还需要每次等到凌晨进行功能验证将极大消耗团队成员时间和精力。
方案为更好的对停数和倒计时功能进行验证我们通过指定大屏访问链接和时间创建录制任务设计出 JDV 录屏功能。当任务到达指定时间后将进行大屏录制并将录制的视频保存储到OSS这样就可以实现对指定时间的大屏进行录制。在这套录制系统的配置下我们通过视频回放进行功能测试和验证确保了大屏停数和倒计时功能准确性极大减少了成员时间和精力的消耗保障了618庆功宴停数场景的顺利完成。
2、编排辅助工具
背景JDV京东视界场景中需求变化频繁我们需要对大屏内容进行相应的调整而且需要保证极快的响应在极端场景下还需要对大屏布局进行重构由于大量编排配置调整后需要快速进行交付使用所以需要解决需求修改后能高效确认配置的正确性避免修改错误影响正常使用。
方案为减少重复工作提高响应效率我们开发出一些工具提高在大屏编排过程中的工作效率具体如下
1.JDV-Relay 浏览器插件实现一键复制 Relay 元素尺寸、位置、样式、属性等配置信息可以直接将其粘贴到大屏中可以一键粘贴完成配置将之前10多项的配置节省到一次复制粘贴中极大减少了配置的时间提高了搭屏的效率。
2.JDV 批量组件修改功能可以搜索大屏中匹配的组件并进行统一的修改可一次修改批量同步操作相关组件需求变更。
3.JDV DIFF工具在大屏搭建过程中为保障配置的正确性我们建立了更改通知机制一旦发布后的大屏需要修改我们将采用DIFF工具对新旧版本的配置进行比对并针对改动内容标记凸显出来快速识别其中改动内容确保改动的正确性。
3、跳数停止更新
背景因为大屏数据秒级刷新在当前使用场景和分布式微服务场景下任何跨时间周期、服务或网络抖动等问题在大屏上都能被用户感知影响系统稳定性造成用户体验差数据不准确等问题。
方案JDV采用未获取新数据不更新数据机制利用该机制解决偶发性抖动造成跳数问题确保JDV大促依赖的10多个团队几十个数据接口整个链路服务返回统一状态码通过对错误或异常状态返回状态码进行区分实现对数据是否更新准确控制。
4、跨0点精准停数
背景大屏展示某个累计周期统计数据在线下庆功会场景需要在周期结束最后一秒进行停数。大屏涉及零售、科技、物流等集团多业务线几十数据接口方接口实现逻辑、接口协议、部署方式等都不统一并且系统时间理论上不能保证百分之百无差异如果不能精确停数会导致数据变小、跳0等突变情况如果停数异常将造成重大事故。
方案停数问题核心就是精准和稳定平衡关系精准主要指数据是否能无限接近获取最后一秒真实值稳定是指能不能100%停到下个累计周期开始之前。因为最后一秒是临界点也是突变点我们通过监控系统时间偏差和各接口TP99经过多次演练和测试验证我们最终设定一个毫秒级兼顾精准和停数稳定的时间点。
5、代理数据源任务
背景大屏秒级刷新机制是前端组件定时固定间隔发起批量数据请求这个机制情况下会随着开屏数量增加对底层数据服务请求QPS线性增长。
方案我们通过分析发现大多数大屏请求具有共性不同人打开同一个屏看到往往是同一份数据。基于这个特性我们实现了代理数据源功能对不同人开屏请求进行合并在后台生成一个查询任务定时获取数据将数据写入缓存大屏直接查询缓存中的数据从而避免多个相同请求对DB或底层数据服务造成查询压力。
五、总结反思
基于本次618大促JDV平台支持大促过程中的表现共从大促总结、能力沉淀、待提升项3个方向也进行了相应总结和反思。
1、大促总结
针对这次大屏在大促期间能快速响应完美支持大促场景通过提前识别大促技改、系统多场景预案、技术方案上的创新、ISV人员介入、真实场景演练以及底层PaaS化和配置化能力快速响应紧急需求等密切相关。在大促前能提前规划和识别出根本问题遇到难点能够通过采用创新方案精准识别出技改功能点在系统保障机制等方面起到了非常关键的作用。具体细节如下
•识别大促技改主要在大促前期研发已经识别出历来大促过程中的痛点通过对大屏组件升级、QPS请求管控、代理数据源任务实时管控等功能上的优化调整全面提升大屏搭建效率和降低对底层的访问压力提升系统健壮性及扩展能力。
•多场景预案为保障大屏满足各场景下都能稳定运行基于用户访问限制、跨0点停数、数据双流切换、断网停数、大屏管控切换、视界硬件设备切换等都有相应操作预案并针对作战指挥、京东视界、公关大屏场景进行停数和预案演练同时在跨0点特殊场景下借助录屏工具定时执行实现对跨夜节点场景上对人力资源的释放提升开发及备战效率。
•技术创新方向过去大屏只有系统层级上的监控能力对用户实时访问大屏情况不能及时进行监控考虑到大屏项目的重要性及配置化的特殊性本次大促对大屏设计了心跳上报的能力通过大屏心跳检测实时掌握用户访问大屏情况以及系统压力并结合相关预案出现异常情况快速进行操作。
•高效响应需求大屏搭建前提前识别大屏搭建工作量巨大而公关屏数量占了一半以上为解决大量公关屏搭建工作本次公关屏通过数据脱敏组织人员培训引入3个ISV人员主导进行公关屏的搭建高效解决大屏搭建效率。同时大促过程中借助大屏强大的配置化和底层PaaS化搭建大屏能力每次有紧急需求都能快速支持过程中共支持了28H大屏跨0点停数、615高潮期累计、28H实时订单累计、618晚宴等场景需求为公司高层在大促期间快速决策起到保驾护航的作用。
2、能力沉淀
基于本次大促过程遇到的问题共性及能力复用的思考JDV平台项目中相关功能也能进行复用以下功能将实现项目赋能提升其他项目的开发效率。
•实例实时监控本次大促增加的心跳上报和基于上报日志搭建大屏实时监控功能刚好可以补齐目前我们系统中更精细化的实时监控能力通过沉淀为可统一复用能力后方便我们基于用户实时监控进行异常预案联动确保大促稳定性保障。
•代理数据源对相同用户请求进行合并在后台生成查询任务以降低对依赖数据服务层的请求压力从而避免由于用户量增加造成对数据服务和DB查询压力避免触发底层限流等场景使用。
•录屏任务服务当系统需要跨0点停数、倒计时功能验证时为确保在跨0点场景做到真实验证而又无需人员每次等到指定时间点通过指定时间段自动录屏后续进行回放验证等方式避免大促期间人员经常凌晨验证释放人员精力提升工作效率。
•编排配置DIFF随着开发提效的逐步实践各系统的编排配置能力也将逐步提升在频繁的配置修改过程中为保障配置的正确性各自系统也将越来越需要配置变更通知机制将配置DIFF工具能力形成复用对新旧版本的配置进行 DIFF 比对提升功能修改的高效验证也将变得越来越重要。
3、待提升项
同时在本次大促中JDV平台也存在不足需要在后续工作中逐步进行提升主要体现在沟通成本高、标准规范统一等方面上后续也将基于本次大促过程中遇到的问题逐步完成项目在更多方向的数字化能力建设。
•沟通成本高由于大促期间涉及各方向人员主要有业务方、产研测以及三方接口及三方大屏对应的产研等人员期间大屏共涉及86张各团队配合过程中各种大小事都需要及时沟通确认出现这些问题的原因都是由于需求变更调整没有统一在JDV平台数据化造成的需要先收集到文档再由大屏搭建人员调整编排引发的在这样的情况下需求调整越多沟通成本也就越高。后续将逐步规划抽取需求变更共性当修改文案、数字等配置内容时相关业务方或产品能直接在JDV平台进行录入调整调整后又能立马查看效果实现大屏编排中期也能可见即可得能力。
•标准规范统一为降低大屏搭建过程中出问题概率和提升沟通效率涉及各方依赖项在性能要求、压测文档、停数控制、信息收集反馈等方向上都需要更加的规范目前各方接口人输出结果时间及要求让JDV大屏多团队协作方向上也能沉淀出一套完整模版甚至在每次大促过程中各接口人和研发等角色都能收到各自需要完成事项的XBP流程按照流程标准输出待办事项等。
最后平台发展也希望有更多的建议大家如果在系统编排等方向上有更好的思路和建议也可以联系我们让JDV发挥更大的价值 作者京东零售 刘卫程 来源京东云开发者社区
