新手学做网站从哪里开始,wordpress 网络电台,湖南住房城乡建设厅网站,北京seo优化哪家好本文主要介绍大文件传输平台及其传输特性#xff0c;以平台版本升级为切入点#xff0c;探讨大文件传输平台对多种传输场景的支持及部署管控方面能力的增强。目 录01 普元大文件传输平台02 普元文件传输平台新版本特性03 信创项目案例04 总结01普元大…本文主要介绍大文件传输平台及其传输特性以平台版本升级为切入点探讨大文件传输平台对多种传输场景的支持及部署管控方面能力的增强。目 录01 普元大文件传输平台02 普元文件传输平台新版本特性03 信创项目案例04 总结01普元大文件传输平台1.1 文件传输面临的挑战随着企业业务拓展业务量及业务场景的增加随之增加的不仅仅是数据的体量复杂部署环境、多场景混合传输需求同样在高速增加。如何快速有效的将这些以文件形式存储的数据实时传输满足各种文件数据交换场景完成数据的更新已成为企业内、企业间数据共享的重要课题当前的文件传输平台建设面临如下挑战Ø 更复杂传输场景的支持Ø 更多更大文件传输体量支持Ø 更高标准的的平台管控需求Ø 更便捷的平台操作需求1.2 普元大文件传输平台普元大文件传输平台是一款高性能、高安全、易管控的分布式大文件传输平台基于高效的文件传输架构轻松实现PB级大文件、千万级海量文件快速、稳定传输支持点对点、FTP、SFTP、对象存储服务器等文件传输完全满足金融、政府、军工、教育、能源、电信等行业在各类应用场景下的文件共享交换需求拥有全栈信创环境适配能力平滑替换目前大规模应用的FTP及国外同类产品为企业内或企业间多级文件传输提供便捷、高效、可靠的平台支撑。02普元文件传输平台特性2.1 原子级文件传输处理架构单文件传输平台文件传输过程中文件处理划分成多个子模块文件预处理模块、文件传输模块、文件后处理模块、应用处理触发模块。并将文件发送封装成一系列原子操作包括转码、压缩、解压缩、加密、解密、传输以及传输控制等此类原子拆分实现了可控、高效、安全的文件传输。2.2 点对点传输场景平台支持通过简单界面配置可快速实现在任意两台代理服务器间进行点对点的文件传输同一文件可同时向多个目标节点进行文件传输并通过平台进行统一管理对处于两个不同网域/网段的代理节点可通过共享代理节点进行文件传输也支持内外网间的文件传输。2.3 特殊传输场景支持平台支持与FTP、SFTP、对象存储服务器京东、阿里、华为进行文件传输分离FTP、SFTP服务器定义与服务器认证模块实现一个服务器对应多个用户或认证方式通过控制管理中心界面化定义FTP传输策略、SFTP传输策略、对象存储服务器传输策略实现代理服务器与FTP服务器、SFTP服务器、对象存储服务器进行文件传输。2.4 支持多种调度策略平台支持周期性触发方式以分钟、小时、天、星期为单位周期性执行文件传输策略提供定时触发功能可设定策略在每天某个时间准时运行支持标识文件触发方式以标识文件到达为条件触发策略运行以周期性、定时、标识文件出触发的策略均支持一次性运行。并且支持自定义调度配置可通过灵活完成调度表示式完成自定义调度策略。2.5 区域化部署管理平台增加区域概念可以区域化进行项目部署为项目区域化网络适配打下基础管理节点Server、代理节点Agent可进行区域化配置满足因业务及网络原因代理服务器需要分区管理需求,提升产品对复杂业务场景的支持。2.6 目录文件动态变更支持会计日与目录、文件关联定义可根据当前会计日及当天日期完成目录动态变化实现动态目录、文件变更功能。会计日由原本默认日期格式yyyyMMdd改为可配置日期根式可根据现场目录形式定义不同的日期格式满足不同日期目录路径需求。2.7 目录文件日期跳转(TN)可通过配置日期跳转TN用于满足金融行业部分业务数据滞后特性实现当天传输前若干天数据文件需求。2.8 策略级接口回调策略执行完成后可调用外部接口进行结果通知支持restful及webservice类型接口可选策略级通知及文件级多次通知支持Json及Xml报文类型可自定义扩展字段并定义报文模板。2.9 安全漏洞修复平台经过第三方检测公司全方位安全扫描并通过人工模拟形式对平台进行安全漏洞检测修复已知的所有高中级别安全漏洞提升平台安全性。2.10 代理白名单功能代理服务器IP白名单功能限制通过接口、命令行、SDK方式向代理服务器传输文件开启白名单功能后只有IP在白名单内的发送方才可与该代理服务器进行文件传输。2.11 数据迁移功能大文件传输平台提供包括用户、角色、权限等管理数据及包括区域、目录、文件、策略等业务数据的导入导出功能可通过该功能实现新老环境的数据迁移导出excel文件后可对数据进行批量修改再次导入从而实现数据的批量导入。2.12 文件传输限流机制无需增加外部依赖可同时对传输节点、传输策略及跨区传输进行限流配置满足对整体及其文件级精准限流需求保障传输网络的稳定性及安全性。2.13 区域限流机制依托平台区域化部署可通过配置实现区域内、区域间的文件传输限流功能平台动态统计区域间带宽使用情况并根据分配策略对传输文件进行带宽分配系统添加多种容错机制保障带宽顺利归还文件持续传输大文件传输平台提供区域限流监控可实时查看区域间带宽使用及剩余情况并进行动态调整。2.14 代理节点统一管理文件传输与其他服务不同之处在于会有大量服务器节点参与传输大文件传输平台实现节点均衡分布、错峰心跳检测及统一在线版本升级回退轻松支持千级以上节点的接入、管理与监控补丁数据库统一存储保障复杂部署场景中代理版本更新与回退能力。2.15 安全可靠的文件传输平台支持文件加密、压缩传输内置DES、AES、SM4加密算法ZIP、RAR压缩算法支持通过扩展方式动态添加加密、压缩算法所有文件在传输前后进一次MD5校验并将两次MD5校验码进行比较完全相同时标识文件成功传输提供出口、入口函数接口可快速实现文件发送前、文件接收后对文件进行校验、脱敏、病毒扫描等操作从而保障文件传输安全、可靠性。2.16 去中心化调度文件传输调度平台在架构上分为管理平台、管理节点、日志中心和传输节点四部分采用去中心化调度设计将调度功能集成在传输节点避免因为集中式调度节点的宕机导致整个系统服务停止。并且实现了平台高可用和传输任务的负载功能。2.17 支持超大及海量文件传输通过点对点、文件分片技术支持TB级以上大文件传输通过文件并发传输端口及连接复用技术实现海量文件的高速传输。2.18 多活部署分布式无单点架构文件传输平台以分布式集群模式进行部署可部署多台控制管理中心对外统一提供管理服务管理节点、日志中心、传输节点均以多活模式运行可动态扩展当传输节点宕机后其他同组节点将承担其传输任务保障异常情况下文件传输正常运行。2.19 多角度全方位监控统计文件传输平台提供统一监控入口可对平台内服务器资源及文件传输过程进行全程监控并提供全方位、多角度的文件传输统计监控整体掌控文件传输状况。2.20 管理中心易用性优化大文件传输平台增加策略创建向导指导用户完成策略新增在策略新增页面增加节点、目录、文件、调度策略的快捷添加入口用户无需退出策略编辑页面进行其他业务实体的添加使用户无需反复添加相同数据关联策略执行记录与文件传输记录可通过策略执行记录查看所有的文件传输信息优化代理服务器资源展示页面提高用户体验、降低产品使用门槛。2.21 灵活、丰富的扩展机制平台内置扩展框架可快速实现新功能满足客户特定业务诉求对接第三方系统扩展功能与内置功能完全兼容可轻松纳入平台监控体系。03信创项目案例3.1 某国有银行数据交换平台重构项目项目背景企业级数据交换平台是某国有银行IT系统规划中数据服务的基础设施由于该平台建设运行多年对于迅速增长的数据量扩容成本过大对于日新月异的IT技术难以兼容对于信创标准难以满足。故需对该平台进行重构重构后的平台需在对原有功能实现的基础上能够满足海量文件交互高效的文件交换、批量数据的全链路监控、智能化运维等需求采用分布式架构、具备弹性扩缩容能力提升交行基础数据服务水平。节点兼容性替换方案在保证对现有系统无感知的目标下对CD传输单元进行替换调度平台提供对Agent传输任务调度的支持对源节点、中心节点、目标节点逐步替换现有CD节点并梳理相关传输任务将中心节点传输模式改为点对点直传模式减轻系统核心节点压力。项目实施效果普元大文件传输产品为行内文件数据传输提供了高效、可靠、便捷的工具支撑目前已经在总行文件数据中心、各个业务系统、多级分行进行部署并参与行内文件传输工作达到无缝替换国外文件传输平台产品C:D预期支撑千级传输节点接入海量文件传输为全行后续文件数据交互打下了坚实可靠的基础。04总结普元大文件传输平台定位于实现企业内或企业间的文件传输致力打造统一的文件传输管理平台实现文件传输一站式服务。在国家大力推行国产化进程的浪潮下普元大文件传输平台将更进一步优化传输体系架构贴合信创产业化需求提升产品业务性能为企业提供更高效、安全的文件传输更优质的文件传输管理体验加速企业文件型数据的共享进程。关于作者敏强普元研发中心资深顾问擅长分布式、多线程、高并发编程数仓技术企业数据交换体系建设主要负责数据交换类产品的设计与研发曾参与交通银行总行数据交换重构、长沙银行文件传输、河南农信文件传输等项目。
