网站建设实验总结,做网站需要域名,怎么做网上卖菜网站,品牌网络授权书从帝国理工的PPT学习。
什么是RDMA
Remote Direct Memory Access#xff0c;也就是Remote的DMA#xff0c;是一种硬件机制#xff0c;能直接访问远端结点的内存#xff0c;而不需要处理器介入。 其中#xff1a;
Remote#xff1a;跨node进行数据传输Direct#xff…从帝国理工的PPT学习。
什么是RDMA
Remote Direct Memory Access也就是Remote的DMA是一种硬件机制能直接访问远端结点的内存而不需要处理器介入。 其中
Remote跨node进行数据传输Direct不需要CPU或者OS kernel介入Memory从两个node各自app的虚拟地址空间直接传输数据Access支持send、receive、read、write、atomic operation
RDMA的优点
也就说明了适用场景
较高的高吞吐量带宽较低的E2E时延较低的CPU适用单侧的RDMA操作完全不需要remote CPU参与较低的内存总线争用user space和kernel之间完全不拷贝数据异步操作所以很适合overlapping的通信和计算
传统的TCP/IP vs RDMA
可以看到RDMA绕过kenel mode的同时也bypass了这些协议栈
协议栈对比 RDMA网络栈 准备阶段设置RDMA的data channels
buffer在使用前需要在网卡那边注册一下具体地在注册阶段需要
Pin memory保证这块memory不会被OS swap出去将地址转换信息存到NIC里对这段memory region设置权限返回remote key和local key这是给adapter在执行RDMA操作时用的
工作队列
RDMA通信是基于Send、Receive、Completion这三种队列的其中Send和Receive的queue属于work queue总是以Queue Pair的形式被创建。SQ和RQ用于schedule work当work完成时CQ用于通知。
在工作时应用会issue一个work request这个struct包含了指向一个buffer的指针
对于SQ指向要发送的消息对于CQ指向了incoming message要放入的位置
而一旦一个work request完成了那么adapter就会往CQ里塞一个元素。
支持RDMA的网络协议
IB (InfiniBand)、RoCE (RDMA over Converged Ethernet)、iWARP (internet Wide Area RDMA Protocol)
RDMA只是一种机制
并没有指定data transfer的语义RDMA网络支持两种访问模型
Two SidedRDMA send receive
这是最传统的消息传递模式消息源和目标方都积极地参与通信。
双方都需要创建
一对QP (SQCQ)用于发送和接收给这对QP用的CQ
发送方的work request会指向要传输的buffer然后把这个WQE塞到SQ里发过去。
接收方的work request会指向一个empty buffer用于接收数据通过这种方式WQE会被添加到对应的RQ里。 在sendreceive完成之后也就是直接写入了remote的registered memory然后双方的CQ里都会被添加一个CQE表示完成了。
One SidedRDMA read write atomic操作
只有发起方是活动的接收方是纯被动的不会issue任何操作也不会有CPU cycle甚至完全不会感知到有read/write发生了。
如果要发起RDMA read/write那么work request必须包含
远端目标内存的虚拟地址远端的memory registration key
也就是说要使用RDMA read/write发起方必须事先就知道这两个knowledge。
基于RDMA的上层协议
RDMA有很多好处但也因为开发者需要使用它的Verbs API带来了额外的复杂性。
