建网站手机软件,wordpress页眉修改,简述网站建设的方法,vue.js 做网站目录 阿里云揭秘其数据中心设计和自研网络#xff0c;用于大语言模型训练Jina AI 发布最新的神经网络重排序模型 阿里云揭秘其数据中心设计和自研网络#xff0c;用于大语言模型训练
阿里云近日公布了其专为大型语言模型 (LLM) 训练流量而设计的基于以太网的网络设计#x… 目录 阿里云揭秘其数据中心设计和自研网络用于大语言模型训练Jina AI 发布最新的神经网络重排序模型 阿里云揭秘其数据中心设计和自研网络用于大语言模型训练
阿里云近日公布了其专为大型语言模型 (LLM) 训练流量而设计的基于以太网的网络设计该网络已投入生产八个月。
技术成果
阿里云每个数据中心配备 15,000 个 GPU每个主机包含 8 个 GPU 和 9 个网卡以实现高带宽和避免单点故 障。阿里云选择以太网是为了避免供应商锁定并利用“整个以太网联盟的力量实现更快的发展”。阿里云自研网络名为“高性能网络”(HPN)旨在解决传统路由方法在 LLM 训练中遇到的问题例如哈希极化。阿里云偏爱单芯片交换机因为它们比多芯片交换机更稳定。阿里云为其交换机创建了定制的均热板散热器以解决过热问题。阿里云的数据中心设计为每个建筑容纳一个“Pod”每个 Pod 包含 15,000 个 GPU。阿里云已经在设计下一代网络架构以支持更高容量的单芯片交换机和更大的 LLM 训练集群。
行业影响
阿里云对以太网的偏好支持了 AMD、Broadcom、Cisco 等公司提出的反对 Nvidia 网络业务垄断的论点。阿里云的 HPN 设计和数据中心架构展示了其对 LLM 训练基础设施的重大投入。阿里云对单芯片交换机和定制散热解决方案的采用突出了其对性能、稳定性和成本效益的关注。
阿里云为支持 LLM 训练而做出的技术选择和设计决策展示了其在人工智能 基础设施领域的雄心和实力。
来源 https://www.theregister.com/2024/06/27/alibaba_network_datacenter_designs_revealed/
Jina AI 发布最新的神经网络重排序模型
Jina AI 发布了最新的神经网络重排序模型 Jina Reranker v2该模型在速度、多语言支持和功能上都有显著提 升尤其适用于检索增强生成RAG场景。
Jina Reranker v2 的主要优势
多语言支持: 支持超过 100 种语言的检索超越了 bge-reranker-v2-m3 的性能。代理能力: 具备最先进的函数调用和文本到 SQL 转换能力适用于代理 RAG 场景。代码检索: 在代码检索任务中表现出色。超快速度: 吞吐量比 bge-reranker-v2-m3 高 15 倍比 jina-reranker-v1-base-en 高 6 倍。
Jina Reranker v2 的特性
创新需求弥补嵌入模型在检索精度上的不足。多语言支持在 MKQA、BEIR 和 AirBench 等基准测试中表现优异。应用场景在结构化数据查询、函数调用和代码检索方面的应用。推理速度模型尺寸更小、采用了 Flash Attention 2 技术。训练过程分四个阶段进行包括使用英语数据预训练、添加跨语言数据、微调等。
Jina Reranker v2 的应用方式
通过 Jina Reranker API提供简单易用的接口方便快速集成。通过 RAG/LLM 框架与 Haystack、LlamaIndex 和 Langchain 等框架集成。通过 HuggingFace提供预训练模型方便研究和评估。通过私有云部署即将在 AWS 和 Azure 平台上线。
Jina Reranker v2 是一个功能强大、性能卓越的重排序模型可以显著提升 RAG 系统的精度和效率适用于各种多语言、多模态的检索和生成任务。
来源 https://jina.ai/news/jina-reranker-v2-for-agentic-rag-ultra-fast-multilingual-function-calling-and-code-search 更多内容请查阅 : blog-240629 关注微信官方公众号 : oh my x
获取开源软件和 x-cmd 最新用法
