廊坊网站建设系统,莱芜征婚吧,太原网站推广服务,免费做调查的网站JuiceFS 社区版 v1.2 今天正式发布#xff0c;这是自 2021 年开源以来的第三个大版本。v1.2 也是一个长期支持版本#xff08;LTS#xff09;。我们将持续维护 v1.2 以及 v1.1 这两个版本#xff0c;v1.0 将停止更新。 JuiceFS 是为云环境设计的分布式文件系统#xff0c;…JuiceFS 社区版 v1.2 今天正式发布这是自 2021 年开源以来的第三个大版本。v1.2 也是一个长期支持版本LTS。我们将持续维护 v1.2 以及 v1.1 这两个版本v1.0 将停止更新。 JuiceFS 是为云环境设计的分布式文件系统支持超过 10 种元数据引擎和 30 种以上的数据存储引擎。这些丰富的选择使得用户可以灵活应对多变的企业环境和数据存储需求同时JuiceFS 兼容多种访问协议包括 POSIX、HDFS、S3 和 WebDAV并可在 Kubernetes 中作为持久卷PV使用从而确保数据在不同应用间能够自由流通。 JuiceFS 社区版采用 “Apache 2.0” 许可允许用户根据自身需求进行二次改进用户可以放心将 JuiceFS 应用于各种商业环境。 新功能概览
在过去几年中JuiceFS 社区版在多个行业和场景中得到广泛应用尤其是在 AI 和大模型领域。为了应对这些大规模数据场景中的复杂权限管理问题最新的 1.2 版本中引入了多项新特性并对一些原有功能进行了优化 支持 POSIX ACL通过使用 Linux 自带的 ACL 工具setfacl/getfacl可以实现更加强大的用户权限管理 支持平滑升级可在相同挂载点再次挂载 JuiceFS 实现业务无感的平滑升级此外这种方式也支持在线调整挂载参数 S3 Gateway 高级功能新增了“身份和访问管理Identity and Access ManagementIAM” 与 “事件通知” 提供更安全、灵活和自动化的数据管理和监控能力适用于多用户环境和复杂的业务场景 JuiceFS Sync 优化增强了选择性同步功能并对多个场景进行了性能优化以提高大目录和复杂迁移任务的数据同步效率。
适应更多场景
新支持 NFS/Dragonfly/Bunny 作为对象存储便于用户根据场景需求灵活选择后端存储。目前, JuiceFS 已支持 40 对象存储。
更稳定 客户端缓存支持自动坏盘检测和隔离。JuiceFS 利用客户端的本地硬盘进行数据缓存能有效提升大部分场景下的数据访问速率。新版本中 JuiceFS 新加入了坏盘自动检测和隔离功能使系统在遇到硬件异常时仍能保持稳定性能减少对业务的影响 dump 命令和元数据自动备份优化以改善元数据导出性能。在原来的实现中为了能更快地将所有元数据导出客户端会先将所有的键值对加载到内存中这在较大规模的文件系统中给系统带来了很大的内存压力。在新版本中 JuiceFS 会根据文件数自动选择策略在其总数大于十万时采用较缓和的逐文件导出的方式。同时为了兼顾速度此策略在实现中加入了多并发预取的特性。
更易用 新增 juicefs compact 命令允许用户手动对指定路径进行 compact 操作。在之前版本中用户可使用 juicefs gc --compact命令执行全局的 compact 操作从而在必要时尝试减少对象存储的容量使用。但是当文件系统规模比较大时gc 命令往往需要运行很久用户体验较差。新的 compact命令增强了运维的灵活性 juicefs mount 命令新增 --cache-expire选项该参数允许用户来指定本地数据缓存的有效时间一旦设定的时间到期相关缓存数据将自动被删除。相较于原来只能在缓存盘达到容量阈值时才触发缓存清理此选项为用户带来了更灵活的缓存管理选项 juicefs warmup 命令优化支持手动清理指定路径的缓存块以及检查指定路径的已有缓存比例。这将方便用户能更可靠有效地管理客户端数据缓存提升业务的缓存命中率 gateway/webdav 支持后台运行这一改进使得用户可以将其作为守护进程在后台运行从而提高服务的可用性和稳定性用户可以更轻松地集成和使用 JuiceFS 在多种网络环境中 多项易用性优化如命令行参数支持更人类友好的格式如直接使用 128K、4M 等字符串指定分块大小更多的监控指标更可靠的 debug 信息收集命令等。
开源第四年持续快速发展
JuiceFS 社区版于 2021 年 1 月正式开源目前在 GitHub上已获得 10K 星标 。这个版本新增 issue 数量 410 个合并的 PR 数量为 464 个贡献者人数 44 人。
匿名上报数据显示用户各项指标继续快速增长。中文社区已建立了 7 个微信群人数超 3000。海外用户规模也在稳步增长根据最新的用户下载 IP 数据海外用户占比近 50%其中美国 33%欧洲 10%亚洲不包括中国大陆 5%。 新增应用案例 贝壳找房为 AI 平台打造混合多云的存储加速底座 知乎多云架构下大模型训练如何保障存储稳定性 BentoML如何使用 JuiceFS 加速大模型加载 基于 JuiceFS 的大数据平台上云存储成本省 85%性能媲美 HDFS 韩国国民搜索 NAVER为 AI 平台引入存储方案 JuiceFS 机器人行业数据闭环实践从对象存储到 JuiceFS 基于JuiceFS 的低成本 Elasticsearch 云上备份存储 JuiceFS 在自动驾驶行业多云架构中的实践 小米云原生文件存储平台化实践支撑 AI 训练、大模型、容器平台多项业务
点击此处查看用户案例合集
以下这些功能将在未来的版本中逐步实现欢迎大家一起来共建 分布式数据缓存 支持 Kerberos 和 Ranger 用户和组配额
JuiceFS v1.2下载链接https://github.com/juicedata/juicefs/releases/tag/v1.2.0
在开源的第四年JuiceFS 从一个新兴品牌成长为大家熟悉的产品应用场景从支持 Hadoop 上云扩展到 AI 训练、推理等领域。JuiceFS 能成为许多人日常工作的一部分我们感到非常荣幸。这些都离不开每一位社区成员的参与感谢你们反馈的问题、解答问题、贡献代码、分享实践经验
