网站类别页面怎么做,大连做网站哪里好,太原网站建设方案书,福州小程序开发案例Spacy小笔记
最近频繁用到spacy#xff0c;就小记一下。 2024.11.29
zh_core_web_trf、zh_core_web_lg、zh_core_web_md 和 zh_core_web_sm区别
首先#xff0c;它们都是预训练的中文模型#xff1a;
zh_core_web_trf:395M 架构: 基于 Transformer 架构#xff08;bert…Spacy小笔记
最近频繁用到spacy就小记一下。 2024.11.29
zh_core_web_trf、zh_core_web_lg、zh_core_web_md 和 zh_core_web_sm区别
首先它们都是预训练的中文模型
zh_core_web_trf:395M 架构: 基于 Transformer 架构bert-base-chinese。 大小: 较大通常在几十到几百 MB 之间。 性能: 最高尤其在复杂的自然语言处理任务上表现优秀如命名实体识别、依存关系解析等。 资源需求: 需要较多的计算资源和时间来加载和运行。 适用场景: 需要最高准确性的复杂任务如情感分析、机器翻译等。zh_core_web_lg:575M 架构: 基于传统的统计方法。 大小: 较大通常在几十 MB 到 100 MB 之间。 性能: 较好适用于大多数常见的自然语言处理任务。 资源需求: 需要的计算资源比 trf 模型少但比 md 模型多。 适用场景: 一般用途的任务如文本分类、实体识别等。zh_core_web_md:74M 架构: 基于传统的统计方法。 大小: 中等通常在几十 MB 之间。 性能: 适中适用于大多数常见的自然语言处理任务。 资源需求: 需要的计算资源较少适合资源受限的环境。 适用场景: 一般用途的任务如文本分类、实体识别等。zh_core_web_sm:46M 架构: 基于传统的统计方法。 大小: 较小通常在几 MB 到十几 MB 之间。 性能: 较低但在某些简单任务上仍然有效。 资源需求: 需要的计算资源最少适合资源非常有限的环境。 适用场景: 简单的任务如基本的分词、词性标注等。
下载地址https://github.com/explosion/spacy-models/
上面这些库下载后都通过pip安装注意要和对应版本的spacy匹配
实际使用过程中发现md、lg、trf三者的区别并不大也许md是性价比最高的选择
