西安网站制作的公司,建设网站应注意什么,做网站后都需要什么,计算机应用技术毕业设计自从ChatGPT等大型语言模型#xff08;Large Language Model, LLM#xff09;出现以来#xff0c;其类通用人工智能#xff08;AGI#xff09;能力引发了自然语言处理#xff08;NLP#xff09;领域的新一轮研究和应用浪潮。尤其是ChatGLM、LLaMA等普通开发者都能运行的…自从ChatGPT等大型语言模型Large Language Model, LLM出现以来其类通用人工智能AGI能力引发了自然语言处理NLP领域的新一轮研究和应用浪潮。尤其是ChatGLM、LLaMA等普通开发者都能运行的较小规模LLM开源之后业界涌现了大量基于LLM的二次微调和应用案例。 传神社区Opencsg旨在收集和整理与中文NLP相关的开源数据集。如果本篇文章对您有帮助欢迎点赞与收藏
我们也欢迎大家贡献本文未收录的开源数据集提供对应的资源描述与链接感谢您的支持 目录 1. 法律问答 1.1 哈佛法学院案例语料库 1.2 中文司法阅读理解数据集 1.3 隐私政策问答数据集 2. 法律文本摘要 3.1 PILE法律数据集 3.2 Fairlex评估数据集 3.3 LexGLUE评估检索数据集 4. 其他 4.1 面向非结构化法律文本的spaCy pipeline和NLP模型 4.2 罪名法务名词及分类模型 2.1 英国最高法院的案例文件及其摘要数据集 2.2 印度最高法院的案例文件及其摘要数据集 2.3 域指导隐私政策摘要数据集 2.4 美国立法自动总结语料库 2.5 合同英语摘要数据集 2.6 美国法律案例摘要数据集 2.7 法律案件报告数据集 3. 法律基准数据集 01 法律问答 1.1 哈佛法学院案例语料库 CaseHOLD:
简介预训练语料库是通过摄取从1965年至今的整个哈佛法学院案例语料库构建的。这个语料库37GB的大小很大代表了所有联邦和州法院的3,446,187个法律判决并且比最初用于训练BERT的BookCorpus/Wikipedia语料库15GB的大小还要大。我们从这个语料库中随机抽取 10% 的决策作为保留集我们用它来创建 CaseHOLD 数据集。剩下的 90% 用于预训练。
地址https://opencsg.com/datasets/MagicAI/CaseHOLD 1.2 中文司法阅读理解数据集 CJRC
简介中文司法阅读理解CJRC数据集其中包含约10,000份文件和近50,000个带答案的问题。这些文件来自判决书问题则由法律专家进行标注。CJRC数据集可帮助研究人员通过阅读理解技术提取要素。要素提取是法律领域的一项重要任务。
地址https://opencsg.com/datasets/MagicAI/CJRC 1.3 隐私政策问答数据集 PrivacyQA
简介PrivacyQA 是一个语料库由 1750 个关于隐私政策内容的问题组成并配有专家注释。这项工作的目标是启动该领域问答方法的开发以解决不切实际的期望即大量人口每天应该阅读许多政策。
地址:https://opencsg.com/datasets/MagicAI/PrivacyQA 02 法律文本摘要 2.1 英国最高法院的案例文件及其摘要数据集 UK-Abs
简介这个数据集是从英国最高法院的网站爬取的包含了793份完整的案件文档及其对应的摘要。这些数据被分为训练集和测试集其中693对文档摘要被随机抽样作为训练数据集剩余的100对作为测试集。
地址https://opencsg.com/datasets/MagicAI/UK-Abs 2.2 印度最高法院的案例文件及其摘要数据集 IN-Abs
简介这个数据集是从印度法律信息网站爬取的包含了7,130份完整的案件文档及其对应的摘要。这些数据被分为训练集和测试集其中7,030对文档摘要被随机抽样作为训练数据集剩余的100对作为测试集。
地址https://opencsg.com/datasets/MagicAI/IN-Abs 2.3 域指导隐私政策摘要数据集 Domain-Guided-Summarization-of-Privacy-Policies:
简介本数据集提取自151家公司的隐私政策、服务条款和Cookie政策文本。要点和简明英语摘要摘自 tosdr.org。
地址https://opencsg.com/datasets/MagicAI/Domain-Guided-Summarization-of-Privacy-Policies 2.4 美国立法自动总结语料库 BillSum
简介BillSum 数据集是第一个用于自动汇总美国立法的语料库。该语料库包含来自美国国会和加利福尼亚州立法机关的法案文本和人工撰写的摘要。它作为论文发表在EMNLP 2019 New Frontiers in Summarization研讨会上。
地址https://opencsg.com/datasets/MagicAI/BillSum 2.5 合同英语摘要数据集 legal_summarization
简介这个数据集专注于单边法律合同如服务条款这类合同在现代数字生活中扮演着重要角色。然而很少有人在接受这些条款之前会阅读这些文档因为它们通常篇幅冗长且语言复杂。为了解决这一问题我们提出了将这些法律文档以简洁的英语进行摘要的任务这样可以帮助用户更好地理解他们正在接受的条款。
地址https://opencsg.com/datasets/MagicAI/legal_summarization 2.6 美国法律案例摘要数据集 BVA Cases
简介来自美国退伍军人上诉委员会的 92 对案例、摘要
地址https://www.opencsg.com/datasets/MagicAI/BVA_Cases 2.7 法律案件报告数据集 LCR
简介包含4000个法律案例的文本语料库用于自动摘要和引文分析。对于每份文档我们收集标语、引文句子、引文标语和引文类别。
地址https://www.opencsg.com/datasets/MagicAI/LCR 03 法律基准数据集 3.1 PILE法律数据集 Pile of Law
简介我们收集了大量的法律的和行政数据。这些数据的用途有两方面1汇总体现不同数据过滤规范和法律的标准的法律的和行政数据源;2收集一个数据集可用于未来的法律领域语言模型预训练这是诉诸司法举措的一个关键方向。因此对数据源进行策划以告知1法律的分析、知识或理解;2论点形成;3隐私过滤标准。像法典和法律这样的来源倾向于提供信息1。成绩单和法庭文件往往提供信息2。意见倾向于告知1和3。
地址https://www.opencsg.com/datasets/MagicAI/pile_of_Law 3.2 Fairlex评估数据集 Fairlex
简介我们提出了一个由四个数据集组成的基准套件用于评估预先训练的法律语言模型的公平性以及用于为下游任务微调它们的技术。我们的基准涵盖四个司法管辖区欧洲理事会、美国、瑞士和中国、五种语言英语、德语、法语、意大利语和中文以及五个属性性别、年龄、国籍/地区、语言和法律领域的公平性。在我们的实验中我们使用几种组鲁棒微调技术评估了预训练的语言模型并表明在许多情况下性能组差异是活跃的而这些技术都不能保证公平性也不能始终如一地减轻组差异。此外我们还对结果进行了定量和定性分析强调了在法律NLP中开发鲁棒性方法的开放挑战。了两个数据集。
地址https://www.opencsg.com/datasets/MagicAI/Fairlex 3.3 LexGLUE评估检索数据集 LexGLUE
简介与 GLUE 和 SuperGLUE Wang et al. 2109 一样我们的目标之一是推动能够处理多个 NLP 任务的通用或基础模型在我们的例子中是合法的 NLP 任务可能具有有限的特定任务微调。另一个目标是为希望探索或开发法律NLP方法的NLP研究人员和从业者提供一个方便且信息丰富的切入点。考虑到这些目标我们在 LexGLUE 中包含的数据集及其处理的任务已通过多种方式进行了简化如下所述以使新手和通用模型更容易解决所有任务。
地址https://www.opencsg.com/datasets/MagicAI/LexGLUE 04 其他 4.1 面向非结构化法律文本的spaCy pipeline和NLP模型 Blackstone
简介Blackstone 是一个 spaCy 模型和库用于处理长格式、非结构化的法律文本。Blackstone 是英格兰和威尔士法律报告委员会研究实验室 ICLRD 的一个实验性研究项目。
地址https://opencsg.com/datasets/MagicAI/Blackstone 4.2 罪名法务名词及分类模型 CrimeKgAssitant
简介,罪名法务智能项目,内容包括856项罪名知识图谱, 基于280万罪名训练库的罪名预测,基于20W法务问答对的13类问题分类与法律资讯问答功能.
地址https://opencsg.com/datasets/MagicAI/CrimeKgAssitant
