义乌市网站建设,自己公司怎样做免费的网站,天水市城市建设投资集团网站,涿州市查建设局网站人人都不看好你#xff0c;可偏偏你最争气 —— 24.11.26 一、AI和NLP的基本介绍
1.人工智能发展流程
弱人工智能 —— 强人工智能 —— 超人工智能
① 弱人工智能
人工智能算法只能在限定领域解决特定的问题
eg#xff1a;特定场景下的文本分类、垂直领域下的对… 人人都不看好你可偏偏你最争气 —— 24.11.26 一、AI和NLP的基本介绍
1.人工智能发展流程
弱人工智能 —— 强人工智能 —— 超人工智能
① 弱人工智能
人工智能算法只能在限定领域解决特定的问题
eg特定场景下的文本分类、垂直领域下的对话、银行卡卡号识别
② 强人工智能
在通用领域胜任人类所有的工作、一个模型处理不同工作
eg各种大模型
③ 超人工智能
远超人类的智慧
目前AI技术的阶段在弱人工智能与强人工智能发展间的阶段 2.人工智能 —— 研究方向
① 语音合成TTS
eg语音播报能力、站点报时报点
② 语音识别ASR
说一句话将这段音频转为文字
eg语音转文字
③ 字符识别OCR
从画面中识别一些特定的字符串、信息
eg录入身份证/银行卡信息/违章识别
④ 机器翻译MP
自然语言处理的一种将不同语言间进行翻译
eg同声翻译
⑤ 图像识别CV
在一张图像中识别出具体的物体
eg电商拍图搜索类似商品
⑥ 语义理解NLU
强大的语义理解从文本中识别出具体语义
eg对话机器人
⑦ 指纹识别较为成熟
通过指纹识别出不同的角色
⑧ 声纹识别较为成熟
通过声纹识别出不同的身份而不用判断说的内容 3.人工智能、机器学习、深度学习间的关系
① 人工智能是一个较大的范畴
② 机器学习是实现人工智能的一种基本方法
③ 深度学习是机器学习的一个分支 4.人工智能机器学习—三驾马车
① 算法
② 算力主要进步
③ 数据主要进步 5.自然语言处理NLP
自然语言处理包含语言学、数学、计算机科学三者交叉
自然语言处理的目标
① 人机交互
eg问答搜索、闲聊回答、指令操作、机器翻译
辅助生活和工作给生活带来便利随着机器能力边界的提升其价值不断增加
② 数据分析/挖掘
eg舆情分析、文本分类、知识抽取、命名实体识别
辅助决策和选择给决策带来便利随着数据量的增大和类别的增多其价值不断提升 二、算法行业介绍
1.算法相关的工作
Ⅰ 落地型
① 主要负责业务场景的算法落地动手编程能力强
② 需要熟悉业务场景常见问题极端情况的处理
③ 难点小坑不断、需求改变、数据欠缺、效果不定
Ⅱ 研究型
① 主要负责发表论文及算法比赛等理论知识扎实
② 研究内容可以脱离实际业务在公开数据集上工作
③ 难点需要创新思路、参加比赛获奖 2.项目人员构成
① 业务人员/甲方
一般是非程序员根据业务场景需要提出需求
② 产品经理
与业务对接、梳理需求整理成开发的计划或根据用户反馈等提出自己的需求
③ 开发人员
人工智能方向一般大致分成算法开发和工程开发合作处理整个项目
④ 测试人员
专门进行测试也可以进一步细分一般也需要编程能力
⑤ 运维人员
机器维护人员服务器和数据库的重启、扩容、缩容等操作由他们进行同时负责监控服务运行的状况
⑥ Option可选
部署人员、数据标注人员、项目管理人员、平台维护人员 3.项目主要流程算法开发职责
① 确认需求 —— 业务发起需求评审进行沟通
了解业务背景以算法人员视角给出是否可行的意见
② 确认技术方案 —— 开发进行技术评审算法方案工程方案根据需求制作方案
对问题的建模过程需求转化为哪几种机器学习问题或规则处理需要哪些前置条件
③ 获取标注数据 —— 算法或业务提出数据需求
建立标注规范校验数据格式抽样评估效果 训练集验证集划分搜索开源数据购买数据
⭐④ 代码开发 —— 模型训练、功能开发等
训练/预测代码开发算法实验对比效果
⑤ 测试 —— 测试用例评审
功能测试、效果测试、性能测试开发可以自测配合测试组发现的问题做修改
⑥ 部署上线/投入使用 —— 开发上线测试验证运维监控
每个公司使用框架情况有所差异根据实际情况处理
⑦ 后续迭代 —— 业务提出需求
数据埋点、分析日志等 4.算法工程师需要的技能
① 编程能力
② 算法知识储备
③ 沟通和协作能力
④ 学习能力
⑤ 一定程度的英文功能
⑥ 使用搜索引擎/大模型的能力 5.NLP面临的困难
① 口吃系列、划分语义边界
例 校长说衣服上除了校徽别别别的 过几天天天天气不好 骑车出门差点摔跤还好我一把把把把住了 碳碳键键能能否否定定律一 来到杨过曾经生活过的地方小龙女动情地说“我也想过过过儿过过的生活。” 我背有点驼麻麻说“你的背得背背背背佳“ ② 分词系列、划分语义边界
例 南京市长江大桥 一位友好的哥谭市民 乒乓球拍卖完了 ③ 套娃系列、语言的递归性
例 转发(自治区教育厅办公室关于转发教育部关于做好春夏季中小学生和幼儿安全工作的紧急通知》的通知》的通知 ④ 同文歧义系列、常识认知、社会认知
例 单身的原因有两个一是谁都看不上二是谁都看不上。 女孩给男朋友打电话如果你到了我还没到你就等着吧如果我到了你还没到你就等着吧。 冬天能穿多少穿多少。夏天能穿多少穿多少 ⑤ 反话正说系列、语序和语义的关联
例 屡败屡战 屡战屡败 情理之中意料之外 意料之外情理之中 情有可原罪无可恕 罪无可恕情有可原 ⑥ 崩溃系列
例 领导:你这是什么意思? 小明:没什么意思意思意思。 领导:你这就不够意思了。 小明:小意思小意思。 领导:你这人真有意思。 小明:其实也没有别的意思。 领导:那我就不好意思了。 小明:是我不好意思。 ⑦ 英语系列
例 Kids Watching a Model TrainNormal People Watching aModel Train Software Engineers Watching amodel Train NLP对于机器来说很困难本质上是因为对人来说它也很困难
对语言的理解要远远难于对一些有着明确规则任务的理解
语言本身具有创造性在不同时代和背景下进行不断地更新迭代 三、人工智能和深度学习的发展历程
1.人工智能的发展
① 起步发展期
1950~1960人工智能诞生
eg机器定理证明、智能跳棋程序
② 反思发展期
1960~1970任务失败目标落空
eg机器翻译笑话百出、定理证明发展乏力
③ 应用发展期
1970~1980专家系统遍地开发人工智能转向实用
eg医疗专家系统、化学专家系统、地质专家系统
④ 低迷发展期
1980~1990多项研究发展缓慢
eg专家系统发展乏力、神经网络研究受阻
⑤ 稳步发展期
1990~2010互联网推到人工智能不断创新和实用
eg、深蓝战胜国际象棋冠军、IBM提出智慧地球、我国提出感知中国
⑥ 蓬勃发展期
2010至今深度学习和大数据兴起带来了人工智能的爆发
物联网、云计算、大数据 2.NLP的发展历程
图灵测试 —— 如何判断机器是否拥有智能
1950年提出是图灵的个人观点并非当前业界的追求
测试方法
让机器人冒充人与人展开对话如果有超过30%的人误以为在是人类在和自己对话而非计算机那就可以认为这台机器拥有人类智能 3.NLP的发展现状
① 深度学习大幅改变了NLP研究极大地推进了NLP技术的发展
② NLP技术已经深入生活的各个角落输入法提示输入词、语音助手、搜索引擎浏览器用相关文字查找到有关的网页、智能客服智能电话等大量依赖NLP技术的应用已经被推广和使用
③ 大语言模型的强大理解能力让人们看到了强人工智能的曙光 四、一些NLP常用的工具和框架介绍
1.编译器
Pycharm、VSCode
2.机器学习相关python框架
① Tensorflow
工程配套完善
② Pytorch
调试方便目前的主流
③ Keras
高级封装简单好用现已和Tensorflow合体
④ Gensim
训练词向量常用
⑤ Sklearn
大量机器学习算法如逻辑回归、决策树、支持向量机、随机森林、KMeans等等同时具有数据集划分和各种评价指标的实现
⑥ Numpy
各种向量矩阵操作
多多调用库进行代码编写
