农业电商网站建设,有做阿里网站的吗,南通企业网站怎么建设,网站设计制作开发公司1 参考资料
《新版本Lmdeploy量化手册与评测》
2 项目资料
项目主页#xff1a;【tcexeexe / pdf阅读小助手】
3 模型运行测试
在InternStudio平台中选择A100 (1/4)的配置#xff0c;镜像选择Cuda11.7-conda#xff0c;可以选择已有的开发机langchain#xff1b;
3.1…1 参考资料
《新版本Lmdeploy量化手册与评测》
2 项目资料
项目主页【tcexeexe / pdf阅读小助手】
3 模型运行测试
在InternStudio平台中选择A100 (1/4)的配置镜像选择Cuda11.7-conda可以选择已有的开发机langchain
3.1 创建工作空间
mkdir /root/pdf_project1.2 Clone项目
git clone https://gitee.com/tcexeexe/pdf-reading-assistant.git1.3 ⭐创建虚拟项目空间并生成软链接
# 迭代创建虚拟项目空间和model目录
ln -sf /root/pdf_project /home/tcexeexe
# 建立分词数据目录
mkdir -p /root/pdf_project/data/pdf-reading-assistant/data_base/vector_db/pdf1.4 激活conda环境
conda activate InternLM1.5 安装PyPDF2库
pip install PyPDF2 pypdf tiktoken transformers_stream_generator1.6 创建model文件夹用来存放工具模型
mkdir -p /home/tcexeexe/data/model1.7 建立分词程序的软链接
ln -sf /root/data/model/sentence-transformer /home/tcexeexe/data/model/sentence-transformerNote:
/home/tcexeexe/data/model/sentence-transformer此路径来自于make_knowledge_repository.py
1.8 生成PDF知识库
python /root/pdf_project/data/pdf-reading-assistant/make_knowledge_repository.py以上脚本会生成数据库文件chroma.sqlite3知识库中指定的文件内容就会存到其中之前使用的PDF文件就不需要了。
在安装PyPDF2之后仍然会遇到ModuleNotFoundError: No module named ‘PyPDF2’的错误
我们猜测这个错误是因为PyPDF2跟pypdf的重复安装导致的为了验证这个问题我们可以尝试使用绝对路径运行make_knowledge_repository.py:
/root/.conda/envs/InternLM/bin/python \
/root/pdf_project/data/pdf-reading-assistant/make_knowledge_repository.py1.9 在InternStudio中上传的PDF文件会被其意外清理
我们在InternStudio上做实验时发现 InternStudio会不定时地删除上传的PDF文件 我们咨询了一下队长 队长回复说这是InternStudio一种已知的问题
1.8 运行网页demo
python /root/pdf_project/data/pdf-reading-assistant/web_demo.py1.9 生成秘钥
ssh-keygen -t rsa1.10 使用浏览器访问应用
通过网页访问127.0.0.1:7860
1.11 提问备忘
“提示学习”来自于《大语言模型提示注入攻击安全风险分析报告》
提示学习是什么2 模型部署
2.1 OpenXLab“相当于浦语体系中的HuggingFace平台”
2.2 更新工具库
python -m pip install --upgrade pip
