中山市 做网站,厦门市建设与管理局网站,深圳公司设计网站,北京网站建设公司 网络服务根据图片生成推广文案#xff0c; 用的HuggingFace中的image-caption模型
LangChain 实现给动物取名字#xff0c;LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数…根据图片生成推广文案 用的HuggingFace中的image-caption模型
LangChain 实现给动物取名字LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储读取YouTube的视频文本搜索Indexes for information retrieveLangChain 5易速鲜花内部问答系统
生成效果
先安装相关的lib
pip install --upgrade langchain
pip install transformers
pip install pillow
pip install torch torchvision torchaudio根据以下图片生成的文案 这段代码展示了如何使用深度学习模型来生成图像的字幕并结合LangChain智能体框架进行自动化处理.代码为黄佳老师的课程Demo如需要知道代码细节请读原文
实现代码 pic_talk.py
import os # 导入os库用于操作系统级别的接口比如环境变量
import requests # 导入requests库用于执行HTTP请求
from PIL import Image # 导入PIL库的Image模块用于图像处理
from transformers import BlipProcessor, BlipForConditionalGeneration # 导入transformers库中的Blip模块用于图像字幕生成
from langchain.tools import BaseTool # 导入langchain的BaseTool类用于创建新的工具
from langchain import OpenAI # 导入langchain中的OpenAI模块用于与OpenAI API交互
from langchain.agents import initialize_agent, AgentType # 导入langchain的agent初始化和类型定义
from dotenv import load_dotenv # 导入dotenv库用于加载环境变量load_dotenv() # 加载.env文件中的环境变量# 初始化图像字幕生成模型
hf_model Salesforce/blip-image-captioning-large # 指定使用HuggingFace中的模型processor BlipProcessor.from_pretrained(hf_model) # 初始化处理器用于图像的预处理
model BlipForConditionalGeneration.from_pretrained(hf_model) # 初始化模型用于生成字幕# 定义图像字幕生成工具类
class ImageCapTool(BaseTool):name Image captionerdescription 为图片创作说明文案.def _run(self, url: str):# 下载图像并将其转换为PIL对象image Image.open(requests.get(url, streamTrue).raw).convert(RGB)inputs processor(image, return_tensorspt) # 对图像进行预处理out model.generate(**inputs, max_new_tokens20) # 使用模型生成字幕caption processor.decode(out[0], skip_special_tokensTrue) # 解码字幕return captiondef _arun(self, query: str):raise NotImplementedError(This tool does not support async) # 异步函数未实现# 初始化并运行LangChain智能体
llm OpenAI(temperature0.2) # 使用OpenAI模型tools [ImageCapTool()] # 创建工具实例
agent initialize_agent(agentAgentType.ZERO_SHOT_REACT_DESCRIPTION,toolstools,llmllm,verboseTrue,
)
img_url https://mir-s3-cdn-cf.behance.net/project_modules/hd/eec79e20058499.563190744f903.jpg # 定义图像URL
agent.run(inputf{img_url}\n请创作合适的中文推广文案) # 使用智能体处理图像并生成字幕 代码
https://github.com/zgpeace/pets-name-langchain/tree/feature/picTalk
参考
https://github.com/huangjia2019/langchain/blob/main/00_%E5%BC%80%E7%AF%87%E8%AF%8D_%E5%A5%87%E7%82%B9%E6%97%B6%E5%88%BB/02_%E7%9C%8B%E5%9B%BE%E8%AF%B4%E8%AF%9D.py
