微软放出来的visual-chatgpt运用产品源代码赏析

我爱厨房

翻了翻visual-chatgpt的源代码，缺乏1000行代码量完成openai-chatgpt与一系列开源视觉visual model集成
1.中心引入包
除了惯例的transfomers，diffusers，pytorch_lightning，ControlNet，gradio
剩下最首要部份就是langchain，集成LLMs模型开源框架，让咱们疾速构建运用，它有多个module：例如llms，memory，tools，agent，prompts等
例如visual就引入langchain的几个包
from langchain.agents.initialize import initialize_agent
from langchain.agents.tools import Tool
from langchain.chains.conversation.memory import ConversationBufferMemory
from langchain.llms.openai import OpenAI


2.主顺序入口
使用gradio疾速构建web运用


3.visual model 视觉模型


4.tools
告知chatgpt走agent tools




5.prompts相干
定义你的输出输入




在langchain框架集成大言语模型疾速完成运用，赶快running起来体验吧。