深入了解 langchain 输入输出！message/output

深入了解 langchain 输入输出（message/output）

上一篇我们介绍了使用 langchain 来搭建一个简单的本地知识库系统 使用langchain搭建本地知识库系统(新) - 掘金 (juejin.cn). 介绍了以下内容：

  • 现在 LLM 存储的一些问题

  • 什么是 RAG

  • RAG 的检索流程、

  • 构建 RAG 示例代码

总体上对 langchain 已经有一个简单的认识。本篇文章我们从**langchain** 输入输出（message/output） 开始介绍相关的知识内容。

langchain

环境安装

我们使用 openAI 的 model 演示示例，如果你还没有一个 openAI 的账户， 你可以使用自己已经拥有的 model 即可。

首先我们需要安装相关的依赖包：

source .venv/bin/activate
pip install langchain-openai
pip install openai

配置相关的环境变量, 这里我们使用 AzureOpenAI 相关的服务。

import os
import dotenv
import openai
# from langchain_openai import AzureOpenAI
from langchain_openai import AzureOpenAI, AzureChatOpenAI
from langchain_openai import AzureOpenAIEmbeddings

我们初始化相关的模型，初始化模型需要相关模型的 secret 等配置，你可以根据自己实际的情况配置即可。

dotenv.load_dotenv(".env")
# embeddingModel = AzureOpenAIEmbeddings(
#     model=os.getenv("AZURE_OPENAI_EMBEDDING_MODEL")
# )

# 实例化 AzureOpenAI
llm = AzureOpenAI(
    deployment_name="gpt-35-turbo",
    azure_deployment="gpt-35-turbo"
)

# 实例化 AzureChatOpenAI
chat_llm = AzureChatOpenAI(
    azure_deployment="gpt-35-turbo",
    openai_api_version="2023-05-15"
)

如果你不想在环境配置设置，你可以直接在初始化相关类的时候传递相关的参数即可,建议设置环境变量或者配置在 .env 的配置文件中：

llm = AzureOpenAI(
    deployment_name="gpt-35-turbo-instruct-0914",
)

llm 与 chat_llm 便是特定模型的对象，如果你使用的跟我不一样，那你可以根据自己的 LLM 配置即可。

temperature 参数主要的区别是他们的输入输出模式，LLM 对象将字符串作为输入和输出。chat_llm对象将消息作为输入并输出消息。相关的差异我们稍后介绍。

当我们分别调用 llm 和 chat_llm 的时候我们观察两个输出的区别：

输入 message

from langchain_core.messages import HumanMessage
text = "What would be a good company name for a company that makes colorful socks?"
message = HumanMessage(content=text)

# llm.invoke(text)
# >> Feetful of Fun
chat_llm.invoke(text)
# AIMessage(content='VibrantSock Co.')

我们可以看到 llm 输出的是一个字符串, 而chat_llm输出的是一个AIMessage类型消息.

prompt

大多数的 LLM 并不会将用户的输入直接传递给 LLM 内部，通常他们会将用户的输入添加到一个较大的文本中，成为 prompt . 在前面的示例中， 我们传递给 LLM 的文本包含生成公司名称的指令，对于我们的应用程序，如果用户只需要提供公司的产品描述而不必提供相关的型号说明 What would be a good company name for a company that makes {product}?,langchain 给我们提供了相关的函数，我们可以很简单的将变化的内容替换成我们自己想设置的任何值。

PromptTemplate 正好可以帮助我们解决这个问题，他们提供了从用户输入到完全格式化的提示所有的逻辑，所以使用起来还是比较简单的。比如：

from langchain.prompts import PromptTemplate

template = "What would be a good company name for a company that makes {product}?"
prompt = PromptTemplate.from_template(template=template)
prompt.format(product="color socks")

‘What would be a good company name for a company that makes color socks?’

我们可以看到，langchain 已经帮我们格式化了字符串. 这样我们只需要输入关键字的内容 product="color socks" 即可。 与原始字符串格式化相比，使用它们有几个优点。可以部分输出变量

例如，我们一次只能格式化部分变量。您可以将它们组合在一起，轻松地将不同的模板组合成一个提示。

PromptTemplates 也可用于生成消息列表。在这种情况下，提示不仅包含有关内容的信息，还包含每条消息（其角色、在列表中的位置等）。在这里，最常使用的是 ChatPromptTemplate 。每个都ChatMessageTemplate包含格式化ChatMessage以及对应的角色，然后还有它的内容。让我们看看下面这个：

from langchain.prompts.chat import ChatPromptTemplate
# 我们使用一个通用翻译 prompt
template = "You are a helpful assistant that translates {input_language} to {output_language}."
hum_template = "{text}"

chat_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", template),
        ("human", hum_template)
    ]
)
chat_prompt.format_messages(
    input_language="English", output_language="Chinese", text="I love programming.")

​ [SystemMessage(content=‘You are a helpful assistant that translates English to Chinese.’), ​ HumanMessage(content=‘I love programming.’)]

输出后的结果：

[SystemMessage(content=‘You are a helpful assistant that translates English to Chinese.’), HumanMessage(content=‘I love programming.’)]

这里很明显可以看到格式化后的 message 分为两部分：SystemMessage 与 HumanMessage

  • SystemMessage 也被称为角色设定
  • HumanMessage 是用户的聊天内容

输出

OutputParser 将语言模型的原始输出转换为可以在下游使用的格式。有几种主要类型 OutputParser，包括：

  • 将文本转换LLM为结构化信息（例如 JSON）
  • 将转换ChatMessage为字符串
  • 将除消息之外的调用返回的额外信息（如 OpenAI 函数调用）转换为字符串。
from langchain.output_parsers import CommaSeparatedListOutputParser

output_parser = CommaSeparatedListOutputParser()
output_parser.parse("foo, bar, baz")
# CommaSeparatedListOutputParser 解析LLM调用的输出为逗号分隔的列表。
# > ['foo', 'bar', 'baz']

使用 LLM

我们现在可以将所有这些组合成一条链。该链将获取输入变量，将这些变量传递给提示模板以创建提示，将提示传递给语言模型，然后通过（可选）输出解析器传递输出。这是模块化逻辑块的便捷方法。我们来看看它的实际效果！

template = "Generate a list of 5 {text}.\n\n{format_instructions}"

chat_prompt = ChatPromptTemplate.from_template(template)
chat_prompt = chat_prompt.partial(
    format_instructions=output_parser.get_format_instructions())
chain = chat_prompt | chat_llm | output_parser
chain.invoke({"text": "colors"})
# >> ['red', 'blue', 'green', 'yellow', 'orange']

我们在使用 | 语法将这些组件连接在一起。该 | 语法是 LangChain 表达式语言 LCEL 提供支持，并依赖于Runnable所有这些对象实现的通用接口.

我们解释一下上面代码 chain = chat_prompt | chat_llm | output_parser 的执行流程：

开始 chat_prompt -> chat_llm -> output_parser 将 prompt 的内容输入到 llm 中，llm 返回的内容到 output_parser 中，langchain 已经帮助我们做了这些事情，我们只需要关注输入已经输出即可。

做过 openAI 的都知道，如果我们没有使用 langchain ,我们需要这么做：

  • 自己格式化 prompt 里面的变量
  • 将 prompt 传给 llm 并获取到输出 ouput
  • 将 output 输出的字符串内容格式化为我们想要的结果 list[str],如果需要特定格式的数据，我们需要自定义他们

以上这些复杂的步骤langchain 已经帮我们做了很多。

总结：

我们今天讨论了 langchain 的prompt输入以及output输出.

1、输入我们使用 ChatPromptTemplate 来构建输入，ChatPromptTemplate 可以用来构建一个比较复杂的 prompt, 他会构造一个 list[Message] 的列表，并在输入到 llm 的时候会自动格式化相关的字符串。

2、对于 output， langchain 可提供了很多的函数，比如常用的 StructuredOutputParser, JsonOutputToolsParser 等等。方便我们在解析不同的输出格式的情况下的数据解析过程。

3、使用 LCEL 将 prompt、llm、output 等流程结合起来，后续我们还会看到很多这样的用法，也就是 langchain 的核心能力。

相关推荐

更多相关文章持续更新中，欢迎关注! ❤️

类似的帖子

langchain langchainpythonLLM