ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Langchain框架--短期记忆

Langchain框架--短期记忆 概念短期记忆是在一次会话里里面后续对话可以看到之前的对话内容作用可以在处理一些复杂任务的时候得心应手挑战1.受限于LLM的上下文窗口如果把历史信息都给LLM可能会造成上下文窗口溢出的情况发生2.即使LLM上下文窗口很大也可能发生一下问题a.响应速度慢b.成本变高c.被陈旧内容干扰偏离主题总之就是随着对话的消息增加我们的消息列表(AIMessage和UserMessage)会越来越长所以我们需要解决这个窗口限制问题。解决手段通过清理、遗忘的手段把消息列表缩短目的是缓解上下文窗口的限制
返回列表