1. 案例目标本案例展示如何使用LlamaIndex的GoogleChatReader从Google Chat中加载聊天记录并构建查询引擎进行对话内容分析。案例演示了如何从Google Chat空间加载聊天历史构建SummaryIndex进行对话内容总结使用不同的过滤和排序选项处理聊天记录按时间范围限制聊天记录的加载2. 技术栈与核心依赖本案例使用的主要技术栈和依赖llama-index - LlamaIndex核心框架llama-index-readers-google - Google数据连接器google-api-python-client - Google API客户端google-auth-oauthlib - Google认证库pydrive - Google Drive集成gkeepapi - Google Keep API3. 环境配置在使用GoogleChatReader之前需要进行以下环境配置创建Google Cloud Platform (GCP)项目设置Google Workspace账户授权应用程序使用用户凭据下载客户端密钥JSON文件重命名为credentials.json并保存到项目文件夹详细步骤请参考Google官方指南的先决条件和步骤1、2。4. 案例实现4.1 安装依赖%pip install llama-index llama-index-readers-google4.2 基本用法下面的代码展示了如何加载整个聊天历史到SummaryIndex中from llama_index.core import SummaryIndex from llama_index.readers.google import GoogleChatReader space_ids [ AAAAtTPwdzg ] # 您认证的Google账户必须有权访问此空间 reader GoogleChatReader() docs reader.load_data(space_namesspace_ids)创建索引和查询引擎index SummaryIndex.from_documents(docs) query_engine index.as_query_engine() response query_engine.query(What was the overall conversation about?)查询结果整体对话是关于讨论和计划去旧金山的旅行包括参观各种地标和使用公共交通工具在城市中出行。此外还简要提到了在旅行前完成作业和论文。4.3 过滤和排序4.3.1 排序可以按升序或降序对聊天历史进行排序docs reader.load_data(space_namesspace_ids, order_ascFalse) index SummaryIndex.from_documents(docs) query_engine index.as_query_engine() response query_engine.query( List the things that the users discussed in the order they were discussed in. Make the list short. )查询结果1. 参观旧金山2. 在旧金山规划旅行行程3. 乘坐公共交通到旧金山4. 讨论旧金山的交通选择5. 一起解决数学问题尽管消息是按相反顺序检索的但列表仍然是正确的顺序因为消息的元数据中有时间戳。4.3.2 消息限制可以使用num_messages参数限制消息数量docs reader.load_data( space_namesspace_ids, num_messages10 ) # 按升序仅包含关于数学作业的消息 index SummaryIndex.from_documents(docs) query_engine index.as_query_engine() response query_engine.query(What was discussed in this conversation?)查询结果对话围绕一个学生寻求数学作业帮助特别是理解和应用微积分中的链式法则来求包含余弦函数的导数。学生在问题4b上卡住了需要帮助求cos(2x)的导数。另一位参与者逐步解释了链式法则的应用最终得到正确的导数-2sin(2x)。学生表示感谢并表明现在可以继续解决剩余的问题。下面是检索最后16条消息的示例只涉及论文内容。旅行成本指的是在讨论论文时在旧金山旅行主题中做出的回复docs reader.load_data( space_namesspace_ids, num_messages16, order_ascFalse ) # 按降序仅包含关于论文的消息 index SummaryIndex.from_documents(docs) query_engine index.as_query_engine() response query_engine.query(What was discussed in this conversation?)查询结果对话围绕完成一篇论文展开特别是聚焦于旧钱与新钱的对比而不是美国梦和《了不起的盖茨比》。提到了拖延症、开始写论文以及旅行成本的担忧。4.3.3 时间范围还可以指定before和after时间范围。这些参数接受datetime对象import datetime date1 datetime.datetime.fromisoformat( 2024-06-25 14:27:00-07:00 ) # 他们开始谈论旅行的时间 docs reader.load_data(space_namesspace_ids, beforedate1) index SummaryIndex.from_documents(docs) query_engine index.as_query_engine() response query_engine.query( What was discussed in this conversation? ) # 应该只关于数学作业查询结果对话围绕一个学生寻求帮助理解微积分中的链式法则展开特别是如何求cos(2x)的导数。学生在问题4b上卡住了并请求帮助另一位学生逐步解释了链式法则的应用。解释澄清了如何使用链式法则对cos(2x)进行微分得到导数为-2sin(2x)。寻求帮助的学生表示感谢并表明现在可以继续解决剩余的问题。date2 datetime.datetime.fromisoformat( 2024-06-25 14:51:00-07:00 ) # 他们开始谈论论文的时间 docs reader.load_data(space_namesspace_ids, afterdate2) index SummaryIndex.from_documents(docs) query_engine index.as_query_engine() response query_engine.query( What was discussed in this conversation? ) # 应该只关于论文 旅行成本在主题中查询结果对话围绕完成一篇关于旧钱与新钱对比的论文展开担忧旅行成本以及保证交通费用是可负担的。docs reader.load_data(space_namesspace_ids, afterdate1, beforedate2) index SummaryIndex.from_documents(docs) query_engine index.as_query_engine() response query_engine.query( What was discussed in this conversation? ) # 应该只关于旅行查询结果对话围绕周末去旧金山旅行展开。他们讨论了参观各种地标如金门大桥、渔人码头和渡轮大厦如果时间允许还可能去恶魔岛或双子峰。他们还讨论了交通选择如乘坐Caltrain或BART租用踏板车或BayWheels自行车以及使用公共交通在城市中移动。此外他们提到探索唐人街和乘坐公交路线返回市中心以增加灵活性。5. 案例效果通过GoogleChatReader我们成功地从Google Chat空间加载了完整的聊天历史构建了SummaryIndex对聊天内容进行索引实现了对聊天内容的有效查询和总结通过不同的过滤和排序选项精确控制加载的聊天记录使用时间范围参数限制了特定时间段的聊天记录查询结果显示系统能够准确理解聊天内容并根据不同的查询需求提供相关的总结和回答。6. 案例实现思路本案例的实现思路如下环境准备安装必要的依赖库配置Google Cloud Platform和认证凭据数据加载使用GoogleChatReader从指定的Google Chat空间加载聊天记录索引构建使用SummaryIndex对加载的聊天记录进行索引便于后续查询查询引擎创建查询引擎用于对聊天内容进行自然语言查询过滤与排序应用不同的过滤和排序选项精确控制加载的聊天记录范围结果展示使用Markdown格式展示查询结果提高可读性7. 扩展建议基于本案例可以考虑以下扩展方向多空间集成同时加载多个Google Chat空间的数据实现跨空间对话分析高级过滤实现基于发送者、消息类型或关键词的更复杂过滤机制情感分析集成情感分析功能分析聊天记录中的情感倾向主题建模使用主题建模技术自动识别聊天记录中的主要话题可视化创建聊天记录的可视化界面如时间线、词云或关系图实时更新实现实时监控和加载新的聊天消息保持数据同步多语言支持扩展对多语言聊天记录的支持和翻译功能8. 总结本案例详细展示了如何使用LlamaIndex的GoogleChatReader从Google Chat中加载和分析聊天记录。通过构建SummaryIndex和查询引擎我们能够对聊天内容进行有效的查询和总结。案例还演示了如何使用不同的过滤和排序选项以及时间范围参数来精确控制加载的聊天记录。这种方法可以应用于多种场景如团队沟通分析、客户服务记录分析、项目讨论回顾等。通过扩展建议中的功能可以进一步增强系统的分析能力和实用性。