相关文章
【浅谈】Agent 的存在具有什么意义
AI Agent 的存在意义:超越传统 LLM 的智能体
1. 引言:为什么我们需要 Agent?
大语言模型(LLM)的出现,无疑是人工智能领域的一个里程碑。它们在文本生成、摘要、翻译和问答等方面展现出惊人的能力。然而&a…
建站知识
2025/6/15 15:53:22
使用 Higress AI 网关代理 vLLM 推理服务
前言
随着大语言模型技术的快速发展,越来越多的企业和组织开始考虑在本地私有化部署模型,以满足数据安全、合规性和低延迟等需求。在众多的大模型推理引擎中,vLLM 凭借其卓越的性能和高效的资源利用率,已成为目前最热门的 LLM 推…
建站知识
2025/6/14 6:15:49
篇章五 系统性能优化——资源优化——CPU优化(2)
目录 1.高级并发模式
1.1 工作窃取(Work Stealing)
1.工作窃取模式
2.ForkJoinPool实现
3.具体例子
1.2 结构化并发(Structured Concurrency)
1.结构化并发模式
2.Java 19 的 StructuredTaskScope
3.具体例子 1.3 对比与…
建站知识
2025/6/14 6:14:47
例说局部性原理给程序带来的提升
网上介绍了很多局部性原理的好处,本文结合笔者最近的遭遇,简单的做个分享。 局部性原理就不介绍了,下面直接上例子。 我们以linux内核v6.15的函数collect_longterm_unpinnable_folios为例,这里简单的假设没有启用HVO特性。
stati…
建站知识
2025/6/14 5:51:08
LRU 缓存机制详解与实现(Java版) + 力扣解决
📌 LRU 缓存机制详解与实现(Java版)
一、📖 问题背景
在日常开发中,我们经常会使用 缓存(Cache) 来提升性能。但由于内存有限,缓存不可能无限增长,于是需要策略决定&am…
建站知识
2025/6/14 5:47:03
中间件是微服务架构的支撑工具,微服务是中间件的应用场景之一。
微服务的定义:一种架构设计模式,将复杂应用拆分为小型、独立部署的服务,各服务通过轻量级接口通信。 核心特征 服务拆分:按业务领域拆分(如订单服务、用户服务),独立开发、部署。轻量级通信&…
建站知识
2025/6/14 5:44:00
Linux与量子计算:面向未来的架构演进
Linux与量子计算:面向未来的架构演进 当经典计算遇上量子革命 引言:量子计算时代的黎明
量子计算正从理论走向工程实践,Linux作为现代计算的基石,正在量子革命中扮演关键角色。据IBM预测,到2027年,量子优势…
建站知识
2025/6/14 5:31:38
从面试角度回答Android中ContentProvider启动原理
Android中ContentProvider原理的面试角度解析,分为已启动和未启动两种场景: 一、ContentProvider已启动的情况
1. 核心流程
触发条件:当其他组件(如Activity、Service)通过ContentR…
建站知识
2025/6/14 5:25:27