AI网关
本书作者:测试开发刚哥,文章版权归个人所有,未经授权请勿转载。 6.1 网关的演进历程 是什么在推动软件架构的演进呢?业务规模。业务从互联网、移动互联网以及即将到来的万物互联,其规模仍然在高速增长,也就意味着软件架构的复杂度也会越来越高,网关的特性也会越来越多。越来越复杂、越来越智能。 6.1.1 流量网关 代表软件是Nginx,将客户请求分配到不同的服务器上,从而实现流量负债均衡,避免单点故障,确保服务的稳定性和连续性。 6.1.2 ESB网关 ESB,企业服务总线,通过集中管理消息路由、转换和安全,实现服务的快速部署和高效运作。 6.1.3 微服务网关 微服务网关可以实现负载均衡、限流、熔断、降级、身份验证等功能,通过统一入口管理和优化各微服务间的交互。Spring Cloud Gateway是一个广泛应用的微服务网关。 6.1.4 云原生网关 云原生网关是伴随K8S的广泛应用而诞生的一种创新网关。既能有流量网关的特性来处理海量请求,又具备微服务网关的特性来做服务发现与服务治理,同时要求网关也具备弹性扩缩容能力解决容量调度问题。 6.1.5 AI网关 之前的几种类型网关处理的流量基本是以HTTP、RPC为主,多采用长连接,长连接采用request-response模式。AI采用的协议以SSE/Websocket为主,虽然也是长连接,但跟request-response模式相比,Server可以主动发送数据给Client,Websocket更是一种全双工协议,主要在语音类的实时通讯场景中使用。 AI场景对网关有新诉求,比如:多模型代理、智能路由、模型增强、安全防护、流式传输、无损变更等。 Higress网关已经在阿里云内部大规模生产落地,可以访问项目地址了解:https://higress.ai/ 6.1.6 API网关 从流量网关,再到AI网关,都是API网关在不同软件架构下的网关形态。HTTP/gRPC/Dubbo/Websocket都可以称之为API,MCP、A2A也可以称之为API。 6.2 AI网关的定义、特点与应用场景 AI网关是提供多模型流量调度,MCP和Agent管理,智能路由和AI治理的下一代网关。AI网关不仅完整继承了API网关的通用能力,如安全认证、路由转发、流量控制等,也演进出了大模型Fallback、大模型负载均衡、Token级别的精细化流量管控、语义化缓存、内容安全、联网搜索、MCP协议转化和管理、工具精选和搜索效果优化等面向AI场景的能力。 6.2.1 AI应用的流量特征 高延时 大带宽与流式传输 长连接 API驱动 6.2.2 AI网关的应用场景 1、模型服务提供商(MaaS)的接入层 2、AI应用的开发网关 3、企业内部的中央AI网关 4、MCP工具生态的统一入口 5、构建企业AI能力货币化的统一开放平台 6.3 AI网关的核心能力和最佳实践 6.3.1 核心能力 1、多模型代理 2、多模型回退/容灾 3、消费者认证 4、内容安全防护 5、Token限流 6、语义缓存 7、可观测性 8、MCP代理 9、工具的动态组装 10、工具的智能路由 6.3.2 最佳实践 AI网关的原子能力可以总结为面向LLM、Agent、MCP和AI开放平台四大类,这里总结了8类常见的实践,多模型代理、消费者认证、内容安全与防护、Token限流、语义缓存、多模型容灾、多模型可观测和AI开放平台。 1、多模型代理 需求场景: 文本、图像、音频、3D等多模态业务场景。 企业不同垂直领域,需要调用专用模型。 任务需要多个模型分工协作。 医疗机构,处理患者数据使用私有模型,其他和患者无关使用通用模型。 ...