Databricks · 代参会笔记
Unity Gateway: Govern AI Costs, Access, and InteractionsUnity Gateway:管住 AI 的成本、访问与交互
Unity Gateway 把模型调用的成本、权限与内容检查收进一个受治理的入口:速率限制立即生效、预算近实时(可告警或阻断)、服务策略对外部模型同样生效,证据落在系统表里用 SQL 查。
会中口径 讲者或问答原话口径,未逐条核对官方文档已核实 已对照官方文档核实与官方不符 与官方文档不一致,以官方为准未明确 会中未说清,不要直接当结论引用
一分钟抓住要点
- 已核实Unity Gateway 定位为「模型推理、工具与技能的单一控制平面」,2026 年 8 月起 GA。官方 release notes:Unity Gateway 于 2026-08-04 GA;同节注明服务策略、agent services 等部分能力仍为 Beta。
- 会中口径应用、Agent、Notebook、作业以及 Claude Code / Codex / Cursor 等编码工具,一律通过 REST API 经 Gateway 调用,不直接接触模型。
治理结构与访问权限
- 会中口径治理分三层:底层 Unity Catalog 管身份与权限,中层 Gateway 管流量(权限检查、流量控制、执行策略、留存证据),上层服务策略过滤请求与响应;系统表作为证据层记录一切。Manuel Beuttler
- 会中口径一次调用经过六步:授权 → 限流 / 预算 → 输入检查 → 路由 → 输出检查 → 记录到系统表;无权限返回 403。Manuel Beuttler
- 会中口径Gateway 的目的地有三类:Databricks 托管模型、外部供应商模型(OpenAI、Anthropic、Bedrock 等)、已在 Unity Catalog 注册的 MCP 服务。Manuel Beuttler
- 会中口径访问模型服务要同时具备三级权限:目录级 USE CATALOG、Schema 级 USE SCHEMA、模型级 EXECUTE,缺任一级返回 403。Manuel Beuttler已核实:调用 model service 需服务上的 EXECUTE 及其 catalog / schema 上的 USE CATALOG、USE SCHEMA(govern-model-services#govern-access-with-unity-catalog-privileges)。未找到「缺任一级返回 403」的状态码原文。
- 会中口径MCP 服务、技能和 Agent 也用同一套 Unity Catalog 权限机制管理。Manuel Beuttler
成本治理:标签、限流与预算
- 已核实Service tags 在模型服务上配置一次、对该服务全部调用生效,是预算过滤的依据,记录在 system.billing.usage。Patricia Ferreira官方:服务 tags 传播到 system.billing.usage.custom_tags,预算按服务 / 端点 tags 筛选。
- 已核实Request tags 每次调用通过 HTTP 头 Databricks-Ai-Gateway-Request-Tags 携带,用于共享服务内的细粒度归因 / 分摊,不影响预算,记录在 system.ai_gateway.usage。Patricia Ferreira官方:用 Databricks-Ai-Gateway-Request-Tags 头附带请求标签,记录在 system.ai_gateway.usage.request_tags;「Request tags don't affect budget matching」。
- 会中口径两张用量表时效不同:system.ai_gateway.usage 近实时(几分钟到几小时延迟);system.billing.usage 是分析型表,延迟数小时,但它是成本的最终真实来源。Patricia Ferreira
- 已核实外部模型的成本是估算值,存在单独的表里;外部供应商才是成本的权威来源,企业协议折扣等需要自行输入。Patricia Ferreira官方:外部模型支出按 token 用量、供应商公开价格与可配置价格系数估算,按小时汇总到 system.ai_gateway.external_model_spend;外部供应商发票才是权威来源。
- 会中口径速率限制按请求数 / 分钟、token 数 / 分钟或小时计量,可设在端点级、按用户、按组、按服务主体;立即执行,超限返回 HTTP 429。Patricia Ferreira已核实:QPM(请求 / 分钟)与 TPM(token / 分钟);作用域含整个服务、每用户默认、单个用户或服务主体、用户组共享;超限返回 HTTP 429(rate-limits#rate-limiter-behavior)。未找到「按小时」计 token 的服务级限流原文。
- 会中口径预算是按月计的美元上限,可设共享团队预算、按用户覆盖、按成本中心分配;近实时执行,是约数,不是绝对上限。Patricia Ferreira已核实:美元计、预算范围内共享的月度阈值、可设每用户阈值与用户 / 组覆盖、近实时执行(ai-gateway/budgets)。「按成本中心分配」未找到对应原文;官方另有按用户的每日阈值。
- 会中口径预算触达时可配邮件告警或阻断使用;webhooks(beta)可在预算触达时触发更灵活的动作。Patricia Ferreira已核实:阈值动作可选 Send email、Block usage 或两者组合(ai-gateway/budgets)。webhooks(beta)未核实。
智能路由
- 会中口径智能路由可按成本、查询复杂度或限流情况做流量拆分与回退。Patricia Ferreira
服务策略与 Guardrails
- 已核实Guardrails 内置检测包括不安全内容、越狱 / 提示注入、敏感数据 / PII、幻觉;不够用时可用 SQL / Python 自定义 UDF,甚至 LLM-as-judge,并可定义允许 / 拒绝规则。该功能目前处于 beta。Manuel Beuttler官方:内置策略含 block_unsafe_content、block_jailbreak(仅请求)、block_hallucination(输出)、敏感数据检测(以结构化标识符为主);可用 UC SQL / Python UDF 或 LLM-as-a-judge 自定义;服务策略为 Beta。
- 会中口径输入 Guardrails 在模型执行前检查(可避免浪费 token);输出 Guardrails 在模型返回后、发给用户前检查;内置和自定义策略都可分别指定用于输入或输出。Manuel Beuttler
- 会中口径配置路径:AI Gateway → 自己的模型服务 → Policies 选项卡 → New policy → Service policy → Custom → Custom function → 选择已创建的函数。Manuel Beuttler
审计与可观测性
- 会中口径system.access.audit 记录谁、何时、调了什么、成功还是 403;字段示例有 event_time、user_identity.user_name、response.status_code、response.error_message(说明缺了什么权限),也可查授权变更事件。Manuel Beuttler已核实:官方用 system.access.audit 证明谁在何时访问了哪个 AI 服务,表中有 event_time、user_identity、response 等字段(ai-gateway/observability#audit-access)。未找到「每次推理调用的 200 / 403 都保证写入」的原文。
- 已核实推理表(请求 / 响应内容日志)默认不开启;要知道用户具体问了什么,必须单独启用推理表。Manuel Beuttler官方:推理表只能在创建模型服务之后配置,需在服务页点 Inference tables 的 Set Up;对比表写明须逐端点启用。
- 会中口径可用 OpenTelemetry 追踪跨模型调用(含 GenAI);讲者称非 GenAI 场景的可用性有 beta 改进在路上。
演示:看到了什么
- 会中口径限流演示:把速率限制设为 2 请求 / 分钟后,在 Playground 连续提问即被限流。实验环境演示。Patricia Ferreira
- 会中口径路由演示:一组配置为 GPT-5 nano 与另一模型 30% 拆分、回退到 Llama;另一组为 Databricks 托管 GPT-5 与 Microsoft Foundry 的 GPT-5 做 50/50 拆分,20 次请求后分布大致均衡(讲者称约 100 次才更接近 50/50)。实验环境演示数据。Patricia Ferreira
- 会中口径策略演示:输入端拦截含虚构项目代号「aurora」的消息,输出端拦截不安全链接。第一次测试因讲者选错模型未拦截,换成正确模型后 Playground 显示请求被 confidential_codename 策略拦截;输出端同样拦截成功。Manuel Beuttler
- 会中口径用 Genie 以自然语言查询用量表、自动生成 SQL;内置成本仪表板开箱即用,但需要账号管理员权限。Patricia Ferreira
- 会中口径权限实验:给 All Account Users 授予 EXECUTE 后用模拟令牌验证返回 200,撤销后应为 403。实验中多人互相授权,讲者能调用其他学员的服务,这是实验环境现象。Manuel Beuttler
第一周清单
- 会中口径讲者建议第一周六步:① 所有调用走一个受治理的服务;② 按所有者打服务标签;③ 与管理员一起用内置成本仪表板;④ 为共享服务设workspace / 组 / 用户级预算;⑤ 定期跑审计查询,标记峰值与异常;⑥ 基于证据做智能路由,从外部模型、敏感数据等高风险处开始落地 Guardrails,先用内置策略再自定义。Patricia Ferreira
Q&A:三条指定问题
- 已核实问:预算按 workspace、团队、Agent 还是用户分?超了是告警还是阻断?答:可按 workspace 设共享阈值,并用 service tags 等过滤器细分,另有该范围内的按用户阈值;阈值可配置为告警或阻断后续 Gateway 请求,阻断是可选的;执行为近实时,花费可能略微超出阈值。Q&A官方:预算范围可按 workspace、Unity Gateway 产品与服务 tags 限定,支持共享月度阈值与每用户阈值;动作可选邮件告警或阻断;近实时按估算支出执行,可能在阈值前后阻断,进行中的请求不中断,官方未承诺超额上界。
- 已核实问:Guardrails 只对 Databricks 托管模型生效吗?答:外部托管模型也适用。请求经过 Gateway 时,可对模型服务(含外部供应商服务)应用服务策略,按内容与调用方决定请求与响应是否放行。Q&A官方:服务策略作用于 Unity Catalog 注册的 AI 服务,包括外部 MCP 服务和任意供应商的模型,不只 Databricks 托管模型。会中所附 external-policies 页讲的是接入第三方 guardrail 供应商的判定。
- 已核实问:审计证据保留多久?用量分析有哪些字段?答:system.ai_gateway.usage 默认保留 395 天,含 input_tokens、output_tokens、routing_information、latency_ms 字段。Q&A官方系统表清单:system.ai_gateway.usage 保留 395 天;schema 含 input_tokens、output_tokens、latency_ms、routing_information。395 天是默认值,可配置保留期(Beta)为 30–3,650 天。
未明确项:引用时注意
以下几点会中未确认,引用时以官方文档或客户代表口径为准。
- 未明确审计证据能否导出:Q4 问了,答复只给了保留期与字段,没有回答导出方式。会中未作答。会后查官方:审计日志可以 JSON 投递到 S3(admin/account-settings/audit-log-delivery);系统表页写明强烈不建议把这些数据移出平台。未找到原系统表一键导出或再分享的说明。
- 未明确审计保留期口径不完整:395 天只针对 system.ai_gateway.usage;system.access.audit 和推理表的保留期会中未说明。会中未说明。会后查官方:system.access.audit 默认同样保留 395 天(admin/system-tables);推理表保留期未查。
- 未明确预算粒度:能否直接按团队、按 Agent 设预算。已确认 workspace + service tags + 按用户阈值;团队可通过 service tags 间接实现,Agent 会中未提及。
- 未明确预算近实时执行的延迟与超支幅度。会中未量化。官方:近实时按估算支出执行,可能在阈值前或后阻断,进行中的请求不中断;没有给出超额上界。
- 未明确Guardrails 是否同样作用于 MCP 调用。会中未说明。会后查官方:服务策略页写明覆盖 Unity Catalog 注册的外部 MCP 服务(data-governance/unity-catalog/service-policies/),但会上没有演示。
- 未明确实验环境可用时长:开场说会后 72 小时内可用,结束时又说「到下周一为止」。两种说法不一致,以哪个为准未澄清。
- 未明确总结时提到的 Databricks 多智能体编排产品名。口述未听清,按不确定处理。
会后资源
会场未提供文字转录下载和 Q&A 导出;录像与幻灯片讲者称会后几天内邮件发送,截至入账未收到。
- 实验环境:Vocareum(会场 Resource List) · 现场列出
- How to connect to Vocareum(PDF) · 现场列出
- Get started with Unity Gateway on your own workspace · 现场列出
- 博客:What's new in Unity Gateway: service policies, guardrails and observability · 现场列出
- 博客:Discover how to control AI spend with budgets and spend caps in Unity Gateway · 现场列出
- External policies 文档(Q&A 答复附链接) · 已收到
录像:未收到,讲者称会后几天内邮件发送(含幻灯片)