随着人工智能技术的迅速进步，OpenAI 已经崭露头角，成为该领域的领军者之一。它在多种语言处理任务上表现卓越，包括机器翻译、文本分类和文本生成等。

然而，使用 OpenAI 时，持续监控 API 调用的重要性不容忽视，这不仅可以帮助我们识别出性能瓶颈，统计和分析使用情况，还可以帮助我们在 API 出现问题时快速发现并进行相应的处理。

GreptimeAI

GreptimeAI 提供了专为监测和管理大型语言模型（LLM）应用设计的定制可观测性解决方案。这一方案使您能够全面了解成本、性能、流量和安全性方面的情况。更多关于 GreptimeAI 的产品细节，请参阅 此文。值得一提的是，GreptimeAI 的存储解决方案构建于开源时序数据库 GreptimeDB 之上。

哪些 OpenAI 的模块会被监控

  • chat
  • completion
  • audio
  • images

支持的场景

  • async
  • stream
  • with_raw_response
  • retry
  • error

用户指南

安装 GreptimeAI

pip install --upgrade greptimeai

注册 GreptimeAI

首先，注册 GreptimeAI 以创建一个服务，并获取以下参数：

  • host
  • database
  • token

配置

在环境变量中设置 GreptimeAI 需要的配置：

export GREPTIMEAI_HOST='xxx'export GREPTIMEAI_DATABASE='xxx'export GREPTIMEAI_TOKEN='xxx'

如果你希望直接传递参数，可以这么做：

openai_patcher.setup(host=os.environ.get("GREPTIMEAI_HOST"),database=os.environ.get("GREPTIMEAI_DATABASE"),token=os.environ.get("GREPTIMEAI_TOKEN"),client=client,)

Example

以下是一个简单的示例，说明如何在启用了 GreptimeAI 跟踪的情况下调用 OpenAI chat completion 模块。

from greptimeai import openai_patcherfrom openai import OpenAIclient = OpenAI()openai_patcher.setup(client=client)completion = client.chat.completions.create(messages=[{"role": "user","content": "How do I output all files in a directory using Python?",}],model="gpt-4",user="",stream=True,)

What does it look like in GreptimeAI

Overview：

下图展示了带有多个 span 的追踪细节：

关于 Greptime 的小知识：

Greptime 格睿科技于 2022 年创立，目前正在完善和打造时序数据库 GreptimeDB，格睿云 GreptimeCloud 和可观测工具 GreptimeAI 这三款产品。

GreptimeDB 是一款用 Rust 语言编写的时序数据库，具有分布式、开源、云原生和兼容性强等特点，帮助企业实时读写、处理和分析时序数据的同时降低长期存储成本；GreptimeCloud 可以为用户提供全托管的 DBaaS 服务，能够与可观测性、物联网等领域高度结合；GreptimeAI 为 LLM 量身打造，提供成本、性能和生成过程的全链路监控。

GreptimeCloud 和 GreptimeAI 已正式公测，欢迎关注公众号或官网了解最新动态！

官网：https://greptime.cn/

GitHub: https://github.com/GreptimeTeam/greptimedb

文档：https://docs.greptime.cn/

Twitter: https://twitter.com/Greptime

Slack: https://greptime.com/slack

LinkedIn: https://www.linkedin.com/company/greptime/