当需求超过本地容量时,单区域推理可能会受到限制。泰国、马来西亚、新加坡、印度尼西亚和台湾的团队需要访问超出该容量的最新 OpenAI 模型。 亚马逊基岩 通过来自所有五个 AWS 区域的全球跨区域推理提供 OpenAI GPT-6 Sol 和 GPT-6 Luna,以及来自亚太地区(新加坡)的 GPT-6 Astra。本文向您展示如何配置调用、设置权限以及监控来自源区域的推理。
GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra 均可通过前面区域的全局跨区域推理获得,在 bedrock-runtime 端点。看 跨区域推理 在 Amazon Bedrock 用户指南中。有关每个配置文件中的源区域和目标区域的完整列表,请参阅 推理配置文件支持的区域和模型。
在这篇文章中,我们介绍了全球跨区域推理配置文件,并使用 OpenAI 兼容的 Converse API 从亚太地区(新加坡)调用它们…