隨著 AI 應用越來越普遍，成本控制成為企業不得不面對的挑戰。AWS 在 re:Invent 2024 大會上推出的 Amazon Bedrock Intelligent Prompt Routing 及 prompt caching（提示詞快取）功能，就如同一位聰明的 AI 管家，幫助企業精打細算，令 AI 應用不再成為成本黑洞。
想像一下擁有一組不同才能的員工，有的擅長簡單任務，有的專精於複雜問題。Amazon Bedrock Intelligent Prompt Routing 就如一位超級主管，根據問題難度，自動將問題分配給最合適的「模型」處理。透過先進的提示詞配對技術，系統能預測每個請求所需的模型效能，並智能選擇最有可能以最低成本提供回應的模型。
舉例來說，如果餐廳的語音客服系統接到「今晚有位嗎？」這樣的簡單詢問，系統會選擇較小模型回應；而當收到需要詳盡解釋的「有哪些素食選擇？」時，則會交由更強大的模型處理。此種智慧分配策略可以讓企業最高節省 30% 的運營成本。
至於 Amazon Bedrock 的 prompt caching 功能，讓 AI 擁有強大的記憶能力。當多位用戶詢問相似問題時，系統無需重複計算，而是調用以前的答案。此看似簡單的功能，可為企業帶來高達 90% 的成本降低，以及 85% 的回應時間縮短。
以 Adobe 為例，他們在 Acrobat AI 助理中應用 prompt caching 功能，結果文件處理的回應時間縮短了 72%。在多名用戶查詢文件中的相似内容時，系統能快速提供答案，這不僅節省了成本，更極大提升用戶體驗。
Argo Labs 的案例充分展示了這兩項功能的強大。這間專門為餐廳提供語音客服解決方案的公司，結合 Intelligent Prompt Routing 和 prompt caching 功能，成功打造經濟實惠且高效的 AI 客服系統。當顧客提出問題及預訂餐位時，系統自動判別問題類型，選擇最佳模型回應，同時儲存常見問題的解答，從而創造流暢的客戶體驗。
這些新功能的推出正徹底改變企業使用 AI 的方式。從前，企業在使用 AI 時，常需在效能與成本之間做艱難抉擇。現時有了 Intelligent Prompt Routing 和 prompt caching，企業可以兼顧兩者，自動優化資源使用，在保持高品質服務的同時，大幅降低運營成本。
尤其對於中小企業而言，這些功能帶來的影響更為重大。以往因成本考量而未能推進 AI 應用，現今終於有機會以合理價格導入 AI 技術，享受數位轉型帶來的優勢。
AWS 在 Amazon Bedrock 平台上推出的新功能，標誌著 AI 應用邁向更成熟的階段。透過智能資源配置和優化，企業終於能以更合理的成本，享受 AI 技術帶來的便捷。不單是技術的進步，這更是讓 AI 走向普及化的重要里程碑。
隨著 Intelligent Prompt Routing 和 prompt caching 功能的推出，未來我們有理由期待更多企業加入 AI 應用的行列，為產業帶來創新與變革。AI 的未來正變得越來越親民及實用，而 AWS 的這些創新，正為企業開拓通往 AI 經濟時代的大門。
