GPTCache 是一個用於建立語義快取以儲存 LLM 查詢響應的庫。隨著應用的增長,LLM API 呼叫相關的費用可能會變得非常高昂。此外,當處理大量請求時,LLM 服務可能會出現響應時間緩慢的問題。