按照 OPENAI API 文檔的說明,檢索等,這樣可以平衡服務器資源節省成本,也就是可以在每分鍾內提交更多請求。
推出這種異步任務對 OPENAI 來說也有好處,
這樣對 OPENAI 和開發者來說是雙贏,

舉個例子,翻譯或圖像需要進行分類整理時,開發者們可以一次性將大量內容提交過去然後在 24 小時內獲得結果。這些內容的分類整理對及時性要求並不高,就可以使用異步任務,那就是可以在非高峰期時處理這些請求,包括創建批處理、請求正文、OPENAI 今天為開發者們推出了批量處理 API,當存在大量的文本、開發者可以提交後等待 OPENAI 給出結果再處理就好。
唯一要求是開發者需要通過 JSONL 文件格式進行傳輸,摘要、還可以獲得更高的速率,所以 OPENAI 給這些異步任務 API 提供了半價優惠,
OPENAI 已經在 API 文檔中羅列了詳細使用方法,開發者隻需要支付 50% 的費用即可。除了開發者可以獲得半價折扣外,
對於需要對大量內容進行處理的開發者有福了,即將需要處理的所有請求放到一個 JSONL 文件裏,然後將這個文件使用 batch 參數上傳到服務器即可。有需要的開發者可以前往 OPENAI 查看調用示例:https://platform.openai.com/docs/api-reference/batch



