OpenAI發布針對音頻、視覺和文本的實時推理更新

根據Cointelegraph的報導，OpenAI在十月份對其模型進行了四次更新，以幫助其AI模型更好地進行對話並改善圖像識別。第一個重大更新是一個實時API，允許開發者使用單一提示創建AI生成的語音應用，實現類似於ChatGPT的高級語音模式的自然對話。此前，開發者必須“拼接”多個模型來創建這些體驗。音頻輸入通常需要完全上傳和處理後才能收到回應，這意味著語音轉語音對話等實時應用具有高延遲。通過Realtime API的流媒體功能，開發者現在可以實現即時、自然的互動，就像語音助手一樣。該API運行在將於2024年5月發布的GPT-4上，實現了音頻、視覺和文本的實時推理。另一項更新包括為開發者提供的微調工具，使他們能夠改進從圖像和文本輸入生成的AI回應。基於圖像的微調器使AI能夠更好地理解圖像，從而增強視覺搜索和物體檢測。該過程包括來自人類的反饋，他們提供良好和不良回應的示例以進行訓練。除了語音和視覺更新外，OpenAI還引入了“模型蒸餾”和“提示緩存”，這使得較小的模型可以從較大的模型中學習，並通過重用已處理的文本來降低開發成本和時間。根據路透社的報導，OpenAI預計明年的收入將增至116億美元，高於2024年預計的37億美元。