詞元迷思:AI怎麼計價才合適?
詞元消耗的差異性
針對同一個提示詞,不同的模型消耗的詞元規模是不一樣的,且差異巨大。這種差異讓基於百萬詞元成本($/MTok)的簡單對比產生了誤導。
優化提示指令可節省成本
研究人員發現,在思路鏈提示中加入簡單的「簡潔」指令,可以將AI響應的長度縮短50%,對準確性影響極小,從而節省20%以上的API調用成本。
最新模型進展
8月31日,Sapiens模型發佈,展現出突破性進展。
針對同一個提示詞,不同的模型消耗的詞元規模是不一樣的,且差異巨大。這種差異讓基於百萬詞元成本($/MTok)的簡單對比產生了誤導。
研究人員發現,在思路鏈提示中加入簡單的「簡潔」指令,可以將AI響應的長度縮短50%,對準確性影響極小,從而節省20%以上的API調用成本。
8月31日,Sapiens模型發佈,展現出突破性進展。