在周四的大GPT-5直播中,Openai顯示了一些圖表,這些圖表使該模型看起來非常令人印象深刻,但是如果您仔細看,有些圖表有些遙遠。
在其中,具有諷刺意味的是,“模型上的欺騙性Evals”中GPT-5的表現如何,該規模無處不在。例如,對於“編碼欺騙”,場景中顯示的表顯示,帶有思想的GPT-5顯然會收到50.0%的欺騙率,但這與OpenAI最小的47.4%O3相比,這是某種程度上具有更大條紋的OpenAI。 Openai似乎在他的圖中有準確的數字 發布博客GPT-5但是,GPT-5欺騙率為16.5%。
和 此圖Openai在舞台上表明它是GPT-5的結果之一 降低 從O3出現,但帶有更大的條。在同一圖中,O3和GPT-4O分數不同,但帶有同樣尺寸的條。首席執行官山姆·奧特曼(Sam Altman)評論說,真是太糟糕了, 通過打電話 “ Mega Chart Curtup”,儘管在OpenAI博客文章中指出,正確的版本是正確的。
Openai營銷官 道歉說:“我們將圖表更正給了博客的孩子們,對地圖的無意犯罪感到抱歉。”
Openai沒有立即回應評論請求。雖然尚不清楚OpenAI是否使用GPT-5真正製作圖表,但對於公司大型發布日,尤其是在使用其新模型“減少幻覺的重大進展”時,該公司的外觀還不是很大。