為了獲得這個問題的粗略答案，我們從 Manifold 市場收集了 5000 個問題，這些問題在 GPT-4 當前的知識截止日期（2022 年 1 月 1 日）后得到解決。我們將每個問題的文本以及以下說明提供給 GPT-4：

您是一位超級預(yù)測，熟悉泰洛克和其他人的工作。對于以下 json 塊中的每個問題，預(yù)測該問題得到解決的概率。

您還必須確定問題的類別。一些例子包括：體育、美國政治、科學等。使用 make_predictions 函數(shù)來記錄您的決定。在所有情況下，您必須給出 0 到 1 之間的概率估計。如果由于某種原因您無法回答，請選擇基本費率，但返回 0 到 1 之間的數(shù)字。

回想起來，也許我們已經(jīng)過濾了這些。許多問題對于我們的目的來說有點愚蠢，盡管它們通常被分類為“測試”、“未分類”或“個人”。

這個好嗎？

衡量你是否擅長預(yù)測事物的一種方法是檢查你的校準：當你說某件事有 30% 的概率時，它實際上有 30% 的時間發(fā)生嗎？

要檢查這一點，您需要做出大量預(yù)測。然后你將所有 30% 的預(yù)測放在一起，看看其中有多少發(fā)生了。

從較高層面來看，這意味著 GPT-4 過于自信。當它說某件事發(fā)生的可能性只有 20% 時，實際上發(fā)生的概率約為 35-40%。當它說某件事有 80% 的可能性發(fā)生時，它只發(fā)生大約 60-75% 的時間。

這取決于地區(qū)嗎？

我們可以為 16 個類別中的每一個類別繪制相同的圖。（請記住，這些類別是由 GPT-4 決定的，盡管從抽查來看，它們看起來很準確。）由于不清楚的原因，GPT-4 對于體育問題進行了良好的校準，但對于“個人”問題進行了可怕的校準：

所有線條看起來都有點嘈雜，因為總共有 20 × 4 × 4 = 320 個 bin，而總共只有 5000 個觀測值。

生活中還有比校準更重要的事情嗎？

假設(shè)你和我正在預(yù)測一枚公平的硬幣翻轉(zhuǎn)時正面朝上的結(jié)果。我總是預(yù)測 50%，而你總是預(yù)測 0% 或 100%，而且你總是對的。然后我們就都完美地校準了。但顯然你的預(yù)測更好，因為你的預(yù)測更有信心。

處理這個問題的典型方法是平方誤差，或“Brier 分數(shù)”。為了計算這個結(jié)果，如果事情發(fā)生了，則實際結(jié)果為 1，如果沒有發(fā)生，則實際結(jié)果為 0。然后取概率與實際結(jié)果之間的平均平方差。例如：

• GPT-4 給出了“SBF 會在美國東部時間 2022 年 12 月 31 日晚上 11:59 之前發(fā)布推文嗎？” 是的概率為 0.9。由于這確實發(fā)生了，因此對應(yīng)的分數(shù)為 (0.9-1)² = 0.01。
• GPT-4 給出了“Manifold 會顯示 9 月底市場傾斜的金額嗎？” 是的概率為 0.6。由于這種情況沒有發(fā)生，因此對應(yīng)的分數(shù)為 (0.6-0)² = 0.36。

以下是每個類別的平均分數(shù)（越低越好）：

或者，如果您愿意，您可以分解 Brier 分數(shù)。有多種方法可以做到這一點，但我較喜歡的是Brier = Calibration + Refinement。非正式地說，校準是上面的綠線與黑色虛線的接近程度，而細化是您的自信程度。（兩者越小越好。）

生活還有比精致更重要的嗎？

政治問題的布賴爾分數(shù)比科學問題的分數(shù)更高。但這是因為它不擅長科學，還是僅僅因為科學問題很難？

有一種方法可以進一步分解 Brier 分數(shù)。您可以將分辨率分解為細化 = 不確定性 - 分辨率。粗略地說， 不確定性是“問題有多難”，而分辨率是“考慮到校準和不確定性后，你的信心有多大”。

以下是不同類別的不確定性：

這是每個類別的校準和分辨率的散點圖：（由于分辨率越高越好，所以現(xiàn)在左上角包含更好的預(yù)測。）

總體而言，這種進一步分解并沒有太大變化。這表明 GPT-4 確實更擅長對政治進行預(yù)測，而不是對科學或技術(shù)進行預(yù)測，即使考慮到問題的難度也是如此。

PS：不同Brier 分數(shù)分解的相對優(yōu)點在這篇文章的制作過程中引起了驚人的內(nèi)部沖突。我不知道我會對平凡的技術(shù)選擇有如此強烈的感受。我想我現(xiàn)在有了一個令人興奮的新敵人類別。