經濟學家喜歡畫三角形。在貿易中，你可以沒有關稅、沒有報復、價格不變。在金融領域，你無法固定利率、固定貨幣供給、承諾完美穩定。從不平等條件下的招募開始，它類似於人們廣泛討論的關於招募公平性的三角關係。
當公司轉向演算法來分配稀缺工作時，他們會被三個有吸引力的目標所吸引：高效率（選擇最有可能表現出色的候選人）、強代表性（結果大致反映群體份額）和強形式中立性（我們機械地對每個人應用相同的規則）。
問題很簡單但不方便：他們無法同時獲得所有三個。任何兩個都可以接起，但第三個會朝錯誤的方向移動。這就是“股權三難”，當你看到它時，關於招聘演算法以及股權和包容性項目的許多困惑開始看起來不再像一個謎，而更像標準定價理論。您可以在工作論文「公平三難：演算法政府的不可能性定理」中找到正式的陳述和證明。
老人答應了
有一段時間，這個故事講述了很多關於簡單招募的事情。偏見存在於人們的腦海中。低效率存在於古爾的判斷中。解決方法是顯而易見的：標準、自動機、措施。用資訊取代自由裁量權，招募會變得更好、更有效率。
這個故事引發了對 DEI 軟體和演算法驅動的招聘工具的投資浪潮。賣方承諾在公共和公司治理方面提供一些不尋常且有吸引力的東西：無需權衡的道德改善。為貧困群體帶來更好的結果，沒有有害影響，並且減少有關自由裁量權或權力的不舒服的對話。
演算法招募系統作為搭配解決方案出售。仔細審查履歷和申請，了解預測內容，用數學方法解決「公平」問題，並進行模型平衡。
但演算法並不能消除自由裁量權。他們將其置於政策模型、給定的選擇、「公平」本身的定義中。它們往往會飛越那些更難看見、更難與之競爭的地方。
三個角的拋物線
關於亞馬遜實驗性招募演算法的現在著名的故事是一個有用的寓言。透過歷史數據和招聘決策的培訓，系統了解到，個人資料與以前男性員工相似的申請人更有可能被選為技術職位。實際上，那些看似「女性編碼」的熱門履歷被發現是男性主導的技術勞動力。
從嚴格的技術意義上來說，該模型並不是特別令人困惑。它針對數據預測性能進行了最佳化。同樣的軟規則也適用於每個人。高效且形式中立。它未能做到的是從非代表性數據產生代表性結果。
那時，公司面臨三個選擇，這在三難困境中得到了清晰的描述。他可以保留模型並接受不平等的結果（效率+中立，弱代表性），添加公平約束以將結果推向平價並降低預測準確性（效率+代表性，較弱的中立性），或者重新考慮人類判斷並糾正模型的勝利（代表性+自由裁量權，較弱的形式中立性）。亞馬遜終於離開了這個系統。
HireVue 的人工智慧在視訊訪談中也發揮了類似的作用。該公司推廣了對面部表情、語氣和詞語選擇的自動分析，作為標準化和消除早期篩檢偏見的一種方式。批評者指出，這些特徵與殘疾狀況、神經多樣性和人口背景有關，很難證明與工作相關。在越來越大的壓力下，HireVue 的臉部分析完全被放棄了。
在這兩種情況下，篩選本身的想法都沒有白費。不令人失望的是，在一個條件不平等的世界中，測量可以保持中立，並且可以透過正確的模型「免費」實現效率、代表性和中立性。
一個模型玩具
簡單的模型結構清晰。想像一下，一家公司需要從申請人池中填補一定數量的職位，申請人池分為兩組：A 和 B。每組中的申請人都是透過預測模型來識別的，該模型估計他們的成功機率。由於起始條件不平等（訓練品質、以往經驗、背景），A 組的平均預測成功率高於 B 組。該公司考慮單一閾值規則：僱用預測成功分數高於特定水平的所有人。
在如此不平等的基礎下，一項規則不可能同時兼顧三項。無法收集表現最好的候選人； A 組和 B 組的收入在申請人池（或人口）中所佔的份額大致相等；為所有人設定相同的閾值。如果公司堅持高效率和強中立性，它就會設定一個共同的門檻。員工按比例從 A 組和預測分數較高的組別中抽取。代表性與其所共享的社區不同。
如果你堅持高效率和強代表性，你可以透過特殊的群體閾值或權重來放鬆中立性，以便僱用更多的 B 組申請人，同時仍然試圖在其中挑選最好的。但後來他聽到A和B，同一個頭銜對他們的待遇是不同的。
如果他堅持強烈的代表性和強烈的中立性——對每個人都適用相同的規則，不同群體的員工相似——他將不會在綜合體中聚集最脆弱的候選人。它讓一些較高的申請人擁有較軟弱的員工，並錄取較低分數的員工，從而犧牲了效率，除非並且直到潛在的不平等消失。
這是最簡單的股權三難困境。您可以選擇三角形的兩個角，但第三個角將向您不利的方向移動。不可能主要不在於機器學習；而在於機器學習。這就是在不平坦的條件下幾乎不挖任何洞。
稀缺性並沒有消失；動作
經濟學家以前看過這部電影。考慮租金管制。當價格上限低於市場出清水準時，短缺現像不會消失。他向前走去。它顯示了排隊、非價格篩選、邊付款和品質腐敗。無法計算收入的房東必須考慮名單、個人網絡和自由裁量權。 Diamond-McQuade-Qian 對舊金山租金管制模型的研究等實證研究就說明了這一點。
招聘系統的工作方式大致相同。阻止一種分配機制，稀缺性就會找到另一種管道。由於績效指標無法解釋公平約束，因此必須克服有委員會、例外、整體審查和不透明的機構體系。每個動作都透過放鬆第三個角來保留三難困境的兩個角。政策約束彌補了不足； ;他們不會擺脫匱乏。
企業該做什麼
透過承認效率、代表性和形式中立性不能同時提高，問題就改變了。相反，我們會問：“我們如何取消沒有藝術的研究？”他們應該問：“我們想要留出多少餘地，自由裁量權應該放在哪裡？”
在招募演算法中採用更誠實的方法來實現公平和包容性至少可以做三件事。他清楚政府圍繞著這次選舉的優先事項和策略。將自由裁量權放在可以建立監督者的地方——結構化委員會、主要文件、審查流程——而不是將價值判斷隱藏在不透明的政策模型和公平指標中。並停止將演算法當作靈丹妙藥來兜售。例子不能消除這樣一個事實：商業的根本藝術是由不平等的企業條件創造的；他們從最好的地方宣布需求受到限制以及應該購買什麼。
因此，完美是永無止境的。這就是合法性：公開決定三難困境在特定背景下的結合點並導致責任。
