OpenAI 和 Broadcom 宣布推出一款專為大規模 LLM 推理而設計的晶片

ChatGPT、Codex 以及這些工具使用的模型背後的公司 OpenAI 和老牌晶片供應商 Broadcom 宣布推出一款名為 Jalapeo 的新晶片，專門為推斷資料中心中的大型語言模型而設計。

該晶片設計用於部署在大型資料中心，兩家公司都聲稱這只是長期專案中的第一代晶片，隨著時間的推移，晶片將得到改進。

Broadcom 表示，ASIC（專用集成電路）是根據該公司與 OpenAI 研究人員對話中的「詳細見解」從頭開始設計的，用於 LLM 推理，並且該晶片的開發是以 OpenAI 自己的未來模型和產品路線圖為指導的。該晶片的設計和生產歷時九個月。

我們承諾，與目前在現有資料中心運作的推理系統相比，該晶片更能滿足法學碩士學生的當前需求。

OpenAI 聲稱“早期測試表明 Jalapeo 的每瓦性能將明顯優於當前性能”，但指出性能尚未測量，“將在未來幾個月內提供詳細的技術報告”。