加利福尼亞大學圣地亞哥分校的 Hao 人工智能實驗室（Hao AI Lab）上周五開展了一項獨特的研究，將人工智能（AI）引入經典游戲《超級馬力歐兄弟》中，以測試其性能表現。研究結果顯示，在參與測試的 AI 模型中，Anthropic 的 Claude 3.7 表現最為出色，緊隨其后的是 Claude 3.5。相比之下，谷歌的 Gemini 1.5 Pro 和 OpenAI 的 GPT-4o 則表現不佳。

需要明確的是，此次實驗所使用的并非 1985 年最初發(fā)布的《超級馬力歐兄弟》版本。游戲運行在一個模擬器中，并通過一個名為 GamingAgent 的框架與 AI 進行連接，從而讓 AI 能夠控制馬力歐。GamingAgent 由 Hao 人工智能實驗室自主研發(fā)，其向 AI 提供基本指令，例如“如果附近有障礙物或敵人，向左移動或跳躍以躲避”，同時還提供游戲內的截圖。隨后，AI 通過生成 Python 代碼的形式來操控馬力歐。

據實驗室介紹，該游戲環(huán)境迫使每個 AI 模型“學習”如何規(guī)劃復雜的操作并制定游戲策略。有趣的是，實驗發(fā)現像 OpenAI 的 o1 這樣的推理模型（它們通過逐步思考問題來得出解決方案）表現不如“非推理”模型，盡管它們在大多數基準測試中通常表現更強。研究人員指出，推理模型在實時游戲中表現不佳的主要原因之一是它們通常需要花費數秒時間來決定行動。而在《超級馬力歐兄弟》中，時機至關重要，一秒鐘的差別可能意味著安全跳過和墜落死亡的不同結果。

數十年來，游戲一直是衡量 AI 性能的重要工具。然而，一些專家對將 AI 在游戲中的表現與技術進步直接掛鉤的做法提出了質疑。與現實世界相比，游戲往往是抽象且相對簡單的，并且能夠為 AI 訓練提供理論上無限的數據。

IT之家注意到，最近一些引人注目的游戲基準測試結果引發(fā)了 OpenAI 研究科學家、創(chuàng)始成員安德烈?卡帕西（Andrej Karpathy）所說的“評估危機”。他在 X 平臺上發(fā)表的一篇帖子中寫道：“我目前真的不知道該關注哪些 AI 指標?！彼偨Y道：“我的反應是，我目前真的不知道這些模型到底有多好?！?/p>