第一層 · 最便宜
只看「作者附的程式跑不跑得起來」
一篇 4 美元,機器自己就能做。但十篇裡只有兩篇跑得起來。(CORE-Bench 公開實測——專門測「作者附的程式能不能跑」:成功平均 0.54 美元、失敗 2.59 美元、上限 4 美元;困難組成功率 21.5%)
現況簡報 · 2026-08-28
這件事目前還只是一張設計圖,一行程式都還沒寫。
想做的東西:一個讓人把研究丟上來、再由別人真的「重跑一次」去驗證是不是真的的地方。
像餐廳評鑑不是看菜單,是真的去吃一次。
今天最大的發現
「重跑一次」其實有三種深度,價錢差一千倍。
第一層 · 最便宜
一篇 4 美元,機器自己就能做。但十篇裡只有兩篇跑得起來。(CORE-Bench 公開實測——專門測「作者附的程式能不能跑」:成功平均 0.54 美元、失敗 2.59 美元、上限 4 美元;困難組成功率 21.5%)
第二層 · 只看稿子
一篇 350~900 美元,要真人做。(Unjournal、RigorLoop 掛牌價——他們網站上公開寫的收費)
第三層 · 真的重做
一篇 400 美元起跳,而且找博士花 48 小時也只做到四成。(PaperBench 實測——專門測「能不能從頭把一篇研究重做一遍」)
這才是這門生意真正的難關——不是「沒人付錢」。
已收斂
幾方討論之後,這四題不再各說各話。每題先看粗體結論,再看一句白話。
第一題
不是讀者,也不是作者,是需要拿東西去給第三方看的人。
舉例:一家做「AI 科學家」的新創要去募資,投資人問「你這產出是不是它自己編的?」——他需要一張別人開的證明。
第二題
不是為了理念,是想換一個帶得走的東西。
而且要反過來看:上傳的人其實是來「拿」的,他要的是有人免費幫他把研究重跑一遍、幫他抓錯。
第三題
一開始只會來免費抓資料,不會付錢。
他們願意付錢的時候是「這張證明開始被拿去當採購或找人的依據」之後——那是結果,不能當起點。
第四題
會,但只會丟不痛不癢的邊角題,而且這是別人做了二十年的地盤。
可以當附加功能,不能當主軸。
你另外提的開頭
原案不成立,但有一個修正版可行。
為什麼不成立
arXiv 已經在做這件事;一般論文沒有附能跑的程式,收上來只會堆著。
修正版
範圍縮到「真的帶得動」的研究。
更好的做法
自己去掃已經公開、而且附程式的熱門論文,一篇 4 美元自動跑一遍,做成一張「哪些真的跑得起來」的榜(CORE-Bench 公開實測)。內容、讀者、冷啟動(剛開始沒內容、也沒人來看的死結)一次解決。
誠實揭露
先前講錯、問錯的地方,攤開來說。
改口一
我先前那樣說。它不是唯一,而且不該當主軸。
改口二
查到的八家同類平台幾乎全是空殼,而它們死掉的原因正是沒有讀者。這是我在出題時就把答案框住的地方。
還沒解
這三件原樣呈報,沒有寫成已經解決。
未收斂一
機器自動重跑十篇只有兩篇成功——那八篇跑不起來,到底是研究爛還是機器爛?沒人知道。這直接決定那張榜有沒有公信力。
未收斂二
「AI 新創願意花 500~1,500 美元買一份驗證報告」目前是推測,一筆成交紀錄都沒有。
未收斂三
參與討論的所有人沒有一個真的營運過這種平台,全部結論都是從別的行業類比過來的。
外部查證
下面每條都能點進來源核對。
已經有人在做很像的事:RigorLoop 研究賞金市集 2026 年 8 月剛上線,公開板上目前只有一筆 250 美元的委託(https://rigorloop.com/)。
ERROR 科學糾錯專案準備了 25 萬瑞士法郎,一年半只完成 6 篇(https://error.reviews/)。
賣「研究可信度徽章」的生意存在,但買單的是出版社,不是作者。
企業懸賞平台都還活著(XPRIZE 單項獎金上億美元(https://www.xprize.org/prizes)、InnoCentive 累計發出 6,000 萬美元以上(https://www.wazoku.com/innocentive/)),但機器學習類的小額懸賞在縮水:Topcoder 從 2024 年 5 場、總額 2.9 萬美元,掉到 2025 年 1 場、2,280 美元(https://arxiv.org/html/2604.08001v1)。
公開測試:能不能把論文的結果再做一次:從頭重做、只跑作者現成程式,各有一份。
從頭重做:https://arxiv.org/abs/2504.01848
只跑作者現成程式:https://arxiv.org/html/2409.11363v2
請你決定
最便宜的一步:花 40 美元,讓機器自動去跑 10 篇熱門論文,看幾篇跑得起來(10 篇 × 每篇上限 4 美元估算)。
這一次實測同時回答三件事:成本是不是真的這麼便宜、內容從哪裡來、這張榜到底有沒有料。
其他更貴的選項 · 供比較,不是推薦
約兩週人力
問 10 家 AI 新創願不願意付錢買驗證報告
約一個週末
測只交代跑到哪裡、出了什麼錯,這樣能不能防止有人假裝測過