NeurIPS論文假開源,較真AI研究員開錘了
問題背景
近年來,NeurIPS等頂會強制要求提交可複現性檢查表(Reproducibility Checklist),從2021年起實施,到2024年更進一步加強規範,以確保研究成果的透明與可驗證性。
實際調查結果
一位匿名AI研究員使用AI技術對NeurIPS 2024年收錄的4035篇論文進行核查,發現:
- 真實公開源碼的論文為2404篇。
- 1533篇未提供任何連結。
- 98篇雖明確標示為公開,但其代碼倉庫存在「爛尾」或無法使用的情況。
社會反應與討論
此事件引發學術圈廣泛關注,強調「較真」的重要性。研究員指出,許多論文僅以「公開」為名,實際上並未提供可用的代碼或完整實驗環境,導致學界難以複現與驗證成果。
有觀點認為,這反映出當前AI研究中「形式主義」與「成果展示」的脫節,也凸顯了學術倫理與實務落實之間的落差。
延伸觀察
此事件也與生成式AI的發展形成對比,專家警告稱,AI生成的高品質成果可能掩蓋人類能力的不足,導致「知識掌握假象」,進而影響真實學習與研究品質。
