arXiv新規論文の約3分の1がAI執筆か、検出ツールの調査で判明
unslop.runが12,750件のarXiv論文の本文全体を評価した結果、最近の論文の約3分の1がAI執筆と判定された。これは、ChatGPT登場前の2021〜2022年の論文を人間の執筆として調整した基準値の0.4%から大幅に上昇している。分野によるばらつきは大きく、数学では0.7%にとどまる一方、コンピュータサイエンスでは約65%がAI執筆と判定された。検出ツールの網羅性が不完全であることは実際の割合を押し上げる方向にしか働かないため、この数値はあくまで下限値である。
出典： unslop.run ↗
新しいものの約3分の1が機械によって書かれたものと読める。
unslop.runの検出器研究
なぜ重要か
- → 最近のarXiv論文の3分の1がAIによって書かれたものと読め、0.4%のベースラインから増加した。
- → 分野による差異は大きく、CSでは65%がAI執筆と読めるのに対し、数学では0.7%にとどまる。これは、AIツールの導入パターンが分野間で不均一であることを示唆している。
- → この測定値はあくまで下限であり、学術界全体での実際の普及率はさらに高い可能性が高い。
学術界におけるAIの転換点