IBM、1兆トークン規模の合成符号データセット「CodeAlchemy」をOSS化

IBM Researchは、15言語にわたる約1兆トークンの合成符号データセット「CodeAlchemy」を、構築に使用したパイプラインやレシピとともに公開した。このデータ量はNVIDIAのNemotronコーパスの2倍以上に相当する。特筆すべきは、実際の実行トレースとペアになった130万件の符号ファイルが含まれている点であり、これにより構文ではなく実行時の振る舞いをモデルに学習させることができる。データセット全体は、符号モデルをトレーニングする誰もが利用できるよう、寛容なライセンスの下でHugging Face上で提供されている。

出典： research.ibm.com ↗

GitHubから何十億行ものコードをダウンロードすることは、モデルにコードがどのように見えるかを教えるが、異なる入力でそのコードを実行したときに舞台裏で何が起こるかは教えてくれない。

IBM AI研究者のAnkit Gupta

なぜ重要か

→ モデルに構文だけでなく実行時の動作を教えるものだ — Claude Sonnetはコード実行の予測に苦戦している。
→ 最小の合成データセット（100B tokens）が、ベンチマークで6倍大きい実際のコードコーパスを上回る。
→ 寛容なライセンスでのオープンリリースは、テック大手以外にもコードモデルのトレーニングを民主化する。

モデルに考え方を教える