Hugging Face は 10 月 22 日、DNA を読み取って英語で答えるオープンな言語モデル Carbon-X を公開しました。パラメータ数は 14.8B で、Qwen3-14B をベースにしており、ライセンスは Apache 2.0 です。

できること

モデルカードによると、DNA 配列をそのままチャットに貼り付けて英語で質問できます。Hugging Face は、変異が良性か病原性かの予測、遺伝子の働きを制御する領域の特定、生物群による配列の分類、配列の続きの塩基の予測ができるとしています。これらはあくまで研究用の機能です。モデルカードには Carbon-X は臨床的に検証されておらず、医療上の判断に使うべきではない（has not been clinically validated）と書かれています。Hugging Face は臨床診断に使えるとは述べておらず、私たちも試していません。さらに、長い DNA 配列を生成すると品質が落ちること、新しい配列の設計向けには学習されていないことも明記されています。

学習方法

Carbon-X は Qwen3-14B を出発点に、語彙へ 5,515 個の DNA トークンを追加し、DNA を 6 塩基単位でエンコードします。モデルカードによると、DNA、生物学テキスト、英語、指示データで 302B トークンの中間学習を行い、その後に教師ありファインチューニングと DNA タスクでの強化学習を実施しました。

Hugging Face が示した数値

以下はすべて Hugging Face 自身のテストによるもので、第三者による検証はありません。

  • 5 つの DNA ベンチマークの平均で Carbon-X は 66.7%、GPT-6.1 Sol は 67.5% で、Carbon-X の 1 問あたりの推論コストは約 1/1,800。Carbon-X のコストは H200 1 時間 5 ドルでの実測スループット、比較モデルは標準の API 料金で計算されています。
  • このスコアは Qwen3-14B より 27 ポイント高いとしています。
  • Kimi K3 が Carbon-X を DNA サブエージェントとして使うと、同じ 5 つのベンチマークでのスコアが 49.4% から 60.5% へ 11.1 ポイント上がったとしています。

必要なハードウェア

モデルカードによると、bfloat16 の重みは 80GB の GPU 1 枚に収まり、vLLM と Transformers で動作します。Hugging Face で事後学習を担当する研究者の Lewis Tunstall は X で、Carbon-X は llama.cpp を使ってノート PC 上でローカルに動くと投稿し、リリースブログでも MacBook でのデモが紹介されています。ただしモデルカードの使い方の項目には現在、DNA トークナイザーが独自の Python コードのため llama.cpp などの GGUF ランタイムには対応していないと書かれています。手元のハードウェアで動く別のオープンモデルとしては MiniCPM-V 4.7 もご覧ください。

ソース

  • Hugging Face's Carbon-X model card
  • Hugging Face Space: Carbon-X release blog
  • Loubna Ben Allal's post on X
  • Lewis Tunstall's post on X