Devstral

Devstral は、2025 年 5 月 21 日に公開された Mistral AI による発表であり、ソフトウェアエンジニアリングのタスクに特化したエージェント型 LLM を、All Hands AI との共同で構築し、Apache 2.0 ライセンスの下でリリースしたことを伝えるものである。投稿の冒頭の一手は、日常的に混同されていると投稿が主張する 2 つのことを切り分けることにある。1 つは独立した関数を書いたり行を補完したりすることで、通常の LLM はすでにこれをうまくこなすと投稿は言う。もう 1 つは現実のソフトウェアエンジニアリングの問題を解決することで、こちらには苦戦すると投稿は言う。

投稿が引く区別は、生のコード品質ではなくコンテキストに関するものである。投稿の説明によれば、現実の開発には、大規模なコードベースの中にコードを位置づけること、個々に離れたコンポーネント間の関係を見出すこと、入り組んだ関数の中の微妙なバグを見つけることが求められ、そのいずれもアトミックな補完タスクでは試されない。Devstral は、そのより困難な形の問題に対して直接訓練されたものとして提示される。すなわち、実際の GitHub イシューを対象に、モデルとテストの間のインターフェースを定めるコードエージェントのスキャフォールド上で動作させて訓練されている。

投稿の 2 つ目の論点はサイズに関するものである。Mistral は Devstral を 1 台のコンシューマー向け GPU や 32GB の Mac で動作するほど軽量なものとして提示し、そこから 2 つの帰結を導く。ローカルのコードベースに対するローカルでのデプロイと、リポジトリをホスト型モデルに送ることが望ましくないようなプライバシー、セキュリティ、コンプライアンス上の制約を持つ企業内での利用である。このリリースはリサーチプレビューと位置づけられ、より大規模なエージェント型コーディングモデルが今後数週間のうちに続くと予告されている。

要点

• 投稿の中心的な主張は、典型的な LLM は独立した関数や補完のようなアトミックなコーディングタスクには長けているが、現実世界のソフトウェアエンジニアリングには苦戦するというものである。その理由は、現実の開発では、大規模なコードベースの中でコードを文脈づけること、個々に離れたコンポーネント間の関係を見出すこと、入り組んだ関数の中の微妙なバグを見つけることが求められるからである。
• Devstral は、実際の GitHub イシューを解決するよう訓練され、OpenHands や SWE-Agent のようなコードエージェントのスキャフォールド上で動作するものとして説明される。投稿によれば、これらのスキャフォールドがモデルとテストケースの間のインターフェースを定める。
• Mistral は Devstral の SWE-Bench Verified でのスコアを 46.8% と報告し、投稿はこれを従来のオープンソースの最高水準を 6 パーセントポイント以上上回るものと位置づけている。これはベンダー自身のローンチ投稿における自己申告の数値である。
• 投稿は、同じテスト用スキャフォールド — All Hands AI が提供する OpenHands — の下では、Devstral が 671B の Deepseek-V3-0324 や Qwen3 232B-A22B を含むはるかに大規模なモデルを上回り、任意のスキャフォールドで評価されたモデルと比較しても「最近の GPT-4.1-mini を 20% 以上」上回ると述べている。ただし投稿は、この数値がパーセントポイントなのか相対的な差なのかを明らかにしていない。スキャフォールドに関する但し書きは投稿自身のものであり、これが 2 つの比較を別々の主張にしている。
• Mistral はこのモデルを、1 枚の RTX 4090 または 32GB の RAM を搭載した Mac で動作するほど軽量なものとして提示し、投稿はそれをローカルでのデプロイとオンデバイスでの利用の根拠として示している。
• 投稿は、このローカルでデプロイできるという性質が、厳格なセキュリティとコンプライアンスの要件に服する、プライバシーに敏感な企業リポジトリでのエージェント型コーディングにも適していると論じる。示されている裏付けは、報告された導入事例ではなく Mistral 自身の位置づけである。
• Devstral は Apache 2.0 の下でリリースされ、Hugging Face、Ollama、Kaggle、Unsloth、LM Studio のほか、Mistral 自身の API を通じて配布された。
• 投稿はこのリリースをリサーチプレビューと位置づけ、執筆時点でより大規模なエージェント型コーディングモデルが開発中であると述べている。

背景

この投稿はモデルの公開元である Mistral 自身の立場から書かれており、ベンチマークと比較に関する主張はすべて同社自身のものである。最も重要な限定は投稿自身が述べているものである。すなわち、比較のうち最も強いものは、競合モデルが同じスキャフォールドの下で評価された場合に成り立つものであり、投稿はその場合を「任意のスキャフォールド（そのモデル専用に作られたものを含む）の下で評価された」モデルとの比較から区別している。ただし、スキャフォールドがどれほど大きな影響を持つかは述べないまま、この区別を引いている。

投稿が独自性として主張するのは、単一の性質ではなく組み合わせである。すなわち、コード補完ではなくエージェント型のソフトウェアエンジニアリングのために訓練され、1 台のコンシューマー向け GPU や 32GB の Mac で動作するほど軽量で、寛容なライセンスの下でリリースされたモデルという組み合わせである。ソフトウェアイシュー解決 をアトミックなコード生成から切り分ける枠組みは、その組み合わせを動機づけるための投稿自身のやり方であり、このページはそれを同時期の他のリリースには拡張しない — 投稿は他のリリースについて、ベンチマークの比較対象として以外には論じていない。