Mistral AIが必要だと気づいた瞬間を今でも覚えています。物流会社向けの多言語カスタマーサポートチャットボットを構築していたとき、OpenAIのAPIで壁にぶつかり続けていました。具体的には、GPT-4の1Kトークンあたり0.03ドルのコストと、欧州の顧客クエリを米国のサーバーに保存することに対するデータプライバシーの懸念です。ローカルで動作し、フランス語とドイツ語を流暢に処理でき、推論コストで破産しないソリューションが必要でした。そこでMistral AIのオープンウェイトモデルを試し始めたところ、その経験は真の能力と苛立たしいギャップが混在したものでした。
Mistral AIとは何か
Mistral AIは、オープンソースライセンス（ほとんどがApache 2.0）で大規模言語モデルをリリースしているフランスの企業です。主力モデルはMistral 7B、Mixtral 8x7B、そして新しいMixtral 8x22Bです。クローズドソースの代替品とは異なり、これらのウェイトをダウンロードして自分のハードウェアで実行できます。7Bモデルは24GBのVRAMを搭載した1台のNVIDIA RTX 4090に余裕で収まり、8x7Bの混合専門家モデルはフル精度の推論に約48GBのVRAMを必要とします。
実際のパフォーマンス
具体的な数字をお見せします。1台のRTX 3090（24GB）を搭載したローカルワークステーションで、llama.cppを使用して4ビット量子化でMistral 7B v0.2を実行しました。生成時には毎秒約35トークンを処理しました——リアルタイムチャットには十分な速さです。比較として、API経由のGPT-3.5-turboは毎秒約50-60トークンですが、ネットワークレイテンシがあります。真の勝利は、デュアルGPUセットアップにMixtral 8x7Bをデプロイしたときでした。32Kのコンテキストウィンドウを難なく処理し、技術文書の出力品質は私のテストではGPT-3.5-turboに匹敵しました——ただし、微妙なニュアンスを必要とするクリエイティブな文章には苦戦します。
優れている点
- データコントロール：物流クライアントのために、フランクフルトの専用サーバーにMistralをホストしました。データがEUを離れることはなく、法的な駆け引きなしにGDPR要件を満たしました。
- コスト効率：Mistral 7Bをローカルで実行する場合の1Kトークンあたりの電気代は約0.002ドルです（0.12ドル/kWhと仮定）。これはGPT-4のAPI価格より15倍安いです。
- 多言語機能：フランス語、ドイツ語、スペイン語の顧客クエリでテストしました。コードスイッチング（1文内で言語を混在させる）の処理はLLaMA 2より優れており、おそらくトレーニングデータに欧州のウェブコンテンツが多く含まれているためです。
厳しい真実と限界
推論に一貫性がない。 同じ論理パズルをMistral 7B、Mixtral 8x7B、GPT-4で実行しました。Mistralは多段階の算術問題で約30%の確率で失敗しました。例えば、「列車Aが午前10時にパリを出発し、時速120kmで走行します。別の列車Bが午前10時30分にリヨンを出発し、時速150kmで走行します。両者はいつ出会うでしょうか？」という問題で、30分の先行時間を正しく追跡できず、会合時間を誤って計算することがありました。
コンテキストウィンドウの制限が痛い。 Mixtralは32Kトークンを謳っていますが、24Kトークンを超えるとパフォーマンスが著しく低下することがわかりました。50ページの法的文書を要約すると幻覚が発生しました——存在しない条項を作り出しました。文書をチャンクに分割し、検索拡張生成（RAG）セットアップを使用する必要があり、複雑さが増しました。
ツール呼び出しが不格好。 Mistralの関数呼び出しサポートはOpenAIのようにネイティブではありません。関数定義を手動でフォーマットし、出力を解析する必要があり、開発時間が増加します。ツール呼び出し用のJSONパーサーのデバッグに週末を費やしました。
価格の現実
Mistral AIはホスト型API（Le Chat）を提供しており、Mistral Smallは1Kトークンあたり€0.0007、Mistral Largeは€0.004です。これはGPT-3.5-turbo（$0.0015/1K）より安いですが、Claude Haiku（$0.00025/1K）より高いです。オープンソースモデルは無料でダウンロードできますが、ハードウェアにお金がかかります：中古のRTX 3090は約700ドルで、24時間稼働させると電気代が月30-50ドル追加されます。本番環境のワークロードには、専用サーバーまたはクラウドGPUインスタンスが必要です——適切な稼働時間を得るには月200-500ドル程度を見込んでください。
誰が使うべきか
最適なユーザー：データ主権が必要なチーム、開発者
