1. DeepSeek-V4-Flashの推論努力モードにおける冗長性とAPIの不一致
DeepSeek-V4-Flash-0731の推論努力モードに関する分析により、ローカル環境と公式APIの間で重要な動作の違いが浮き彫りになりました。このモデルは4つの推論レベルをサポートしていますが、「Low」モードは予期せず冗長であり、「Max」モードでのローカルのトークン消費量はAPIと比較して2倍になる可能性があります。さらに、現在OpenRouterにはこれらの推論努力設定を無効にするバグがあるため、開発者は注意が必要です。また、既存の公開ベンチマークは「Max」設定のみを反映しています。
- • DeepSeek-V4-Flash-0731は、推論なし、Low、High、Maxの4つの異なる推論努力モードをサポートしています。
- • テスト中、「Low」推論努力モードが予期せず冗長であることが判明しました。
- • 20件のリクエストにおける平均トークン使用量は、公式API経由の698.7トークンに対し、ローカルの「Max」モードでは1,301.4トークンでした。
- • 現在OpenRouterには、このモデルの推論努力モードを無効にするバグが存在します。
- • DeepSeekおよびArtificial Analysisによる公式ベンチマークは、現在「Max」推論努力モードのみを対象としています。
DeepSeek-V4-Flashを使用する開発者は、推論努力パラメータを慎重に管理し、ルーティングのバグが解決されるまでOpenRouterの使用を避ける必要があります。
2. AMD MI355Xの最適化によりKimi K3のコスト効率の高いサービングが可能に
Kimi K3モデルの最近のリリースと初期の費用対効果分析に基づき、新しいソフトウェア最適化によってAMD MI355Xハードウェアでの効率的なデプロイが可能になりました。sglangのボトルネックを解消し、AITER MLAプリフィルカーネルを実装することで、エンジニアは1秒あたり13kトークンのコールドプリフィル速度を達成しました。GPU時間あたり2.50ドルというこの構成は、以前にモデルのホスティング用として特定されていたNVIDIA B200やB300のセットアップよりも費用対効果の高い代替手段を提供します。
- • sglangとAITER MLAプリフィルカーネルの最適化により、AMD MI355XでのKimi K3のデプロイが可能になりました。
- • MI355X構成は、コールドプリフィル速度で1秒あたり13kトークンを達成します。
- • GPU時間あたり2.50ドルのMI355Xは、NVIDIA B200（4.25ドル）やB300（6.00ドル）のオプションよりも大幅に安価です。
- • これは、以前分析されたNVIDIA中心のデプロイ戦略に代わる、より経済的な新しい選択肢を提供します。
この開発により、インフラエンジニアはKimi K3のようなフロンティアクラスのMoEモデルをサービングするための、より低コストなハードウェアパスを得ることができます。
3. Andrej Karpathyが複雑な3DレンダリングタスクでOpus 5をテスト
Andrej Karpathy氏は、Opus 5の厳格なテストから得られた知見を共有しました。彼はモデルに対し、『ロード・オブ・ザ・リング』の冒頭段落を複雑なthree.jsレンダリングで生成するタスクを課しました。100万トークンの予算内で、モデルは2時間と10ドルを費やして5,500行のコードを生成しました。この実験は、フロンティアモデルが非常にカスタマイズされた労働集約的なタスクを実行するスタミナを持っていることを証明しましたが、同時に重要なボトルネックも露呈しました。それは、ネイティブなリアルタイム視覚認識が欠如しているため、モデルが低速でエラーが発生しやすいスクリーンショットベースの監査ループに依存せざるを得ないという点です。
- • Andrej Karpathy氏は、100万トークンの予算を使用して『ロード・オブ・ザ・リング』の最初の段落のthree.jsレンダリングを要求し、Opus 5をテストしました。
- • 生成プロセスには約2時間かかり、約10ドルのコストで5,500行のコードが生成されました。
- • このテストは、LLMが人間が手動で実行するには非現実的な、非常にカスタマイズされたタスクを実行するスタミナを持っていることを実証しました。
- • 特定された重要な制限は、ネイティブなリアルタイム認識の欠如により、ビデオやゲーム環境で自身の作業を効率的に監査できないことでした。
- • Opus 5はレンダリングタスクに苦戦し、低速で手動のスクリーンショットベースの監査に依存したため、エラーが発生しました。
複雑で長期的なエージェントを構築する開発者は、自己監査ループを設計する際に、ネイティブなリアルタイム視覚認識の欠如を考慮に入れる必要があります。
4. AIエージェント向けに67のMCPツールを内蔵したMuがローンチ
Muと呼ばれる新しいオープンソースプロジェクトは、単一のModel Context Protocol（MCP）エンドポイントを通じて67の内蔵インターネットツールを提供することで、エージェントのツール統合を簡素化します。一般的なツールラッパーとは異なり、Muはメールサーバー、検索インデックス、アプリケーションサンドボックスを含む独自の自己完結型インフラストラクチャを運用します。AGPL-3.0ライセンスの下で単一のGoバイナリとして配布されるMuは、CursorやClaude Desktopと直接統合され、ClaudeやDeepSeekからローカルのOllamaインスタンスまで幅広いバックエンドをサポートします。
- • Muは、単一のModel Context Protocol（MCP）エンドポイントを通じて、エージェントに67のインターネットベースのツールを提供します。
- • このプラットフォームは、サードパーティAPIをラップするのではなく、メールサーバー、検索インデックス、アプリサンドボックスを含む独自のインフラストラクチャを実行します。
- • MuはAGPL-3.0ライセンスの下でオープンソースであり、単一のGoバイナリとしてセルフホスト可能です。
- • MCP認証仕様を使用して、Claude DesktopおよびCursorとの統合をサポートしています。
- • Claude、Atlas Cloud（DeepSeek）、ローカルのOllamaやOpenAI互換エンドポイントなど、複数のLLMバックエンドをサポートしています。
開発者は、サードパーティのAPIラッパーに頼ることなく、CursorやClaude Desktop内のエージェントに、安全でセルフホストされた数十のツールを即座に装備させることができます。
5. 公式のllama.appと'llama serve'コマンドがmacOSでのモデル管理を簡素化
llama.cppプロジェクトは、既存のモデルライフサイクル管理APIに基づいた2つの主要なユーザビリティアップデートを導入しました。チームはmacOS用の公式DMGベースのインストーラーであるllama.appと、新しい'llama serve'コマンドをリリースしました。このコマンドは従来の'llama-server'に代わるもので、プロジェクトの既存のホットスワップおよびライフサイクル管理機能を活用して、手動の起動引数を必要とせずにオンデマンドでモデルを自動的に読み込みます。
- • 新しいllama.appはmacOS用のDMGベースのインストーラーを提供し、パッケージマネージャーを不要にします。
- • 'llama serve'コマンドは'llama-server'に代わり、着信リクエストに基づいてモデルの読み込みを自動化します。
- • これらの機能は、以前にリリースされたモデルのホットスワップおよびライフサイクル管理APIに基づいています。
- • このアプリには、APIステータスとモデルの推奨事項を監視するためのメニューバーユーティリティが含まれています。
これらのツールは、以前に導入されたバックエンドのモデル管理機能に対してユーザーフレンドリーなインターフェースと自動化されたワークフローを提供し、macOS上でのローカルLLMデプロイをより身近なものにします。
6. llama.cppとTensorSharpがDeepSeek V4 Flash向けにマルチトークン予測を追加
DSpark推論デコーディングの初期統合に続き、ローカル推論ランタイムはDeepSeek V4 Flash向けの最適化スイートを拡張しました。llama.cppとTensorSharpの両方がマルチトークン予測（MTP）のサポートを導入しました。これにより、DSparkと合わせて最大2倍の高速化が可能になります。Nvidia A40 GPUでのTensorSharpのベンチマークでは、長文ドキュメントで2.03倍、短い生成で1.74倍の高速化が確認され、これらの利点が証明されています。
- • llama.cppとTensorSharpは、DeepSeek V4 Flash向けのマルチトークン予測（MTP）のサポートを追加しました。
- • このアップデートは、以前にリリースされたDSpark推論デコーディングサポートに基づいています。
- • TensorSharpのベンチマークでは、Nvidia A40 GPUで最大2.03倍の高速化が示されています。
- • TensorSharpは現在、CUDA、Metal、モデルの連続バッチ処理を含む全機能スイートをサポートしています。
開発者は、既存の推論デコーディングに加えてMTPを活用することで、ローカルハードウェア上でDeepSeek V4 Flashの推論スループットをさらに高めることができます。
7. GraphRAGのベンチマーク：パフォーマンス向上とコストのトレードオフ
グラフ強化RAGの以前のアーキテクチャパターンに基づき、Microsoft Research、Meta、ミシガン州立大学による最近の評価では、このアプローチのトレードオフが定量化されました。GraphRAGはマルチホップの再現率を73.4%から87.8%に向上させますが、GPT-4oを使用した場合、コーパスあたり48ドルと推定される多額のインデックス作成コストが発生し、単純なルックアップには何の利点もありません。開発者は現在、パフォーマンスとコストを最適化するためにハイブリッドルーティングを実装することが推奨されています。
- • GraphRAGは、マルチホップQAの再現率を73.4%から87.8%に向上させます。
- • インデックス作成コストは高く、GPT-4oを使用してコーパスあたり48ドルと推定されます。
- • GraphRAGは、シングルホップの事実確認ルックアップに対してはパフォーマンス上の利点を提供しません。
- • パフォーマンスとコストのバランスをとるために、ハイブリッドルーティングアーキテクチャが推奨されます。
開発者は、GraphRAGをいつデプロイするかについてデータに基づいた意思決定を行うことができ、複雑なクエリのみをグラフベースのシステムにルーティングすることで不必要なコストを回避できます。
8. DeepSeek-V4-Flashのチャットテンプレートには会話途中のシステムロールサポートが欠如
DeepSeek-V4-Flash-0731を統合する開発者は、モデルにネイティブなjinjaテンプレートがないため、深刻なプロンプトキャッシュの問題が発生する可能性があると警告されています。モデルの形式は会話途中のシステムターンをサポートしていないため、対話の途中で挿入されたシステムメッセージは先頭に引き上げられ、llama.cppなどのエンジンにおけるプレフィックスキャッシュを破壊します。最適なキャッシュパフォーマンスを維持するために、開発者はシステムレベルの指示には代わりに「latest_reminder」ロールを使用する必要があります。
- • DeepSeek-V4-Flash-0731にはネイティブなjinjaテンプレートが含まれておらず、そのチャットテンプレート形式は会話途中のシステムターンをサポートしていません。
- • システムメッセージはシステムプロンプトの先頭に引き上げられるため、会話途中の挿入はプレフィックスを妨害します。
- • システムレベルの指示のロールとして「latest_reminder」を使用することで、ほとんどのテンプレートや量子化プロバイダーがモデルを処理する方法との互換性が確保されます。
- • 「latest_reminder」ロールを適用することで、llama.cpp使用時のプロンプトキャッシュパフォーマンスの低下が解決されました。
開発者は、プロンプトキャッシュの深刻な劣化を防ぐために、システム指示に「latest_reminder」ロールを使用するようにチャットテンプレートを調整する必要があります。
9. Mferenceエンジンがコンシューマー向けMacでDeepSeek-V4-Flash 284Bを実行
Mferenceと呼ばれる新しいオープンソースの推論エンジンにより、コンシューマーグレードのハードウェアで巨大なMixture-of-Experts（MoE）モデルを実行することが可能になりました。共有コアとKVキャッシュのみをRAMに保持し、アクティブなエキスパートを必要に応じてSSDから直接ストリーミングすることで、Mferenceは24GBのM5 Pro Mac上で、わずか6.8GBのピークメモリフットプリントでDeepSeek-V4-Flash 284Bを実行できます。このエンジンはOpenAI互換サーバーも提供しており、既存の開発者ワークフローに簡単に組み込むことができます。
- • Mferenceは、共有コアとKVキャッシュをメモリに保持しながら、選択されたエキスパートをSSDからストリーミングするオープンソースエンジンです。
- • このエンジンは2ビット動的量子化を使用してDeepSeek-V4-Flash 284B-A13Bを実行し、ディスク上で91GBを必要とし、24GBのM5 Proで最大4.8トークン/秒を達成します。
- • M5 Proでの284Bモデルのピークメモリ使用量は6.8GBに制限されていました。
- • Mferenceは、Gemma 4 26B-A4B（2GBメモリで31–35 tok/s）およびQwen 3.6 35B-A3B（1.45GBメモリで19–23 tok/s）もサポートしています。
- • このエンジンには、マルチターンチャット、OpenAI互換サーバー、ローカルドキュメント添付サポートを備えたネイティブMacアプリが含まれています。
開発者は、巨大なユニファイドメモリプールを必要とせずに、DeepSeek-V4-Flash 284Bのような大規模なMoEモデルを標準的なMac上でローカルに実行できます。