GPUを4枚積んだ単一ノードで、vLLMサービングを TP=4、TP=2 × DP=2、DP=4 の3構成で立ち上げ、速度を比べた記録である。当初はTP=8まで比べる予定だった。しかしRunpodでは8枚の在庫がなかなか見つからず、価格も安くない。現状は4枚が上限なので、同じ4枚の中でTPとDPの比重だけを変える形に組み直した。先に結果を書いておく。GPU 1枚に収まるモデル(Qwen3-8B/14B)では DP=4 が最も速く、Qwen3-8Bではスループットが TP=4 の約1.3倍、Mean TTFTは約27%短かった。GPU 1枚に収まらないQwen2.5-72Bでは逆にTP=...

TP/DPマルチGPUサービング実測記録: Runpod A100 4枚で3つの構成を比較

A2Aエージェントを活用するにあたって、セキュリティの観点からどのように補強していったかを整理します。 1. 背景まず現在の状況を分かりやすく整理します。私たちは main ブランチにマージする前に、 k8s クラスタ上の job の状態を把握する必要がありました。そのため GitHub で PR を上げた状態で、複数の開発者が実際に k8s クラスタへ接続して各種リソースの状態を確認していました。しかし k8s クラスタに接続するたびに VPN へ繋ぐ必要があり、手作業でリソースをひとつずつ点検するのは非常に時間がかかり煩雑な作業です。(もちろんミスも起こりえます！)そこで「...

PRコメントからKubernetesに訊く ~GitHub ActionsからA2Aエージェントをシークレットレスで繋ぐ~

GPU ノードをホームラボで運用していたところ、トス証券の技術ブログ記事「トス証券が GPU-aware を超えて GPU-native クラスターを構築した方法」で紹介されている運用基準を目にしました。そこで、ホームラボの環境に合わせて規模を縮小し、GPU の状態を監視することにしました。現在、ノード 1 台に GPU が 2 枚載っていますが、GPU の状態を個別に監視してはいませんでした。この取り組みにより、「Node が Ready でも GPU は故障していることがある」という事実に備えられるようになりました。GPU のハードウェアエラー(Xid)はカーネルログにしか残らず...

ホームラボの GPU ノードの監視環境を構築する

準備事項この記事では、KindクラスターにCiliumをインストールし、以下のCiliumの基本的なネットワーキング機能を実際に確認していきます。CNIとしてのCiliumの役割ノード間（Internode）のPod通信Kubernetesサービスの実装eBPFベースのデータプレーン実際にコマンドを実行しながら、Ciliumがどのようにネットワーキングを処理しているかを理解していきましょう。 kind インストールhttps://kind.sigs.k8s.io/docs/user/quick-start/#installationkind --version...

lee

TP/DPマルチGPUサービング実測記録: Runpod A100 4枚で3つの構成を比較

PRコメントからKubernetesに訊く ~GitHub ActionsからA2Aエージェントをシークレットレスで繋ぐ~

ホームラボの GPU ノードの監視環境を構築する

Cilium 入門 - はじめに