AI API のために VPN を選ぶとき、Web 閲覧の回線選びとは話が別になる。Web なら切断されても再読み込みで済むが、API の場合はタスクの束ごと失敗したり、ストリーミング出力が途中で切れたり、CI のビルドが丸ごと無駄になったりする。CLI、IDE プラグイン、CI という 3 つのシーンがネットワークに求めるのは、出口が安定していること、同時接続に耐えられること、長時間接続が途中で切られないことの 3 点だ。
以下ではこの 3 点を順に分解する。まず API 呼び出しと Web の違い、次に IEPL 専用線・中継・直結という 3 種類の回線が API シーンでどう振る舞うかを比較し、最後に再現可能な自己計測の方法と設定の要点を示す。
API 呼び出しと Web の違い
Web のリクエストはブラウザが発行し、名前解決、TLS ハンドシェイク、接続の再利用、失敗時のリトライまでブラウザが面倒を見てくれる。API リクエストは自分で書いたコードやツールが発行するので、コネクションプール、タイムアウト、リトライはすべて呼び出し側の責任になる。同じ回線の揺らぎでも、Web なら読み込み中の表示で済むところが、API ではそのまま業務レベルの障害になる。
| 項目 | Web での対話 | API 呼び出し |
|---|---|---|
| 接続モデル | 単一の長い接続、対話的 | 大量の短い接続を並列で発行 |
| 出口の要件 | セッション中に変わらなければよい | 同じタスク群の間は一貫していること |
| タイムアウト制御 | ブラウザとページ側のロジック次第 | クライアントとゲートウェイのパラメータ次第 |
| 失敗したときの代償 | 再読み込みでリトライ | タスク群の失敗、ビルドの中断 |
| よくあるリスク | ページ検証、読み込み失敗 | 出口のドリフト、接続の枯渇、ストリーミングの切断 |
もう一つ見落とされがちな違いがリクエスト密度だ。Web の対話は通常 1 本の接続を維持するだけだが、API では 1 回のバッチ処理で数十本のリクエストを同時に投げることがあり、その 1 本ごとに名前解決、TCP、TLS をやり直す。クライアント側で接続を再利用しなければ、ボトルネックは帯域より先にハンドシェイク段階で現れる。
固定出口:速度より先に手を打つべきポイント
固定出口とは、同じタスク群の開始から終了まで、すべてのリクエストが同一の出口 IP から出ていくことを指す。多くの AI サービスはセッションと出口 IP を紐付けてリスク判定を行うため、タスクの途中で出口が変わると、再検証を求められる程度で済めばまだよく、最悪の場合はレート制限が発動する。共有出口の IP レピュテーション自体も時間帯によって変動する。同じ回線でも時間帯によって挙動が違うのは、これも理由の一つだ。
はっきりさせておきたいのは、固定出口は専有 IP と同じではないという点だ。タスクの間ずっと出口が変わらなければ、問題のほとんどはすでに避けられている。やり方は次の 4 つ。
- 分流ルールで API のドメインを同じ回線に固定し、「自動選択」「最低遅延」のようなノードを切り替えるポリシーは使わない。
- 同じマシン上のターミナル、IDE プラグイン、コンテナは同じローカルポートを共有し、片方がシステムプロキシ、もう片方が TUN モード、という状態を避ける。
- 長時間のタスクを始める前に現在の出口を確認し、実行中は手動でノードを切り替えない。
- 並列処理のプログラムは同じクライアントインスタンスまたはコネクションプールを共有し、スレッドごとに接続を作らない。
ドメインの問い合わせがローカルのリゾルバを通り、接続は回線の出口から出る場合、相手サイトから見た「解決元」と「アクセス元」が食い違い、たまに再検証を求められることがある。クライアントでリモート DNS 解決を有効にし、解決と接続を同じ経路に通せば、この種の面倒は避けられる。
IEPL 専用線・中継・直結の違い
3 種類の回線の違いは使えるかどうかではなく、接続確立までの時間が安定しているか、ピーク時にどれだけ揺れるかにある。API シーンで効いてくるのは前者だ。
| 回線タイプ | 経路の特徴 | 同時接続の挙動 | 向いている API シーン |
|---|---|---|---|
| IEPL 専用線 | 端から端まで専用線のチャネルを通り、公共の出口を経由しない | 接続確立時間が安定し、夜のピークでも揺れが小さい | バッチ処理、ストリーミング対話、CI の時間に敏感なステップ |
| 中継 | 中継ノードに入ってから海外へ出るため、ホップが 1 つ増える | 帯域の余裕は大きいことが多く、遅延は専用線よりやや高い | 大量のベクトル化、モデルとデータセットのダウンロード |
| 直結 | 近くの出口からそのまま出る、最もシンプルな構成 | ピーク時の揺れが大きい | 軽いデバッグ、低頻度のリクエスト |
選び方の原則はシンプルだ。中核となる API 呼び出しは 1 本の IEPL 専用線に固定し、ダウンロードと Web 閲覧は帯域の大きい中継回線に任せる。直結はデバッグや低頻度のリクエスト向けで、ストリーミング接続を長時間つなぎっぱなしにする用途には向かない。
同時接続とストリーミング:タイムアウトはどう設定するか
並列の短い接続:まずは接続の再利用から
並列の短い接続では、コストがハンドシェイク段階に集中する。1 回のリクエストは名前解決、TCP、TLS の 3 段階を経る。一つひとつは遅くなくても、数十本を同時に投げると時間はここで消える。Python の requests.Session と httpx.Client、Node の undici Agent、Go の http.Transport はいずれも接続を再利用する。リクエストごとにクライアントインスタンスを作り直すのは、毎回ハンドシェイクをやり直すのと同じだ。
ストリーミング応答:読み取りタイムアウトは間隔で測る
ストリーミング応答はタイムアウトの考え方が特殊だ。読み取りタイムアウトは出力全体の総時間ではなく、データチャンクとチャンクの間の最大間隔で設定する。総タイムアウトを 60 秒にすると、長い回答は必ず途中で切られる。アイドル時の読み取りタイムアウトを 30〜60 秒にしておいて、ようやくストリーミングの実際の挙動に合う。
import httpx
# コネクションプールの再利用 + ストリーミング読み取り:読み取りタイムアウトはデータチャンク間の間隔で計算する
limits = httpx.Limits(max_connections=64, max_keepalive_connections=32)
timeout = httpx.Timeout(connect=10.0, read=45.0, write=10.0, pool=10.0)
client = httpx.Client(limits=limits, timeout=timeout)
with client.stream("POST", API_BASE + "/v1/chat/completions", json=payload) as resp:
for chunk in resp.iter_lines():
handle(chunk)
クライアントが HTTP/2 の多重化を使えるかは、サーバー側とローカルプロキシの両方が対応しているかに依存する。必ず有効になっていると決めつけず、並列度はコネクションプールとキューで制御する。
一つはレスポンスバッファリング。nginx はデフォルトで proxy_buffering が有効になっており、ストリーミングデータを溜めてから送るため、フロント側では一文字ずつの出力が見えない。明示的に無効化する必要がある。もう一つはリトライ。リトライは冪等なリクエストに限り、ストリーミングリクエストが途中で切れた場合は、すでに受け取った内容を確認してから再送するかどうかを決める。そうしないと二重送信になりやすい。
リトライ方針もコードに落とし込む。指数バックオフにランダムなジッターを加え、失敗したリクエストが同じミリ秒に一斉に再送されないようにする。並列の上限は 20〜50 から始め、安定してから引き上げる。
CLI・IDE プラグイン・CI の設定ポイント
3 つのシーンが同じマシン上で動いているとき、最も問題になりやすいのが出口の不一致だ。ターミナルはあるローカルポートを通り、プラグインはシステムプロキシに従い、コンテナの中はまた別の設定になっている。どれもつながっているように見えて、リスク判定側からは 3 つの出口に見えている。
- ✅ コマンドライン:ターミナルセッション専用に
https_proxyを設定し、no_proxyで社内ドメインを除外する。 - ✅ IDE プラグイン:多くのプラグインはシステムプロキシに従うので、ターミナルと同じローカルポートを使っているか確認する。
- ✅ CI:プロキシアドレスと認証情報はパイプラインのシークレット管理に置き、runner はできるだけ同じリージョンに固定する。
- ✅ コンテナ:プロキシの環境変数はイメージやオーケストレーション設定に書き込み、ホスト側の環境変数の透過に頼らない。
- ❌ 長時間タスクの実行中にノードを切り替えたり、「自動選択」ポリシーを使ったりする。出口が変われば、それまでに確立したセッションがすべて無効になりかねない。
- ❌ リクエストごとにクライアントインスタンスを作り直す。接続のハンドシェイクが繰り返され、並列度が上がるとまず TLS で詰まる。
開発者のデバイスは通常 1 台ではない。ワークステーション、ノート PC、CI runner、モバイルのデバッグ端末などが並ぶ。VPNAY は台数無制限で、1 つのアカウントでこれらをカバーできる。回線は 120+ の国・地域 / 250+ 回線、対応プラットフォームは Windows、macOS、iOS、Android、Linux。初回のお支払い後 30 日以内なら理由を問わず全額返金を申請できる。プランと課金方式は料金プランページに詳しく載っている。
自己計測:curl で実際の差を測る
他人の結論を見るより、自分で一度測ったほうがいい。curl の -w オプションを使うと 1 回のリクエストを複数の段階に分解できるので、何度か続けて実行すれば接続が再利用されているか、揺れがどれくらいかが見えてくる。
for i in 1 2 3 4 5; do
curl -o /dev/null -s \
-w 'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total} new_conn=%{num_connects}\n' \
-H "Authorization: Bearer $AI_API_KEY" \
"$API_BASE_URL/v1/models"
done
- まずベースラインを取る。直結の状態で上のコマンドを実行し、5 つの数値を書き留める。
- 長く使うつもりの回線に切り替え、同じ時間帯にもう一度実行して、初回バイトまでの時間と合計所要時間の振れ幅を比べる。
new_connを見る。毎回 1 になっているなら接続が再利用されていないので、まずクライアント設定を直し、それから回線の話をする。- 並列をかける:
xargs -P 20などのツールで 20〜50 本のリクエストを同時に投げ、失敗率とテールレイテンシを記録する。 - ストリーミングのエンドポイントは別途 1 回テストし、データチャンク間の最大間隔を記録して、その値を 2 倍したものを読み取りタイムアウトの起点にする。
注意点は 2 つ。1 つは同じ時間帯で比較すること。時間帯をまたいだ数値には比較の意味がない。もう 1 つは出口 IP も一緒に記録し、タスクの間で変わっていないことを確認すること。サイト内のIP 確認ページでは現在の出口をそのまま確認でき、地域と回線タイプは回線一覧にすべて載っている。
選択を 3 つのルールに絞る
- 中核の API 呼び出しは 1 本の IEPL 専用線に固定し、自動切り替えはオフにする。
- プログラム側ではコネクションプール、読み取りタイムアウト、リトライの 3 つをコードに書き、ネットワーク層が失敗しないことは当てにしない。
- ダウンロードと Web 閲覧は帯域の大きい回線に任せ、API 呼び出しとは分ける。
VPNAY の回線は 120+ の国・地域 / 250+ 回線、台数無制限、匿名・ログなし。初回のお支払い後 30 日以内なら理由を問わず全額返金を申請できる。まずは上の方法で一度測ってから、長く使うかどうかを決めればいい。