AI API 呼叫挑 VPN,和瀏覽網頁挑線路不是同一回事。網頁端斷一次,重新整理就好;API 斷一次,可能是一整批任務失敗、一段串流輸出被截斷,或者 CI 裡一次建置白跑。命令列、IDE 外掛與 CI 這三類情境對網路的要求集中在三點:出口穩定、併發連線扛得住、長連線不被中途切斷。
下面按這三條拆開講:先看 API 呼叫與網頁端的差異,再比較 IEPL 專線、中轉與直連三種線路在 API 情境下的表現,最後給出可重現的自測方法與設定重點。
API 呼叫與網頁端差在哪
網頁端的請求由瀏覽器發起,網域解析、TLS 握手、連線重用、失敗重試都由瀏覽器代管;API 請求由你寫的程式碼或工具發起,連線池、逾時、重試全在呼叫方手裡。同樣一次網路抖動,網頁端的表現是轉圈,API 情境裡會直接變成業務層的問題。
| 維度 | 網頁端對話 | API 呼叫 |
|---|---|---|
| 連線模式 | 單一長連線,互動式 | 大量短連線,併發發起 |
| 出口要求 | 工作階段期間不變即可 | 同一批任務期間保持一致 |
| 逾時控制 | 由瀏覽器與頁面邏輯決定 | 由用戶端與閘道參數決定 |
| 失敗代價 | 重新整理重試 | 整批任務失敗、建置中斷 |
| 常見風險 | 頁面驗證、載入失敗 | 出口漂移、連線耗盡、串流截斷 |
還有一個容易被忽略的差異是請求密度。網頁端一次對話通常只維持一條連線;API 情境裡,一次批次處理可能同時發起幾十條請求,每條都要走一遍網域解析、TCP 與 TLS。用戶端如果不做連線重用,瓶頸會先出現在握手階段,而不是頻寬上。
固定出口:比速度更值得先解決
固定出口指的是同一批任務從開始到結束,所有請求都從同一個出口 IP 出去。多數 AI 服務會把工作階段與出口 IP 關聯起來做風控,出口在任務中途變化,輕則要求重新驗證,重則觸發限流。共享出口的 IP 信譽本身也會隨時段波動,這也是同一條線路在不同時間表現不一致的原因之一。
需要說清楚的是,固定出口不等於獨享 IP:只要任務期間出口不變,就已經避開大部分問題。做法上有四條:
- 分流規則裡把 API 網域固定到同一條線路,不要用「自動選擇」「延遲最低」這類會切換節點的策略。
- 同一台機器上的終端機、IDE 外掛、容器共用同一個本機連接埠,避免一個走系統代理、一個走 TUN 模式。
- 長任務開始前先確認目前出口,任務執行期間不要手動切換節點。
- 併發程式共用同一個用戶端實例或連線池,不要每個執行緒都新建連線。
如果網域查詢走本機解析器,而連線走線路出口,目標網站看到的「解析來源」與「存取來源」就可能不一致,表現是偶發的重新驗證提示。在用戶端裡開啟遠端 DNS 解析,讓解析與連線走同一條路徑,能省掉這一類麻煩。
IEPL 專線、中轉與直連的差異
三類線路的差別不在能不能用,而在連線建立時間是否穩定、尖峰時段波動有多大。API 情境關心的是前者。
| 線路類型 | 路徑特徵 | 併發表現 | 適合的 API 情境 |
|---|---|---|---|
| IEPL 專線 | 端到端走專線通道,不經過公共出口繞行 | 連線建立時間穩定,晚間尖峰波動小 | 批次任務、串流對話、CI 裡時間敏感的步驟 |
| 中轉 | 先接入中轉節點再出海,多一跳 | 頻寬餘量通常更大,延遲略高於專線 | 批次向量化、模型與資料集下載 |
| 直連 | 就近出口直出,結構最簡單 | 尖峰時段波動明顯 | 輕量除錯、低頻請求 |
選擇上的原則很直接:核心 API 呼叫固定在一條 IEPL 專線上,把下載與網頁瀏覽交給頻寬更大的中轉線路;直連適合除錯和低頻請求,不適合長時間掛著串流連線。
併發與串流回應:逾時參數怎麼設
併發短連線:先解決連線重用
併發短連線的成本集中在握手階段。一次請求要經過網域解析、TCP、TLS 三步,單看每一步都不慢,但幾十個併發同時發起時,時間就花在這裡。Python 的 requests.Session 與 httpx.Client、Node 的 undici Agent、Go 的 http.Transport 都預設重用連線;每次請求新建一個用戶端實例,等於每次重新握手。
串流回應:讀取逾時按間隔算,不按總時長
串流回應對逾時的要求更特殊:讀取逾時應該按兩次資料區塊之間的最大間隔來設,而不是整段輸出的總時長。把總逾時設成 60 秒,長回答一定會被切斷;把閒置讀取逾時設成 30~60 秒,才符合串流的實際行為。
import httpx
# 連線池重用 + 串流讀取:讀取逾時按兩次資料區塊之間的間隔計算
limits = httpx.Limits(max_connections=64, max_keepalive_connections=32)
timeout = httpx.Timeout(connect=10.0, read=45.0, write=10.0, pool=10.0)
client = httpx.Client(limits=limits, timeout=timeout)
with client.stream("POST", API_BASE + "/v1/chat/completions", json=payload) as resp:
for chunk in resp.iter_lines():
handle(chunk)
用戶端是否走 HTTP/2 重用,取決於伺服器端與本機代理的共同支援,不要假定它一定開啟;併發規模還是要靠連線池與佇列來控制。
一是回應緩衝:nginx 預設開啟 proxy_buffering,會把串流資料先累積起來再送出,前端就看不到逐字輸出,需要明確關閉。二是重試:只在冪等請求上重試,串流請求中途斷開時先判斷已經收到的內容,再決定是否重送,否則容易重複提交。
重試策略同樣要寫進程式碼:指數退避加隨機抖動,避免所有失敗請求在同一毫秒重送;併發上限從 20~50 起步,穩定之後再往上加。
命令列、IDE 外掛與 CI 的設定重點
三類情境跑在同一台機器上時,最容易出問題的是出口不一致:終端機走一個本機連接埠,外掛跟隨系統代理,容器裡又是另一套設定,看起來都連上了,風控端看到的卻是三個出口。
- ✅ 命令列:給終端機工作階段單獨設定
https_proxy,並用no_proxy把內部網域排除在外。 - ✅ IDE 外掛:多數外掛跟隨系統代理,確認它和終端機用的是同一個本機連接埠。
- ✅ CI:代理位址與憑證放進管線的金鑰管理,runner 盡量固定在同一區域。
- ✅ 容器:把代理變數寫進映像檔或編排設定,不要依賴實體主機的環境變數傳遞。
- ❌ 長任務進行中切換節點,或用「自動選擇」策略,出口一變,前面建立的工作階段可能全部作廢。
- ❌ 每次請求新建用戶端實例,連線反覆握手,併發一高就先卡在 TLS 上。
開發者的裝置通常不只一台:工作站、筆電、CI runner、行動裝置除錯機。VPNAY 不限台數,一個帳號就能涵蓋這些裝置;線路資源為 120+ 國家 / 250+ 線路,平台涵蓋 Windows、macOS、iOS、Android 與 Linux。首次付款後 30 天內可申請無理由全額退款,各方案等級與計費方式在方案頁有完整說明。
自測:用 curl 量出真實差異
與其看別人的結論,不如自己量一遍。curl 的 -w 參數能把一次請求拆成幾個階段,連續跑幾次就能看出連線有沒有被重用、波動有多大。
for i in 1 2 3 4 5; do
curl -o /dev/null -s \
-w 'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total} new_conn=%{num_connects}\n' \
-H "Authorization: Bearer $AI_API_KEY" \
"$API_BASE_URL/v1/models"
done
- 先記錄基準:在直連狀態下跑一遍上面的指令,把五個數字抄下來。
- 切換到打算長期使用的線路,同一時段再跑一遍,比較首位元組時間與總耗時的波動範圍。
- 看
new_conn:如果每次都等於 1,說明連線沒有被重用,先改用戶端設定,再談線路。 - 壓併發:用
xargs -P 20或同類工具同時發 20~50 個請求,記錄失敗率與尾延遲。 - 串流介面單獨測一次,記錄兩次資料區塊之間的最大間隔,把這個值乘 2 當作讀取逾時的起點。
兩個注意點:一是同一時段比較,跨時段的數字沒有可比性;二是把出口 IP 一併記下來,確認任務期間沒有變化。站內的IP 查詢頁可以直接看到目前出口,地區與線路類型在線路列表裡有完整清單。
把選擇收斂成三條規則
- 核心 API 呼叫固定在一條 IEPL 專線上,關閉自動切換。
- 程式端把連線池、讀取逾時、重試三件事寫進程式碼,不指望網路層不出錯。
- 下載與網頁瀏覽走頻寬更大的線路,和 API 呼叫分開。
VPNAY 的線路涵蓋 120+ 國家 / 250+ 線路,不限台數,匿名無日誌;首次付款後 30 天內可申請無理由全額退款。可以先按上面的方法量一遍,再決定要不要長期使用。