JA
今すぐ始める

連携 · 自動化とスクレイピング

Axios & Node.jsでHProxyを使う。

プロキシエージェントで、Axiosやnode-fetchをHProxyのプロキシ経由にします。
  • 3ステップ
  • 動くコード
  • HTTPとSOCKS5
  • プロキシURLにログイン

プロキシを使う理由

Axios & Node.jsでプロキシを使う理由

AxiosはNodeとブラウザで最も人気のあるHTTPクライアントです。Nodeでは、上流のプロキシ経由にするためにプロキシエージェントが必要です。

サーバー側のNodeのリクエストは標準でデータセンターから出ており、評判のチェックで真っ先にフラグを付けられます。レジデンシャルのエージェントを使えば、すべての呼び出しの前に普通に見えるIPが置かれます。

Setup

Axios & Node.jsでHProxyを設定する

  1. 1

    https-proxy-agent(npm i https-proxy-agent)をインストールします。

  2. 2

    ログインを含めたプロキシURLからエージェントを作ります。

  3. 3

    エージェントをAxios(httpsAgent)またはnode-fetch(agent)に渡します。

ここに示すホスト、ポート、ログインは形式です。正確な値はダッシュボードにあり、すぐにコピーできます。

Axios & Node.js、HProxyで

import axios from "axios";
import { HttpsProxyAgent } from "https-proxy-agent";

const agent = new HttpsProxyAgent("http://user-country-us:[email protected]:8080");
const { data } = await axios.get("https://ipinfo.io/json", { httpsAgent: agent });
console.log(data);

Axios & Node.js件の質問

よくある質問

axiosのproxyオプションがHTTPSで動かないのはなぜですか?

axiosはプロキシの設定をNodeのエージェントに任せず自分で処理しており、その経路はHTTPSのターゲットに対して長く不安定で、設定を無視したりトンネルに失敗したりすることがよくあるからです。確実な方法は、明示的なプロキシエージェントをhttpsAgentとして渡すことで、上の例もそうしています。

httpAgentとhttpsAgentの両方を設定する必要がありますか?

実際に呼び出すスキームに合ったものを設定してください。作業で両方が混ざるなら、両方を設定するのが安全な標準です。よくあるバグは、httpAgentだけを設定し、HTTPのリクエストが正しく経由されるのを見て、HTTPSのリクエストがすべて直接接続していたことに気付かないものです。

すべてのaxiosの呼び出しで1つのプロキシを使うには?

axios.createでインスタンスを作ってそこにエージェントを付け、グローバルのaxiosの代わりにそのインスタンスをどこでも使ってください。1つの呼び出しだけが素のimportに対して書かれ、気付かないうちにプロキシを迂回してしまう種類のバグがなくなります。

ブラウザでは動くのに、Nodeのスクレイパーがブロックされるのはなぜですか?

たいていはTLSフィンガープリントです。NodeのHTTPスタックはChromeとは異なる方法で暗号化を交渉し、検出システムはリクエストが復号される前にそのハンドシェイクを読み取るため、ヘッダーやユーザーエージェントを真似ても、その下は何も変わりません。プロキシを変えても続くブロックの最も一般的な原因です。

準備ができたら、いつでもどうぞ。

ダッシュボードまで10秒です。営業電話もサブスクリプションも最低条件もありません。