用語集
プロキシ用語集、無駄なしで。
プロキシ、ネットワーク、Webスクレイピングの分野から集めた141件の用語を、それぞれ平易な言葉で定義し、重要な場面では実際の挙動を決める現実の細部も添えています。辞書的な言い換えはしません。
ここから始めましょう: 種類は4つの問いでできています
プロキシについての混乱のほとんどは、1つの言葉を1つの決定として扱うことから生まれます。アドレスが誰のネットワークに属するか、そのアドレスが変わるか、ほかに誰が使っているか、どのプロトコルで話しかけるか。これらは4つの独立した問いで、実際の商品はどれも4つすべてに同時に答えています。ここにあるページが別のページと矛盾しているように見えるなら、たいていは2つが別々の問いに答えているからです。
定義に入る前に全体像を一度に読みたいなら、すべてのプロキシの種類のガイドが4つすべてを順に説明し、選び方で締めくくっています。
プロキシの種類
プロキシが属しうるファミリーと、人々が互いに混同する軸。アドレスを所有するのが誰のネットワークかが1つ目の問い、それが変わるかが2つ目、ほかに誰が使っているかが3つ目です。実際の商品はどれも3つすべてに答えており、1つしか示さないプロバイダーは残りの2つを明らかにしていません。
匿名プロキシ
あなたの実際のIPアドレスを隠しますが、訪れるサイトに対してはプロキシであることを名乗るプロキシ。
定義を読む
帯域幅の共有
レジデンシャルプロキシの供給側: 普通の人々が報酬を得て、あるいは知らないうちに、自宅の接続を出口として貸し出すアプリやSDK。
定義を読む
キャッシュプロキシ
レスポンスのコピーを保存して再び提供するフォワードプロキシ。帯域幅の節約を目的に作られています。
定義を読む
データセンタープロキシ
IPアドレスが家庭に割り当てられたものでなく、商用のデータセンターでホストされているプロキシ。高速で安価ですが、サイトからはレジデンシャル以外と見抜かれやすくなります。
定義を読む
専用プロキシ
1人のお客様に割り当てられたプロキシのIPアドレスで、その評判はあなた自身の通信だけを反映します。
定義を読む
歪曲プロキシ
本当のIPを隠しつつ、その代わりに意図的に偽のIPを送る匿名性の等級。匿名プロキシと透過型プロキシの中間に位置します。
定義を読む
DNSプロキシ
トラフィックを運ぶ代わりに名前解決の段階で介入するサービス。ルーターのDNS転送からスマートDNSによるブロック解除まで、幅広いものを含みます。
定義を読む
エリートプロキシ
あなたの実際のIPを隠し、経路にプロキシがいることを認めるヘッダーを一切転送しないため、リクエストが直接接続と同じ形でサイトに届くプロキシ。
定義を読む
ゲートウェイプロキシ
トラフィックを出口IPのプール全体に振り分ける単一の入口。1つのアドレスに接続するだけで、多数に届きます。
定義を読む
HTTPプロキシ
HTTPプロトコルを理解し、Webリクエストを転送するプロキシ。途中でヘッダーを読んだり書き換えたりすることもできます。
定義を読む
ISPプロキシ
データセンターでホストされながら一般消費者向けのISPに登録されたプロキシで、データセンターの速度と安定性に、レジデンシャルのネットワークの信頼性を兼ね備えています。
定義を読む
モバイルプロキシ
モバイルキャリアがスマートフォンやモバイルモデムに割り当てたIPアドレスを経由して通信を送るプロキシで、あらゆるプロキシの中で最も強い信頼性を持ちます。
定義を読む
オープンプロキシ
認証なしで誰からの接続も受け付けるプロキシ。無料プロキシリストに載っているアドレスのほぼすべてが、実際にはこれです。
定義を読む
P2Pプロキシ
出口が管理されたサーバーの代わりにほかのユーザーのデバイスになっているレジデンシャルネットワーク。ほとんどのレジデンシャルプールは、実際にはこうして作られています。
定義を読む
プロキシプール
プロバイダーがあなたを経由させられるIPアドレスの全体で、ローテーティングプロキシの裏にある数です。
定義を読む
レジデンシャルプロキシ
インターネットサービスプロバイダーが家庭の回線に割り当てたIPアドレスを経由して通信を送るプロキシです。リクエストは一般の人が閲覧しているように見えます。
定義を読む
ローテーティングプロキシ
リクエストごと、または一定時間ごとに異なるIPアドレスを割り当てるプロキシの設定です。通信をプール全体に分散させ、1つのアドレスが目立たないようにします。
定義を読む
セミ専用プロキシ
1つのアドレスを、少数の固定された利用者で共有する中間の層。1人専用と、無制限の大勢で共有するものの間にあたります。
定義を読む
共有プロキシ
IPアドレスを複数のお客様が同時に使うプロキシ。専用アドレスより安価ですが、評判を完全には管理できません。
定義を読む
スニーカープロキシ
数量限定のスニーカーやストリートウェアの発売向けに販売されるプロキシ。本当に必要なのは、短い時間枠に備えた多数の信頼されたアドレスです。
定義を読む
SOCKS5プロキシ
SOCKS5プロトコルを話すプロキシ。Webリクエストに限らず、あらゆる種類のTCPやUDPのトラフィックを中身を調べずに転送します。
定義を読む
固定プロキシ
リクエストごとにローテーションせず、長期間にわたって同じIPアドレスをあなた専用に維持するプロキシです。
定義を読む
透過型プロキシ
あなたの実際のIPアドレスをそのまま通し、多くの場合あなたが設定しなくてもトラフィックを傍受するプロキシ。ネットワークではよく見られますが、匿名性には役立ちません。
定義を読む
バージンプロキシ
一度も使われていないとして販売されるプロキシIPのマーケティング上の呼び名。確認できる新しさと、確認できない履歴が半分ずつ混ざった主張です。
定義を読む
ネットワーク
ほかのすべての土台となる配管。アドレスとは実際に何か、なぜ数が足りないのか、ブロックやネットワークがどのように評判を1つの単位として抱えるのか、そして照会がどこで行われるのか。プロキシで驚かされることのほとんどは、これらの事実のどれかが予告なしに現れたものです。
エニーキャスト
1つのIPアドレスを多数の場所から同時に広報すること。ネットワークはルーティングが優先する拠点に届けるため、そのアドレスに属する場所は1つに定まりません。
定義を読む
ASN
自律システム番号(ASN)は、IPアドレスのブロックを保有するネットワークを識別する番号で、サイトはこれによって家庭用回線とデータセンターを見分けます。
定義を読む
BGP
ネットワーク同士が、どのIPアドレスに到達できるかを互いに伝えるために使うプロトコル。プロキシのアドレスを広報しているネットワークが、IPルックアップで表示されるネットワークです。
定義を読む
CDN
コンテンツデリバリーネットワーク。ほとんどの大規模サイトを配信する、地理的に分散したキャッシュの層で、エッジであなたのリクエストの扱いを決めます。
定義を読む
CGNAT
キャリアグレードNAT。不足しているIPv4の空間を節約するため、多数の加入者を1つの共有パブリックIPアドレスの背後にまとめる技術です。
定義を読む
クラスCサブネット
256個のIPv4アドレスのブロックで、現在は/24と書きます。クラスは1993年にCIDRに置き換えられましたが、プロキシの販売者はいまもクラスCのサブネットを数えています。
定義を読む
DHCP
デバイスにアドレスを一定期間渡すプロトコル。アドレスは期限付きの貸し出しで、更新するとたいてい同じアドレスが返ります。
定義を読む
DNS
ドメインネームシステムは、人が読めるホスト名をIPアドレスに変換します。その名前解決がどこで行われるかによって、本当の場所が気付かないうちに露出することがあります。
定義を読む
DNS漏えい
表示されるIPは隠れているのに、DNSの問い合わせがプロキシを迂回し、本当のネットワークや場所が明らかになってしまうこと。
定義を読む
デュアルスタック
IPv4とIPv6を並行して動かすこと。デュアルスタックのサイトは両方で応答し、デュアルスタックのデバイスやプロキシは接続ごとにどちらかを選びます。たいていはIPv6です。
定義を読む
動的IPアドレス
インターネットプロバイダーが回線に期間限定で割り当てるパブリックIPアドレス。再接続後、定期的に、またはリースの終了時に変わることがあります。
定義を読む
出口ノード
プロキシチェーンの最後の中継点で、接続先のサイトに実際に見えるアドレスです。あなたが接続するゲートウェイとは別のものです。
定義を読む
ファイアウォール
ルールに従ってトラフィックを許可またはブロックする障壁。制限の厳しいネットワークで、珍しいポートのプロキシに到達できなくなる原因です。
定義を読む
フォワードプロキシ
クライアントの前に置かれ、その外向きのリクエストを転送するプロキシ。一般的な意味でのプロキシで、サーバーの前に置かれるリバースプロキシと対になるものです。
定義を読む
Geofeed
ネットワークが自分のIPアドレスの場所を示し、位置情報のデータベースに読ませるためのファイル。レジストリはそこにリンクしますが、内容は確認しません。
定義を読む
インターネットエクスチェンジポイント
多数の事業者が集まり、第三のネットワークに運んでもらう費用を払う代わりに、互いに直接トラフィックを渡し合う共有のネットワーク。
定義を読む
インターネットサービスプロバイダー
家庭や企業をインターネットにつなぎ、IPアドレスを割り当てる会社。どのサイトも、リクエストを信頼する前にそのアドレスの所有者を確認します。
定義を読む
IPアドレス
ネットワーク上のデバイスを識別する数値のラベルで、プロキシがあなた自身のものと置き換えるアドレスです。
定義を読む
IPジオロケーション
IPアドレスから物理的な場所を推測すること。国単位では信頼でき、都市単位ではよく間違えます。プロキシのジオターゲティングが頼っている仕組みです。
定義を読む
IPリース
IPv4アドレスを、通常セットになっているインターネット接続なしに、それを保有するネットワークから借りること。登録は保有者のもとに残ります。
定義を読む
IPスプーフィング
他人の送信元アドレスでパケットを送ること。返信は送信者に届かずそのアドレスへ行くため、なりすました接続を開いたままにはできません。
定義を読む
IPv4
元祖のインターネットのアドレス方式で、使えるアドレスは約43億個です。現在では非常に不足しており、プロバイダーは割り当てを制限したり共有したりしています。
定義を読む
IPv6
事実上無限のアドレスを持つ新しいアドレス方式で、世界のネットワークでの導入状況にはばらつきがあります。
定義を読む
IPv6漏えい
IPv4しか運ばないトンネルやプロキシの外側をIPv6でトラフィックが出ていき、サイトに本当のIPv6アドレスが見えてしまうこと。何も失敗しないため、何も警告してくれません。
定義を読む
IPv6プレフィックス
IPv6アドレスのネットワーク部分で、スラッシュの後の数字で大きさが決まります。/64は1つのローカルネットワークで、多くのサイトは/64を1人の訪問者として数えます。
定義を読む
ロードバランサー
受信したリクエストを多数のバックエンドサーバーに振り分けるインフラ。スクレイピングで外側から出会う、リバースプロキシの一種です。
定義を読む
MACアドレス
ネットワークカードが自身のリンク上で持つアドレス。ルーターを越えて残ることはありませんが、例外が1つあり、その形の一部がすべてのリクエストに運ばれます。
定義を読む
NAT
ネットワークアドレス変換。ルーターを通るトラフィックを書き換えることで、多数のデバイスが1つのパブリックIPアドレスを共有できるようにする技術です。
定義を読む
NAT64
IPv6だけのデバイスがIPv4だけのサイトに到達できるようにする変換装置。IPv4アドレスのプールを多数のユーザーで共有するため、それらのサイトにはキャリアのアドレスが見えます。
定義を読む
ポート
IPアドレス上の番号付きの窓口で、トラフィックを特定のサービスに振り分けます。プロキシが待ち受けるポートなどがその例です。
定義を読む
ポートフォワーディング
外部からのトラフィックがNATの裏の特定のデバイスに届くようにするルール。受信接続を受け付けられるプロキシとそうでないプロキシがある理由です。
定義を読む
プロキシチェーン
トラフィックを複数のプロキシに順に通すこと。各中継点が知っているのは隣だけで、経路全体を知るものはありません。
定義を読む
プロキシサーバー
あなたとインターネットの間に置かれ、あなたに代わってリクエストを送るサーバー。接続先には、あなたのアドレスの代わりにサーバーのアドレスが見えます。
定義を読む
地域インターネットレジストリ
世界の各地域でIPアドレスとAS番号を割り当て、誰が保有しているかの公開記録を管理する5つの組織の1つ。
定義を読む
レジデンシャルIP
インターネットプロバイダーが家庭の接続に割り当てたパブリックIPアドレス。そのため、アドレスのデータベースではホスティングの代わりにレジデンシャルと分類されます。
定義を読む
逆引きDNS
IPアドレスをホスト名に戻す照会。アドレスを誰が運営しているかについて、最も多くを物語る単一の事実になることがよくあります。
定義を読む
SLAAC
IPv6のデバイスが自分でアドレスを決める方法: ルーターがプレフィックスを広報し、デバイスが後半部分を自分で選びます。
定義を読む
静的IPアドレス
変わらないIPアドレス: ネットワーク内の1台のデバイスに固定されたもの、またはプロバイダーが1人のお客様のために保持するパブリックアドレス。
定義を読む
サブネット
1つの単位として管理される連続したIPアドレスのブロックで、評判も含めて共有されることがよくあります。
定義を読む
TCP
ほぼすべてのプロキシのトラフィックを運ぶコネクション型のプロトコル。接続時のハンドシェイクと引き換えに、順序どおりの確実な配送を提供します。
定義を読む
Tor
トラフィックを3つの暗号化された中継点に通す、ボランティアが運営する匿名化ネットワーク。プライバシーのために作られており、プロキシが購入される作業向けの設計は持っていません。
定義を読む
トレースルート
パケットが通るルーターの一覧で、意図的に期限切れになるパケットを送って作ります。一覧の途中の部分は、見た目ほど信頼できません。
定義を読む
UDP
DNS、QUIC、リアルタイムのトラフィックを支えるコネクションレス型のトランスポートプロトコル。ほとんどのプロキシは運べませんが、SOCKS5は任意で運べます。
定義を読む
VPN
デバイスのすべてのトラフィックを暗号化して1つのサーバー経由にする仮想プライベートネットワーク。プロキシは通常、1つのアプリだけを経由させます。
定義を読む
WebRTC漏えい
トラフィックがプロキシを通っているのに、ブラウザのリアルタイム通信の機能によって本当のIPアドレスが露出してしまうこと。
定義を読む
WHOIS
IPアドレスやドメインを誰が保有しているかを示す公開の登録記録のシステムで、この用語集のすべての所有者照会の元データです。
定義を読む
プロトコルと認証
クライアントとプロキシが互いにどう話すか、そしてその会話が何を明かすか。匿名性の等級があるのはここです。リクエストを理解するプロトコルだけが、それを説明するヘッダーを追加できるからです。
Cookie
サイトがクライアントに保存し、リクエストのたびに読み返す小さな状態の情報。ログイン、同意のバナー、そして多くのボット判定の仕組みを支えています。
定義を読む
HTTP CONNECT
プロキシを中身の見えないトンネルに変えるHTTPメソッド。HTTPプロキシが読めないHTTPSのトラフィックを運ぶ方法がこれです。
定義を読む
HTTPヘッダー
すべてのWebリクエストとレスポンスに付いて送られる名前と値の行。クライアントが自分を説明し、プロキシが痕跡を残したり消したりする場所です。
定義を読む
IPホワイトリスト
ユーザー名とパスワードを送る代わりに、利用を許可するIPアドレスを事前に承認してプロキシを使えるようにすること。
定義を読む
PACファイル
プロキシ自動設定ファイル: リクエストごとに、トラフィックを直接送るか、どのプロキシを通すかを決める1つのJavaScript関数。
定義を読む
プロキシ認証
プロキシがあなたに利用を許可されているかを確認する方法。最も一般的なのは、ユーザー名とパスワード、または特定の送信元IPの許可です。
定義を読む
QUIC
HTTP/3を支えるトランスポートで、TCPの遅延を解消するためにUDPの上に作られています。プロキシ経由のブラウザが気付かないうちに古いプロトコルに戻る理由でもあります。
定義を読む
リバースプロキシ
クライアント側に代わってサーバーの前に置かれ、サーバーに代わって受信リクエストを処理するプロキシ。スクレイピングに使うフォワードプロキシとは逆向きです。
定義を読む
SNI
TLSハンドシェイクの中で、接続先のサイト名を示す項目。暗号化されずに送られるため、プロキシを含め、経路上の誰でも読めます。
定義を読む
SOCKS4プロキシ
TCPのトラフィックを中継する旧バージョンのSOCKSプロトコル。認証、UDP対応、リモートDNSがありません。
定義を読む
スティッキーセッション
ローテーティングプロキシの機能の1つで、一定時間同じ出口IPを維持します。途中でアドレスが変わることなく、複数ステップの作業を完了できます。
定義を読む
TLS / SSL
HTTPSのトラフィックを守る暗号化。プロキシは中身を読まずに、そのままトンネルで通します。
定義を読む
WebSocket
HTTPリクエストを持続的な双方向の接続にアップグレードするプロトコル。ライブのデータフィードに使われ、プロキシが運ぶうえでは特別なケースです。
定義を読む
WPAD
Web Proxy Auto-Discovery。「自動検出」の設定のチェックボックスを支える仕組みで、ネットワークがあなたのマシンにプロキシの設定を渡せるようにします。
定義を読む
スクレイピングと自動化
大規模なデータ収集の実務の用語: 何があなたを制限し、何があなたを識別し、防御が実際に何を測っているか。アドレスに関わるものはほとんどありません。
アンチディテクトブラウザ
それぞれ一貫したフィンガープリント、Cookie、プロキシを持つ、分離された多数のプロファイルを動かすために作られたブラウザ。1台のマシンで、もっともらしい複数のアイデンティティを運用できます。
定義を読む
APIスクレイピング
HTMLを解析する代わりに、ページが使っているJSONのエンドポイントを呼び出してデータを集めること。それがある場合、たいてい最も速く、安く、確実な方法です。
定義を読む
ブラウザフィンガープリント
ブラウザとデバイスの微妙な特徴の組み合わせから訪問者を識別すること。IPを変えても残る検出の層です。
定義を読む
CAPTCHA
人間とボットを見分けるためのチャレンジ。個々のリクエストよりも、怪しいネットワークの評判によって表示されることがはるかに多いものです。
定義を読む
CAPTCHAソルバー
人間の作業者か自動化によって、チャレンジの答えを返すサービス。信頼スコアの低さという原因には手を付けず、症状だけに対処します。
定義を読む
CSSセレクター
ページのスタイル指定のために生まれたパターンの構文。スクレイパーが抽出したい要素を選ぶ日常的な方法として借用しています。
定義を読む
データの解析
取得したレスポンスを構造化データに変えること。スクレイピングのうちネットワークの後に起きる半分で、まったく別の理由で壊れます。
定義を読む
ジオブロッキング
推測された訪問者の国に基づいて、サイトが表示する内容を制限したり変えたりすること。対象国のプロキシはそれを回避するためのものです。
定義を読む
ジオターゲティング
特定の国、地域、都市のプロキシを意図して選び、トラフィックを必要な場所から正確に発信させること。
定義を読む
ヘッドレスブラウザ
ウィンドウを表示せずに動く本物のブラウザ。自動化でJavaScriptの多いページを描画するのに使われます。
定義を読む
IPローテーション
作業全体で多数のIPアドレスを順に使い、どの1つにも怪しいリクエスト数が積み重ならないようにする手法。
定義を読む
JavaScriptの描画
ページが読み込み後にブラウザ内でコンテンツを組み立てる処理。HTMLを取得してデータが得られるか、空の殻しか得られないかを左右します。
定義を読む
ページ送り
サイトが長いリストを多数のページや読み込みに分ける方法。スクレイピングの中で、気付かないうちにデータを取りこぼしたりクローラーを閉じ込めたりしやすい部分です。
定義を読む
レート制限
1つの発信元が一定時間に送れるリクエスト数にサイトが設ける上限。スクレイパーが出会う最も一般的な障害です。
定義を読む
リトライのロジック
スクレイパーが失敗したリクエストをどう扱うか。下手にやると帯域幅を無駄にしてブロックを悪化させ、うまくやれば一時的な失敗のほとんどを静かに救えます。
定義を読む
robots.txt
サイトのルートに置かれ、避けてほしいパスをクローラーに伝えるファイル。慣習にすぎず、強制力のある障壁はありません。
定義を読む
スクレイパーAPI
対象のURLを受け取ってページのデータを返すサービス。プロキシ、描画、リトライ、アンチボットの障壁を1つのエンドポイントの裏で処理します。
定義を読む
SERP
検索エンジンの結果ページ。Webで最も場所に左右され、最も厳重に守られているページの種類で、SEO業界の原材料です。
定義を読む
ユーザーエージェント
クライアントがブラウザとOSを示すために送る文字列。サイトがあなたのIPと照らし合わせる最も単純な手がかりの1つです。
定義を読む
仮想ブラウザ
リモートのインフラで動き、ネットワーク越しに操作するブラウザ。ご自身のマシンで動かす代わりに、セッション単位で借ります。
定義を読む
Webクローラー
リンクをたどってページからページへ移り、コンテンツを見つけて取得するプログラム。大規模なスクレイピングの土台となる巡回エンジンです。
定義を読む
Webスクレイピング
Webサイトからのデータの自動収集。人々がプロキシを大規模に使う最も一般的な理由です。
定義を読む
XPath
HTMLやXMLの文書の一部を指定するためのクエリ言語。スクレイパーがページ内のデータを指し示す2つの方法のうち、より強力なほうです。
定義を読む
検出とレピュテーション
サイトがあなたを信頼するかどうかを決める方法。検出は、多数の弱い手がかりから組み立てられるスコアで、はい・いいえの二択にはなりません。同じ設定が月曜日には通り、木曜日にはチャレンジされるのはそのためです。
Akamai Bot Manager
AkamaiのCDNに組み込まれた企業向けのボット対策。クライアント側のスクリプトが集めるテレメトリーと、発行するトラッキングCookieで知られています。
定義を読む
アンチボットシステム
ネットワーク、フィンガープリント、行動のチェックを組み合わせた多層の防御。サイトが自動化と実際のユーザーを見分けるために使います。
定義を読む
行動分析
送る内容に加えて、どう操作するかを評価する検出。クリーンなアドレスでは直せない、タイミング、動き、ページ移動から自動化を見抜きます。
定義を読む
ボットネット
所有者に知られずに操られる、乗っ取られたデバイスのネットワーク。プロキシやレジデンシャルの供給源のうち、犯罪的な側の端です。
定義を読む
Canvasフィンガープリント
ブラウザに画像を描かせ、描画のされ方にあるハードウェア固有のわずかな違いを読み取るフィンガープリントの技術。
定義を読む
クリーンなIP
サイトが照会できる否定的な記録を何も持たないアドレス: どのブロックリストにも載っておらず、不正利用の履歴がなく、一般向けISPが所有し、不正検出エンジンでリスクが低いと評価されているもの。
定義を読む
Cloudflare
Webの大きな割合の前に置かれているCDNとセキュリティの層で、スクレイパーが出会う最も一般的なアンチボットのチャレンジのいくつかを含みます。
定義を読む
Cloudflare Turnstile
Cloudflare独自のCAPTCHAの代替。パズルの代わりにバックグラウンドのブラウザのチェックで訪問者を確認し、たいていはチェックボックスだけを表示するか、何も表示しません。
定義を読む
DataDome
デバイス、ネットワーク、行動の手がかりから、すべてのリクエストをミリ秒単位で評価するリアルタイムのボット対策サービス。Eコマースやクラシファイドのサイトでよく見られます。
定義を読む
デバイスフィンガープリント
デバイスのハードウェアとシステムの特徴から作られるアイデンティティ。物理的なマシンを反映するため、ブラウザのフィンガープリントより安定しており、変えにくいものです。
定義を読む
不正スコア
不正検出サービスがIPアドレスに割り当てる単一の数値で、そこからのトラフィックがどれだけ危険に見えるかを要約したもの。
定義を読む
FunCaptcha (Arkose Labs)
Arkose Labsのチャレンジの仕組みで、入れ替わる対話型のパズルを中心に作られています。人間とボットを見分けるだけにとどまらず、攻撃者にコストを負わせるように設計されています。
定義を読む
hCaptcha
導入したサイトに報酬を支払う、プライバシー重視をうたうCAPTCHA。Cloudflareの以前の標準として、また画像分類のチャレンジで最もよく知られています。
定義を読む
ハニーポット
自動化のために仕掛けられた罠。人間には見えないリンクや入力欄で、それに触れたものをすべてボットとしてフラグ付けします。
定義を読む
Imperva (Incapsula)
CDN、Webアプリケーションファイアウォール、ボット管理を組み合わせた、歴史のある企業向けセキュリティプラットフォーム。以前はIncapsulaというブランドでした。
定義を読む
IPブラックリスト
不正利用でフラグ付けされたIPアドレスの公開リスト。サイトやメールサーバーが参照し、トラフィックを即座に拒否します。
定義を読む
IPレピュテーション
サイトや第三者のサービスが、ネットワーク、履歴、挙動をもとにIPアドレスに付ける信頼性の評価です。
定義を読む
Kasada
クライアントに隠れた計算のチャレンジを解かせる攻撃的なボット対策。単にブロックするだけにとどまらず、自動化を積極的に妨害します。
定義を読む
PerimeterX (HUMAN)
現在はHUMAN Securityの一部となっている、行動に基づくボット対策。ネットワークの評判だけに頼らず、クライアント側のセンサーとコードの完全性のチェックを重視しています。
定義を読む
ポートスキャン
アドレスの多数のポートを調べて、応答するサービスを見つけること。ほとんどの公開プロキシリストは、そもそもこうして作られています。
定義を読む
プロキシ検出
訪問者がプロキシの裏にいるかどうかを判断するためにサイトが使う技術の総称。ネットワークの照会から行動の分析まで幅があります。
定義を読む
reCAPTCHA
Googleのチャレンジの仕組み。現在はほとんどがパズルの形をとらず、0.0から1.0の見えないスコアになっており、Google規模の存在だからこそ見える手がかりを使っています。
定義を読む
TCPフィンガープリント
TCPハンドシェイクから送信者のOSを読み取ること: ホップ数の上限、セグメントのサイズ、ウィンドウ、オプションの順序。
定義を読む
TLSフィンガープリント
クライアントが暗号化をどう交渉するかから作られる識別子。クリーンなIP経由でも自動化を見抜くのに使われます。
定義を読む
Webアプリケーションファイアウォール
受信するWebリクエストをルールに照らして調べ、悪意があるように見えるものをブロックするフィルター。スクレイパーがふだん指すボット管理とは別の層です。
定義を読む
X-Forwarded-For
プロキシが元のクライアントのIPを示すために追加できるHTTPヘッダーで、匿名プロキシと透過型プロキシを分ける最大の手がかりです。
定義を読む
パフォーマンス
何を購入しているのか、そしてそれを手に入れたかどうかを見分ける方法。稼働率、遅延、帯域幅、成功率はそれぞれ別のものを測っており、最も大きく宣伝される数値が、作業が最後まで終わるかを決める数値であることはめったにありません。
帯域幅
プロキシが転送できるデータ量で、レジデンシャルプロキシとモバイルプロキシの一般的な課金単位です。
定義を読む
同時接続数
同時に実行するリクエストの数。スクレイピングの処理量を左右する主なレバーで、よくある隠れた上限でもあります。
定義を読む
レイテンシ
プロキシ経由でリクエストを送ってから応答を受け取るまでの遅延で、主に出口までの物理的な距離によって決まります。
定義を読む
パケットロス
データのパケットが届かず、再送が必要になること。遅延だけでは分からない、遅く不安定なプロキシ接続の隠れた原因です。
定義を読む
QPS
1秒あたりのクエリ数。リクエストを送るペースで、対象の上限とプロキシの同時実行数の上限の両方と釣り合わせる必要があります。
定義を読む
成功率
欲しかったデータとともに返ってくるリクエストの割合。プロキシの価値を実際に測る指標です。
定義を読む
最初のバイトまでの時間(TTFB)
リクエストを送ってからレスポンスの最初のバイトが届くまでの遅延。ダウンロードのサイズの影響を除いて、プロキシの経路だけを切り分ける性能の数値です。
定義を読む
稼働率
プロキシが実際に到達可能で動いている時間の割合。レジデンシャルプールでは、約束された数字の代わりにライブで計測される値です。
定義を読む

