転送キャプチャによるダウンロード処理の流れ (Ex:AntiAdコマンド) - ダウンロードマクロのコマンド (拡張コマンド) - PROSERPINE (プロセルピナ)

				プロセルピナ
Top	Internet Mail	Private Proxy	Capture Device		Download	Config and Words	Online Help	Online Home

[BACK]

☞ Top > FileDownload > Macro > Ex: Command > AntiAd > ClientDump > flow

Ex:AntiAdコマンド (ClientDump-Reg, ClientDump-Del)
転送キャプチャによるダウンロード処理の流れ

Macro Top | Variables | Constants | Commands | Ex-Commands

Ex:AntiAdコマンド (転送キャプチャ関連)

転送キャプチャとは

「転送キャプチャ」は、 Private Proxy(Service部) に実装されている機能で、 Private Proxyにおいてネット側からWebブラウザ側にデータを転送する際、そのデータを HTTPリクエスト単位でファイルにキャプチャする機能です。

「転送キャプチャ」は主に、jpegやgifなどの画像、flvやmp4などの動画、mp3やwavなどのサウンドファイルなどバイナリファイルのキャプチャで使用します。
(HTMLなどのテキストのキャプチャについては HTTP応答キャプチャ を参照)

転送キャプチャによるダウンロードの仕組み

ダウンロードを開始するには、『プロセルピナ』View部からマクロを使って 転送キャプチャ を登録します。
この登録は Private Proxy(Service部) に通知されます。
登録の内容は Host と Content-Type のキャプチャ条件、 callbackマクロのフルパス、補助情報(SubInfo) の４項目です。

Private Proxyでキャプチャが開始されたとき、および完了したときは、 View部にそのことが通知されます。 View部はこれを callbackマクロ を起動することでユーザーに通知します。

一般的に、キャプチャ完了で起動された callbackマクロで、 転送キャプチャの登録解除を行います。
この登録解除は Private Proxy(Service部) に通知されます。

転送キャプチャの登録(ClientDump-Reg) と解除(ClientDump-Del) は、 AntiAdコマンドで行います。
コマンドの詳細は AntiAdコマンドを参照してください。

一般的な流れ

転送キャプチャを登録

View部から、 AntiAdコマンドで転送キャプチャを登録します。
これにより、Private Proxy(Service部) に転送キャプチャの登録が通知されます。

コマンド例

Ex:AntiAd: mode="ClientDump-Reg" dir=Dir.Work targetHost=".zoome.jp" ContentTypeList=str[0] O:waitId=strl["waitId"] O:result=strl[10] CallbackMacro=strl["cbm"] SubInfo=str["title"]

ContentTypeList=パラメータに、どのようなContent-Typeを指定すればよいかは HTTPアクセスログなどにより見当をつけます。
パラメータの詳細は AntiAdコマンドを参照してください。

動画の再生などを開始

View部から WebブラウザにURLをプッシュするなどの方法で、キャプチャするデータの受信を開始します。

コマンド例

Ex:launch: input[0]

キャプチャ開始が通知されます

Webブラウザでデータ受信(動画再生など)が開始されると、 Private Proxy(Service部) から View部に、キャプチャ開始が通知されます。

View部からユーザーへのキャプチャ開始の通知は、callbackマクロを起動する形で行われます。
callbackマクロは、「キャプチャ開始」と「キャプチャ完了」の２回起動されます。キャプチャ開始で起動されたのか、キャプチャ完了で起動されたのかは、callbackマクロにおいて渡さたパラメータによって判断し、処理を分岐させる必要があります。

「キャプチャ開始」の場合、 input[1] は CST の３文字です。

キャプチャ完了が通知されます

データ転送が完了すると、 Private Proxy(Service部) から View部に、キャプチャ完了が通知されます。

View部からユーザーへのキャプチャ完了の通知は、callbackマクロを起動する形で行われます。
callbackマクロは、「キャプチャ開始」と「キャプチャ完了」の２回起動されます。キャプチャ開始で起動されたのか、キャプチャ完了で起動されたのかは、callbackマクロにおいて渡さたパラメータによって判断し、処理を分岐させる必要があります。

「キャプチャ開始」の場合、 input[1] は CBM の３文字です。

キャプチャ登録を解除

「キャプチャ完了」で起動されたcallbackマクロで、 AntiAdコマンドにより「転送キャプチャ登録の解除」を行います。

コマンド例

Ex:AntiAd: mode="ClientDump-Del" targetHost=".zoome.jp" ContentType="ALL" O:waitId=strl["waitId"] O:result=strl[10]

「転送キャプチャ登録の解除」を行なわない場合、登録した条件に一致するデータの転送があったときに再びキャプチャ処理が実行されます。

キャプチャ内容を取得

「キャプチャ完了」で起動されたcallbackマクロにおいて、 input[5] のパラメータで渡された内容がキャプチャファイルのフルパスになっています。

内容の取得は、 Ex:HttpDataConvertコマンドによりにより行います。

コマンド例

Ex:HttpDataConvert: file=input[5] dest.Dir=Dir.DeskTop dest.MidName=strl["タイトル"] O:destfile=strl["destf"] O:result=strl["rslt"]

「転送キャプチャ登録の解除」を行なわない場合、登録した条件に一致するデータの転送があったときに再びキャプチャ処理が実行されます。

具体例

キャプチャ登録マクロ (zoome.jp動画のダウンロード)

UTF-8
:Start {
 //log open: dir=Dir.Desktop file="debug.txt";
 //debug: true;
 str["ua"]="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)";
 
 set: str[1]=input[0]; //動画ページのURL
 set: str[2]="zoome.jp";
 Ex:Http-Get: url=str[1] base=str[2] O:text=str["page"] O:lastUrl=str[101] userAgent=str["ua"];
 //
 //write open: dir=Dir.Desktop file="zoomeJp.txt";
 //write: w=str["page"];
 //write close:
 //end:
 
 Ex:TagFinder: src=str["page"] tag="title" O:index=intl[10] O:inner=strl["titleTag"]
 str["title"]=strl["titleTag"].Former("- 動画共有サイ")
 str["title"]=str["title"].Trim
 put: value="Title: " str["title"]
 
 strl["cbm"]=Dir.ThisMacro "\\cbm_http：／／zoome.jp.txt"
 YinyangPack: "video/mp4" "video/flv" "video/x-flv"
 //put: str[0]
 //
 Ex:AntiAd: mode="ClientDump-Reg" dir=Dir.Work targetHost="^1" ContentTypeList=str[0] O:waitId=strl["waitId"] O:result=strl[10] CallbackMacro=strl["cbm"] SubInfo=str["title"];
 Ex:InputForm.Wait: waitId=strl["waitId"] waitSec=10 O:result=strl[11]
 //put: "result=" strl[11]
 if (strl[11].StartsWith{"OK:"} != "true") {
   put: "NG: ^1 Callback登録エラー\r\n" strl[11]
   end:
   }
 //
 Ex:AntiAd: mode="ClientDump-Reg" dir=Dir.Work targetHost=".zoome.jp" ContentTypeList=str[0] O:waitId=strl["waitId"] O:result=strl[10] CallbackMacro=strl["cbm"] SubInfo=str["title"];
 Ex:InputForm.Wait: waitId=strl["waitId"] waitSec=10 O:result=strl[11]
 //put: "result=" strl[11]
 if (strl[11].StartsWith{"OK:"} != "true") {
   put: "NG: ^1 Callback登録エラー\r\n" strl[11]
   end:
   }
 //
 Ex:launch: input[0];
 put: "Webブラウザにプッシュしました。再生完了でデスクトップに保存されます。\r\n" str[4]
 end:
 }

上記例のマクロに対応するcallbackマクロの例

UTF-8
:Start {
 //callbackマクロ ("http：／／zoome.jp.txt" 参照)
 
 if (input[1] == "CST") {
   //             [1]   =====[2]=====   ======[3]=====   ====[4]====   ==[5]==   ==[6]==
   // @hostName+++CST+++CallbackMacro+++RemoteHostname+++ContentType+++DumpDir+++SubInfo+++
   Ex:Popup.WideWidth: "#20;キャプチャを開始しました。\r\nHost: " input[3] "\r\nContent-Type: " input[4] "\r\nInfo: " input[6]
   end:
   }
 
 
 //             [1]   =====[2]=====   ======[3]=====   ====[4]====   ==[5]===   ==[6]==
 // @hostName+++CBM+++CallbackMacro+++RemoteHostname+++ContentType+++DumpFile+++SubInfo+++
 
 Ex:AntiAd: mode="ClientDump-Del" targetHost="^1" ContentType="ALL" O:waitId=strl["waitId"] O:result=strl[10];
 Ex:AntiAd: mode="ClientDump-Del" targetHost=".zoome.jp" ContentType="ALL" O:waitId=strl["waitId"] O:result=strl[10];
 
 if (input[5].isFile == "false") {
   put: "NG: キャプチャがありません。\r\nfile: " input[5] "\r\nContent-Type: " input[4] "\r\nHost: " input[3]
   end:
   }
 
 file pathInfo: file=input[5] strl.index=10
 //
 if (input[6].Length > 0) {
   Ex:Html.convMetaToString: src=input[6] O:text=strl["タイトル"] entity;
   str[0]=Const.FilenameBad;  strl["タイトル"]=strl["タイトル"].ReplaceEach(Const.FilenameAlt);
   }
  else {
   strl["タイトル"]=strl[11]
   }
 
 Ex:HttpDataConvert: file=input[5] dest.Dir=Dir.DeskTop dest.MidName=strl["タイトル"] O:destfile=strl["destf"] O:result=strl["rslt"];
 if (strl["destf"].isFile == "true") {
   put: input[3] "からの応答を" strl["destf"] " に保存しました。"
   }
  else {
   put: strl["rslt"]
   }
 
 end:
 }

上記の２つは、 zoome.jp のサイトの動画をダウンロードするマクロの具体的な例です。

２つのうちの１つ目のマクロは、転送キャプチャを登録するもので、起動パラメータとして動画ページのURLを受け取ります (input[0])。
２つ目のマクロは１つ目のマクロで指定される callbackマクロ です。

転送キャプチャを登録するマクロ(１つ目のマクロ)では、まず渡されたURL(input[0])にアクセスし、ページのタイトル(titleエレメントの内容)を取得しています。
タイトルは、callbackマクロに渡したいので、AntiAdコマンドの SubInfo= に設定しています。 (callbackマクロでは、 SubInfo= で指定された内容を、 input[6] で受け取ることができます。)
SubInfo= に設定できるのは文字列に限りますが、何を設定するかは自由です。

この例では、AntiAdコマンドによる転送キャプチャの登録は２回行っています。パラメータが targetHost="^1" になっているものと targetHost=".zoome.jp" になっているものの２つです。
これはzoome.jpに送ったリクエストに対して、動画データを送信してくるホストが 12.34.56.78 のようなIP表示のものと、 zoome.jp 配下のもの(www.zoome.jp など) との２種類があり、どちらになるかがわからないためです。
その為、２つの転送キャプチャの登録を設定しておき、キャプチャが完了した時点でこの両方の転送キャプチャの登録の解除をします。

targetHost=パラメータに ^ 記号で開始される文字列を指定すると前方一致(StartsWith)で判断します。例えば ^www. を指定すると www.example.com や www.microsoft.co.jp などがキャプチャ対象となります。
同じように、 ^1 を指定すると 123.456.789.012 や 100.200.300.400 のようなHostがキャプチャ対象となります。 ('1'から開始されないHostは対象外になりますが、 zoome.jpからのダウンロードでは問題ありません。)

targetHost=パラメータに . 記号で開始される文字列を指定すると . 記号を含んだ後方一致(EndsWith) で判断します。
例えば .example.com を指定すると aaa.example.com や aaa.bbb.example.com のようなHostがキャプチャ対象となります。 (※ example.com のホストは example の前に . 記号を持たないため対象外です)

[BACK]

プロセルピナ