怎樣使用代理服務(wù)器代理服務(wù)器使用方法

2022-10-13 15:44:17 閱讀（146） 評論（0）

　　curl是一個命令行下的web客戶端，可以在命令行下執(zhí)行常見的web訪問、自動web請求等操作，下面小編就給大家來詳細介紹一下怎樣使用代理服務(wù)器代理服務(wù)器使用方法這一塊的相關(guān)內(nèi)容，希望能幫助到大家。

怎樣使用代理服務(wù)器

　　curl（cURL）是一個用于傳輸數(shù)據(jù)的命令行工具，其誕生于20多年前，最早版本是在1998年。

　　curl支持以多種方式檢索和發(fā)送數(shù)據(jù)，并輸出到標(biāo)準輸出，可以無縫銜接標(biāo)準unix管道使用。在絕大多數(shù)的*nix操作系統(tǒng)上都默認安裝。curl支持各種協(xié)議，包括 HTTP/HTTPS、FTP和SCP。

　　Web代理服務(wù)器充當(dāng)客戶端和目標(biāo)服務(wù)器之間的中介?？蛻舳耸紫仍L問代理，然后代理執(zhí)行它并將結(jié)果返回給客戶端。

　　有些Web站點是有限制的，我們無法直接通過當(dāng)前IP直接訪問目標(biāo)站點；還有一些站點對訪問請求是有一定限制，而我們在請求數(shù)據(jù)時候為了請求速度也需要突破IP限制。通過使用代理服務(wù)，我們就可以突破上述限制。

　　curl代理設(shè)置

　　為演示需要，本文中示例中使用的代理將設(shè)置為本地機器上，使用端口5000。默認情況下，代理語句中唯一需要的部分是主機，默認端口80。我們將通過HTTP將數(shù)據(jù)傳輸?shù)剿?，我們將明確指定完整性。為了方便，我們請求服務(wù)為httpbin。 Httpbin是一個開源的標(biāo)準http服務(wù)顯示，在請求/ip接口時候可以查看請求IP地址。

　　方法一：命令行參數(shù)

　　使用代理的第一個也是最簡單的選項是使用命令行參數(shù)。Curl代理參數(shù)為-x(或者--proxy)?；靖袷綖椋?/p>

　　-x, --proxy [protocol://]host[:port]

　　因此，要使用代理訪問，可以使用：

其中，代理服務(wù)器的協(xié)議頭，默認為http可以省略掉：

　　curl -x 127.0.0.1:5000 httpbin/ip

　　身份驗證

　　此外，如果HTTP代理服務(wù)器也需要身份驗證，可以使用 -U標(biāo)志來指定它。

　　curl -U user:password --proxy 127.0.0.1:5000 httpbin/ip

　　某些代理服務(wù)器可能需要不同的身份驗證方案。可以通過--proxy-anyauth指定curl以確定身份驗證方案

　　curl -U user:password --proxy 127.0.0.1:5000 httpbin/ip --proxy-anyauth

　　如果認證密碼中包含特殊字符，需要對其添加加上雙引號("")。

　　curl -U "user:p@assword" --proxy 127.0.0.1:5000 httpbin/ip

　　上面命令中直接用密碼容易被泄露并且會被記錄在history日志中，在命令行中通過只提供用戶名，然后可以交互式的，根據(jù)curl提示輸入密碼。

　　curl -U user --proxy 127.0.0.1:5000 httpbin/ip> Enter proxy password for user 'user':

　　方法二：使用環(huán)境變量

　　可以使用環(huán)境變量配置實現(xiàn)curl使用代理服務(wù)器。curl允許通過設(shè)置變量為它支持的每個協(xié)議使用環(huán)境變量[scheme]_proxy。如果設(shè)置了這些，那么當(dāng)使用對應(yīng)協(xié)議時，curl將默認引入。對http和https協(xié)議:

　　export http_proxy="127.0.0.1:5000"export https_proxy="127.0.0.1:5000"

　　同樣可以添加認證參數(shù)：

　　然后所有，curl http和https請求就會自動使用代理。

　　與以這種方式設(shè)置的所有環(huán)境變量一樣，這些只是臨時變量，shell會話結(jié)束或重新啟動系統(tǒng)時刪除。但是，為了使其在所有會話中可用，可以將其附加到profile文件中，或者對于個人可以在.bashrc 或 .zshrc文件添加，實現(xiàn)持久化的代理設(shè)置。

　　方法三：使用別名

　　配置代理的另一種更持久的方法是shell別名，如果總是需要以這種方式定期連接，這很有用。通過別名可以cur將調(diào)用替換為使用代理的版本，這其實和上面的方法二同理。

　　alias curl="curl -x 127.0.0.1:5000"

　　方法四：使用.curlrc 配置

　　其實curl也支持個性化的配置參數(shù)配置，配置文件默認情況下在個人目錄 ~/.curlrc（Windows上為 _curlrc），也可以指定其他文件路徑。

　　在.curlrc配置文件中添加代理支持的方法為：

　　proxy = "http://127.0.0.1:5000"

　　實例：使用curl 提取網(wǎng)頁的標(biāo)題

　　最后舉個更復(fù)雜的，我們使用unix管道將結(jié)合grep正則提取站點標(biāo)題。

　　curl curl –silent baidu |grep -Eo ''

　　--silent參數(shù)可以去掉curl輸出進度信息，對響應(yīng)的內(nèi)容用grep正則表達式中捕獲標(biāo)題。