亚洲精品电影在线观看_伊人精品在线_黄片毛片一级_亚洲免费影院_www.操.com_一本大道久久a久久精二百

c.setopt(TIMEOUT, 120)

for key in kwargs：

c.setopt(locals()[key], kwargs[key])

c.setopt(URL, url)

c.setopt(WRITEFUNCTION, s.write)

if ‘USERAGENT’ not in kwargs:

c.setopt(USERAGENT, useragent)

if ‘REFERER’ not in kwargs:

c.setopt(REFERER, url)

while 1:

try:

c.perform()

break

except:

if retry:

time.sleep(delay)

else:

return False

return s.getvalue()

　　對(duì)于簡(jiǎn)單的采集瑯縵沔需要用到的下載功能，已經(jīng)被整合在了這個(gè)模塊之中。如User-agent輪換、自動(dòng)301/302跳轉(zhuǎn)等、使用當(dāng)前URL作為REFERER的有些取巧的體例等。這個(gè)模塊的代碼可以日后再慢慢理解，此刻只要知道它的用法即可。

　　首先到放置Python劇本的目錄，將前面一段代碼保留為curl.py，然后在統(tǒng)一目錄下建樹(shù)一個(gè)新文件，輸入以下測(cè)試代碼：

# -*- coding:utf-8 -*-

import curl

print curl.curl('http://g.cn/') #這樣即下載了一個(gè)網(wǎng)頁(yè)

#以下是斗勁保險(xiǎn)的下載體例，因?yàn)楦黝愒�因，就算總體很不變的網(wǎng)站也偶然會(huì)呈現(xiàn)網(wǎng)頁(yè)且則無(wú)法打開(kāi)的情形

#當(dāng)網(wǎng)頁(yè)下載犯錯(cuò)時(shí)，如不美觀retry為T(mén)rue，則會(huì)不竭重試，直到下載完網(wǎng)頁(yè)

#delay則指定了幾回重試之間的侍舊肅離，以秒為單元

print curl.curl('http://g.cn/', retry=True, delay=1)

#以下用到了一些Curl的參數(shù)，具體聲名可見(jiàn)：http://curl.haxx.se/libcurl/c/curl_easy_setopt.html

print curl.curl('http://g.cn/', FOLLOWLOCATION=False, COOKIE='mycookie')