Ruby中的變量有幾種形式，其實對于初學者來說，他們經常會感覺到困惑，特別是對于初學的Java同學來說，他們仍然很難理解，武林技術頻道小編為大家分享Ruby中使用多線程隊列下載保存到本地文件的實例演示。
Ruby：多線程下載博客文章到本地的完整代碼
?
?
$queue = Queue.new
#文章列表頁數
page_nums = 8
page_nums.times do |num|
? $queue.push("http://www.cnblogs.com/hongfei/default.html?page="+num.to_s)
end
threads = []
#獲取網頁源碼
def get_html(url)
? html = ""
? open(url) do |f|
??? html = f.read
? end
? return html
end
def fetch_links(html)
? doc = Nokogiri::HTML(html)
? #提取文章鏈接
? doc.xpath('//div[@class="postTitle"]/a').each do |link|
??? href = link['href'].to_s
??? if href.include?"html"
????? #add work to the? queue
????? $queue.push(link['href'])
??? end
? end
end
def save_to(save_to,content)
? f = File.new("./"+save_to+".html","w+")
? f.write(content)
? f.close()
end
#程序開始的時間
$total_time_begin = Time.now.to_i
#開辟的線程數
threadNums = 10
threadNums.times do
? threads<<Thread.new do
??? until $queue.empty?
????? url = $queue.pop(true) rescue nil
????? html = get_html(url)
????? fetch_links(html)
????? if !url.include?"?page"
??????? title = Nokogiri::HTML(html).css('title').text
??????? puts "["+ Time.now.strftime("%H:%M:%S") + "]「" + title + "」" + url
??????? save_to("pages/" + title.gsub(////,""),html) if url.include?".html"
????? end
??? end
? end
end
threads.each{|t| t.join}
#程序結束的時間
$total_time_end = Time.now.to_i
puts "線程數：" + threadNums.to_s
puts "執行時間：" + ($total_time_end - $total_time_begin).to_s + "秒"
?
多線程部分講解
?
?
首先聲明一個Queue隊列，然后往隊列中添加文章列表頁，以便后面可以從這些列表頁中提取文章鏈接,另外queue聲明成全局變量($)，以便在函數中也可以訪問到。
我的曾是土木人博客文章列表總共有8頁，所以需要實現給page_nums賦值為8
?
通過Thread.new來創建線程
創建線程后，會進入until $queue.empty?循環，直到任務隊列為空（即：沒有要采集的網址了）
開辟的線程，每次都會從任務隊列（queue）取到一個url,并通過get_html函數獲取網頁源碼
由于任務隊列中的url有分頁url和文章url兩種，所以要進行區分。
如果是分頁url（url中含有“?page”），就直接提取文章鏈接。
如果是文章url，就保存到本地（save_to()，文件名為文章title）
在循環體外，創建線程完畢后，需要將創建的線程執行Thread#join方法，以便讓主線程等待，
直到所有的線程執行完畢才結束主線程
代碼執行時間統計
?
?
#程序結束的時間
$total_time_end = Time.now.to_i
puts "執行時間：" + ($total_time_end - $total_time_begin).to_s + "秒"
?
TIme模塊的#now方法可以獲取當前時間，然后使用to_i，可以將當前時間轉換成從1970年1月1日00:00:00 UTC開始所經過的秒數。
獲取網頁源碼
?
?
ruby中，獲取網頁的方法用Net::HTTP模塊和OpenURI模塊。OpenURI模塊最簡單，可以直徑將指定網頁當成普通文件一樣進行操作。
執行結果：使用多線程采集130多篇文章，耗時15秒（單線程：47s左右）
以上這些是武林技術頻道小編給大家介紹的Ruby中使用多線程隊列下載保存到本地文件的實例演示，閱讀了這篇文章，大家是否有所了解了?
新聞熱點
疑難解答
圖片精選
