本書從實(shí)戰(zhàn)角度系統(tǒng)講解Python爬蟲的核心知識(shí)點(diǎn)，并通過大量的真實(shí)項(xiàng)目讓讀者熟練掌握Python爬蟲技術(shù)。本書用20多個(gè)實(shí)戰(zhàn)案例，完美演繹了使用各種技術(shù)編寫Python爬蟲的方式，讀者可以任意組合這些技術(shù)，完成很好復(fù)雜的爬蟲應(yīng)用。全書共20章，分為5篇。篇基礎(chǔ)知識(shí)（、2章），主要包括Python運(yùn)行環(huán)境的搭建、HTTP基礎(chǔ)、網(wǎng)頁基礎(chǔ)（HTML、CSS、java script等）、爬蟲的基本原理、Session與Cookie。第2篇網(wǎng)絡(luò)庫(kù)（第3～6章），主要包括網(wǎng)絡(luò)庫(kù)urllib、urllib3、requests和Twisted的核心使用方法，如發(fā)送HTTP請(qǐng)求、處理超時(shí)、設(shè)置HTTP請(qǐng)求頭、搭建和使用代理、解析鏈接、Robots協(xié)議等。第3篇解析庫(kù)（第7～10章），主要包括3個(gè)常用解析庫(kù)（lxml、BeautifulSoup和pyquery）的使用方法，同時(shí)介紹多種用于分析HTML代碼的技術(shù)，如正則表達(dá)式、XPath、CSS選擇器、方法選擇器等。第4篇數(shù)據(jù)存儲(chǔ)（1、12章），主要包括Python中數(shù)據(jù)存儲(chǔ)的解決方案，如文件存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)，其中數(shù)據(jù)庫(kù)存儲(chǔ)包括多種數(shù)據(jù)庫(kù)，如本地?cái)?shù)據(jù)庫(kù)SQLite、網(wǎng)絡(luò)數(shù)據(jù)庫(kù)MySQL以及文檔數(shù)據(jù)庫(kù)MongoDB。第5篇爬蟲不錯(cuò)應(yīng)用（3～20章），主要包括Python爬蟲的一些不錯(cuò)技術(shù)，如抓取異步數(shù)據(jù)、Selenium、Splash、抓取移動(dòng)App數(shù)據(jù)、Appium、多線程爬蟲、爬蟲框架Scrapy，很后給出一個(gè)綜合的實(shí)戰(zhàn)案例，綜合了Python爬蟲、數(shù)據(jù)存儲(chǔ)、PyQt5、多線程、數(shù)據(jù)可視化、Web等多種技術(shù)實(shí)現(xiàn)一個(gè)可視化爬蟲。本書可以作為廣大計(jì)算機(jī)軟件技術(shù)開發(fā)者、互聯(lián)網(wǎng)技術(shù)研究人員學(xué)習(xí)“爬蟲技術(shù)”的參考用書。也可以作為高等院校計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、人工智能等專業(yè)的教學(xué)參考用書。
|
