大家好，今天給各位分享htmldecode的一些知識(shí)，其中也會(huì)對(duì)html標(biāo)題顏色怎么弄進(jìn)行解釋，文章篇幅可能偏長(zhǎng)，如果能碰巧解決你現(xiàn)在面臨的問(wèn)題，別忘了關(guān)注本站，現(xiàn)在就馬上開(kāi)始吧！
dokerfike如何讓docker體積更小
Dockerfile減少構(gòu)建鏡像大小的方法
這幾天基于Dockerfile構(gòu)建應(yīng)用需要的特殊的鏡像，比如Nginx需要add很多module的，就需要在鏡像內(nèi)編譯和做build.
通過(guò)Dockerfile構(gòu)建鏡像時(shí)，很容易把鏡像構(gòu)建得很大。
從通俗得原來(lái)上來(lái)說(shuō)，一次RUN形成新的一層，如果沒(méi)有在同一層刪除，無(wú)論文件是否最后刪除，都會(huì)帶到下一層。
所以建議如下:
盡量在同一層運(yùn)行更多的命令，比如
RUNcp/usr/local/aa.tar.gz/opt
RUNtarxvf/opt/aa.tar.gz
RUNrm-rf/opt/aa.tar.gz
可以修改成
RUNcp/usr/local/aa.tar.gz/opt&&\
tarxvf/opt/aa.tar.gz&&\
rm-rf/opt/aa.tar.gz
如果在鏡像中通過(guò)yum安裝軟件包，盡量在一行裝完，不要多行，同樣安裝完后運(yùn)行,cleanall后對(duì)大小影響很大
yumcleanall
RUNyum-y—enablerepo=rpmforge-extrasinstallphp\
php-pecl-xdebug\
php-soap\
php-mysql\
php-gd\
php-process\
php-xml\
php-mbstring\
mysql-server\
php-zendframework\
htmlpurifier\
jpgraph-tuleap\
php-pear-Mail-mimeDecode\
rcs\
cvs\
php-guzzle\
php-password-compat\
unzip\
tar\
subversion\
bzip2\
php-pecl-xdebug\
git\
&&yumcleanall
如果安裝軟件包多，可以省下幾百兆
為什么python適合寫爬蟲
什么是網(wǎng)絡(luò)爬蟲？
網(wǎng)絡(luò)爬蟲是一個(gè)自動(dòng)提取網(wǎng)頁(yè)的程序，它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列,直到滿足系統(tǒng)的一定停止條件
爬蟲有什么用？
做為通用搜索引擎網(wǎng)頁(yè)收集器。（google,baidu）
做垂直搜索引擎.
科學(xué)研究：在線人類行為，在線社群演化，人類動(dòng)力學(xué)研究，計(jì)量社會(huì)學(xué)，復(fù)雜網(wǎng)絡(luò)，數(shù)據(jù)挖掘，等領(lǐng)域的實(shí)證研究都需要大量數(shù)據(jù)，網(wǎng)絡(luò)爬蟲是收集相關(guān)數(shù)據(jù)的利器。
偷窺，hacking，發(fā)垃圾郵件……
爬蟲是搜索引擎的第一步也是最容易的一步
網(wǎng)頁(yè)搜集
?建立索引
?查詢排序
用什么語(yǔ)言寫爬蟲？
C，C++。高效率，快速，適合通用搜索引擎做全網(wǎng)爬取。缺點(diǎn)，開(kāi)發(fā)慢，寫起來(lái)又臭又長(zhǎng)，例如：天網(wǎng)搜索源代碼。
腳本語(yǔ)言：Perl,Python,Java,Ruby。簡(jiǎn)單，易學(xué)，良好的文本處理能方便網(wǎng)頁(yè)內(nèi)容的細(xì)致提取，但效率往往不高，適合對(duì)少量網(wǎng)站的聚焦爬取
C#？（貌似信息管理的人比較喜歡的語(yǔ)言）
什么最終選擇Python？
跨平臺(tái)，對(duì)Linux和windows都有不錯(cuò)的支持。
科學(xué)計(jì)算，數(shù)值擬合：Numpy，Scipy
可視化：2d：Matplotlib(做圖很漂亮),3d:Mayavi2
復(fù)雜網(wǎng)絡(luò)：Networkx
統(tǒng)計(jì)：與R語(yǔ)言接口：Rpy
交互式終端
一個(gè)簡(jiǎn)單的Python爬蟲
importurllib
import
urllib.request
'''
小編準(zhǔn)備的python爬蟲學(xué)習(xí)資料，加群：821460695即可免費(fèi)獲取！
'''
defloadPage(url,filename):
"""
作用：根據(jù)url發(fā)送請(qǐng)求，獲取html數(shù)據(jù);
:paramurl:
:return:
"""
request=urllib.request.Request(url)
html1=urllib.request.urlopen(request).read()
returnhtml1.decode('utf-8')
defwritePage(html,filename):
"""
作用將html寫入本地
:paramhtml:服務(wù)器相應(yīng)的文件內(nèi)容
:return:
"""
withopen(filename,'w')asf:
f.write(html)
print('-'*30)
deftiebaSpider(url,beginPage,endPage):
"""
作用貼吧爬蟲調(diào)度器，負(fù)責(zé)處理每一個(gè)頁(yè)面url;
:paramurl:
:parambeginPage:
:paramendPage:
:return:
"""
forpageinrange(beginPage,endPage+1):
pn=(page-1)*50
fullurl=url+"&pn="+str(pn)
print(fullurl)
filename='第'+str(page)+'頁(yè).html'
html=loadPage(url,filename)
writePage(html,filename)
if__name__=="__main__":
kw=input('請(qǐng)輸入你要需要爬取的貼吧名:')
beginPage=int(input('請(qǐng)輸入起始頁(yè)'))
endPage=int(input('請(qǐng)輸入結(jié)束頁(yè)'))
url='https://tieba.baidu.com/f?'
kw1={'kw':kw}
key=urllib.parse.urlencode(kw1)
fullurl=url+key
tiebaSpider(fullurl,beginPage,endPage)
關(guān)于htmldecode的內(nèi)容到此結(jié)束，希望對(duì)大家有所幫助。
