Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 亚洲天堂中文字幕在线,亚洲国产精品网站久久,欧美日韩中字国产

          整合營銷服務商

          電腦端+手機端+微信端=數(shù)據(jù)同步管理

          免費咨詢熱線:

          使用簡單的JavaScript語法從網(wǎng)站獲取數(shù)據(jù)

          本文中,我們將看一種從維基百科網(wǎng)頁獲取/復制表格的方法,使用簡單的JavaScript語法進行數(shù)據(jù)抓取。

          在本文中,我將使用一種簡單的JavaScript語法向您展示一種用Wikipedia Web頁面獲取/復制表格的方法。如果您對JavaScript不熟悉,請不要擔心,您仍然可以繼續(xù)。

          順便說一下,這個過程通常被描述為使用瀏覽器抓取數(shù)據(jù)。

          開始吧!

          轉到以下Wikipedia網(wǎng)頁。向下滾動到經(jīng)濟部分。切換到開發(fā)者工具:

          • 在Internet Explorer上:按F12。

          • 在谷歌瀏覽器上:點擊菜單,然后點擊更多工具,然后選擇開發(fā)工具(見下圖)。

          現(xiàn)在是選擇表來復制數(shù)據(jù)的時候了。點擊Developer Tools的箭頭,然后點擊第一個表格的第一個元素,然后點擊<tbody>標簽選擇表格(見下文):

          請注意,標簽<tbody>后面有一個$ 0,這個標志允許我們處理元素表,換句話說,$ 0就是現(xiàn)在的表。

          點擊控制臺標簽。

          然后寫$ 0并點擊輸入。

          前面選擇的表現(xiàn)在控制臺上。很酷,對!

          要保存表格,請輸入以下代碼并按下回車鍵:

          var wholeTable = $$(“tr”,$ 0)

          警告:

          一定要使用直撇子,而不是tr周圍的撇號

          要訪問表中的任何單元格(例如第一個單元格),請使用此代碼并按下enter鍵:

          wholeTable [0] .cells [0] .innerText

          該表是一組行和列,這是如何訪問的:wholeTable [Line] .cells [Column]。該inneText只是一個顯示單元格中的數(shù)據(jù)的方式。

          現(xiàn)在,讓我們通過以下循環(huán)來獲取數(shù)據(jù):

          var tempObj = [];

          for (i = 0; i < wholeTable.length; i++) {

          tempObj[i] = {

          Country: "",

          GDP: ""

          };

          //Copy the first column

          tempObj[i].Country = wholeTable[i].cells[1].innerText;

          //Copy the second column

          tempObj[i].GDP = parseFloat(wholeTable[i].cells[2].innerText.replace(/[^\d\.\-]/g, ""));

          }

          我創(chuàng)建一個空對象tempObj(一個數(shù)組)來復制對象屬性' 國家GDP '中的單元格數(shù)據(jù)。

          備注

          如果您使用的是其他表格,請隨意編寫與您想要復制的表格相對應的標題。

          您可以通過將以下代碼行添加到右列號來復制任何列: wholeTable[i].cells[NumberOfTheColumn].innerText;

          下面的行parseFloat(wholeTable [i] .cells [2] .innerText.replace(/ [^ \ d \。\ - ] / g,“”)只是將文本轉換為值的一種技巧,否則我會獲取一個字符串而不是一個值。

          好吧,猜猜看,桌子準備好了。最后一步是復制并粘貼tempObj,并在任何你想要的環(huán)境中使用它。寫入副本(tempObj)并按下回車鍵。在這里檢查。

          隨意分享你的經(jīng)驗,使用這種方法或其他方法。也歡迎您提出有關此主題的任何問題。

          祝你今天愉快!

          一篇文章我們介紹了一個html/xml解析器——htmlparser,這篇文章我們介紹另外一個解析模塊htmlparser2,后者是對前者的重構,同時對前者的API做了部分兼容。

          用法簡介

          安裝

          const { Parser } = require('htmlparser2');
          const parser = new Parser(handler, options);
          parser.parseComplete('html/xml內容');

          寫法

          const { Parser } = require('htmlparser2');
          const parser = new Parser(handler, options);
          parser.parseComplete('html/xml內容');

          htmlparser2提供了一個解析器——Parser,初始化它至少需要一個handler,options是可選的。

          handler是一個對象,在這個對象上可以設置很多的鉤子函數(shù),Parser解析時會在每個階段運行對應的鉤子函數(shù)。

          以下是可以設置的所有的鉤子函數(shù),

        1. onopentag(<str> name, <obj> attributes)
        2. onopentagname(<str> name)
        3. onattribute(<str> name, <str> value)
        4. ontext(<str> text)
        5. onclosetag(<str> name)
        6. onprocessinginstruction(<str> name, <str> data)
        7. oncomment(<str> data)
        8. oncommentend()
        9. oncdatastart()
        10. oncdataend()
        11. onerror(<err> error)
        12. onreset()
        13. onend()
        14. htmlparser模塊是通過正則表達式來解析html內容的,而htmlparser2則不同,它會按順序讀取html的每個字符,并且推測后面字符是標簽名、屬性還是其他的類型,所以htmlparser2在解析完每一個標簽后都會運行相應的鉤子函數(shù)。

          先來看一下例子,

          圖1

          圖1中設置了所有的鉤子函數(shù)以便來說明每個鉤子函數(shù)的作用,運行一下,

          圖2

          對照圖1和圖2就能看出來每個鉤子函數(shù)的運行時機,這其中有以下幾個鉤子函數(shù)需要注意一下。

          • oncdatastart和oncdataend會在解析<![CDATA[文本]]>標簽時觸發(fā),但是觸發(fā)的前提是選項設置了recognizeCDATA=true或者xmlMode=true;
          • onprocessinginstruction會在解析<!xxyy>或者<?xxyy>這樣的標簽時觸發(fā),xx和yy中間可以有分隔符(斜杠或者空格),分隔符前面的字符串就是鉤子函數(shù)中的name的值;
          • 運行parseComplete方法會執(zhí)行reset鉤子函數(shù),如果僅僅執(zhí)行parser的write或者end方法并不會執(zhí)行reset方法。

          除了自定義handler以外,htmlparser2還提供了幾個handler,比如DomHandler,用法如下:

          圖3

          運行一下,我們看看結果,

          圖4

          如果4所示,DomHandler處理的結果是以數(shù)組的形式輸出的,在每個單元數(shù)據(jù)中還可以拿到上一個、下一個以及父節(jié)點的數(shù)據(jù)。

          htmlparser2還可以通過操作流Stream解析內容,寫法如下:

          圖5

          總結

          這篇文章和上一篇是姊妹篇,都是介紹解析html/xml內容的模塊,通過對比,我們發(fā)現(xiàn)htmlparser2模塊功能更強大一些,也更靈活一些,同時也兼容htmlparser模塊的一些接口。雖然兩者功能類似,但是這給了我們更多的選擇性。

          喜歡我的文章就關注我吧,有問題可以發(fā)表評論,我們一起學習,共同成長!

          . HTTP請求格式

          做過Socket編程的人都知道,當我們設計一個通信協(xié)議時,“消息頭/消息體”的分割方式是很常用的,消息頭告訴對方這個消息是干什么的,消息體告訴對 方怎么干。HTTP協(xié)議傳輸?shù)南⒁彩沁@樣規(guī)定的,每一個HTTP包都分為HTTP頭和HTTP體兩部分,消息體是可選的,而消息頭是必須的。每當我們打 開一個網(wǎng)頁,在上面點擊右鍵,選擇“查看源文件”,這時看到的HTML代碼就是HTTP的消息體,那么消息頭可以通過瀏覽器的開發(fā)工具或者插件可以看到, 如果火狐的Firebug,IE的Httpwatch。

          客戶端通過發(fā)送 HTTP 請求向服務器請求對資源的訪問。 它向服務器傳遞了一個數(shù)據(jù)塊,也就是請求信息,HTTP 請求由三部分組成:請求行、 請求頭和請求正文。

          請求行:請求方法 URI 協(xié)議/版本

          請求頭(Request Header)

          請求正文

          下面是一個HTTP請求的數(shù)據(jù):

          POST /index.php HTTP/1.1

          Host: localhost

          User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:10.0.2) Gecko/20100101 Firefox/10.0.2

          Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

          Accept-Language: zh-cn,zh;q=0.5

          Accept-Encoding: gzip, deflate

          Connection: keep-alive

          Referer: http://localhost/

          Content-Length:25

          Content-Type:application/x-www-form-urlencoded

          username=aa&password=1234

          1、請求行:請求方法URI協(xié)議/版本

          請求的第一行是“方法 URL 協(xié)議/版本”,并以 回車換行作為結尾。請求行以空格分隔。格式如下:

          POST /index.php HTTP/1.1

          以上代碼中“GET”代表請求方法,“//ndex.php”表示URI,“HTTP/1.1代表協(xié)議和協(xié)議的版本。

          根據(jù)HTTP標準,HTTP請求可以使用多種請求方法。例如:HTTP1.1支持7種請求方法:GET、POST、HEAD、OPTIONS、PUT、DELETE和TARCE。在Internet應用中,最常用的方法是GET和POST。

          URL完整地指定了要訪問的網(wǎng)絡資源,通常只要給出相對于服務器的根目錄的相對目錄即可,因此總是以“/”開頭,最后,協(xié)議版本聲明了通信過程中使用HTTP的版本。

          請求方法

          在 HTTP 協(xié)議中,HTTP 請求可以使用多種請求方法,這些方法指明了要以何種方式來訪問 Request-URI 所標識的資源。HTTP1.1 支持的請求方法如下表所示:

          HTTP1.1 中的請求方式:

          方法

          作用

          GET

          請求獲取由 Request-URI 所標識的資源

          POST

          請求服務器接收在請求中封裝的實體,并將其作為由 Request-Line 中的 Request-URI 所標識的資源的一部分

          HEAD

          請求獲取由 Request-URI 所標識的資源的響應消息報頭

          PUT

          請求服務器存儲一個資源,并用 Request-URI 作為其標識符

          DELETE

          請求服務器刪除由 Request-URI 所標識的資源

          TRACE

          請求服務器回送到的請求信息,主要用于測試或診斷

          CONNECT

          保留將來使用

          OPTIONS

          請求查詢服務器的性能,或者查詢與資源相關的選項和需求

          重點介紹 GET、POST 和 HEAD 三個方法:

          (1)GET

          GET 方法用于獲取由 Request-URI 所標識的資源的信息,常見的形式是:

          GET Request-URI HTTP/1.1

          GET方法是默認的HTTP請求方法,例如當我們通過在瀏覽器的地址欄中直接輸入網(wǎng)址的方式去訪問網(wǎng)頁的時候,瀏覽器采用的就是 GET 方法向服務器獲取資源。

          我們可以使用GET方法來提交表單數(shù)據(jù),用GET方法提交的表單數(shù)據(jù)只經(jīng)過了簡單的編碼,同時它將作為URL的一部分向服務器發(fā)送,因此,如果使用GET方法來提交表單數(shù)據(jù)就存在著安全隱患上。例如:

          Http://localhost/login.php?username=aa&password=1234

          從上面的URL請求中,很容易就可以辯認出表單提交的內容。(?之后的內容)另外由于GET方法提交的數(shù)據(jù)是作為URL請求的一部分所以提交的數(shù)據(jù)量不能太大。這是因為瀏覽器對url的長度有限制

          各種瀏覽器也會對url的長度有所限制,下面是幾種常見瀏覽器的url長度限制:(單位:字符)

          IE : 2803

          Firefox:65536

          Chrome:8182

          Safari:80000

          Opera:190000

          (2)POST

          POST方法是GET方法的一個替代方法,它主要是向Web服務器提交表單數(shù)據(jù),尤其是大批量的數(shù)據(jù)。 在請求頭信息結束之后的兩個回車換行之后(實際是空一行),就是表單提交的數(shù)據(jù)。如上面提到的post表單數(shù)據(jù):

          username=aa&password=1234

          POST方法克服了GET方法的一些缺點。通過POST方法提交表單數(shù)據(jù)時,數(shù)據(jù)不是作為URL請求的一部分而是作為標準數(shù)據(jù)傳送給Web服務器,這就克 服了GET方法中的信息無法保密和數(shù)據(jù)量太小的缺點。因此,出于安全的考慮以及對用戶隱私的尊重,通常表單提交時采用POST方法。

            從編程的角度來講,如果用戶通過GET方法提交數(shù)據(jù),則數(shù)據(jù)存放在QUERY_STRING環(huán)境變量中,而POST方法提交的數(shù)據(jù)則可以從標準輸入流中獲取。

          GET與POST方法有以下區(qū)別:

          1、 在客戶端,Get方式在通過URL提交數(shù)據(jù),數(shù)據(jù)在URL中可以看到;POST方式,數(shù)據(jù)放在HTTP包的body中。

          2、 GET方式提交的數(shù)據(jù)大小有限制(因為瀏覽器對URL的長度有限制),而POST則沒有此限制。

          3、安全性問題。正如在(1)中提到,使用 Get 的時候,參數(shù)會顯示在地址欄上,而 Post 不會。所以,如果這些數(shù)據(jù)是中文數(shù)據(jù)而且是非敏感數(shù)據(jù),那么使用 get;如果用戶輸入的數(shù)據(jù)不是中文字符而且包含敏感數(shù)據(jù),那么還是使用 post為好。

          4.、服務器取值方式不一樣。GET方式取值,如php可以使用$_GET來取得變量的值,而POST方式通過$_POST來獲取變量的值。

          (3)HEAD

          HEAD 方法與 GET 方法幾乎是相同的,它們的區(qū)別在于 HEAD 方法只是請求消息報頭,而不是完整的內容。對于 HEAD 請求的回應部分來說,它的 HTTP 頭部中包含的信息與通過 GET 請求所得到的信息是相同的。利用這個方法,不必傳輸整個資源內容,就可以得到 Request-URI 所標識的資源的信息。這個方法通常被用于測試超鏈接的有效性,是否可以訪問,以及最近是否更新。

          要注意的是,在 HTML 文檔中,書寫 get 和 post,大小寫都可以,但在 HTTP 協(xié)議中的 GET 和 POST 只能是大寫形式。

          2. 請求頭

          每個頭域由一個域名,冒號(:)和域值三部分組成。域名是大小寫無關的,域值前可以添加任何數(shù)量的空格符,頭域可以被擴展為多行,在每行開始處,使用至少一個空格或制表符。

          HTTP最常見的請求頭如下:

          Transport 頭域

          Connection:

          作用:表示是否需要持久連接。

          如果服務器看到這里的值為“Keep-Alive”,或者看到請求使用的是HTTP 1.1(HTTP 1.1默認進行持久連接),它就可以利用持久連接的優(yōu)點,當頁面包含多個元素時(例如Applet,圖片),顯著地減少下載所需要的時間。要實現(xiàn)這一點,服務器需要在應答中發(fā)送一個Content-Length頭,最簡單的實現(xiàn)方法是:先把內容寫入 ByteArrayOutputStream,然后在正式寫出內容之前計算它的大小;

          例如: Connection: keep-alive 當一個網(wǎng)頁打開完成后,客戶端和服務器之間用于傳輸HTTP數(shù)據(jù)的TCP連接不會關閉,如果客戶端再次訪問這個服務器上的 網(wǎng)頁,會繼續(xù)使用這一條已經(jīng)建立的連接

          例如: Connection: close 代表一個Request完成后,客戶端和服務器之間用于傳輸HTTP數(shù)據(jù)的TCP連接會關閉, 當客戶端再次發(fā)送Request,需要重新建立TCP連接。

          Host(發(fā)送請求時,該報頭域是必需的)

          Host請求報頭域主要用于指定被請求資源的Internet主機和端口號,它通常從HTTP URL中提取出來的。

          eg:http://;localhost/index.html

          瀏覽器發(fā)送的請求消息中,就會包含Host請求報頭域,如下:

          Host:localhost

          此處使用缺省端口號80,若指定了端口號8080,則變成:Host:localhost:8080

          Client 頭域

          Accept:

          作用:瀏覽器可以接受的媒體類型(MIME類型),

          例如: Accept: text/html 代表瀏覽器可以接受服務器回發(fā)的類型為 text/html 也就是我們常說的html文檔, 如果服務器無法返回text/html類型的數(shù)據(jù),服務器應該返回一個406錯誤(non acceptable)。

          通配符 * 代表任意類型。例如 Accept: */* 代表瀏覽器可以處理所有類型,(一般瀏覽器發(fā)給服務器都是發(fā)這個)

          Accept-Encoding:

          作用: 瀏覽器申明自己接收的編碼方法,通常指定壓縮方法,是否支持壓縮,支持什么壓縮方法(gzip,deflate),(注意:這不是只字符編碼);

          例如: Accept-Encoding: gzip, deflate。Server能夠向支持gzip/deflate的瀏覽器返回經(jīng)gzip或者deflate編碼的HTML頁面。 許多情形下這可以減少5到10倍的下載時間,也節(jié)省帶寬。

          Accept-Language:

          作用: 瀏覽器申明自己接收的語言。

          語言跟字符集的區(qū)別:中文是語言,中文有多種字符集,比如big5,gb2312,gbk等等;

          例如: Accept-Language:zh-cn 。如果請求消息中沒有設置這個報頭域,服務器假定客戶端對各種語言都可以接受。

          User-Agent:

          作用:告訴HTTP服務器, 客戶端使用的操作系統(tǒng)和瀏覽器的名稱和版本.

          我們上網(wǎng)登陸論壇的時候,往往會看到一些歡迎信息,其中列出了你的操作系統(tǒng)的名稱和版本,你所使用的瀏覽器的名稱和版本,這往往讓很多人感到很神 奇,實際上, 服務器應用程序就是從User-Agent這個請求報頭域中獲取到這些信息User-Agent請求報頭域允許客戶端將它的操作系統(tǒng)、瀏覽 器和其它屬性告訴服務器。

          例如: User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; CIBA; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; InfoPath.2; .NET4.0E)

          Accept-Charset:

          作用:瀏覽器申明自己接收的字符集,這就是本文前面介紹的各種字符集和字符編碼,如gb2312,utf-8(通常我們說Charset包括了相應的字符編碼方案);

          例如:Accept-Charset:iso-8859-1,gb2312.如果在請求消息中沒有設置這個域,缺省是任何字符集都可以接受。

          Authorization:授權信息,通常出現(xiàn)在對服務器發(fā)送的WWW-Authenticate頭的應答中;

          Authorization請求報頭域主要用于證明客戶端有權查看某個資源。當瀏覽器訪問一個頁面時,如果收到服務器的響應代碼為401(未授權),可以發(fā)送一個包含Authorization請求報頭域的請求,要求服務器對其進行驗證。

          Cookie/Login 頭域

          Cookie:

          作用: 最重要的header, 將cookie的值發(fā)送給HTTP 服務器

          Entity頭域

          Content-Length

          作用:發(fā)送給HTTP服務器數(shù)據(jù)的長度。即請求消息正文的長度;

          例如: Content-Length: 38

          Content-Type:

          作用:

          例如:Content-Type: application/x-www-form-urlencoded

          Miscellaneous 頭域

          Referer:

          作用: 提供了Request的上下文信息的服務器,告訴服務器我是從哪個鏈接過來的,比如從我主頁上鏈接到一個朋友那里, 他的服務器就能夠從HTTP Referer中統(tǒng)計出每天有多少用戶點擊我主頁上的鏈接訪問 他的網(wǎng)站。

          例如: Referer:http://translate.google.cn/?hl=zh-cn&tab=wT

          Cache 頭域

          If-Modified-Since:

          作用: 把瀏覽器端緩存頁面的最后修改時間發(fā)送到服務器去,服務器會把這個時間與服務器上實際文件的最后修改時間進行對比。如果時間一致,那么返回304,客戶端 就直接使用本地緩存文件。如果時間不一致,就會返回200和新的文件內容。客戶端接到之后,會丟棄舊文件,把新文件緩存起來,并顯示在瀏覽器中。

          例如:If-Modified-Since: Thu, 09 Feb 2012 09:07:57 GMT。

          If-None-Match:

          作用: If-None-Match和ETag一起工作,工作原理是在HTTP Response中添加ETag信息。 當用戶再次請求該資源時,將在HTTP Request 中加入If-None-Match信息(ETag的值)。如果服務器驗證資源的ETag沒有改變(該資源沒有更新),將返回一個304狀態(tài)告訴客戶端使用 本地緩存文件。否則將返回200狀態(tài)和新的資源和Etag. 使用這樣的機制將提高網(wǎng)站的性能

          例如: If-None-Match: "03f2b33c0bfcc1:0"

          Pragma:

          作用: 防止頁面被緩存, 在HTTP/1.1版本中,它和Cache-Control:no-cache作用一模一樣

          Pargma只有一個用法, 例如: Pragma: no-cache

          注意: 在HTTP/1.0版本中,只實現(xiàn)了Pragema:no-cache, 沒有實現(xiàn)Cache-Control

          Cache-Control:

          作用: 這個是非常重要的規(guī)則。 這個用來指定Response-Request遵循的緩存機制。各個指令含義如下

          Cache-Control:Public 可以被任何緩存所緩存()

          Cache-Control:Private 內容只緩存到私有緩存中

          Cache-Control:no-cache 所有內容都不會被緩存

          2. HTTP響應格式

          在接收和解釋請求消息后,服務器會返回一個 HTTP 響應消息。與 HTTP 請求類似,HTTP 響應也是由三個部分組成,分別是:狀態(tài)行、消息報頭和響應正文。如:

          HTTP/1.1 200 OK

          Date: Sun, 17 Mar 2013 08:12:54 GMT

          Server: Apache/2.2.8 (Win32) PHP/5.2.5

          X-Powered-By: PHP/5.2.5

          Set-Cookie: PHPSESSID=c0huq7pdkmm5gg6osoe3mgjmm3; path=/

          Expires: Thu, 19 Nov 1981 08:52:00 GMT

          Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

          Pragma: no-cache

          Content-Length: 4393

          Keep-Alive: timeout=5, max=100

          Connection: Keep-Alive

          Content-Type: text/html; charset=utf-8

          <html>

          <head>

          <title>HTTP響應示例<title>

          </head>

          <body>

          Hello HTTP!

          </body>

          </html>

          1、狀態(tài)行

          狀態(tài)行由協(xié)議版本、數(shù)字形式的狀態(tài)代碼,及相應的狀態(tài)描述組成,各元素之間以空格分隔,結尾時回車換行符,格式如下:

          HTTP-Version Status-Code Reason-Phrase CRLF

          HTTP-Version 表示服務器 HTTP 協(xié)議的版本,Status-Code 表示服務器發(fā)回的響應代碼,Reason-Phrase 表示狀態(tài)代碼的文本描述,CRLF 表示回車換行。例如:

          HTTP/1.1 200 OK (CRLF)

          狀態(tài)代碼與狀態(tài)描述

          狀態(tài)代碼由 3 位數(shù)字組成, 表示請求是否被理解或被滿足,狀態(tài)描述給出了關于狀態(tài)碼的簡短的文字描述。狀態(tài)碼的第一個數(shù)字定義了響應類別,后面兩位數(shù)字沒有具體分類。第一個數(shù)字有 5 種取值,如下所示。

          • 1xx:指示信息——表示請求已經(jīng)接受,繼續(xù)處理
          • 2xx:成功——表示請求已經(jīng)被成功接收、理解、接受。
          • 3xx:重定向——要完成請求必須進行更進一步的操作
          • 4xx:客戶端錯誤——請求有語法錯誤或請求無法實現(xiàn)
          • 5xx:服務器端錯誤——服務器未能實現(xiàn)合法的請求。

          常見狀態(tài)代碼、狀態(tài)描述、說明:

          200 OK //客戶端請求成功

          400 Bad Request //客戶端請求有語法錯誤,不能被服務器所理解

          401 Unauthorized //請求未經(jīng)授權,這個狀態(tài)代碼必須和WWW-Authenticate報頭域一起使用

          403 Forbidden //服務器收到請求,但是拒絕提供服務

          404 Not Found //請求資源不存在,eg:輸入了錯誤的URL

          500 Internal Server Error //服務器發(fā)生不可預期的錯誤

          503 Server Unavailable //服務器當前不能處理客戶端的請求,一段時間后可能恢復正常

          2、響應正文

          響應正文就是服務器返回的資源的內容,響應頭和正文之間也必須用空行分隔。如:

          1. <html>
          2. <head>
          3. <title>HTTP響應示例<title>
          4. </head>
          5. <body>
          6. Hello HTTP!
          7. </body>
          8. </html>

          3 、響應頭信息

          HTTP最常見的響應頭如下所示:

          Cache頭域

          Date:

          作用:生成消息的具體時間和日期,即當前的GMT時間。

          例如: Date: Sun, 17 Mar 2013 08:12:54 GMT

          Expires:

          作用: 瀏覽器會在指定過期時間內使用本地緩存,指明應該在什么時候認為文檔已經(jīng)過期,從而不再緩存它。

          例如: Expires: Thu, 19 Nov 1981 08:52:00 GMT  

          Vary

          作用:

          例如: Vary: Accept-Encoding

          Cookie/Login 頭域

          P3P

          作用: 用于跨域設置Cookie, 這樣可以解決iframe跨域訪問cookie的問題

          例如: P3P: CP=CURa ADMa DEVa PSAo PSDo OUR BUS UNI PUR INT DEM STA PRE COM NAV OTC NOI DSP COR

          Set-Cookie

          作用: 非常重要的header, 用于把cookie 發(fā)送到客戶端瀏覽器, 每一個寫入cookie都會生成一個Set-Cookie.

          例如: Set-Cookie: PHPSESSID=c0huq7pdkmm5gg6osoe3mgjmm3; path=/

          Entity實體頭域:

          實體內容的屬性,包括實體信息類型,長度,壓縮方法,最后一次修改時間,數(shù)據(jù)有效性等。

          ETag:

          作用: 和If-None-Match 配合使用。 (實例請看上節(jié)中If-None-Match的實例)

          例如: ETag: "03f2b33c0bfcc1:0"

          Last-Modified:

          作用: 用于指示資源的最后修改日期和時間。(實例請看上節(jié)的If-Modified-Since的實例)

          例如: Last-Modified: Wed, 21 Dec 2011 09:09:10 GMT

          Content-Type:

          作用:WEB服務器告訴瀏覽器自己響應的對象的類型和字符集,

          例如:

          Content-Type: text/html; charset=utf-8

            Content-Type:text/html;charset=GB2312

            Content-Type: image/jpeg

          Content-Length:

          指明實體正文的長度,以字節(jié)方式存儲的十進制數(shù)字來表示。在數(shù)據(jù)下行的過程中,Content-Length的方式要預先在服務器中緩存所有數(shù)據(jù),然后所有數(shù)據(jù)再一股腦兒地發(fā)給客戶端。

            例如: Content-Length: 19847

          Content-Encoding:

          作用:文檔的編碼(Encode)方法。一般是壓縮方式。

          WEB服務器表明自己使用了什么壓縮方法(gzip,deflate)壓縮響應中的對象。利用gzip壓縮文檔能夠顯著地減少HTML文檔的下載時間。

          例如:Content-Encoding:gzip

          Content-Language:

          作用: WEB服務器告訴瀏覽器自己響應的對象的語言者

          例如: Content-Language:da

          Miscellaneous 頭域

          Server:

          作用:指明HTTP服務器的軟件信息

          例如:Apache/2.2.8 (Win32) PHP/5.2.5

          X-Powered-By:

          作用:表示網(wǎng)站是用什么技術開發(fā)的

          例如: X-Powered-By: PHP/5.2.5

          Transport頭域

          Connection:

          例如: Connection: keep-alive 當一個網(wǎng)頁打開完成后,客戶端和服務器之間用于傳輸HTTP數(shù)據(jù)的TCP連接不會關閉,如果客戶端再次訪問這個服務器上的網(wǎng)頁,會繼續(xù)使用這一條已經(jīng)建立的連接

          例如: Connection: close 代表一個Request完成后,客戶端和服務器之間用于傳輸HTTP數(shù)據(jù)的TCP連接會關閉, 當客戶端再次發(fā)送Request,需要重新建立TCP連接。

          Location頭域

          Location:

          作用: 用于重定向一個新的位置, 包含新的URL地址

          實例請看304狀態(tài)實例

          HTTP協(xié)議是無狀態(tài)的和Connection: keep-alive的區(qū)別

            無狀態(tài)是指協(xié)議對于事務處理沒有記憶能力,服務器不知道客戶端是什么狀態(tài)。從另一方面講,打開一個服務器上的網(wǎng)頁和你之前打開這個服務器上的網(wǎng)頁之間沒有任何聯(lián)系。

            HTTP是一個無狀態(tài)的面向連接的協(xié)議,無狀態(tài)不代表HTTP不能保持TCP連接,更不能代表HTTP使用的是UDP協(xié)議(無連接)。

            從HTTP/1.1起,默認都開啟了Keep-Alive,保持連接特性,簡單地說,當一個網(wǎng)頁打開完成后,客戶端和服務器之間用于傳輸HTTP數(shù)據(jù)的TCP連接不會關閉,如果客戶端再次訪問這個服務器上的網(wǎng)頁,會繼續(xù)使用這一條已經(jīng)建立的連接。

            Keep-Alive不會永久保持連接,它有一個保持時間,可以在不同的服務器軟件(如Apache)中設定這個時間。

          3. 瀏覽器緩存

          瀏覽器緩存:包括頁面html緩存和圖片js,css等資源的緩存。如下圖,瀏覽器緩存是基于把頁面信息保存到用戶本地電腦硬盤里。

          1、緩存的優(yōu)點:

          1)服務器響應更快:因為請求從緩存服務器(離客戶端更近)而不是源服務器被相應,這個過程耗時更少,讓服務器看上去響應更快。

          2)減少網(wǎng)絡帶寬消耗:當副本被重用時會減低客戶端的帶寬消耗;客戶可以節(jié)省帶寬費用,控制帶寬的需求的增長并更易于管理。

          2、緩存工作原理

          頁面緩存狀態(tài)是由http header決定的,一個瀏覽器請求信息,一個是服務器響應信息。主要包括Pragma: no-cache、Cache-Control、 Expires、 Last-Modified、If-Modified-Since。其中Pragma: no-cache由HTTP/1.0規(guī)定,Cache-Control由HTTP/1.1規(guī)定。

          工作原理圖:

          從圖中我們可以看到原理主要分三步:

          1. 第一次請求:瀏覽器通過http的header報頭,附帶Expires,Cache-Control,Last-Modified/Etag向服務器請求,此時服務器記錄第一次請求的Last-Modified/Etag
          2. 再次請求:當瀏覽器再次請求的時候,請求頭附帶Expires,Cache-Control,If-Modified-Since/Etag向服務器請求
          3. 服務器根據(jù)第一次記錄的Last-Modified/Etag和再次請求的If-Modified-Since/Etag做對比,判斷是否需要更新,服務器通過這兩個頭判斷本地資源未發(fā)生變化,客 戶端不需要重新下載,返回304響應。常見流程如下圖所示:

          與緩存相關的HTTP擴展消息頭

          Expires:設置頁面過期時間,格林威治時間GMT

          Cache-Control:更細致的控制緩存的內容

          Last-Modified:請求對象最后一次的修改時間 用來判斷緩存是否過期 通常由文件的時間信息產生

          ETag:響應中資源的校驗值,在服務器上某個時段是唯一標識的。ETag是一個可以 與Web資源關聯(lián)的記號(token),和Last-Modified功能才不多,也是一個標識符,一般和Last-Modified一起使用,加強服務器判斷的準確度。

          Date:服務器的時間

          If-Modified-Since:客戶端存取的該資源最后一次修改的時間,用來和服務器端的Last-Modified做比較

          If-None-Match:客戶端存取的該資源的檢驗值,同ETag。

          Cache-Control的主要參數(shù)

          Cache-Control: private/public Public 響應會被緩存,并且在多用戶間共享。 Private 響應只能夠作為私有的緩存,不能再用戶間共享。

          Cache-Control: no-cache:不進行緩存

          Cache-Control: max-age=x:緩存時間 以秒為單位

          Cache-Control: must-revalidate:如果頁面是過期的 則去服務器進行獲取。

          2、關于圖片,css,js,flash的緩存

          這個主要通過服務器的配置來實現(xiàn)這個技術,如果使用apache服務器的話,可以使用mod_expires模塊來實現(xiàn):

          編譯mod_expires模塊:

          Cd /root/httpd-2.2.3/modules/metadata

          /usr/local/apache/bin/apxs -i -a -c mod_expires.c //編譯

          編輯httpd.conf配置:添加下面內容

          <IfModule mod_expires.c>

          ExpiresActive on

          ExpiresDefault "access plus 1 month"

          ExpiresByType text/html "access plus 1 months"

          ExpiresByType text/css "access plus 1 months"

          ExpiresByType image/gif "access plus 1 months"

          ExpiresByType image/jpeg "access plus 1 months"

          ExpiresByType image/jpg "access plus 1 months"

          ExpiresByType image/png "access plus 1 months"

          EXpiresByType application/x-shockwave-flash "access plus 1 months"

          EXpiresByType application/x-javascript "access plus 1 months"

          #ExpiresByType video/x-flv "access plus 1 months"

          </IfModule>

          解釋:第一句--開啟服務

          第二句--默認時間是一個月

          在下面是關于各種類型的資源的緩存時間設置


          主站蜘蛛池模板: 久久精品无码一区二区无码 | 久久久精品人妻一区二区三区四| 亚洲V无码一区二区三区四区观看 亚洲爆乳精品无码一区二区三区 亚洲爆乳无码一区二区三区 | 午夜精品一区二区三区免费视频| 成人欧美一区二区三区在线视频 | 国产乱人伦精品一区二区在线观看| 波多野结衣AV无码久久一区| 国产成人片视频一区二区| 欧美成人aaa片一区国产精品| 国产伦理一区二区| 乱中年女人伦av一区二区| 日韩精品福利视频一区二区三区| 亚洲天堂一区二区三区| 亚洲av午夜福利精品一区| 亚洲色欲一区二区三区在线观看| 无码人妻久久一区二区三区蜜桃| 在线精品自拍亚洲第一区 | 中文字幕一区二区三区久久网站| 国内精品无码一区二区三区| 精品人妻一区二区三区毛片| 区三区激情福利综合中文字幕在线一区亚洲视频1 | 在线视频一区二区三区三区不卡| 美女免费视频一区二区三区| 精品免费AV一区二区三区| 在线精品日韩一区二区三区| 韩国精品一区二区三区无码视频| 国产一区二区好的精华液| 国产成人一区二区三区精品久久| 韩国资源视频一区二区三区| 国产在线观看一区二区三区四区| 风流老熟女一区二区三区| 久久精品人妻一区二区三区| 伊人久久精品无码av一区| 久久精品视频一区| 99精品国产一区二区三区2021| 日韩精品人妻一区二区三区四区| 无码精品不卡一区二区三区| 日韩动漫av在线播放一区| 在线精品动漫一区二区无广告| 人妻少妇精品视频一区二区三区| 精品人妻少妇一区二区三区不卡|