一小段python爬蟲代碼獲取騰訊新聞正文標題內容（附源碼）

coding=utf-8

import urllib2

import re

import os

#this function from internet @littlebai

#去掉特征字符串內的html操作符

def filter_tags(htmlstr):

re_cdata=re.compile('//<!\[CDATA\[[^>]*//\]\]>',re.I) #匹配CDATA

re_script=re.compile('<\s*script[^>]*>[^<]*<\s*/\s*script\s*>',re.I)#Script

re_style=re.compile('<\s*style[^>]*>[^<]*<\s*/\s*style\s*>',re.I)#style

re_p=re.compile('<P\s*?/?>')#處理換行

re_h=re.compile('</?\w+[^>]*>')#HTML標簽

re_comment=re.compile('')#HTML注釋

s=re_cdata.sub('',htmlstr)#去掉CDATA

s=re_script.sub('',s) #去掉SCRIPT

s=re_style.sub('',s)#去掉style

s=re_p.sub('\r\n',s)#將<p>轉換為換行

s=re_h.sub('',s) #去掉HTML 標簽

s=re_comment.sub('',s)#去掉HTML注釋

blank_line=re.compile('\n+')#去掉多余的空行

s=blank_line.sub('\n',s)

return s

#設置下載文件的保存位置

path = "E:\news.qq.com\a\20120506\"

#匹配url規則

rege = re.compile(r"/a/\d{8}/\d{6}.htm")

#從主頁獲得所有存在的url鏈接的后半部分并排序

urlcontent = urllib2.urlopen('http://news.qq.com/a/20120506/index.htm').read()

get_url = rege.findall(urlcontent)

get_url.sort()

#根據所獲得的url數量建立循環遍歷所有url鏈接

for i in xrange(0,len(get_url)):

get_url[i] = "http://news.qq.com"+get_url[i]#完整鏈接

#異常處理：部分url鏈接打開延時或者無法打開則跳過此次循環

try:#異常跳出

sub_web = urllib2.urlopen(get_url[i]).read()#打開完整url鏈接，獲取內容

except urllib2.URLError, e:

print get_url[i][-10:-4]+' Failed'

continue

#下面開始內容操作

re_keyt = "<h1>.+</h1>"#獲取標題，此處的標題不含騰訊新聞的后綴比較方便

title = re.findall(re_keyt,sub_web)#去掉標題左右的html標簽

re_keyc = re.compile("<div id=\"Cnt-Main-Article-QQ\".*</P></div>\n</div>",re.DOTALL)#匹配正文內容的正則（個別頁面無法獲得，見if塊）

content = re_keyc.findall(sub_web)#獲得正文內容

#個別頁面由于有視頻或其他的無法匹配正文內容的正則表達式，所以無法獲得內容，應給與過濾

if len(title)==0 or len(content)==0:

continue

re_content = filter_tags(title[0]+"\r\n"+content[0])#將標題和正文放到一起并去除html標簽代碼

w=file(path+get_url[i][-10:-4]+'.txt','w')#根據頁面的文件名建立txt文件，并打開為寫入方式

w.write(re_content)#寫入獲得的去除了html標簽代碼的標題和正文

w.close()#關閉文件

#命令行輸出提示文件下載進度

print 'Completed the'+str(i+1)+" -Total "+str(len(get_url))+" THE "+get_url[i][-10:]

#完成所有url鏈接的下載

print "Fuck The Stupied Guy!!!!"

#退出腳本

exit()

站的每一個部分都很重要，你是否忽略了“聯系我們”頁面？來看看有什么設計這個頁面的技巧吧。

簡化聯系表格

Yummygum

Yummygum的聯系頁面很干凈很簡單，只有3個框和一個提交按鈕。簡單的好處是不會讓游客望而卻步。

大號的文字顯得簡練易讀，方便瀏覽者快速校對信息，從而有更大的滿足感。

以現在的網頁技術很容易創建一個動態的聯系表格。通常留有3-6個框供瀏覽者填寫姓名，郵件和個人信息。

大多數網站游客偏愛這種聯系表，因為比較節省時間——不需要打開自己的郵件客戶端、拷貝郵箱地址。目前網站聯系表格通常包含網絡安全技術比如CAPTCHA，所以安全性是很強的。

這種表格的所有元素看起來很統一，給人感覺很完整。另外建議使用JavaScript顯示提示和幫助，確保用戶知道他們的消息已發送成功。

Princeink

復雜一點表格看Prince Ink quote form網站，頁面分為4部分。

記住，不是每個框都要填寫。只有帶星號是必填的。大部分情況下，游客能夠識別星號，但是部分游客可能發現不了。如果是設計更大的聯系表格，要突出必填的項目。這樣將簡化提交過程，優化用戶體驗。

統一中表現審美

表格既要講統一性，也要講審美。畢竟表格是網站外觀的一個重要部分。

Underbelly

Underbelly是一個設計創意機構網站，聯系頁面很獨特。顯而易見，這個聯系表格用了CSS樣式表和JavaScript。輸入界面看起來像一般正式文件的表格形式。設計獨特整潔，讓人覺得發送電子郵件也成了一種樂趣！

Dangerousrobot

Dangerous Robot 網站的設計跟上一個不同，聯系表格與其他元素通過明亮的暖色和矢量圖案很好的融合在一起。聯系表格基本采取居中模式，每個框里加上圖標，使得辨識度和閱讀速度得到提高。

添加地圖標注

一個公司的地理位置在商務交往中往往扮演著重要的角色。加入嵌入式地圖則把企業地址可視化。谷歌地圖有一個自定義的嵌入功能，允許開發者添加全功能的谷歌地圖到聯系頁面。

Bkwld

BKWLD的聯系頁，除了一些基本的郵件/電話信息，添加了MAPbox動態地圖，調高了交互性。

Fortyonetwenty

也可以考慮使用一個定制的照片，不用JavaScript地圖。在FortyOneTwenty網站聯系頁面，使用一個世界地圖，上面的藍點標注了全球分公司和員工分布情況。

由于這張照片是作為背景圖像，所以融合更自然。地圖讓位于內容，顯得不喧賓奪主。

添加社交網站鏈接

在聯系頁面添加社交網站鏈接，可賦予企業可觸摸的人格。這些鏈接可供瀏覽者在無法或者不宜使用電話、郵件的情況下聯系企業，并且可以瀏覽企業更多動態信息。最好能在同一頁上提供不同的社交賬號鏈接，讓瀏覽者決定選擇哪一個。

Tone

我最喜歡的英國創意機構非Tone莫屬，無論是它的作品或者是作品集網站。它的聯系頁使用定位他們辦公室的完整地圖和動態聯系表格。

往下滾動鼠標，你會發現一個長長的的社交媒體圖標水平列表。這些鏈接包括該公司的各種社交賬號包括Twitter,LinkedIn,Instagram。按鈕大而醒目，但是并沒有放在頁面頂部，因為郵件，電話和地址才是最重要的。

Positiveadvertising

Positive Advertising網站的社交賬號圖標設置的比較小。這個網站是單網頁網站。社交賬號圖標位于電話號碼，電子郵件地址和郵寄地址的下面。圖標采取了統一的單色處理。

展示團隊成員

這個方法使用較少，但是可以增加網頁的個性。個人網站可以在聯系頁面加上本人照片。大一點的公司往往把照片轉移到“公司團隊”頁面，每個重要人物有單獨的照片和介紹。

Blueskyresumes

Blue Sky Resumes網站的“關于我們”頁面包含一段團隊的介紹。每個雇員都有自己單獨的網頁鏈接。

“聯系我們”頁面的頂部，注意到沿左邊一個固定的滾動塊沒有，滾動塊小按鈕鏈接到電子郵件，手機信息，還可以發送一個請求報價。這個網站聯系頁面非常生動，讓人耳目一新。

Etsy

Etsy的“團隊”頁面。每個團隊成員照片鏈接到各人簡介頁面。這種個性化的設計無論是對于客戶還是公司的第三方供應商來講是都很棒的。

這個團隊網頁不直接鏈接到他們的聯系頁面。這是一種有目的的設計選擇，因為公司有那么多職員，足夠撐起一個網頁。不過該網頁可以鏈接到“關于”網頁，“新聞”網頁，其中包含一些電子郵件聯系信息。

團隊成員列表不是必須有的，但在合適的時機可以作為良好的補充。

任何網頁的最重要的是可用性，只要你學會迎合用戶體驗，那么設計精良的聯系頁面就不在話下了。

　HTML是最流行的Web前端開發技術之一，它是一種用于創建網頁和 Web 應用程序的標記語言。HTML與CSS和JavaScript結合使用以創建有吸引力且響應迅速的前端網頁。

　　HTML 提供了幾個不同的元素，如 <head>、<body>、<p>、<img>、<a> 等，它們充當網站的構建塊，瀏覽器使用這些 HTML 元素來解釋和表示網頁上的內容。

　　HTML 概述

　　HTML(超文本標記語言)是Web瀏覽器理解并用于呈現網頁的語言。在不同元素的幫助下，HTML 決定了網頁的外觀和顯示內容。超文本標記語言 (HTML) 是一種用于創建獨立于平臺的超文本文檔的簡單標記語言。

　　HTML 文檔是具有通用語義的 SGML(標準通用標記語言)文檔，可用于表示來自各種學科的數據。HTML 標記可用于創建超文本郵件、文檔、新聞和超媒體;選項菜單;數據庫查詢結果;帶有內嵌圖形的簡單結構化文檔;和現有數據集的超文本視圖。

　　HTML 語言的主要用途

　　輕松瀏覽互聯網

　　超文本允許你訪問 Internet 上的不同頁面，尤其是在你沒有記住所有 URL 的情況下。你只需單擊鏈接或在地址字段中輸入 URL 即可瀏覽互聯網。超文本對于引導用戶瀏覽你的網站并充當網關至關重要，以便他們知道存在不同的頁面并可以在它們之間導航。如果不使用超文本，用戶很難檢測到網站上是否還有其他網頁。

　　尖端功能

　　HTML 支持 Polyfill 功能，它是一種允許你在 HTML 中本地使用不同技術的代碼。你可以使用此功能復制未來的API，同時為過時版本的瀏覽器提供回退功能;你可以自定義polyfill庫以滿足你的特定要求并執行其他人從未做過的事情。HTML 的這些尖端特性是HTML有如此多用途的原因。

　　創建 Web 文檔

　　網頁只是一個Web文檔，你可以在其中編寫你希望用戶看到的材料，然后將其包裝在指示機器如何格式化整個內容的代碼中。這會告訴你的瀏覽器標題、正文和元數據中的文本，它帶有標簽，因此計算機知道如何處理你提供的信息。

　　數據輸入

　　你擁有執行任何數據輸入任務所需的所有 API。作為開發人員，你只需在相關字段中添加標簽，例如文本和數據格式，你甚至可以提供屏幕鍵盤和驗證，確保為用戶提供流暢和愉快的體驗。

　　游戲開發

　　游戲開發是 HTML 的重要用途之一。盡管不再支持Flash，但HTML仍可用于創建基于瀏覽器的游戲。你使用的API不必完全實現，但可以使用最必要的組件，同時去掉了其余的功能，帶來了更輕松的體驗。由于HTML5的進步，HTML正迅速成為最流行的游戲編程語言之一。

　　離線存儲

　　如果你的一些用戶不在線怎么辦?在最新版本的HTML中找到的應用程序緩存方法的幫助下，你仍然可以使你的應用程序運行。應用程序緩存負責各種離線功能，包括各種組件，包括需要更新的API調用。通過清單文件，你可以控制瀏覽器對其離線使用的操作，甚至它使用的資源。

　　原生API使用

　　API代表“應用程序編程接口”，這是兩個不同應用程序相互通信的一種方式。通過使用API，HTML包括地理定位、事件管理、拖放和更多功能，HTML編程現在比以往任何時候都更強大。開發人員還可以使用具有異步特性的現代在線應用程序。

　　在客戶端存儲東西

　　IndexDB和Localstorage 使在客戶端存儲文件更簡單、更高效，這些都有自己的一套強大的功能。

　　Localstorage支持setItem、getItem 和removeItem方法，以及基于字符串的哈希表存儲。IndexDB帶有更多的存儲空間，你可以在用戶許可的情況下增加。

　　方便使用的

　　與其他編程語言不同，HTML以用戶友好而聞名，即使對于初學者也是如此，所以，這也是HTML的主要用途之一。HTML中有語義組件來描述它們所具有的內容類型，例如，頁眉、頁腳、主要、摘要和時間等HTML常用標簽是自描述的。

　　可訪問的富Internet應用程序

　　HTML5語義標簽的使用使網站搜索引擎和屏幕閱讀器友好，如果正確使用語義標簽，視障人士可以使用屏幕閱讀器從網頁中獲取信息。

　　結論

　　在這篇博客中，我們講述了HTML的所有重要用途，它通常是Web開發人員學習的第一語言，所以，如果你想學習Web編程并且害怕學習HTML的難度，你不必擔心，HTML非常容易學習。

在線咨詢

上一篇：HTML5建站實用的幾款軟件工具
下一篇：軟件測試 - 查看網頁的HTML源代碼

您的項目需求

*請認真填寫需求信息，我們會在24小時內與您取得聯系。