整合營(yíng)銷服務(wù)商
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
電腦端+手機(jī)端+微信端=數(shù)據(jù)同步管理
免費(fèi)咨詢熱線：
小新 編譯自 Insight Data Blog
量子位 出品 | 公眾號(hào) QbitAI
寫個(gè)網(wǎng)頁能有多麻煩？在大多數(shù)公司里，這項(xiàng)工作分為三步：
1. 產(chǎn)品經(jīng)理完成用戶調(diào)研任務(wù)后，列出一系列技術(shù)要求；
2. 設(shè)計(jì)師根據(jù)這些要求來設(shè)計(jì)低保真原型，逐漸修改得到高保真原型和UI設(shè)計(jì)圖；
3. 工程師將這些設(shè)計(jì)圖實(shí)現(xiàn)為代碼，最終變成用戶使用的產(chǎn)品。
這么多環(huán)節(jié)，任何地方出一點(diǎn)問題，都會(huì)拉長(zhǎng)開發(fā)周期。因此，不少公司，比如Airbnb已經(jīng)開始用機(jī)器學(xué)習(xí)來提高這個(gè)過程的效率。
△ Airbnb內(nèi)部的AI工具，從圖紙到代碼一步到位
看起來很美好，但Airbnb還沒公開該模型中端到端訓(xùn)練的細(xì)節(jié)，以及手工設(shè)計(jì)的圖像特征對(duì)該模型的貢獻(xiàn)度。這是該公司特有的閉源解決方案專利，可能不會(huì)進(jìn)行公開。
好在，一個(gè)叫Ashwin Kumar的程序員創(chuàng)建了一個(gè)開源版本，讓開發(fā)者/設(shè)計(jì)師的工作變得更簡(jiǎn)單。
以下內(nèi)容翻譯自他的博客：
理想上，這個(gè)模型可以根據(jù)網(wǎng)站設(shè)計(jì)的簡(jiǎn)單手繪原型，很快地生成一個(gè)可用的HTML網(wǎng)站：
△ SketchCode模型利用手繪線框圖來生成HTML網(wǎng)站
事實(shí)上，上面例子就是利用訓(xùn)練好的模型在測(cè)試集上生成的一個(gè)實(shí)際網(wǎng)站，代碼請(qǐng)?jiān)L問：https://github.com/ashnkumar/sketch-code。
目前要解決的問題屬于一種更廣泛的任務(wù)，叫做程序綜合（program synthesis），即自動(dòng)生成工作源代碼。盡管很多程序綜合研究通過自然語言規(guī)范或執(zhí)行追蹤法來生成代碼，但在當(dāng)前任務(wù)中，我會(huì)充分利用源圖像，即給出的手繪線框圖來展開工作。
在機(jī)器學(xué)習(xí)中有一個(gè)十分熱門的研究領(lǐng)域，稱為圖像標(biāo)注（image caption），目的是構(gòu)建一種把圖像和文本連接在一起的模型，特別是用于生成源圖像內(nèi)容的描述。
△ 圖像標(biāo)注模型生成源圖像的文本描述
我從一篇pix2code論文和另一個(gè)應(yīng)用這種方法的相關(guān)項(xiàng)目中獲得靈感，決定把我的任務(wù)按照?qǐng)D像標(biāo)注方式來實(shí)現(xiàn)，把繪制的網(wǎng)站線框圖作為輸入圖像，并將其相應(yīng)的HTML代碼作為其輸出內(nèi)容。
注：上段提到的兩個(gè)參考項(xiàng)目分別是
pix2code論文：https://arxiv.org/abs/1705.07962
floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org
確定圖像標(biāo)注方法后，理想中使用的訓(xùn)練數(shù)據(jù)集會(huì)包含成千上萬對(duì)手繪線框圖和對(duì)應(yīng)的HTML輸出代碼。但是，目前還沒有我想要的相關(guān)數(shù)據(jù)集，我只好為這個(gè)任務(wù)來創(chuàng)建數(shù)據(jù)集。
最開始，我嘗試了pix2code論文給出的開源數(shù)據(jù)集，該數(shù)據(jù)集由1750張綜合生成網(wǎng)站的截圖及其相應(yīng)源代碼組成。
△ pix2code數(shù)據(jù)集中的生成網(wǎng)站圖片和源代碼
這是一個(gè)很好的數(shù)據(jù)集，有幾個(gè)有趣的地方：
該數(shù)據(jù)集中的每個(gè)生成網(wǎng)站都包含幾個(gè)簡(jiǎn)單的輔助程序元素，如按鈕、文本框和DIV對(duì)象。盡管這意味著這個(gè)模型受限于將這些少數(shù)元素作為它的輸出內(nèi)容，但是這些元素可通過選擇生成網(wǎng)絡(luò)來修改和擴(kuò)展。這種方法應(yīng)該很容易地推廣到更大的元素詞匯表。
每個(gè)樣本的源代碼都是由領(lǐng)域?qū)Ｓ谜Z言（DSL）的令牌組成，這是該論文作者為該任務(wù)所創(chuàng)建的。每個(gè)令牌對(duì)應(yīng)于HTML和CSS的一個(gè)片段，且加入編譯器把DSL轉(zhuǎn)換為運(yùn)行的HTML代碼。
為了修改我的任務(wù)數(shù)據(jù)集，我要讓網(wǎng)站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫(kù)和PIL庫(kù)等工具對(duì)每張圖像進(jìn)行修改，包括灰度轉(zhuǎn)換和輪廓檢測(cè)。
最終，我決定直接修改原始網(wǎng)站的CSS樣式表，通過執(zhí)行以下操作：
1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對(duì)象的邊緣；
2. 模仿繪制的草圖來調(diào)整邊框的粗細(xì)，并添加陰影；
3. 將原有字體更改為類似手寫的字體；
最終實(shí)現(xiàn)的流程中還增加了一個(gè)步驟，通過添加傾斜、移動(dòng)和旋轉(zhuǎn)來實(shí)現(xiàn)圖像增強(qiáng)，來模擬實(shí)際繪制草圖中的變化。
現(xiàn)在，我已經(jīng)處理好數(shù)據(jù)集，接下來是構(gòu)建模型。
我利用了圖像標(biāo)注中使用的模型架構(gòu)，該架構(gòu)由三個(gè)主要部分組成：
1. 一種使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的計(jì)算機(jī)視覺模型，從源圖像提取圖像特征；
2. 一種包含門控單元GRU的語言模型，對(duì)源代碼令牌序列進(jìn)行編碼；
3. 一個(gè)解碼器模型，也屬于GRU單元，把前兩個(gè)步驟的輸出作為輸入，并預(yù)測(cè)序列中的下一個(gè)令牌。
△ 以令牌序列為輸入來訓(xùn)練模型
為了訓(xùn)練模型，我將源代碼拆分為令牌序列。模型的輸入為單個(gè)部分序列及它的源圖像，其標(biāo)簽是文本中的下一個(gè)令牌。該模型使用交叉熵函數(shù)作為損失函數(shù)，將模型的下個(gè)預(yù)測(cè)令牌與實(shí)際的下個(gè)令牌進(jìn)行比較。
在模型從頭開始生成代碼的過程中，該推理方式稍有不同。圖像仍然通過CNN網(wǎng)絡(luò)進(jìn)行處理，但文本處理開始時(shí)僅采用一個(gè)啟動(dòng)序列。在每個(gè)步驟中，模型對(duì)序列中輸出的下個(gè)預(yù)測(cè)令牌將會(huì)添加到當(dāng)前輸入序列，并作為新的輸入序列送到模型中；重復(fù)此操作直到模型的預(yù)測(cè)令牌為，或該過程達(dá)到每個(gè)文本中令牌數(shù)目的預(yù)定義值。
當(dāng)模型生成一組預(yù)測(cè)令牌后，編譯器就會(huì)將DSL令牌轉(zhuǎn)換為HTML代碼，這些HTML代碼可以在任何瀏覽器中運(yùn)行。
我決定使用BLEU分?jǐn)?shù)來評(píng)估模型。這是機(jī)器翻譯任務(wù)中常用的一種度量標(biāo)準(zhǔn)，通過在給定相同輸入的情況下，衡量機(jī)器生成的文本與人類可能產(chǎn)生內(nèi)容的近似程度。
實(shí)際上，BLEU通過比較生成文本和參考文本的N元序列，以創(chuàng)建修改后的準(zhǔn)確版本。它非常適用于這個(gè)項(xiàng)目，因?yàn)樗鼤?huì)影響生成HTML代碼中的實(shí)際元素，以及它們之間的相互關(guān)系。
最棒的是，我還可以通過檢查生成的網(wǎng)站來比較當(dāng)前的實(shí)際BLEU分?jǐn)?shù)。
△ 觀察BLEU分?jǐn)?shù)
當(dāng)BLEU分?jǐn)?shù)為1.0時(shí)，則說明給定源圖像后該模型能在正確位置設(shè)置合適的元素，而較低的BLEU分?jǐn)?shù)這說明模型預(yù)測(cè)了錯(cuò)誤元素或是把它們放在相對(duì)不合適的位置。我們最終模型在評(píng)估數(shù)據(jù)集上的BLEU分?jǐn)?shù)為0.76。
后來，我還想到，由于該模型只生成當(dāng)前頁面的框架，即文本的令牌，因此我可以在編譯過程中添加一個(gè)定制的CSS層，并立刻得到不同風(fēng)格的生成網(wǎng)站。
△ 一個(gè)手繪圖生成多種風(fēng)格的網(wǎng)頁
把風(fēng)格定制和模型生成兩個(gè)過程分開，在使用模型時(shí)帶來了很多好處：
1.如果想要將SketchCode模型應(yīng)用到自己公司的產(chǎn)品中，前端工程師可以直接使用該模型，只需更改一個(gè)CSS文件來匹配該公司的網(wǎng)頁設(shè)計(jì)風(fēng)格；
2. 該模型內(nèi)置的可擴(kuò)展性，即通過單一源圖像，模型可以迅速編譯出多種不同的預(yù)定義風(fēng)格，因此用戶可以設(shè)想出多種可能的網(wǎng)站風(fēng)格，并在瀏覽器中瀏覽這些生成網(wǎng)頁。
受到圖像標(biāo)注研究的啟發(fā)，SketchCode模型能夠在幾秒鐘內(nèi)將手繪網(wǎng)站線框圖轉(zhuǎn)換為可用的HTML網(wǎng)站。
但是，該模型還存在一些問題，這也是我接下來可能的工作方向：
1. 由于這個(gè)模型只使用了16個(gè)元素進(jìn)行訓(xùn)練，所以它不能預(yù)測(cè)這些數(shù)據(jù)以外的令牌。下一步方向可能是使用更多元素來生成更多的網(wǎng)站樣本，包括網(wǎng)站圖片，下拉菜單和窗體，可參考啟動(dòng)程序組件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；
2. 在實(shí)際網(wǎng)站構(gòu)建中，存在很多變化。創(chuàng)建一個(gè)能更好反映這種變化的訓(xùn)練集，是提高生成效果的一種好方法，可以通過獲取更多網(wǎng)站的HTML/CSS代碼以及內(nèi)容截圖來提高；
3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個(gè)問題的一種好方法是使用生成對(duì)抗網(wǎng)絡(luò)GAN來創(chuàng)建更逼真的繪制網(wǎng)站圖像。
代碼：https://github.com/ashnkumar/sketch-code
原文：https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82
— 完 —
誠(chéng)摯招聘
量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。
量子位 QbitAI · 頭條號(hào)簽約作者
?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)
lt;marquee>...</marquee>普通卷動(dòng)
<marquee behavior=slide>...</marquee>滑動(dòng)
<marquee behavior=scroll>...</marquee>預(yù)設(shè)卷動(dòng)
<marquee behavior=alternate>...</marquee>來回卷動(dòng)
<marquee direction=down>...</marquee>向下卷動(dòng)
<marquee direction=up>...</marquee>向上卷動(dòng)
<marquee direction=right></marquee>向右卷動(dòng)
<marquee direction=left></marquee>向左卷動(dòng)
<marquee loop=2>...</marquee>卷動(dòng)次數(shù)
<marquee width=180>...</marquee>設(shè)定寬度
<marquee height=30>...</marquee>設(shè)定高度
<marquee bgcolor=FF0000>...</marquee>設(shè)定背景顏色
<marquee scrollamount=30>...</marquee>設(shè)定卷動(dòng)距離
<marquee scrolldelay=300>...</marquee>設(shè)定卷動(dòng)時(shí)間
<!>字體效果
<h1>...</h1>標(biāo)題字(最大)
<h6>...</h6>標(biāo)題字(最小)
<b>...</b>粗體字
<strong>...</strong>粗體字(強(qiáng)調(diào))
<i>...</i>斜體字
<em>...</em>斜體字(強(qiáng)調(diào))
<dfn>...</dfn>斜體字(表示定義)
<u>...</u>底線
<ins>...</ins>底線(表示插入文字)
<strike>...</strike>橫線
<s>...</s>刪除線
<del>...</del>刪除線(表示刪除)
<kbd>...</kbd>鍵盤文字
<tt>...</tt> 打字體
<xmp>...</xmp>固定寬度字體(在文件中空白、換行、定位功能有效)
<plaintext>...</plaintext>固定寬度字體(不執(zhí)行標(biāo)記符號(hào))
<listing>...</listing> 固定寬度小字體
<font color=00ff00>...</font>字體顏色
<font size=1>...</font>最小字體
<font style =font-size:100 px>...</font>無限增大
<!>區(qū)斷標(biāo)記
<hr>水平線
<hr size=9>水平線(設(shè)定大小)
<hr width=80%>水平線(設(shè)定寬度)
<hr color=ff0000>水平線(設(shè)定顏色)
<br>(換行)
<nobr>...</nobr>水域(不換行)
<p>...</p>水域(段落)
<center>...</center>置中
<!>連結(jié)格式
<base href=位址>(預(yù)設(shè)好連結(jié)路徑)
<a href=位址></a>外部連結(jié)
<a href=位址 target=_blank></a>外部連結(jié)(另開新視窗)
<a href=位址 target=_top></a>外部連結(jié)(全視窗連結(jié))
<a href=位址 target=頁框名></a>外部連結(jié)(在指定頁框連結(jié))
<!>貼圖/音樂
<img src=圖片位址>貼圖
<img src=圖片位址 width=180>設(shè)定圖片寬度
<img src=圖片位址 height=30>設(shè)定圖片高度
<img src=圖片位址 alt=提示文字>設(shè)定圖片提示文字
<img src=圖片位址 border=1>設(shè)定圖片邊框
<bgsound src=MID音樂檔位址>背景音樂設(shè)定
<!>表格語法
<table aling=left>...</table>表格位置,置左
<table aling=center>...</table>表格位置,置中
<table background=圖片路徑>...</table>背景圖片的URL=就是路徑網(wǎng)址
<table border=邊框大小>...</table>設(shè)定表格邊框大小(使用數(shù)字)
<table bgcolor=顏色碼>...</table>設(shè)定表格的背景顏色
<table borderclor=顏色碼>...</table>設(shè)定表格邊框的顏色
<table borderclor=顏色碼>...</table>設(shè)定表格邊框的顏色
<table borderclordark=顏色碼>...</table>設(shè)定表格暗邊框的顏色
<table borderclorlight=顏色碼>...</table>設(shè)定表格亮邊框的顏色
<table cellpadding=參數(shù)>...</table>指定內(nèi)容與格線之間的間距(使用數(shù)字)
<table cellspacing=參數(shù)>...</table>指定格線與格線之間的距離(使用數(shù)字)
<table cols=參數(shù)>...</table>指定表格的欄數(shù)
<table frame=參數(shù)>...</table>設(shè)定表格外框線的顯示方式
<table width=寬度>...</table>指定表格的寬度大小(使用數(shù)字)
<table height=高度>...</table>指定表格的高度大小(使用數(shù)字)
<td colspan=參數(shù)>...</td>指定儲(chǔ)存格合并欄的欄數(shù)(使用數(shù)字)
<td rowspan=參數(shù)>...</td>指定儲(chǔ)存格合并列的列數(shù)(使用數(shù)字)
<!>分割視窗
<frameset cols="20%,*">左右分割,將左邊框架分割大小為20%右邊框架的大小瀏覽器會(huì)自動(dòng)調(diào)整
<frameset rows="20%,*">上下分割,將上面框架分割大小為20%下面框架的大小瀏覽器會(huì)自動(dòng)調(diào)整
<frameset cols="20%,*">分割左右兩個(gè)框架
<frameset cols="20%,*,20%">分割左中右三個(gè)框架
<分割上下兩個(gè)框架
<frameset rows="20%,*,20%">分割上中下三個(gè)框架
<! - - ... - -> 注解
<a href target> 指定超連結(jié)的分割視窗
<a href=#錨的名稱> 指定錨名稱的超連結(jié)
<a href> 指定超連結(jié)
<a name=錨的名稱> 被連結(jié)點(diǎn)的名稱
<address>....</address> 用來顯示電子郵箱地址
<b> 粗體字
<base target> 指定超連結(jié)的分割視窗
<basefont size> 更改預(yù)設(shè)字形大小
<bgsound src> 加入背景音樂
<big> 顯示大字體
<blink> 閃爍的文字
<body text link vlink> 設(shè)定文字顏色
<body> 顯示本文
<br> 換行
<caption align> 設(shè)定表格標(biāo)題位置
<caption>...</caption> 為表格加上標(biāo)題
<center> 向中對(duì)齊
<cite>...<cite> 用於引經(jīng)據(jù)典的文字
<code>...</code> 用於列出一段程式碼
<comment>...</comment> 加上注解
<dd> 設(shè)定定義列表的項(xiàng)目解說
<dfn>...</dfn> 顯示"定義"文字
<dir>...</dir> 列表文字標(biāo)簽
<dl>...</dl> 設(shè)定定義列表的標(biāo)簽
<dt> 設(shè)定定義列表的項(xiàng)目
<em> 強(qiáng)調(diào)之用
<font face> 任意指定所用的字形
<font face> 任意指定所用的字形
<font size> 設(shè)定字體大小
<form action> 設(shè)定戶動(dòng)式表單的處理方式
<form method> 設(shè)定戶動(dòng)式表單之資料傳送方式
<frame marginheight> 設(shè)定視窗的上下邊界
<frame marginwidth> 設(shè)定視窗的左右邊界
<frame name> 為分割視窗命名
<frame noresize> 鎖住分割視窗的大小
<frame scrolling> 設(shè)定分割視窗的卷軸
<frame src> 將html檔加入視窗
<frameset cols> 將視窗分割成左右的子視窗
<frameset rows> 將視窗分割成上下的子視窗
<frameset>...</frameset> 劃分分割視窗
<h1>~<h6> 設(shè)定文字大小
<head> 標(biāo)示文件資訊
<hr> 加上分格線
<html> 文件的開始與結(jié)束
<i> 斜體字
<img align> 調(diào)整圖形影像的位置
<img alt> 為你的圖形影像加注
<img dynsrc loop> 加入影片
<img height width> 插入圖片并預(yù)設(shè)圖形大小
<img hspace> 插入圖片并預(yù)設(shè)圖形的左右邊界
<img lowsrc> 預(yù)載圖片功能
<img src border> 設(shè)定圖片邊界
<img src> 插入圖片
<img vspace> 插入圖片并預(yù)設(shè)圖形的上下邊界
<input type name value> 在表單中加入輸入欄位
<isindex> 定義查詢用表單
<kbd>...</kbd> 表示使用者輸入文字
<li type>...</li> 列表的項(xiàng)目 ( 可指定符號(hào) )
<marquee> 跑馬燈效果
<menu>...</menu> 條列文字標(biāo)簽
<meta name="refresh" content url> 自動(dòng)更新文件內(nèi)容
<multiple> 可同時(shí)選擇多項(xiàng)的列表欄
<noframe> 定義不出現(xiàn)分割視窗的文字
<ol>...</ol> 有序號(hào)的列表
<option> 定義表單中列表欄的項(xiàng)目
<p align> 設(shè)定對(duì)齊方向
<p> 分段
<person>...</person> 顯示人名
<pre> 使用原有排列
<samp>...</samp> 用於引用字
<select>...</select> 在表單中定義列表欄
<small> 顯示小字體
<strike> 文字加橫線
<strong> 用於加強(qiáng)語氣
<sub> 下標(biāo)字
<sup> 上標(biāo)字
<table border=n> 調(diào)整表格的寬線高度
<table cellpadding> 調(diào)整資料欄位之邊界
<table cellspacing> 調(diào)整表格線的寬度
<table height> 調(diào)整表格的高度
<table width> 調(diào)整表格的寬度
<table>...</table> 產(chǎn)生表格的標(biāo)簽
<td align> 調(diào)整表格欄位之左右對(duì)齊
<td bgcolor> 設(shè)定表格欄位之背景顏色
<td colspan rowspan> 表格欄位的合并
<td nowrap> 設(shè)定表格欄位不換行
<td valign> 調(diào)整表格欄位之上下對(duì)齊
<td width> 調(diào)整表格欄位寬度
<td>...</td> 定義表格的資料欄位
<textarea name rows cols> 表單中加入多少列的文字輸入欄
<textarea wrap> 決定文字輸入欄是自動(dòng)否換行
<th>...</th> 定義表格的標(biāo)頭欄位
<title> 文件標(biāo)題
<tr>...</tr> 定義表格美一行
<tt> 打字機(jī)字體
<u> 文字加底線
<ul type>...</ul> 無序號(hào)的列表 ( 可指定符號(hào) )
<var>...</var> 用於顯示變數(shù)
前話
Hello，小伙伴們大家新年好，本篇是今年第一篇，也籌劃許久，本篇主題為美食，系html5網(wǎng)站模板，div加css布局，網(wǎng)頁資源分開存儲(chǔ)以便管理，網(wǎng)頁結(jié)構(gòu)清晰簡(jiǎn)單，希望本篇能夠助力各位萌新
主題
《周末の食記》
美食能撫平一切的憂傷
簡(jiǎn)介
文件結(jié)構(gòu)包含了css、fonts、images、js和html，運(yùn)用html5技術(shù)，包括nav標(biāo)簽、header標(biāo)簽和footer標(biāo)簽等，采用bootstrap進(jìn)行布局
圖摘
目錄
編碼
<div class="ftco-46-row d-flex flex-column flex-lg-row">
<div class="ftco-46-text ftco-46-arrow-right">
<h4 class="ftco-46-subheading">Food</h4>
<h3 class="ftco-46-heading">揚(yáng)州炒飯</h3>
<p class="mb-5">一碗不一樣的炒飯，讓你難以拒絕.</p>
<p><a href="#" class="btn-link">更多 <span class="ion-android-arrow-forward"></span></a></p>
</div>
<div class="ftco-46-image" style="background-image: url(images/img_3.jpg);"></div>
<div class="ftco-46-text ftco-46-arrow-up">
<h4 class="ftco-46-subheading">Food</h4>
<h3 class="ftco-46-heading">藍(lán)莓酸奶冰激凌</h3>
<p class="mb-5">觸動(dòng)您的心靈，令人甜蜜至極，難以忘懷，心曠神怡的味覺享受，精選一級(jí)的夏威夷果仁，入口絲滑</p>
<p><a href="#" class="btn-link">更多 <span class="ion-android-arrow-forward"></span></a></p>
</div>
</div>結(jié)語
如果人的一生總的能量是固定的話，那就節(jié)省開支，延長(zhǎng)時(shí)間，喜怒哀樂不溢于言表，不困于心智，保持樂觀心態(tài)
*請(qǐng)認(rèn)真填寫需求信息，我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。
