寫個(gè)網(wǎng)頁(yè)更簡(jiǎn)單了！讓AI根據(jù)手繪原型生成HTML - 教程+代碼

小新編譯自 Insight Data Blog

量子位出品 | 公眾號(hào) QbitAI

寫個(gè)網(wǎng)頁(yè)能有多麻煩？在大多數(shù)公司里，這項(xiàng)工作分為三步：

1. 產(chǎn)品經(jīng)理完成用戶調(diào)研任務(wù)后，列出一系列技術(shù)要求；

2. 設(shè)計(jì)師根據(jù)這些要求來設(shè)計(jì)低保真原型，逐漸修改得到高保真原型和UI設(shè)計(jì)圖；

3. 工程師將這些設(shè)計(jì)圖實(shí)現(xiàn)為代碼，最終變成用戶使用的產(chǎn)品。

這么多環(huán)節(jié)，任何地方出一點(diǎn)問題，都會(huì)拉長(zhǎng)開發(fā)周期。因此，不少公司，比如Airbnb已經(jīng)開始用機(jī)器學(xué)習(xí)來提高這個(gè)過程的效率。

△ Airbnb內(nèi)部的AI工具，從圖紙到代碼一步到位

看起來很美好，但Airbnb還沒公開該模型中端到端訓(xùn)練的細(xì)節(jié)，以及手工設(shè)計(jì)的圖像特征對(duì)該模型的貢獻(xiàn)度。這是該公司特有的閉源解決方案專利，可能不會(huì)進(jìn)行公開。

好在，一個(gè)叫Ashwin Kumar的程序員創(chuàng)建了一個(gè)開源版本，讓開發(fā)者/設(shè)計(jì)師的工作變得更簡(jiǎn)單。

以下內(nèi)容翻譯自他的博客：

理想上，這個(gè)模型可以根據(jù)網(wǎng)站設(shè)計(jì)的簡(jiǎn)單手繪原型，很快地生成一個(gè)可用的HTML網(wǎng)站：

△ SketchCode模型利用手繪線框圖來生成HTML網(wǎng)站

事實(shí)上，上面例子就是利用訓(xùn)練好的模型在測(cè)試集上生成的一個(gè)實(shí)際網(wǎng)站，代碼請(qǐng)?jiān)L問：https://github.com/ashnkumar/sketch-code。

從圖像標(biāo)注中獲取靈感

目前要解決的問題屬于一種更廣泛的任務(wù)，叫做程序綜合（program synthesis），即自動(dòng)生成工作源代碼。盡管很多程序綜合研究通過自然語(yǔ)言規(guī)范或執(zhí)行追蹤法來生成代碼，但在當(dāng)前任務(wù)中，我會(huì)充分利用源圖像，即給出的手繪線框圖來展開工作。

在機(jī)器學(xué)習(xí)中有一個(gè)十分熱門的研究領(lǐng)域，稱為圖像標(biāo)注（image caption），目的是構(gòu)建一種把圖像和文本連接在一起的模型，特別是用于生成源圖像內(nèi)容的描述。

△ 圖像標(biāo)注模型生成源圖像的文本描述

我從一篇pix2code論文和另一個(gè)應(yīng)用這種方法的相關(guān)項(xiàng)目中獲得靈感，決定把我的任務(wù)按照?qǐng)D像標(biāo)注方式來實(shí)現(xiàn)，把繪制的網(wǎng)站線框圖作為輸入圖像，并將其相應(yīng)的HTML代碼作為其輸出內(nèi)容。

注：上段提到的兩個(gè)參考項(xiàng)目分別是

pix2code論文：https://arxiv.org/abs/1705.07962

floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

獲取合適的數(shù)據(jù)集

確定圖像標(biāo)注方法后，理想中使用的訓(xùn)練數(shù)據(jù)集會(huì)包含成千上萬(wàn)對(duì)手繪線框圖和對(duì)應(yīng)的HTML輸出代碼。但是，目前還沒有我想要的相關(guān)數(shù)據(jù)集，我只好為這個(gè)任務(wù)來創(chuàng)建數(shù)據(jù)集。

最開始，我嘗試了pix2code論文給出的開源數(shù)據(jù)集，該數(shù)據(jù)集由1750張綜合生成網(wǎng)站的截圖及其相應(yīng)源代碼組成。

△ pix2code數(shù)據(jù)集中的生成網(wǎng)站圖片和源代碼

這是一個(gè)很好的數(shù)據(jù)集，有幾個(gè)有趣的地方：

該數(shù)據(jù)集中的每個(gè)生成網(wǎng)站都包含幾個(gè)簡(jiǎn)單的輔助程序元素，如按鈕、文本框和DIV對(duì)象。盡管這意味著這個(gè)模型受限于將這些少數(shù)元素作為它的輸出內(nèi)容，但是這些元素可通過選擇生成網(wǎng)絡(luò)來修改和擴(kuò)展。這種方法應(yīng)該很容易地推廣到更大的元素詞匯表。
每個(gè)樣本的源代碼都是由領(lǐng)域?qū)Ｓ谜Z(yǔ)言（DSL）的令牌組成，這是該論文作者為該任務(wù)所創(chuàng)建的。每個(gè)令牌對(duì)應(yīng)于HTML和CSS的一個(gè)片段，且加入編譯器把DSL轉(zhuǎn)換為運(yùn)行的HTML代碼。

彩色網(wǎng)站圖像變手繪圖

為了修改我的任務(wù)數(shù)據(jù)集，我要讓網(wǎng)站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫(kù)和PIL庫(kù)等工具對(duì)每張圖像進(jìn)行修改，包括灰度轉(zhuǎn)換和輪廓檢測(cè)。

最終，我決定直接修改原始網(wǎng)站的CSS樣式表，通過執(zhí)行以下操作：

1. 更改頁(yè)面上元素的邊框半徑來平滑按鈕和DIV對(duì)象的邊緣；

2. 模仿繪制的草圖來調(diào)整邊框的粗細(xì)，并添加陰影；

3. 將原有字體更改為類似手寫的字體；

最終實(shí)現(xiàn)的流程中還增加了一個(gè)步驟，通過添加傾斜、移動(dòng)和旋轉(zhuǎn)來實(shí)現(xiàn)圖像增強(qiáng)，來模擬實(shí)際繪制草圖中的變化。

使用圖像標(biāo)注模型架構(gòu)

現(xiàn)在，我已經(jīng)處理好數(shù)據(jù)集，接下來是構(gòu)建模型。

我利用了圖像標(biāo)注中使用的模型架構(gòu)，該架構(gòu)由三個(gè)主要部分組成：

1. 一種使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的計(jì)算機(jī)視覺模型，從源圖像提取圖像特征；

2. 一種包含門控單元GRU的語(yǔ)言模型，對(duì)源代碼令牌序列進(jìn)行編碼；

3. 一個(gè)解碼器模型，也屬于GRU單元，把前兩個(gè)步驟的輸出作為輸入，并預(yù)測(cè)序列中的下一個(gè)令牌。

△ 以令牌序列為輸入來訓(xùn)練模型

為了訓(xùn)練模型，我將源代碼拆分為令牌序列。模型的輸入為單個(gè)部分序列及它的源圖像，其標(biāo)簽是文本中的下一個(gè)令牌。該模型使用交叉熵函數(shù)作為損失函數(shù)，將模型的下個(gè)預(yù)測(cè)令牌與實(shí)際的下個(gè)令牌進(jìn)行比較。

在模型從頭開始生成代碼的過程中，該推理方式稍有不同。圖像仍然通過CNN網(wǎng)絡(luò)進(jìn)行處理，但文本處理開始時(shí)僅采用一個(gè)啟動(dòng)序列。在每個(gè)步驟中，模型對(duì)序列中輸出的下個(gè)預(yù)測(cè)令牌將會(huì)添加到當(dāng)前輸入序列，并作為新的輸入序列送到模型中；重復(fù)此操作直到模型的預(yù)測(cè)令牌為，或該過程達(dá)到每個(gè)文本中令牌數(shù)目的預(yù)定義值。

當(dāng)模型生成一組預(yù)測(cè)令牌后，編譯器就會(huì)將DSL令牌轉(zhuǎn)換為HTML代碼，這些HTML代碼可以在任何瀏覽器中運(yùn)行。

用BLEU分?jǐn)?shù)評(píng)估模型

我決定使用BLEU分?jǐn)?shù)來評(píng)估模型。這是機(jī)器翻譯任務(wù)中常用的一種度量標(biāo)準(zhǔn)，通過在給定相同輸入的情況下，衡量機(jī)器生成的文本與人類可能產(chǎn)生內(nèi)容的近似程度。

實(shí)際上，BLEU通過比較生成文本和參考文本的N元序列，以創(chuàng)建修改后的準(zhǔn)確版本。它非常適用于這個(gè)項(xiàng)目，因?yàn)樗鼤?huì)影響生成HTML代碼中的實(shí)際元素，以及它們之間的相互關(guān)系。

最棒的是，我還可以通過檢查生成的網(wǎng)站來比較當(dāng)前的實(shí)際BLEU分?jǐn)?shù)。

△ 觀察BLEU分?jǐn)?shù)

當(dāng)BLEU分?jǐn)?shù)為1.0時(shí)，則說明給定源圖像后該模型能在正確位置設(shè)置合適的元素，而較低的BLEU分?jǐn)?shù)這說明模型預(yù)測(cè)了錯(cuò)誤元素或是把它們放在相對(duì)不合適的位置。我們最終模型在評(píng)估數(shù)據(jù)集上的BLEU分?jǐn)?shù)為0.76。

福利：定制網(wǎng)頁(yè)風(fēng)格

后來，我還想到，由于該模型只生成當(dāng)前頁(yè)面的框架，即文本的令牌，因此我可以在編譯過程中添加一個(gè)定制的CSS層，并立刻得到不同風(fēng)格的生成網(wǎng)站。

△ 一個(gè)手繪圖生成多種風(fēng)格的網(wǎng)頁(yè)

把風(fēng)格定制和模型生成兩個(gè)過程分開，在使用模型時(shí)帶來了很多好處：

1.如果想要將SketchCode模型應(yīng)用到自己公司的產(chǎn)品中，前端工程師可以直接使用該模型，只需更改一個(gè)CSS文件來匹配該公司的網(wǎng)頁(yè)設(shè)計(jì)風(fēng)格；

2. 該模型內(nèi)置的可擴(kuò)展性，即通過單一源圖像，模型可以迅速編譯出多種不同的預(yù)定義風(fēng)格，因此用戶可以設(shè)想出多種可能的網(wǎng)站風(fēng)格，并在瀏覽器中瀏覽這些生成網(wǎng)頁(yè)。

總結(jié)和展望

受到圖像標(biāo)注研究的啟發(fā)，SketchCode模型能夠在幾秒鐘內(nèi)將手繪網(wǎng)站線框圖轉(zhuǎn)換為可用的HTML網(wǎng)站。

但是，該模型還存在一些問題，這也是我接下來可能的工作方向：

1. 由于這個(gè)模型只使用了16個(gè)元素進(jìn)行訓(xùn)練，所以它不能預(yù)測(cè)這些數(shù)據(jù)以外的令牌。下一步方向可能是使用更多元素來生成更多的網(wǎng)站樣本，包括網(wǎng)站圖片，下拉菜單和窗體，可參考啟動(dòng)程序組件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；

2. 在實(shí)際網(wǎng)站構(gòu)建中，存在很多變化。創(chuàng)建一個(gè)能更好反映這種變化的訓(xùn)練集，是提高生成效果的一種好方法，可以通過獲取更多網(wǎng)站的HTML/CSS代碼以及內(nèi)容截圖來提高；

3. 手繪圖紙也存在很多CSS修改技巧無(wú)法捕捉到的變化。解決這個(gè)問題的一種好方法是使用生成對(duì)抗網(wǎng)絡(luò)GAN來創(chuàng)建更逼真的繪制網(wǎng)站圖像。

一，正方形

<html>
<body>
<h1>有趣的前端圖形</h1>
<div id="square">
</div>
<style>
 #square {
 width: 100px;
 height: 100px;
 background: red;
 }
</style>
</body>
</html>

好了，現(xiàn)在點(diǎn)擊使用瀏覽器打開上面的文件，是不是看到了下面的圖像呢：

如果你已經(jīng)看到了上面的圖像，那么恭喜你，你可以繼續(xù)往下看下去了，下面有更多有趣的圖形等著你哦。

二、圓形

將下面的代碼放到<style></style>中，并把<div>中的id改為circle

#circle {
 width: 100px;
 height: 100px;
 background: red;
 -moz-border-radius: 50px;
 -webkit-border-radius: 50px;
 border-radius: 50px;
}

你就得到了一個(gè)可愛的圓：

當(dāng)然顏色啥的，可以隨便改啊~

三、橢圓

#oval {
 width: 200px;
 height: 100px;
 background: red;
 -moz-border-radius: 100px / 50px;
 -webkit-border-radius: 100px / 50px;
 border-radius: 100px / 50px;
}

結(jié)果如下：

四、三角形

正三角：

#triangle-up {
 width: 0;
 height: 0;
 border-left: 50px solid transparent;
 border-right: 50px solid transparent;
 border-bottom: 100px solid red;
}

倒三角：

#triangle-down {
 width: 0;
 height: 0;
 border-left: 50px solid transparent;
 border-right: 50px solid transparent;
 border-top: 100px solid red;
}

五、五角星

#star-five {
 margin: 50px 0;
 position: relative;
 display: block;
 color: red;
 width: 0px;
 height: 0px;
 border-right: 100px solid transparent;
 border-bottom: 70px solid red;
 border-left: 100px solid transparent;
 -moz-transform: rotate(35deg);
 -webkit-transform: rotate(35deg);
 -ms-transform: rotate(35deg);
 -o-transform: rotate(35deg);
}
#star-five:before {
 border-bottom: 80px solid red;
 border-left: 30px solid transparent;
 border-right: 30px solid transparent;
 position: absolute;
 height: 0;
 width: 0;
 top: -45px;
 left: -65px;
 display: block;
 content: '';
 -webkit-transform: rotate(-35deg);
 -moz-transform: rotate(-35deg);
 -ms-transform: rotate(-35deg);
 -o-transform: rotate(-35deg);
 
}
#star-five:after {
 position: absolute;
 display: block;
 color: red;
 top: 3px;
 left: -105px;
 width: 0px;
 height: 0px;
 border-right: 100px solid transparent;
 border-bottom: 70px solid red;
 border-left: 100px solid transparent;
 -webkit-transform: rotate(-70deg);
 -moz-transform: rotate(-70deg);
 -ms-transform: rotate(-70deg);
 -o-transform: rotate(-70deg);
 content: '';
}

結(jié)果：

六、六角星

#star-six {
 width: 0;
 height: 0;
 border-left: 50px solid transparent;
 border-right: 50px solid transparent;
 border-bottom: 100px solid red;
 position: relative;
}
#star-six:after {
 width: 0;
 height: 0;
 border-left: 50px solid transparent;
 border-right: 50px solid transparent;
 border-top: 100px solid red;
 position: absolute;
 content: "";
 top: 30px;
 left: -50px;
}

七、無(wú)窮符號(hào)

長(zhǎng)這樣：

#infinity {
 position: relative;
 width: 212px;
 height: 100px;
}
 
#infinity:before,
#infinity:after {
 content: "";
 position: absolute;
 top: 0;
 left: 0;
 width: 60px;
 height: 60px;
 border: 20px solid red;
 -moz-border-radius: 50px 50px 0 50px;
 border-radius: 50px 50px 0 50px;
 -webkit-transform: rotate(-45deg);
 -moz-transform: rotate(-45deg);
 -ms-transform: rotate(-45deg);
 -o-transform: rotate(-45deg);
 transform: rotate(-45deg);
}
 
#infinity:after {
 left: auto;
 right: 0;
 -moz-border-radius: 50px 50px 50px 0;
 border-radius: 50px 50px 50px 0;
 -webkit-transform: rotate(45deg);
 -moz-transform: rotate(45deg);
 -ms-transform: rotate(45deg);
 -o-transform: rotate(45deg);
 transform: rotate(45deg);
}

八、心形~~

最后來一個(gè)愛你的形狀吧~~~~

心形~~~

先放最終結(jié)果：

代碼：

#heart {
 position: relative;
 width: 100px;
 height: 90px;
}
#heart:before,
#heart:after {
 position: absolute;
 content: "";
 left: 50px;
 top: 0;
 width: 50px;
 height: 80px;
 background: red;
 -moz-border-radius: 50px 50px 0 0;
 border-radius: 50px 50px 0 0;
 -webkit-transform: rotate(-45deg);
 -moz-transform: rotate(-45deg);
 -ms-transform: rotate(-45deg);
 -o-transform: rotate(-45deg);
 transform: rotate(-45deg);
 -webkit-transform-origin: 0 100%;
 -moz-transform-origin: 0 100%;
 -ms-transform-origin: 0 100%;
 -o-transform-origin: 0 100%;
 transform-origin: 0 100%;
}
#heart:after {
 left: 0;
 -webkit-transform: rotate(45deg);
 -moz-transform: rotate(45deg);
 -ms-transform: rotate(45deg);
 -o-transform: rotate(45deg);
 transform: rotate(45deg);
 -webkit-transform-origin: 100% 100%;
 -moz-transform-origin: 100% 100%;
 -ms-transform-origin: 100% 100%;
 -o-transform-origin: 100% 100%;
 transform-origin :100% 100%;
}

更多好玩的圖形，盡在hello程序媛哦~~

當(dāng)然，上面的代碼我也已經(jīng)整理好啦，需要的童鞋可以私信我領(lǐng)取代碼呀。

另外，不懂如何使用電腦自帶的記事本編輯html的小伙伴，也可以私信問我哦，我一定知無(wú)不答答無(wú)不盡~~

SS的強(qiáng)大和精妙，只有在認(rèn)真研讀其代碼之后才會(huì)深刻明白。

今日繼續(xù)用純CSS畫圖，并給大家整理了本文中所有代碼，需要的小伙伴可以私信我哦。

一、陰陽(yáng)

首先，用CSS畫一個(gè)陰陽(yáng)圖，如下：

代碼也很簡(jiǎn)單：

#yin-yang {
 width: 96px;
 height: 48px;
 background: #eee;
 border-color: red;
 border-style: solid;
 border-width: 2px 2px 50px 2px;
 border-radius: 100%;
 position: relative;
}
 
#yin-yang:before {
 content: "";
 position: absolute;
 top: 50%;
 left: 0;
 background: #eee;
 border: 18px solid red;
 border-radius: 100%;
 width: 12px;
 height: 12px;
}
 
#yin-yang:after {
 content: "";
 position: absolute;
 top: 50%;
 left: 50%;
 background: red;
 border: 18px solid #eee;
 border-radius:100%;
 width: 12px;
 height: 12px;
}

當(dāng)然，顏色什么的，可以隨便改啦~

二、雞蛋

再畫一個(gè)可愛的雞蛋~~~像這樣：

代碼僅僅幾句話：

#egg {
 display:block;
 width: 126px;
 height: 180px;
 background-color: red;
 -webkit-border-radius: 63px 63px 63px 63px / 108px 108px 72px 72px;
 border-radius: 50% 50% 50% 50% / 60% 60% 40% 40%;
}

三、最后畫一個(gè)彎彎的月亮~

長(zhǎng)這樣：

代碼非常非常少：

#moon {

width: 80px;

height: 80px;

border-radius: 50%;

box-shadow: 15px 15px 0 0 red;

}

是不是很神奇？不敢相信這幾句代碼居然有這樣的功力？

那就打開電腦，按照我之前講的方法創(chuàng)建一個(gè)html試試吧~

不知道怎么創(chuàng)建的小伙伴看這里>>css3制作圖形大全：簡(jiǎn)單幾句代碼畫出漂亮的圖形，一起來看看吧~

在線咨詢

上一篇：一個(gè)簡(jiǎn)單的CSS屬性助你實(shí)現(xiàn)頁(yè)面的等比例縮放，快來學(xué)習(xí)一下吧
下一篇：基于Bootstrap v3.3.7的后臺(tái)HTML模板

您的項(xiàng)目需求

*請(qǐng)認(rèn)真填寫需求信息，我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。

整合營(yíng)銷服務(wù)商