寫個(gè)網(wǎng)頁更簡單了！讓AI根據(jù)手繪原型生成HTML - 教程+代碼

小新編譯自 Insight Data Blog

量子位出品 | 公眾號 QbitAI

寫個(gè)網(wǎng)頁能有多麻煩？在大多數(shù)公司里，這項(xiàng)工作分為三步：

1. 產(chǎn)品經(jīng)理完成用戶調(diào)研任務(wù)后，列出一系列技術(shù)要求；

2. 設(shè)計(jì)師根據(jù)這些要求來設(shè)計(jì)低保真原型，逐漸修改得到高保真原型和UI設(shè)計(jì)圖；

3. 工程師將這些設(shè)計(jì)圖實(shí)現(xiàn)為代碼，最終變成用戶使用的產(chǎn)品。

這么多環(huán)節(jié)，任何地方出一點(diǎn)問題，都會拉長開發(fā)周期。因此，不少公司，比如Airbnb已經(jīng)開始用機(jī)器學(xué)習(xí)來提高這個(gè)過程的效率。

△ Airbnb內(nèi)部的AI工具，從圖紙到代碼一步到位

看起來很美好，但Airbnb還沒公開該模型中端到端訓(xùn)練的細(xì)節(jié)，以及手工設(shè)計(jì)的圖像特征對該模型的貢獻(xiàn)度。這是該公司特有的閉源解決方案專利，可能不會進(jìn)行公開。

好在，一個(gè)叫Ashwin Kumar的程序員創(chuàng)建了一個(gè)開源版本，讓開發(fā)者/設(shè)計(jì)師的工作變得更簡單。

以下內(nèi)容翻譯自他的博客：

理想上，這個(gè)模型可以根據(jù)網(wǎng)站設(shè)計(jì)的簡單手繪原型，很快地生成一個(gè)可用的HTML網(wǎng)站：

△ SketchCode模型利用手繪線框圖來生成HTML網(wǎng)站

事實(shí)上，上面例子就是利用訓(xùn)練好的模型在測試集上生成的一個(gè)實(shí)際網(wǎng)站，代碼請?jiān)L問：https://github.com/ashnkumar/sketch-code。

從圖像標(biāo)注中獲取靈感

目前要解決的問題屬于一種更廣泛的任務(wù)，叫做程序綜合（program synthesis），即自動(dòng)生成工作源代碼。盡管很多程序綜合研究通過自然語言規(guī)范或執(zhí)行追蹤法來生成代碼，但在當(dāng)前任務(wù)中，我會充分利用源圖像，即給出的手繪線框圖來展開工作。

在機(jī)器學(xué)習(xí)中有一個(gè)十分熱門的研究領(lǐng)域，稱為圖像標(biāo)注（image caption），目的是構(gòu)建一種把圖像和文本連接在一起的模型，特別是用于生成源圖像內(nèi)容的描述。

△ 圖像標(biāo)注模型生成源圖像的文本描述

我從一篇pix2code論文和另一個(gè)應(yīng)用這種方法的相關(guān)項(xiàng)目中獲得靈感，決定把我的任務(wù)按照圖像標(biāo)注方式來實(shí)現(xiàn)，把繪制的網(wǎng)站線框圖作為輸入圖像，并將其相應(yīng)的HTML代碼作為其輸出內(nèi)容。

注：上段提到的兩個(gè)參考項(xiàng)目分別是

pix2code論文：https://arxiv.org/abs/1705.07962

floydhub教程：https://blog.floydhub.com/turning-design-mockups-into-code-with-deep-learning/?source=techstories.org

獲取合適的數(shù)據(jù)集

確定圖像標(biāo)注方法后，理想中使用的訓(xùn)練數(shù)據(jù)集會包含成千上萬對手繪線框圖和對應(yīng)的HTML輸出代碼。但是，目前還沒有我想要的相關(guān)數(shù)據(jù)集，我只好為這個(gè)任務(wù)來創(chuàng)建數(shù)據(jù)集。

最開始，我嘗試了pix2code論文給出的開源數(shù)據(jù)集，該數(shù)據(jù)集由1750張綜合生成網(wǎng)站的截圖及其相應(yīng)源代碼組成。

△ pix2code數(shù)據(jù)集中的生成網(wǎng)站圖片和源代碼

這是一個(gè)很好的數(shù)據(jù)集，有幾個(gè)有趣的地方：

該數(shù)據(jù)集中的每個(gè)生成網(wǎng)站都包含幾個(gè)簡單的輔助程序元素，如按鈕、文本框和DIV對象。盡管這意味著這個(gè)模型受限于將這些少數(shù)元素作為它的輸出內(nèi)容，但是這些元素可通過選擇生成網(wǎng)絡(luò)來修改和擴(kuò)展。這種方法應(yīng)該很容易地推廣到更大的元素詞匯表。
每個(gè)樣本的源代碼都是由領(lǐng)域?qū)Ｓ谜Z言（DSL）的令牌組成，這是該論文作者為該任務(wù)所創(chuàng)建的。每個(gè)令牌對應(yīng)于HTML和CSS的一個(gè)片段，且加入編譯器把DSL轉(zhuǎn)換為運(yùn)行的HTML代碼。

彩色網(wǎng)站圖像變手繪圖

為了修改我的任務(wù)數(shù)據(jù)集，我要讓網(wǎng)站圖像看起來像手工繪制出的。我嘗試使用Python中的OpenCV庫和PIL庫等工具對每張圖像進(jìn)行修改，包括灰度轉(zhuǎn)換和輪廓檢測。

最終，我決定直接修改原始網(wǎng)站的CSS樣式表，通過執(zhí)行以下操作：

1. 更改頁面上元素的邊框半徑來平滑按鈕和DIV對象的邊緣；

2. 模仿繪制的草圖來調(diào)整邊框的粗細(xì)，并添加陰影；

3. 將原有字體更改為類似手寫的字體；

最終實(shí)現(xiàn)的流程中還增加了一個(gè)步驟，通過添加傾斜、移動(dòng)和旋轉(zhuǎn)來實(shí)現(xiàn)圖像增強(qiáng)，來模擬實(shí)際繪制草圖中的變化。

使用圖像標(biāo)注模型架構(gòu)

現(xiàn)在，我已經(jīng)處理好數(shù)據(jù)集，接下來是構(gòu)建模型。

我利用了圖像標(biāo)注中使用的模型架構(gòu)，該架構(gòu)由三個(gè)主要部分組成：

1. 一種使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的計(jì)算機(jī)視覺模型，從源圖像提取圖像特征；

2. 一種包含門控單元GRU的語言模型，對源代碼令牌序列進(jìn)行編碼；

3. 一個(gè)解碼器模型，也屬于GRU單元，把前兩個(gè)步驟的輸出作為輸入，并預(yù)測序列中的下一個(gè)令牌。

△ 以令牌序列為輸入來訓(xùn)練模型

為了訓(xùn)練模型，我將源代碼拆分為令牌序列。模型的輸入為單個(gè)部分序列及它的源圖像，其標(biāo)簽是文本中的下一個(gè)令牌。該模型使用交叉熵函數(shù)作為損失函數(shù)，將模型的下個(gè)預(yù)測令牌與實(shí)際的下個(gè)令牌進(jìn)行比較。

在模型從頭開始生成代碼的過程中，該推理方式稍有不同。圖像仍然通過CNN網(wǎng)絡(luò)進(jìn)行處理，但文本處理開始時(shí)僅采用一個(gè)啟動(dòng)序列。在每個(gè)步驟中，模型對序列中輸出的下個(gè)預(yù)測令牌將會添加到當(dāng)前輸入序列，并作為新的輸入序列送到模型中；重復(fù)此操作直到模型的預(yù)測令牌為，或該過程達(dá)到每個(gè)文本中令牌數(shù)目的預(yù)定義值。

當(dāng)模型生成一組預(yù)測令牌后，編譯器就會將DSL令牌轉(zhuǎn)換為HTML代碼，這些HTML代碼可以在任何瀏覽器中運(yùn)行。

用BLEU分?jǐn)?shù)評估模型

我決定使用BLEU分?jǐn)?shù)來評估模型。這是機(jī)器翻譯任務(wù)中常用的一種度量標(biāo)準(zhǔn)，通過在給定相同輸入的情況下，衡量機(jī)器生成的文本與人類可能產(chǎn)生內(nèi)容的近似程度。

實(shí)際上，BLEU通過比較生成文本和參考文本的N元序列，以創(chuàng)建修改后的準(zhǔn)確版本。它非常適用于這個(gè)項(xiàng)目，因?yàn)樗鼤绊懮蒆TML代碼中的實(shí)際元素，以及它們之間的相互關(guān)系。

最棒的是，我還可以通過檢查生成的網(wǎng)站來比較當(dāng)前的實(shí)際BLEU分?jǐn)?shù)。

△ 觀察BLEU分?jǐn)?shù)

當(dāng)BLEU分?jǐn)?shù)為1.0時(shí)，則說明給定源圖像后該模型能在正確位置設(shè)置合適的元素，而較低的BLEU分?jǐn)?shù)這說明模型預(yù)測了錯(cuò)誤元素或是把它們放在相對不合適的位置。我們最終模型在評估數(shù)據(jù)集上的BLEU分?jǐn)?shù)為0.76。

福利：定制網(wǎng)頁風(fēng)格

后來，我還想到，由于該模型只生成當(dāng)前頁面的框架，即文本的令牌，因此我可以在編譯過程中添加一個(gè)定制的CSS層，并立刻得到不同風(fēng)格的生成網(wǎng)站。

△ 一個(gè)手繪圖生成多種風(fēng)格的網(wǎng)頁

把風(fēng)格定制和模型生成兩個(gè)過程分開，在使用模型時(shí)帶來了很多好處：

1.如果想要將SketchCode模型應(yīng)用到自己公司的產(chǎn)品中，前端工程師可以直接使用該模型，只需更改一個(gè)CSS文件來匹配該公司的網(wǎng)頁設(shè)計(jì)風(fēng)格；

2. 該模型內(nèi)置的可擴(kuò)展性，即通過單一源圖像，模型可以迅速編譯出多種不同的預(yù)定義風(fēng)格，因此用戶可以設(shè)想出多種可能的網(wǎng)站風(fēng)格，并在瀏覽器中瀏覽這些生成網(wǎng)頁。

總結(jié)和展望

受到圖像標(biāo)注研究的啟發(fā)，SketchCode模型能夠在幾秒鐘內(nèi)將手繪網(wǎng)站線框圖轉(zhuǎn)換為可用的HTML網(wǎng)站。

但是，該模型還存在一些問題，這也是我接下來可能的工作方向：

1. 由于這個(gè)模型只使用了16個(gè)元素進(jìn)行訓(xùn)練，所以它不能預(yù)測這些數(shù)據(jù)以外的令牌。下一步方向可能是使用更多元素來生成更多的網(wǎng)站樣本，包括網(wǎng)站圖片，下拉菜單和窗體，可參考啟動(dòng)程序組件（https://getbootstrap.com/docs/4.0/components/buttons/）來獲得思路；

2. 在實(shí)際網(wǎng)站構(gòu)建中，存在很多變化。創(chuàng)建一個(gè)能更好反映這種變化的訓(xùn)練集，是提高生成效果的一種好方法，可以通過獲取更多網(wǎng)站的HTML/CSS代碼以及內(nèi)容截圖來提高；

3. 手繪圖紙也存在很多CSS修改技巧無法捕捉到的變化。解決這個(gè)問題的一種好方法是使用生成對抗網(wǎng)絡(luò)GAN來創(chuàng)建更逼真的繪制網(wǎng)站圖像。

相關(guān)地址

代碼：https://github.com/ashnkumar/sketch-code

原文：https://blog.insightdatascience.com/automated-front-end-development-using-deep-learning-3169dd086e82

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請?jiān)诹孔游还娞?QbitAI)對話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號簽約作者

?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)

avaScript - Prototype

JavaScript是一門動(dòng)態(tài)語言, 你可以在任何時(shí)候向?qū)ο笊咸砑訉傩?如下

function Student() {
 this.name = 'LeBron James';
 this.gender = 'Male';
 }
 var studObj1 = new Student();
 studObj1.age = 15;
 alert(studObj1.age); // 15
 var studObj2 = new Student();
 alert(studObj2.age); // undefined

正如上面的實(shí)例, age 屬性附加在 studObj1 實(shí)例上. 然而 studObj2 實(shí)例沒有這個(gè)屬性, 因?yàn)?age 屬性只在 studObj1 實(shí)例上定義了.

那么, 如果想在后期添加一個(gè)屬性且能被所有的實(shí)例所共享, 該怎么辦? 答案這就今天主角 Prototype.

Prototype 是一個(gè)對象, 默認(rèn)情況下與JavaScript中的任何一個(gè)函數(shù)或?qū)ο笥嘘P(guān), 只是唯一區(qū)別在于函數(shù)的prototype 屬性是可訪問和可修改的，而對象的prototype屬性是不可見的.

默認(rèn)情況下任何一個(gè)函數(shù)包含 Prototype 對象, 如下圖:

prototype 對象是一種特殊類型的可枚舉對象, 可以將需要附加屬添加到其上，這些屬性將在其構(gòu)造函數(shù)的所有實(shí)例之間共享。

我自己是一名從事了多年開發(fā)的web前端老程序員，目前辭職在做自己的web前端私人定制課程，今年年初我花了一個(gè)月整理了一份最適合2019年學(xué)習(xí)的web前端學(xué)習(xí)干貨，各種框架都有整理，送給每一位前端小伙伴，想要獲取的可以關(guān)注我的頭條號并在后臺私信我：前端，即可免費(fèi)獲取。

因此, 把上面的示例中使用函數(shù)的 prototype 來添加屬性,以便于所有對象中都可以訪問到, 如下:

function Student() {
 this.name = 'LeBron James';
 this.gender = 'M';
 }
 Student.prototype.age = 15;
 var studObj1 = new Student();
 alert(studObj1.age); // 15
 var studObj2 = new Student();
 alert(studObj2.age); // 15

使用字面量或通過 new關(guān)鍵字和構(gòu)造函數(shù) 的方式創(chuàng)建的每一個(gè)對象都包含 __proto__ 屬性, 該屬性指向創(chuàng)建此對象的函數(shù)的原型對象.

你可以在谷歌和火狐開發(fā)者調(diào)試工具中查看該屬性(__proto__) , 根據(jù)下面的示例:

function Student() {
 this.name = 'LeBron James';
 this.gender = 'M';
 }
 var studObj = new Student();
 console.log(Student.prototype); // object
 console.log(studObj.prototype); // undefined
 console.log(studObj.__proto__); // object
 console.log(typeof Student.prototype); // object
 console.log(typeof studObj.__proto__); // object
 console.log(Student.prototype === studObj.__proto__ ); // true

正如上面例子看到, 函數(shù)通過 [[函數(shù)名稱]].prototype 方式訪問到原型對象. 但是, 對象(實(shí)例)并沒有暴露出 prototype 屬性，而是使用 __proto__ 來訪問它.

Object 對象的原型

前面提及到, 原型對象在對象中是不可見. 使用 Object.getPrototypeOf(obj) 方法來訪問實(shí)例的原型對象. (這也是推薦方式, __proto__ 并不是標(biāo)準(zhǔn)屬性, 在IE11以下其它瀏覽器中沒有實(shí)現(xiàn)).

function Student() {
 this.name = 'LeBron James';
 this.gender = 'M';
 }
 var studObj = new Student();
 Student.prototype.sayHi= function(){
 alert("Hi");
 };
 var studObj1 = new Student();
 var proto = Object.getPrototypeOf(studObj1); 
 // returns Student's prototype object
 
 alert(proto.constructor); 
 // returns Student function

Object 原型對象包含如下屬性和方法

屬性描述constructor返回創(chuàng)建該實(shí)例的構(gòu)造函數(shù)__proto__指向創(chuàng)建該實(shí)例的構(gòu)造函數(shù)的原型對象.方法描述hasOwnProperty()返回一個(gè)布爾值，指示對象是否包含指定的屬性作為該對象的直接屬性，而不是通過原型鏈繼承。isPrototypeOf()返回一個(gè)布爾值，指示指定的對象是否位于調(diào)用此方法的對象的原型鏈中。propertyIsEnumerable()返回一個(gè)布爾值，該布爾值指示指定的屬性是否可枚舉。toLocaleString()返回本地格式的字符串.toString()返回對象字符串形式.valueOf()返回指定對象的原始值.

Chrome 和 Firfox 將對象的原型表示為 __proto__, 而內(nèi)部引用為 [[Prototype]]. IE不支持,只有IE11包含它.

修改原型

如上所述, 每個(gè)對象都能鏈接到函數(shù)的原型對象. 如果您更改了函數(shù)的原型, 則只有新對象將鏈接到更改后的原型. 所有其他現(xiàn)有對象仍然鏈接到舊的函數(shù)原型. 下面實(shí)例來演示這個(gè)場景:

function Student() {
 this.name = 'LeBron James';
 this.gender = 'M';
 }
 Student.prototype.age = 15;
 var studObj1 = new Student();
 alert('studObj1.age = ' + studObj1.age); // 15
 var studObj2 = new Student();
 alert('studObj2.age = ' + studObj2.age); // 15
 Student.prototype = { age : 20 };
 var studObj3 = new Student();
 alert('studObj3.age = ' + studObj3.age); // 20
 alert('studObj1.age = ' + studObj1.age); // 15
 alert('studObj2.age = ' + studObj2.age); // 15

使用原型

原型對象被JavaScript引擎用來做兩件事:

查找對象的屬性和方法在JavaScript中實(shí)現(xiàn)繼承

function Student() {
 this.name = 'LeBron James';
 this.gender = 'M';
 }
 Student.prototype.sayHi = function(){
 alert("Hi");
 };
 var studObj = new Student();
 studObj.toString();

在上面的示例, toString() 方法在 Student 中沒有定義, 那么它是如何以及從哪里找到 toString() 的呢?

在這里，原型出現(xiàn)了. 首先, JavaScript 引擎檢查 studObj 是否存在 toString 方法?. 如果沒有找到,那么它使用 studObj 的 __proto__ 鏈接指向 Student函數(shù) 的原型對象. 如果它仍然無法找到它那么它會在往上層并檢查 Object 函數(shù)的原型對象,因?yàn)樗袑ο蠖际菑?JavaScript 中的 Object 派生的,并查找 toString() 方法. 因此, 它在Object函數(shù)的原型對象中找到 toString()方法，因此我們可以調(diào)用 studObj.toString().

查找方式,如下圖所示

上述就是原型基本知識點(diǎn)以及應(yīng)用.

原作者姓名：任重道遠(yuǎn)
原出處：SenmentFault
原文鏈接：人類身份驗(yàn)證 - SegmentFault

PM完成Axure原型評審后，一定不能忘記備份這些原型html，后續(xù)可能需要查詢以及技術(shù)撕逼。

希望通過Axure原型的幾種使用場景，讓初級PM對它的來龍去脈有個(gè)清晰的了解。而不是停留在“我知道”“大概會用”的水平。

版本

PM會經(jīng)常修改AxureRP源文件，然后生成不同的原型。

但是對外評審的原型應(yīng)該是唯一的。

并且該版本的產(chǎn)品需求文檔PRD就是這個(gè)原型。

請注意兩者不能混為一談。

打開

一般來說我們是在Axure生成原型Html的時(shí)候，自動(dòng)在瀏覽器中打開了原型并查看。

但是如何打開已備份在電腦中的原型呢，很多初級PM摸不著頭腦了。其實(shí)也不復(fù)雜，如果你學(xué)會一點(diǎn)html網(wǎng)頁的知識。

請進(jìn)入該原型對應(yīng)的目錄，比如APP名稱V2.0版，我們會發(fā)現(xiàn)存在data、file、images、plugins、resources等文件夾，以及很多html網(wǎng)頁。請找到start.html，然后雙擊打開就是你熟悉的原型啦。

展示

當(dāng)原型評審后，PM需要將原型放到網(wǎng)上供所有團(tuán)隊(duì)成員進(jìn)行設(shè)計(jì)和編程。

不管是放到內(nèi)網(wǎng)展示，還是外網(wǎng)展示。其本質(zhì)都是將Axure原型的所有文件都上傳到服務(wù)器，包括所有的html文件，圖片文件，js文件，css文件。不能缺少任何文件，否則就無法正常顯示。

如果你只是修改了某個(gè)頁面，也切記生成并將所有文件上傳一遍，而不僅僅是該頁面對應(yīng)的html文件。因?yàn)槠鋵?yīng)的js，css文件，圖片文件也可能被修改

上傳之后然后把對應(yīng)的原型網(wǎng)址發(fā)給其他團(tuán)隊(duì)成員即可查看。

備份

由于Axure原型是由html+js+cs組成的文件，我們在生成的時(shí)候?qū)⑺麄兎胖迷谥付夸洝?/p>

嘉定我們將該產(chǎn)品的所有原型存放于D://PM/APP名稱，那么建議以“APP名稱V1.0版”的格式命名，并生成原型。

當(dāng)然你也可以繼續(xù)壓縮之后存起來，不過就不太方便后續(xù)的查詢。

回退

有時(shí)候我們需要回退版本的時(shí)候，需要把舊版本的原型也拿出來。那么請用舊版本的原型html去替換當(dāng)下的原型目錄。

不過不太建議這樣，還不如新增一個(gè)版本來處理。

查詢

由于Axure生成的原型，是以Html文件進(jìn)行索引內(nèi)容的。而Html是以你在Axure中新建的頁面來作為基礎(chǔ)的。如果你畫Axure原型的時(shí)候是以你產(chǎn)品中的頁面來進(jìn)行命名和創(chuàng)建的。那么我們可以通過搜索“頁面名稱”關(guān)鍵詞去查詢你想要查詢的頁面。

如果你使用的搜索工具支持搜索文件內(nèi)內(nèi)容，比如Windows下面的everthing，Mac自帶的spotlight。那么可以通過搜索“頁面內(nèi)文字”關(guān)鍵詞去查詢你想要查詢的相關(guān)頁面。

不過我更建議你進(jìn)入到具體版本的原型html文件夾里面進(jìn)行搜索，而不是進(jìn)行全局搜索。

總結(jié)

以上就是Axure原型的使用場景。請一定要理解Axure原型的本質(zhì)是html+js+css，每次生成原型的時(shí)候會在本地生成目錄并寫入這些文件。

#專欄作家#

浪子，業(yè)務(wù)型PM，浪子PRD系列51prd.com，公眾號langzisay，個(gè)人微信nuanai88。

本文由 @浪子原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自 unsplash，基于 CC0 協(xié)議

在線咨詢

上一篇：HTML5培訓(xùn)：學(xué)習(xí)HTML的基礎(chǔ)
下一篇：媒體融合應(yīng)建立符合主流價(jià)值觀的評估體系

您的項(xiàng)目需求

*請認(rèn)真填寫需求信息，我們會在24小時(shí)內(nèi)與您取得聯(lián)系。

整合營銷服務(wù)商