经典代码自动生成论文《pix2code: Generating Code from a Graphical User Interface Screenshot》理解

Beltramelli T. pix2code: Generating code from a graphical user interface screenshot[C]//Proceedings of the ACM SIGCHI Symposium on Engineering Interactive Computing Systems. ACM, 2018: 3.

一、论文主要方法

本文主要提出了一个端到端的模型将GUI(Graphic User Interface)截图转换成计算机代码。

模型的思想：使用CNN无监督地提取图像特征和表示图像；使用RNN生成图像的文本表示。即经典的CNN+RNN结构，架构图如下所示：

在训练阶段(Training)，用CNN表示图像，LSTM表示上下文，然后将两个表示连接输入到另一个作为decoder的LSTM中，最后通过一个softmax输入关键字。每次生成一个关键字，softmax层的大小和语料库的大小相同。在生成阶段(Sampling)，与训练阶段不同的是输入只有图像。语料库中有两个特殊的关键字START和END，生成阶段从START开始，到END停止。

二、论文实现