[download_code]

准备

此代码基于pytorch。它已经在Ubuntu 14.04 LTS上进行了测试。

依赖关系：

• Torch (with matio-ffi and loadcaffe)
• Matlab or Octave

CUDA后端：

• CUDA
• cudnn

下载VGG-19：

sh models/download_models.sh


编译cuda_utils.cu（makefile为您的机器调整PREFIX以及NVCC_PREFIX）：

make clean && make


用法

快速开始

使用提供的脚本生成所有（examples/）结果，只需在Matlab或Octave运行

run('gen_laplacian/gen_laplacian.m')


然后在Python中：

python gen_all.py


最终输出在examples/final_results/。

基本用法

1. 给定具有语义分割掩码的输入和样式图像，以下文件名格式分别将它们放入examples/：examples/input/in<id>.png，examples/style/tar<id>.png和examples/segmentation/in<id>.png，examples/segmentation/tar<id>.png;
2. 使用gen_laplacian/gen_laplacian.mMatlab 计算消光拉普拉斯矩阵。输出矩阵将具有以下文件名形式：gen_laplacian/Input_Laplacian_3x3_1e-7_CSR<id>.mat;

注意：请确保内容图像分辨率与Matlab中的Matting Laplacian计算和Torch中的样式传输一致，否则结果将不正确。

3. 运行以下脚本以生成分段中间结果：

th neuralstyle_seg.lua -content_image <input> -style_image <style> -content_seg <inputMask> -style_seg <styleMask> -index <id> -serial <intermediate_folder>


4. 运行以下脚本以生成最终结果：

th deepmatting_seg.lua -content_image <input> -style_image <style> -content_seg <inputMask> -style_seg <styleMask> -index <id> -init_image <intermediate_folder/out<id>_t_1000.png> -serial <final_folder> -f_radius 15 -f_edge 0.01


可以传递-backend cudnn和-cudnn_autotune两者Lua脚本（步骤3和4），以潜在地提高速度和内存使用情况。libcudnn.so必须在你的LD_LIBRARY_PATH。这需要cudnn.torch。

图像分割

注意：在论文中，我们使用从DilatedNet修改的自动场景分割算法生成所有比较结果。手动分割可以实现更多样化的任务，因此我们提供了掩模examples/segmentation/。

我们使用的蒙版颜色（您可以ExtractMask在两个*.lua文件中添加更多颜色）：

例子

以下是算法的一些结果（从左到右分别是输入，样式和输出）：