【語義分割】批量制作多類語義分割資料集

操作步驟

1. 執行json_to_dataset.py檔案，批量将json轉為dataset
2. 執行get_jpg_and_png.py檔案，生成對應的png灰階圖

注意：使用 3.16.2版本的labelme, 部落客試過4.2.10版本的labelme，會報錯，沒有draw.py檔案。

且部落客試過了，将3.16.2版本的draw.py檔案拷貝到4.2.10檔案夾下的utils檔案中，自己建構也是不行的，會報錯。 應該得改動draw.py檔案中的内容吧。

以下代碼為全部代碼，可直接運作。

1. json_to_dataset.py 代碼（批量将json轉為dataset）：

# -*- encoding: utf-8 -*-
"""
@File    : json_to_dataset.py.py
@Time    : 2020/5/28 18:09
@Author  : ligang
@WeChat   : by15188607997
@Software: PyCharm
@explain：本檔案為将json檔案批量轉為dataset
"""

import argparse
import json
import os
import os.path as osp
import warnings

import PIL.Image
import yaml

from labelme import utils
import base64
# 使用 3.16.2版本的labelme, 部落客試過4.2.10版本的labelme，會報錯，沒有draw.py檔案。
# 且部落客試過了，将3.16.2版本的draw.py檔案拷貝到4.2.10檔案夾下的utils檔案中，自己建構也是不行的，會報錯。
# 應該得改動draw.py檔案中的内容吧。

def main(frompath, outputpath):
    count = os.listdir(frompath)
    for i in range(0, len(count)):
        path = os.path.join(frompath, count[i])
        if os.path.isfile(path) and path.endswith('json'):
            data = json.load(open(path))
            if data['imageData']:
                imageData = data['imageData']
            else:
                imagePath = os.path.join(os.path.dirname(path), data['imagePath'])
                print(imagePath)
                with open(imagePath, 'rb') as f:
                    imageData = f.read()
                    imageData = base64.b64encode(imageData).decode('utf-8')
            img = utils.img_b64_to_arr(imageData)
            label_name_to_value = {'_background_': 0}
            for shape in data['shapes']:
                label_name = shape['label']
                if label_name in label_name_to_value:
                    label_value = label_name_to_value[label_name]
                else:
                    label_value = len(label_name_to_value)
                    label_name_to_value[label_name] = label_value

            # label_values must be dense
            label_values, label_names = [], []
            for ln, lv in sorted(label_name_to_value.items(), key=lambda x: x[1]):
                label_values.append(lv)
                label_names.append(ln)
            assert label_values == list(range(len(label_values)))

            lbl = utils.shapes_to_label(img.shape, data['shapes'], label_name_to_value)

            captions = ['{}: {}'.format(lv, ln)
                        for ln, lv in label_name_to_value.items()]
            lbl_viz = utils.draw_label(lbl, img, captions)
            out_dir = osp.basename(count[i]).replace('.', '_')
            out_dir = osp.join(osp.dirname(count[i]), out_dir)
            out_dir = osp.join(outputpath, out_dir)

            if not osp.exists(out_dir):
                os.mkdir(out_dir)

            PIL.Image.fromarray(img).save(osp.join(out_dir, 'img.png'))

            utils.lblsave(osp.join(out_dir, 'label.png'), lbl)
            PIL.Image.fromarray(lbl_viz).save(osp.join(out_dir, 'label_viz.png'))

            with open(osp.join(out_dir, 'label_names.txt'), 'w') as f:
                for lbl_name in label_names:
                    f.write(lbl_name + '\n')

            warnings.warn('info.yaml is being replaced by label_names.txt')
            info = dict(label_names=label_names)
            with open(osp.join(out_dir, 'info.yaml'), 'w') as f:
                yaml.safe_dump(info, f, default_flow_style=False)

            print('Saved to: %s' % out_dir)


if __name__ == '__main__':
    # 源圖檔、json 檔案路徑
    frompath = "./before/"
    # 生成資料儲存路徑
    outputpath = "./output"
    if not osp.exists(outputpath):
        os.mkdir(outputpath)

    main(frompath, outputpath)
           

結果：儲存在輸出的output檔案中，此檔案作用同 labelme_json_to_dataset <**.json> 作用。上面代碼是批量的。

2. get_jpg_and_png.py代碼（生成對應的png灰階圖）：

注意：class_name.txt檔案中的類需要手動填寫。

# -*- encoding: utf-8 -*-
"""
@File    : get_jpg_and_png.py
@Time    : 2020/5/28 18:07
@Author  : ligang
@WeChat   : by15188607997
@Software: PyCharm
"""




import os
from PIL import Image
import numpy as np


def main(frompath_jpg, outputpath_json, output_jpg, output_png, path_allclass):
    # 讀取原檔案夾
    count = os.listdir(frompath_jpg)
    for i in range(0, len(count)):
        # 如果裡的檔案以jpg結尾
        # 則尋找它對應的png
        if count[i].endswith("jpg"):
            path = os.path.join(frompath_jpg, count[i])
            img = Image.open(path)
            img.save(os.path.join(output_jpg, count[i]))
            print(count[i].split(".")[1])
            # 找到對應的png
            path = outputpath_json + count[i].split(".")[0] + "_json/label.png"
            img = Image.open(path)

            # 找到全局的類
            class_txt = open(path_allclass, "r")
            class_name = class_txt.read().splitlines()
            # ["bk","cat","dog"]
            # 打開json檔案裡面存在的類，稱其為局部類
            with open(outputpath_json + count[i].split(".")[0] + "_json/label_names.txt", "r") as f:
                names = f.read().splitlines()
                # ["bk","dog"]
                new = Image.new("RGB", [np.shape(img)[1], np.shape(img)[0]])
                for name in names:
                    # index_json是json檔案裡存在的類，局部類
                    index_json = names.index(name)
                    # index_all是全局的類
                    index_all = class_name.index(name)
                    # 将局部類轉換成為全局類
                    new = new + np.expand_dims(index_all * (np.array(img) == index_json), -1)

            new = Image.fromarray(np.uint8(new))
            print(output_png)
            new.save(os.path.join(output_png, count[i].replace("jpg", "png")))
            print(np.max(new), np.min(new))


if __name__ == '__main__':
    # 全局類（所有标簽總共有多少類） 如：
    # _background_（不可少）
    # Albatross
    # _Yellowthroat
    path_allclass = "./before/class_name.txt"
    # 源圖檔、json 檔案路徑
    frompath_jpg = "./before/"
    # 生成資料儲存路徑
    outputpath_json = "./output/"
    # 生成jpg資料的儲存位置
    output_jpg = "./traindata/jpg/"
    # 生成png資料的儲存位置
    output_png = "./traindata/png/"
    if not os.path.exists(output_jpg):
        os.makedirs(output_jpg)
    if not os.path.exists(output_png):
        os.makedirs(output_png)
    main(frompath_jpg, outputpath_json, output_jpg, output_png, path_allclass)

           

結果：成果儲存在traindata檔案夾下。生成的png圖檔為二值化圖。像素變化從 （1,1，1）開始的眼是看不來的，可以用取色器進行取色驗證下。

目錄結構：