TensorFlow CIFAR10 Example 분석1, Write TFRecord
cifar 10 estimator 예제를 살펴보자!
https://github.com/tensorflow/models/tree/master/tutorials/image/cifar10_estimator
우선 READ.md부터 읽어보면 TF 1.2.1 이상버전을 설치하라고 한다.
그리고 cifar10 db를 받아서 TFRecord file을 만들라고 한다. TFRecord은 학습시 대량의 이미지를
빠르게 읽을 수 있게해주는 포멧이다.
$python generate_cifar10_tfrecords.py --data-dir=${PWD}/cifar-10-data
을 실행하면 이미지를 다운로드하고 TFRecord도 만들어 준다는데 일단 이것부터 살펴보자
1. CIFAE 이미지 다운로드
텐서플로우에서 다운로드는 function으로 제공한다.
import tensorflow as tf
tf.contrib.learn.datasets.base.maybe_download(CIFAR_FILENAME, data_dir, CIFAR_DOWNLOAD_URL)
CIFAR_FILENAME = 'cifar-10-python.tar.gz'
CIFAR_DOWNLOAD_URL = 'https://www.cs.toronto.edu/~kriz/' + CIFAR_FILENAME
data_dir = 저장되는 경로
2. 압축풀기
이렇게 다운 받아 보면 cifar-10-python.tar.gz 파일이 다운 되어 있고 압축을 풀려면
import tarfile
import os
tarfile.open(os.path.join(data_dir, CIFAR_FILENAME),'r:gz').extractall(data_dir)
압축을 풀면 cifar-10-batches-py란 폴더안에 data_batch_1~5, batches.meta, test_batch 이렇게 7개의 데이터가 있다.(readme.html 빼고)
data_batch_1~4는 Train용, data_batch_5는 Validation용, test_batch는 Evaluation용.
3. pickle 풀기
현재 데이터들이 이상한 바이러니 파일 같이 보인다.. 그런데 이게 'pickle'을 이용해서 만들어진 것이다.
'pickle'을 이용해서 풀어보자, 일단 바이러니로 로드후 pickle을 이용 풀수 있다.
import pickle
f = tf.gfile.Open( './cifar-10-batches-py/data_batch_1', 'rb')
data_dict = pickle.load(f)
print data_dict['data'], data_dict['data'].shape
print data_dict['labels'], data_dict['labels'].shape
이렇게 해보면 10000개의 이미지가 10000 x 3072의 형태로 정장되어있음을 알 수 있다.
4. TFRecord로 저장
이제 for loop을 10000번 돌면서 TFRecord로 저장하면 된다.
TFRecord로 파일 열기
tfr = tf.python_io.TFRecordWriter('./xxx.tfrecords')
TFRecord로 파일에 쓰기는 방법은 파이선 딕셔너리 형태를 사용하면된다.
feature = {
'image': tf.train.Feature(bytes_list=tf.train.BytesList(value=[data[0].tobytes()]))
'label': tf.train.Feature(int64_list=tf.train.Int64List(value=[labels[0]]))
}
원래 data[0]는 numpy.ndarray, 넘파이 uint8 n dimensional array.. 였는데 이거를 바이트로 바꾸고
또 텐서플로우의 바이트리스트로 바꾸고 그리고 또 다시 텐서의 Feature로 바꾼다... 으....
labels는 int 리스트 , labels[0]은 그냥 int 이고 이거를 다시 [labels[0]]로 바꾸고 텐서 Int64List로 바꾸고
그리고 텐서 Feature로 바꾼다...
위에서 만든 딕셔너리를 tf.train.Example로 바꿔야한다.
example = tf.train.Example(features=tf.train.Features( feature=feature ))
위에서 만들었던 feature를 또 텐서의 tf.train.Features로 변환해서 드디어 tf.train.Example(로 변환
이제 드디어 TF Record에 쓴다.
tfr.write( example.SerializeToString())
다썻으면 닫아줘야지...
tfr.close()