BlockAI/NSMC_Tensorflow_Tutorial

Huggingface와 KoELECTRA를 활용한 네이버 영화리뷰 감정분류

Updated on 23.01.31
NSMC_Tensorflow_Tutorial.py
''' ---BlockAI/NSMC_Tensorflow_Tutorial Auto Generate Code--- Author : BlockAI Project Name: NSMC_Tensorflow_Tutorial Project Link: https://blockai.kr/BlockAI/NSMC_Tensorflow_Tutorial (BlockAI) Create Date : 2023-01-31 ---Requirements--- # 사용자의 환경(OS, CUDA 등)에 따라 라이브러리 버전을 맞춰주세요 pip install tensorflow==2.5.3 pip install tqdm pip install pandas pip install scikit-learn pip install transformers ---Folder Structure--- --📂 nsmc |--📂 input |--📄 train.* |--📄 val.* |--📄 test.* --📄 NSMC_Tensorflow_Tutorial.py --📄 NSMC_Tensorflow_Tutorial.ipynb --📄 requirements.txt ''' import os import argparse import math from glob import glob import pandas as pd from sklearn import preprocessing from tqdm import tqdm import numpy as np import tensorflow as tf import transformers path_sep = os.sep class Dataset(tf.keras.utils.Sequence): def __init__(self, batch_size, inputs, targets=[], shuffle=False): self.batch_size = batch_size self.inputs = np.array(inputs) self.targets = np.array(targets) self.shuffle = shuffle self.indexes = np.arange(len(self.inputs)) if self.shuffle: np.random.shuffle(self.indexes) def __len__(self): # batch_size에 맞게 한 에폭에 사용되는 데이터 개수를 계산해야합니다 return math.ceil(len(self.inputs) / self.batch_size) def __getitem__(self, idx): # 한 스텝에서 batch_size만큼 데이터를 선택해서 return 합니다 start_idx = idx * self.batch_size # end_idx가 최대 길이를 넘어가지 않게 제한합니다 end_idx = (idx + 1) * self.batch_size if len(self.inputs) > (idx + 1) * self.batch_size else len(self.inputs) batch_indexes = self.indexes[start_idx:end_idx] if len(self.targets) == 0: return self.inputs[batch_indexes] else: return self.inputs[batch_indexes], self.targets[batch_indexes] class Dataloader: def __init__(self, data_folder, batch_size, train_ratio, shuffle): self.data_folder = data_folder self.batch_size = batch_size self.train_ratio = train_ratio self.shuffle = shuffle self.tokenizer = transformers.AutoTokenizer.from_pretrained('monologg/koelectra-small-v3-discriminator') self.train_dataset = None self.val_dataset = None self.test_dataset = None self.set_preprocessing() self.setup() def tokenizing(self, dataframe): data = [] for idx, item in tqdm(dataframe.iterrows(), desc='tokenizing', total=len(dataframe)): outputs = self.tokenizer(item[self.text_columns], add_special_tokens=True, padding='max_length', truncation=True) data.append(outputs['input_ids']) return data def set_preprocessing(self): data = pd.read_csv(glob(os.path.join(self.data_folder, 'input', 'train.*'))[0], sep='\t', index_col=0, encoding='utf-8') columns = data.columns self.target_columns = [columns[1]] # 전처리할 컬럼들을 선택합니다 # 다중 텍스트는 아직 지원하지 않습니다, 텍스트가 여러개일 경우 코드 수정이 필요합니다 self.text_columns = columns[0] def preprocessing(self, data): columns = data.columns.tolist() # 빈 값(nan)을 가지고 있는 열(row)을 삭제합니다 data = data.dropna() # 타겟 데이터가 없으면 빈 배열을 리턴합니다. try: targets = data[self.target_columns].values.tolist() inputs = self.tokenizing(data.drop(self.target_columns, axis=1)) except: targets = [] inputs = self.tokenizing(data) return inputs, targets def setup(self): total_data = pd.read_csv(glob(os.path.join(self.data_folder, 'input', 'train.*'))[0], sep='\t', index_col=0, encoding='utf-8') # 학습 데이터와 검증 데이터셋을 비율에 맞춰 분리합니다 train_data = total_data.sample(frac=self.train_ratio) val_data = total_data.drop(train_data.index) # 학습데이터 준비 train_inputs, train_targets = self.preprocessing(train_data) # 검증데이터 준비 val_inputs, val_targets = self.preprocessing(val_data) # train 데이터만 shuffle을 적용해줍니다, 필요하다면 val, test 데이터에도 shuffle을 적용할 수 있습니다 self.train_dataset = Dataset(self.batch_size, train_inputs, train_targets, self.shuffle) self.val_dataset = Dataset(self.batch_size, val_inputs, val_targets) # 평가데이터 준비 test_data = pd.read_csv(glob(os.path.join(self.data_folder, 'input', 'test.*'))[0], sep='\t', index_col=0, encoding='utf-8') test_inputs, test_targets = self.preprocessing(test_data) self.test_dataset = Dataset(self.batch_size, test_inputs, test_targets) class Model(tf.keras.Model): def __init__(self): super(Model, self).__init__() self.tfautomodelforsequenceclassification_1 = transformers.TFAutoModelForSequenceClassification.from_pretrained(pretrained_model_name_or_path='monologg/koelectra-small-v3-discriminator', num_labels=2, from_pt=True) self.categoricalcrossentropy_1 = tf.keras.losses.CategoricalCrossentropy() self.reduction_1 = tf.keras.losses.Reduction() self.sparsecategoricalcrossentropy_1 = tf.keras.losses.SparseCategoricalCrossentropy() self.maxpooling3d_1 = tf.keras.layers.MaxPooling3D() self.activityregularization_1 = tf.keras.layers.ActivityRegularization() self.globalmaxpool1d_1 = tf.keras.layers.GlobalMaxPool1D() self.separableconvolution1d_1 = tf.keras.layers.SeparableConvolution1D() self.sparsecategoricalcrossentropy_2 = tf.keras.losses.SparseCategoricalCrossentropy() self.categoricalcrossentropy_2 = tf.keras.losses.CategoricalCrossentropy() self.tfautomodelforspeechseq2seq_1 = transformers.TFAutoModelForSpeechSeq2Seq.from_pretrained(, from_pt=True) self.tfautomodelforseq2seqlm_1 = transformers.TFAutoModelForSeq2SeqLM.from_pretrained(, from_pt=True) self.tfautomodelforsequenceclassification_2 = transformers.TFAutoModelForSequenceClassification.from_pretrained(, from_pt=True) self.tfautomodelfortokenclassification_1 = transformers.TFAutoModelForTokenClassification.from_pretrained(, from_pt=True) self.tfautomodelforvision2seq_1 = transformers.TFAutoModelForVision2Seq.from_pretrained(, from_pt=True) def call(self, x): logits_0 = self.tfautomodelforsequenceclassification_1(x)['logits'] logits_0 = self.maxpooling3d_1(logits_0) logits_0 = self.activityregularization_1(logits_0) logits_0 = self.globalmaxpool1d_1(logits_0) logits_0 = self.separableconvolution1d_1(logits_0) logits_0 = self.tfautomodelforspeechseq2seq_1(logits_0)['logits'] logits_0 = self.tfautomodelforseq2seqlm_1(logits_0)['logits'] logits_0 = self.tfautomodelforsequenceclassification_2(logits_0)['logits'] logits_0 = self.tfautomodelfortokenclassification_1(logits_0)['logits'] logits_0 = self.tfautomodelforvision2seq_1(logits_0)['logits'] return logits_0 def train_step(self, data): x, y = data y_preds = self(x) loss = self.categoricalcrossentropy_1(y, y_preds) loss = self.reduction_1(y, y_preds) loss = self.sparsecategoricalcrossentropy_1(y, y_preds) loss = self.sparsecategoricalcrossentropy_2(y, y_preds) loss = self.categoricalcrossentropy_2(y, y_preds) return {'loss': loss} def test_step(self, data): x, y = data y_preds = self(x) loss = self.categoricalcrossentropy_1(y, y_preds) loss = self.reduction_1(y, y_preds) loss = self.sparsecategoricalcrossentropy_1(y, y_preds) loss = self.sparsecategoricalcrossentropy_2(y, y_preds) loss = self.categoricalcrossentropy_2(y, y_preds) return {'loss': loss} def predict_step(self, data): x = data y_preds = self(x) return y_preds if __name__ == '__main__': # https://docs.python.org/ko/3/library/argparse.html # 하이퍼 파라미터 등 각종 설정값을 입력받습니다 # 터미널 실행 예시 : python3 run.py --batch_size=64 ... # 실행 시 '--batch_size=64' 같은 인자를 입력하지 않으면 default 값이 기본으로 실행됩니다 parser = argparse.ArgumentParser() parser.add_argument('--data_folder', default='./nsmc') parser.add_argument('--batch_size', default=32) parser.add_argument('--max_epoch', default=50) parser.add_argument('--shuffle', default=True) parser.add_argument('--train_ratio', default=0.8) args = parser.parse_args() dataloader = Dataloader(args.data_folder, args.batch_size, args.train_ratio, args.shuffle) model = Model() # 손실함수와 옵티마이저를 설정합니다 optimizer = [] optimizer.append(tf.keras.optimizers.Adam() optimizer.append(tf.keras.optimizers.Adagrad() optimizer.append(tf.keras.optimizers.SGD() model.compile(optimizer=optimizer) # 'patience=3'이면 3에폭동안 monitor값이 좋아지지 않으면 학습을 자동 중단합니다 early_stopping = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=3) # 모델 학습을 실행합니다 model.fit(dataloader.train_dataset, epochs=args.max_epoch, validation_data=dataloader.val_dataset, callbacks=[early_stopping]) # 테스트 데이터에 타겟값이 있다면 evaluate를, 없다면 predict를 실행해주세요 model.evaluate(dataloader.test_dataset) preds = model.predict(dataloader.test_dataset)
Readme.md

*좌측 상단 로고 아래의 아이콘을 클릭하시면 데이터, 모델 페이지로 이동합니다

데이터는 nsmc 폴더 아래에 train., test. 이름으로 넣어주세요(*은 와일드카드로 모든 문자를 의미합니다, txt, csv, tsv 등등)

검증데이터셋이 있다면 val.* 이름으로 넣어주세요

아래 깃허브에서 데이터셋을 다운로드 하실 때에는, 링크에 접속하신 뒤 download 버튼을 클릭하시면 새 페이지가 열립니다.

해당 페이지에서 우클릭 하신 다음에 다른 이름으로 저장하기로 파일을 받을 수 있습니다.

NSMC train 데이터셋 다운로드

NSMC test 데이터셋 다운로드

service
문의하기