BlockAI/NSMC_PyTorch_Tutorial
Huggingface와 KoELECTRA를 활용한 네이버 영화리뷰 감정분류
Updated on 22.11.02
NSMC_PyTorch_Tutorial.py
'''
---BlockAI/NSMC_PyTorch_Tutorial Auto Generate Code---
Author : BlockAI
Project Name: NSMC_PyTorch_Tutorial
Project Link: https://blockai.kr/BlockAI/NSMC_PyTorch_Tutorial (BlockAI)
Create Date : 2022-11-02
---Requirements---
# 사용자의 환경(OS, CUDA 등)에 따라 라이브러리 버전을 맞춰주세요
pip install torch==1.11 torchvision==0.12.0 torchtext==0.12.0 torchaudio==0.11.0
pip install pytorch-lightning
pip install tqdm
pip install pandas
pip install scikit-learn
pip install transformers
---Folder Structure---
--📂 nsmc
|--📂 input
|--📄 train.*
|--📄 val.*
|--📄 test.*
--📄 NSMC_PyTorch_Tutorial.py
--📄 NSMC_PyTorch_Tutorial.ipynb
--📄 requirements.txt
'''
import os
import argparse
import copy
import random
from glob import glob
from tqdm import tqdm
import numpy as np
import pandas as pd
from sklearn import preprocessing
import torch
import pytorch_lightning as pl
import transformers
path_sep = os.sep
# https://pytorch.org/tutorials/beginner/basics/data_tutorial.html#creating-a-custom-dataset-for-your-files
class Dataset(torch.utils.data.Dataset):
def __init__(self, inputs, targets=[]):
self.inputs = inputs
self.targets = targets
# 학습 및 추론 과정에서 데이터를 1개씩 꺼내오는 곳
def __getitem__(self, idx):
# 정답이 있다면 if문을, 없다면 else문을 수행합니다
if len(self.targets) == 0:
return torch.tensor(self.inputs[idx])
else:
return torch.tensor(self.inputs[idx]), torch.tensor(self.targets[idx])
# 입력하는 개수만큼 데이터를 사용합니다
# 'return 100'이면 1에폭에 100개의 데이터만 사용합니다
def __len__(self):
return len(self.inputs)
# https://pytorch-lightning.readthedocs.io/en/stable/extensions/datamodules.html
class Dataloader(pl.LightningDataModule):
# 데이터의 종류에 따라 코드 수정이 필요할 수 있습니다
def __init__(self, data_folder, batch_size, train_ratio, shuffle):
super().__init__()
self.data_folder = data_folder
self.batch_size = batch_size
self.train_ratio = train_ratio
self.shuffle = shuffle
self.train_dataset = None
self.val_dataset = None
self.test_dataset = None
self.predict_dataset = None
self.tokenizer = transformers.AutoTokenizer.from_pretrained('monologg/koelectra-small-v3-discriminator')
self.set_preprocessing()
def tokenizing(self, dataframe):
data = []
for idx, item in tqdm(dataframe.iterrows(), desc='tokenizing', total=len(dataframe)):
outputs = self.tokenizer(item[self.text_columns], add_special_tokens=True, padding='max_length', truncation=True)
data.append(outputs['input_ids'])
return data
def set_preprocessing(self):
data = pd.read_csv(glob(os.path.join(self.data_folder, 'input', 'train.*'))[0], sep='\t', index_col=0, encoding='utf-8')
columns = data.columns
self.target_columns = [columns[1]]
# 전처리할 컬럼들을 선택합니다
# 다중 텍스트는 아직 지원하지 않습니다, 텍스트가 여러개일 경우 코드 수정이 필요합니다
self.text_columns = columns[0]
def preprocessing(self, data):
columns = data.columns.tolist()
# 빈 값(nan)을 가지고 있는 열(row)을 삭제합니다
data = data.dropna()
# 타겟 데이터가 없으면 빈 배열을 리턴합니다.
try:
targets = data[self.target_columns].values.tolist()
inputs = self.tokenizing(data.drop(self.target_columns, axis=1))
except:
targets = []
inputs = self.tokenizing(data)
return inputs, targets
def setup(self, stage='fit'):
if stage == 'fit':
total_data = pd.read_csv(glob(os.path.join(self.data_folder, 'input', 'train.*'))[0], sep='\t', index_col=0, encoding='utf-8')
# 학습 데이터와 검증 데이터셋을 비율에 맞춰 분리합니다
train_data = total_data.sample(frac=self.train_ratio)
val_data = total_data.drop(train_data.index)
# 학습데이터 준비
train_inputs, train_targets = self.preprocessing(train_data)
# 검증데이터 준비
val_inputs, val_targets = self.preprocessing(val_data)
# train 데이터만 shuffle을 적용해줍니다, 필요하다면 val, test 데이터에도 shuffle을 적용할 수 있습니다
self.train_dataset = Dataset(train_inputs, train_targets)
self.val_dataset = Dataset(val_inputs, val_targets)
else:
# 평가데이터 준비
test_data = pd.read_csv(glob(os.path.join(self.data_folder, 'input', 'test.*'))[0], sep='\t', index_col=0, encoding='utf-8')
test_inputs, test_targets = self.preprocessing(test_data)
self.test_dataset = Dataset(test_inputs, test_targets)
self.predict_dataset = Dataset(test_inputs, [])
def train_dataloader(self):
return torch.utils.data.DataLoader(self.train_dataset, batch_size=self.batch_size, shuffle=args.shuffle)
def val_dataloader(self):
return torch.utils.data.DataLoader(self.val_dataset, batch_size=self.batch_size)
def test_dataloader(self):
return torch.utils.data.DataLoader(self.test_dataset, batch_size=self.batch_size)
def predict_dataloader(self):
return torch.utils.data.DataLoader(self.predict_dataset, batch_size=self.batch_size)
# https://pytorch-lightning.readthedocs.io/en/stable/common/lightning_module.html
class Model(pl.LightningModule):
def __init__(self):
super().__init__()
self.save_hyperparameters()
self.automodelforsequenceclassification_1 = transformers.AutoModelForSequenceClassification.from_pretrained(pretrained_model_name_or_path='monologg/koelectra-small-v3-discriminator', num_labels=2)
self.crossentropyloss_1 = torch.nn.CrossEntropyLoss()
def forward(self, x):
x = self.automodelforsequenceclassification_1(x)['logits']
return x
def training_step(self, batch, batch_idx):
x, y = batch
logits = self(x)
loss = self.crossentropyloss_1(logits, y.long().squeeze())
self.log("train_loss", loss)
return loss
def validation_step(self, batch, batch_idx):
x, y = batch
logits = self(x)
loss = self.crossentropyloss_1(logits, y.long().squeeze())
self.log("val_loss", loss)
return loss
def test_step(self, batch, batch_idx):
x, y = batch
logits = self(x)
loss = self.crossentropyloss_1(logits, y.long().squeeze())
self.log("test_loss", loss)
return loss
def predict_step(self, batch, batch_idx):
x = batch
logits = self(x)
return logits
def configure_optimizers(self):
# 이곳에서 lr 값을 변경할 수 있습니다
optimizer = torch.optim.Adam(self.parameters(), lr=0.0002)
return optimizer
if __name__ == '__main__':
# https://docs.python.org/ko/3/library/argparse.html
# 하이퍼 파라미터 등 각종 설정값을 입력받습니다
# 터미널 실행 예시 : python3 run.py --batch_size=64 ...
# 실행 시 '--batch_size=64' 같은 인자를 입력하지 않으면 default 값이 기본으로 실행됩니다
parser = argparse.ArgumentParser()
parser.add_argument('--data_folder', default='./nsmc')
parser.add_argument('--batch_size', default=32)
parser.add_argument('--max_epoch', default=50)
parser.add_argument('--shuffle', default=True)
parser.add_argument('--train_ratio', default=0.8)
args = parser.parse_args()
dataloader = Dataloader(args.data_folder, args.batch_size, args.train_ratio, args.shuffle)
model = Model()
# 'patience=3'이면 3에폭동안 monitor값이 좋아지지 않으면 학습을 자동 중단합니다
early_stop_callback = pl.callbacks.EarlyStopping(monitor='val_loss', patience=3)
# https://pytorch-lightning.readthedocs.io/en/stable/common/trainer.html
# 학습 및 추론을 위한 Trainer 설정
# gpu가 없으면 'gpus=0'을, gpu가 여러개면 'gpus=4'처럼 사용하실 gpu의 개수를 입력해주세요
trainer = pl.Trainer(gpus=1, max_epochs=args.max_epoch, callbacks=[early_stop_callback])
trainer.fit(model=model, datamodule=dataloader)
# 테스트 데이터에 타겟값이 있을때만 trainer.test를 실행할 수 있습니다
trainer.test(model=model, datamodule=dataloader)
predictions = trainer.predict(model=model, datamodule=dataloader)
Readme.md
*좌측 상단 로고 아래의 아이콘을 클릭하시면 데이터, 모델 페이지로 이동합니다
데이터는 nsmc 폴더 아래에 train., test. 이름으로 넣어주세요(*은 와일드카드로 모든 문자를 의미합니다, txt, csv, tsv 등등)
검증데이터셋이 있다면 val.* 이름으로 넣어주세요
아래 깃허브에서 데이터셋을 다운로드 하실 때에는, 링크에 접속하신 뒤 download 버튼을 클릭하시면 새 페이지가 열립니다.
해당 페이지에서 우클릭 하신 다음에 다른 이름으로 저장하기로 파일을 받을 수 있습니다.
문의하기