목록서브워드 분절(BPE알고리즘) (1)

HAZEL

[ NLP : CH4. 전처리 ] 전처리, 정제, 분절, 병렬 코퍼스 정렬,서브워드 분절(BPE알고리즘), SentencePiece,분절 복원 ( detokenization ), Torchtext

4장. 전처리 4-1. 전처리 4.1.1. 코퍼스 ( 말뭉치 ) : 여러 단어들로 이루어진 문장 * 코퍼스의 종류 - 단일언어 코퍼스 : 한가지 언어로 구성된 코퍼스 - 이중 언어 코퍼스 : 두개의 언어로 구성된 코퍼스 - 다중 언어 코퍼스 : 두개 이상의 언어로 구성된 코퍼스 - 병령 코퍼스 : 언어간의 쌍으로 구성된 코퍼스 ( 영문과 한글이 함께 짝을 이루는 데이터 ) 4.1.2. 전처리 과정 : 코퍼스 수집 -> 정제 -> 문장 단위 분절 -> 분절 -> 병렬 코퍼스 정렬 ( 생략 가능 ) -> 서브워드 분절 4-2. 정제 4.2.1. 전각 문자 제거 : 전각문자를 반각문자로 변환해주는 작업 필요 전각문자 : 특수문자 기호. 문자의 폭이 일반적인 영문자의 고정폭의 두배정도의 폭을 가지는 문자. 반각..
DATA ANALYSIS/NLP 2020. 12. 25. 23:38
이전 Prev 1 Next 다음