본문 바로가기

2019년 혁신성장 청년인재 집중양성(빅데이터)/자연어 처리

(2)
2. 형태속 분석의 절차와 감성사전 출처 : https://ratsgo.github.io/natural%20language%20processing/2017/03/22/lexicon/ 자연언어처리란? 1. 자연언어처리는 우선 언어학을 근간으로 한다. 2. 언어학은 말소리를 연구하는 음운론 3. 단어와 형태소를 연구하는 형태론 4. 문법과 맥락/담화를 각각 논의하는 통사론, 의미론 등 세부분야가 있다. 5. 자연언어처리의 절차와 단계도 이와 비슷하다. 6. 즉, 음성 인식, 형태소 분석, 문장의 문법적 구조 분석등이 7. 각, 언어학, 음운, 형태, 통사론에 대응된다. 어휘분석(Lexical Analysis) 1. 포스태깅은 단어의 품사 정보를 결정하는 절차다. 2. 개채명 인식은 인명,지명, 등 고유명사를 분류하는 방법론이다. 3. 상호참조..
자연어처리, NLTK, KONLPY 개념 정리 자연어와 자연어 처리 https://datascienceschool.net/view-notebook/118731eec74b4ad3bdd2f89bab077e1b/ 1. 자연어란 우리가 일상 생활에서 사용하는 언어 2. 자연어처리란 컴퓨터가 자연어를 처리할 수 있도록 하는 일 3. 자연어처리가 되면, 컴퓨터는 이 처리된 정보를 바탕으로 음성 인식, 내용 요약, 번역, 감성 분석, 텍스트 분류 작업을 할 수 있다. NLTK http://konlpy.org/ko/v0.4.3/start/ 1. NLTK는 자연어 처리를 위한 파이썬 패키지다. 2. NLTK는 말뭉치, 토큰 생성, 형태소 분석, 품사 태깅을 제공한다. 3. 말뭉치는 자연어 분석 작업을 위해 만든 샘플 문서 집합이다. 텍스트를 모아 놓은 문서도 있지만..