단어 빈도 분석
글에 나온 단어를 빈도순으로 정리합니다. 반복해서 쓴 표현을 찾을 때 유용합니다.
어디에 쓰나요
자기소개서나 보고서를 쓰고 나면 자기도 모르게 같은 표현을 반복하는 경우가 많습니다. 그런데 라는 접속사, 생각합니다 같은 서술어가 몇 번 나왔는지 확인하면 고칠 지점이 눈에 들어옵니다. 논문이나 기사에서 핵심 주제어를 파악할 때도 씁니다.
세는 기준
한글, 영문, 숫자를 단어의 구성 문자로 보고 그 외의 기호와 공백에서 끊습니다. 영문은 대소문자를 구분하지 않아 Apple과 apple을 같은 단어로 셉니다. 최소 글자 수를 2로 두면 조사나 한 글자 단어가 빠져 결과가 읽기 편해집니다.
한국어에서의 한계
한국어는 조사가 붙기 때문에 학교, 학교를, 학교에서가 각각 다른 단어로 집계됩니다. 형태소 분석을 하지 않는 단순 집계라는 점을 감안해서 보세요. 그래도 반복 표현을 찾는 목적에는 충분히 쓸 만합니다.