Perl/펄] 한글 자소 분리: '똠방각하'를 'ㄸㅗㅁㅂㅏㅇㄱㅏㄱㅎㅏ'로 자동 변환

2020-11-18 업데이트::

Perl 5.26 버전부터 use encoding "cp949"; 가 작동 안 되는 듯합니다. "encoding pragma"를 더 이상 지원 안 한다고 하며, 다음과 같은 에러가 납니다.

The encoding pragma is no longer supported. Check cperl at C:\Z\tt.pl line 11.
BEGIN failed--compilation aborted at C:\Z\tt.pl line 11.

Perl 5.24 버전에서는, 이 페이지의 자소분리 스크립트가 실행이 잘 됩니다. 단, 실행은 되지만 encoding pragma 가 즉 use encoding ... 이 더 이상 지원 안 될 거라는 경고문이 살짝 나옵니다: "Use of the encoding pragma is deprecated at C:\Z\tt.pl line 11."

현재(2020년) 최신 버전은 펄 5.28 이므로, 이 페이지의 펄 스크립트가 꼭 필요하신 분은 구버전 펄을 구해서 설치하시면 됩니다.

최신 버전과 구버전 펄을 동시에 쓰시려는 분은, 구버전 펄을 VMware 등의 "가상 PC" 속에 설치해서 사용하시는 걸 추천합니다.

---

한국어 용언의 검색은 상당히 까다롭다. 불규칙 활용이 많기 때문만이 아니라, 한글이 알파벳과 달리 음절 단위의 문자이기 때문이다. 즉 풀어쓰기를 하지 않고 모아쓰기를 하기 때문이다.

가령 문서에서 "파랗다"의 모든 활용형들, 즉 "파란", "파라니" 등을 한꺼번에 검색할 수는 없다. 검색을 해야 한다면 자소 분리가 반드시 필요하다. 다시 말해, 풀어쓰기 형태로 만들어서 검색해야 한다. 검색할 문자열과 검색 대상이 될 문자열들을 모두 풀어놓아야 자소 단위로 검색을 할 수가 있다.

파랗다
파란
파라니
파랄
파래

가령, 필자가 알기로 "파랗다"의 어근은 "파ㄹ"이다.(아니면 말고^^;) 검색해야 할 문자열인 이것을 "ㅍㅏㄹ"로 풀어 놓은 후, 검색 대상이 되는 문서도 다음과 같이 풀어쓰기를 한다. 그런 후 "ㅍㅏㄹ"로 검색하면 "파랗다"의 모든 활용형들이 한꺼번에 검색이 된다.

ㅍㅏㄹㅏㅎㄷㅏ
ㅍㅏㄹㅏㄴ
ㅍㅏㄹㅏㄴㅣ
ㅍㅏㄹㅏㄹ
ㅍㅏㄹㅐ

그러면 풀어쓰기는 어떻게 해야 하는 걸까. 사람이 손으로 일일이 할 수는 없는 일이다. 여기서 소개하는 펄 프로그램은 이렇게 한글 풀어쓰기를 만드는 것이다.

이것은, 다른 분들이 만든 C++과 파스칼(델파이)로 된 자소 분리 프로그램을 필자가 펄로 변환한 것이다. 꼭 필요해서가 아니라 호기심으로 한 번 해 보았다. 이런 간단한 프로그램은 C++이나 파스칼보다 펄이 적합할 것이다.

한글 조합형의 경우, 비트 연산으로 자소 분리를 한다. 그러나 현재 윈도OS에서 사용되는 완성형의 경우는 비트 연산이 안되고 자소 분리가 사실상 불가능하다.

그래서 '완성형 한글을 유니코드 한글로 변환하여 자소를 분리'한 후, '다시 완성형 한글로 변환해 출력'하는 것이 이 프로그램의 골자다. 유니코드 한글 역시 완성형이기는 하지만, 글자들이 합리적으로 배열되어 있어, 간단한 계산만으로도 자소를 분리할 수 있다.



다음의 펄 코드를 jaso_bunri.pl 등의 적당한 이름으로 하드에 저장한다. 일부 불필요한 주석들이 붙어 있는데 신경 쓰지 않아도 된다.

※ 아래 박스 클릭 후, 키보드 화살표 키로 좌우 스크롤 가능함



자소 분리할 글(가령 소설 같은 것)을 텍스트 파일로 만들어 0.txt 등의 이름을 붙여 주자. 여기서는, 이상(李箱)의 소설 '날개' 중의 일부를 사용했다:

이 18가구를 대표하는 대문이라는 것이 일각이 져서 외따로 떨어지기는 했으나 있다. 그러나 그것은 한 번도 닫힌 일이 없는 한길이나 마찬가지 대문인 것이다. 온갖 장사아치들은 하루 가운데 어느 시간에라도 이 대문을 통하여 드나들 수가 있는 것이다. 이네들은 문간에서 두부를 사는 것이 아니라 미닫이만 열고 방에서 두부를 사는 것이다. 이렇게 생긴 33번지 대문에 그들 18가구의 문패를 몰아다 붙이는 것은 의미가 없다. 그들은 어느 사이엔가 각 미닫이 위 백인당(百忍堂)이니 길상당(吉祥堂)이니 써붙인 한곁에다 문패를 붙이는 풍속을 가져버렸다.

그런 후 윈도의 명령 프롬프트에서
jaso_bunri.pl 0.txt
라고 치고 엔터키를 누른다. (펄은 컴파일할 필요 없고 그냥 실행시키면 된다. 리눅스/맥 등에서도 별다른 수정없이 이 펄 프로그램이 작동할 것이다)

위의, 이상의 소설 '날개'를 자소 분리한 결과가 아래다:

ㅇㅣ 18ㄱㅏㄱㅜㄹㅡㄹ ㄷㅐㅍㅛㅎㅏㄴㅡㄴ ㄷㅐㅁㅜㄴㅇㅣㄹㅏㄴㅡㄴ ㄱㅓㅅㅇㅣ ㅇㅣㄹㄱㅏㄱㅇㅣ ㅈㅕㅅㅓ ㅇㅚㄸㅏㄹㅗ ㄸㅓㄹㅇㅓㅈㅣㄱㅣㄴㅡㄴ ㅎㅐㅆㅇㅡㄴㅏ ㅇㅣㅆㄷㅏ. ㄱㅡㄹㅓㄴㅏ ㄱㅡㄱㅓㅅㅇㅡㄴ ㅎㅏㄴ ㅂㅓㄴㄷㅗ ㄷㅏㄷㅎㅣㄴ ㅇㅣㄹㅇㅣ ㅇㅓㅄㄴㅡㄴ ㅎㅏㄴㄱㅣㄹㅇㅣㄴㅏ ㅁㅏㅊㅏㄴㄱㅏㅈㅣ ㄷㅐㅁㅜㄴㅇㅣㄴ ㄱㅓㅅㅇㅣㄷㅏ. ㅇㅗㄴㄱㅏㅈ ㅈㅏㅇㅅㅏㅇㅏㅊㅣㄷㅡㄹㅇㅡㄴ ㅎㅏㄹㅜ ㄱㅏㅇㅜㄴㄷㅔ ㅇㅓㄴㅡ ㅅㅣㄱㅏㄴㅇㅔㄹㅏㄷㅗ ㅇㅣ ㄷㅐㅁㅜㄴㅇㅡㄹ ㅌㅗㅇㅎㅏㅇㅕ ㄷㅡㄴㅏㄷㅡㄹ ㅅㅜㄱㅏ ㅇㅣㅆㄴㅡㄴ ㄱㅓㅅㅇㅣㄷㅏ. ㅇㅣㄴㅔㄷㅡㄹㅇㅡㄴ ㅁㅜㄴㄱㅏㄴㅇㅔㅅㅓ ㄷㅜㅂㅜㄹㅡㄹ ㅅㅏㄴㅡㄴ ㄱㅓㅅㅇㅣ ㅇㅏㄴㅣㄹㅏ ㅁㅣㄷㅏㄷㅇㅣㅁㅏㄴ ㅇㅕㄹㄱㅗ ㅂㅏㅇㅇㅔㅅㅓ ㄷㅜㅂㅜㄹㅡㄹ ㅅㅏㄴㅡㄴ ㄱㅓㅅㅇㅣㄷㅏ. ㅇㅣㄹㅓㅎㄱㅔ ㅅㅐㅇㄱㅣㄴ 33ㅂㅓㄴㅈㅣ ㄷㅐㅁㅜㄴㅇㅔ ㄱㅡㄷㅡㄹ 18ㄱㅏㄱㅜㅇㅢ ㅁㅜㄴㅍㅐㄹㅡㄹ ㅁㅗㄹㅇㅏㄷㅏ ㅂㅜㅌㅇㅣㄴㅡㄴ ㄱㅓㅅㅇㅡㄴ ㅇㅢㅁㅣㄱㅏ ㅇㅓㅄㄷㅏ. ㄱㅡㄷㅡㄹㅇㅡㄴ ㅇㅓㄴㅡ ㅅㅏㅇㅣㅇㅔㄴㄱㅏ ㄱㅏㄱ ㅁㅣㄷㅏㄷㅇㅣ ㅇㅟ ㅂㅐㄱㅇㅣㄴㄷㅏㅇ(百忍堂)ㅇㅣㄴㅣ ㄱㅣㄹㅅㅏㅇㄷㅏㅇ(吉祥堂)ㅇㅣㄴㅣ ㅆㅓㅂㅜㅌㅇㅣㄴ ㅎㅏㄴㄱㅕㅌㅇㅔㄷㅏ ㅁㅜㄴㅍㅐㄹㅡㄹ ㅂㅜㅌㅇㅣㄴㅡㄴ ㅍㅜㅇㅅㅗㄱㅇㅡㄹ ㄱㅏㅈㅕㅂㅓㄹㅕㅆㄷㅏ.

아래는 윤동주 시인의 서시를 자소 분리한 것이다:

ㅅㅓㅅㅣ (序詩)


ㅈㅜㄱㄴㅡㄴ ㄴㅏㄹㄲㅏㅈㅣ ㅎㅏㄴㅡㄹㅇㅡㄹ ㅇㅜㄹㅓㄹㅓ

ㅎㅏㄴ ㅈㅓㅁ ㅂㅜㄲㅡㄹㅓㅁ ㅇㅓㅄㄱㅣㄹㅡㄹ,

ㅇㅣㅍㅅㅐㅇㅔ ㅇㅣㄴㅡㄴ ㅂㅏㄹㅏㅁㅇㅔㄷㅗ

ㄴㅏㄴㅡㄴ ㄱㅚㄹㅗㅇㅝㅎㅐㅆㄷㅏ.

ㅂㅕㄹㅇㅡㄹ ㄴㅗㄹㅐㅎㅏㄴㅡㄴ ㅁㅏㅇㅡㅁㅇㅡㄹㅗ

ㅁㅗㄷㅡㄴ ㅈㅜㄱㅇㅓㄱㅏㄴㅡㄴ ㄱㅓㅅㅇㅡㄹ ㅅㅏㄹㅏㅇㅎㅐㅇㅑㅈㅣ

ㄱㅡㄹㅣㄱㅗ ㄴㅏㅎㅏㄴㅌㅔ ㅈㅜㅇㅓㅈㅣㄴ ㄱㅣㄹㅇㅡㄹ ㄱㅓㄹㅇㅓ ㄱㅏㅇㅑㄱㅔㅆㄷㅏ.

ㅇㅗㄴㅡㄹ ㅂㅏㅁㅇㅔㄷㅗ ㅂㅕㄹㅇㅣ ㅂㅏㄹㅏㅁㅇㅔ ㅅㅡㅊㅣㅇㅜㄴㄷㅏ.

분리한 자소를 다시 조합?

자소 분리한 문자열을 다시 원래대로 합쳐주는 함수는 만들지 못했다. 다시 합치기 위해서는 이렇게 한 줄로 쭉 풀어주는 것이 아니라, 자소들을 음절 단위로 배열 속에 보관해 두어야 할 것이다.

CPAN(세계적인 펄 코드 창고)에서 "hangul"로 검색해 보면, 일본인이 만든 한글 처리 모듈이 하나 나온다. (한국의 대학에서는 자신들이 개발한 한글 처리 프로그램을 내부인끼리만 사용하지 외부에 공개하지 않았다. 그래서 한글 처리 프로그램을 만들기 위해 외국인의 도움을 받아야 할 때가 있었다.)

SADAHIRO Tomoyuki > Lingua-KO-Hangul-Util-0.22 > Lingua::KO::Hangul::Util

이 모듈을 사용하면 한글 자소 분리는 물론이고 다시 조합하는 것도 가능할 것이다.



관련 포스트: [Perl/펄] 윈도용 ActivePerl 설치법





추가 사항:
"jaso_bunri.pl 0.txt" 이렇게 하면 콘솔 화면 상으로만 출력된다. 자소 분리된 출력을 파일로 만들기 위해서는 리다이렉션을 사용한다. 즉 아래와 같이 하면 된다.

jaso_bunri.pl 0.txt > tt.txt

이러면 tt.txt (아무 이름이나 상관 없지만 기존의 파일을 덮어쓰게 되므로 유의) 라는 텍스트 파일 안에 출력 결과가 들어 가게 된다.








추가 사항:
만약 그냥 jaso_bunri.pl 이라고 하면 커서만 깜빡이고 아무 반응이 없을 것이다. 그러나 그 상태에서도 펄이 입력을 기다리고 있으므로, 키보드로 직접 한글을 입력하거나, 한글 텍스트를 클립보드로 복사한 후 콘솔창에 대고 마우스 오른쪽 버튼을 클릭하여 붙여 주거나 한 후, Ctrl+Z 키를 눌러 주면, 자소가 분리된다.




파이프(pipe) 입력도 가능하다. 한글 원화 기호(\) 위에 있는, 즉 '백슬래시 키' 위에 있는 작대기(|)로 파이핑을 할 수 있다.
아래는 dir 명령을 자소 분리한 것. (단, 펄의 파이핑에 조금 문제가 있는데, "perl -S" 이것을 펄 파일 앞에 붙어 주어야 한다.)

dir | perl -S jaso_bunri.pl
이 명령의 결과가 아래의 창:




참고로, 위의 dir의 원래 출력은 이것