C++로 자작 언어(ClauText) 만들기

3. StringTokenizer

 ClauText구현상, "abc def"가 같은 문장이 있고 여백기준으로 Tokenizer를 구성할 떄, "를 고려하지 않으면

"abc, def" 로 나누어져 문자열의 의미?를 잃고 만다. 그래서 Tokenizer를 만들면서, 여백(엔터키등은 제외)을 포함할 수 있는 문자열("나 '둘러쌓인 문자열)은 여백등에 의해서 나누어 지지 않도록 따로 option을 두어서구현하였다.

 

 

댓글

댓글 본문
버전 관리
vztpv
현재 버전
선택 버전
graphittie 자세히 보기