형식언어 - 어휘 분석 (토큰)

수업 일자 : 2022/04/29 (금)

 

수업 일자 : 2022/05/03 (화)

4.2 토큰 인식

• -> 토큰 구조의 표현 - 정규언어 : 이걸 분석하는게 Scanner

        -> 프로그래밍 언어의 표현 - CFG : 이걸 분석하는게 Parser

• Scanner 만들기 단계

1. 토큰의 구조를 정규 표현으로 설명합니다.
2. 또는 토큰에 대한 전환 다이어그램을 직접 설계합니다.
3. 도표에 따라 스캐너를 프로그래밍합니다.
4. 또한, 우리는 규칙적인 언어 이론을 통해 스캐너의 동작을 검증한다.

• Character classification

4.2.1 Identifier Recognition

 

4.2.2 Integer number Recognition

• 형태 : 10진수, 8진수, 16진수로 구분되어진다.
            10진수 : 0이 아닌 수 시작
             8진수 : 0으로 시작, 16진수 : 0x, 0X로 시작
• Transition diagram

• Regular grammar

• Regular expression

 

4.2.3 Real number Recognition

• 형태 : 고정 소숫점 number & 부동 소숫점 number
• Transition diagram

• Regular grammar

• Regular expression

 

4.2.4. String Constant Recognition

 

 

4.2.5. Comment Recognition