Do it! 쉽게 배우는 R 텍스트 마이닝

---

<br>

.pull-left[
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
<img src="https://raw.githubusercontent.com/youngwoos/Doit_textmining/main/cover.png" width="70%" height="70%" />
]

- [네이버책](https://book.naver.com/bookdb/book_detail.nhn?bid=17891971)
  - [yes24](http://bit.ly/3oUuJOB)
  - [알라딘](http://bit.ly/3oXOSDn)
  - [교보문고](https://bit.ly/2LtNOcB)
]

---

01
<br>
단어 빈도 분석:
<br>
무엇을 강조했을까?

---

We'll make

<br-back-20>

---

and

<br-back-50>

---

<br>

---

01-1 텍스트 전처리

---

#### 텍스트 전처리
- 텍스트에서 분석하는 데 불필요한 요소 제거
- 다루기 쉬운 형태로 만드는 과정

##### 연설문 불러오기

```r
raw_moon <- readLines("speech_moon.txt", encoding = "UTF-8")
head(raw_moon)
```

```
## [1] "정권교체 하겠습니다!"                                                                                                                                                              
## [2] "  정치교체 하겠습니다!"                                                                                                                                                            
## [3] "  시대교체 하겠습니다!"                                                                                                                                                            
## [4] "  "                                                                                                                                                                                
## [5] "  ‘불비불명(不飛不鳴)’이라는 고사가 있습니다. 남쪽 언덕 나뭇가지에 앉아, 3년 동안 날지도 울지도 않는 새. 그러나 그 새는 한번 날면 하늘 끝까지 날고, 한번 울면 천지를 뒤흔듭니다."
## [6] ""
```

- 문재인 대통령의 대선 출마 선언문 출처: [bit.ly/easytext_11](https://bit.ly/easytext_11)

---

#### 불필요한 문자 제거하기 - `str_replace_all()`

- 분석 대상이 아닌 문자 제거
  - ex) 특수문자, 한자, 공백

##### 샘플 텍스트로 작동 원리 알아보기

```r
txt <- "치킨은!! 맛있다. xyz 정말 맛있다!@#"
txt
```

```
## [1] "치킨은!! 맛있다. xyz 정말 맛있다!@#"
```

```r
install.packages("stringr")
library(stringr)

str_replace_all(string = txt, pattern = "[^가-힣]", replacement = " ")
```

```
## [1] "치킨은   맛있다      정말 맛있다   "
```

- `string` : 처리할 텍스트
- `pattern` : 규칙
- `replacement` : 바꿀 문자

---
.box[

.info[<svg viewBox="0 0 512 512" style="height:1em;position:relative;display:inline-block;top:.1em;fill:#FF7333;" xmlns="http://www.w3.org/2000/svg">  <path d="M505.12019,19.09375c-1.18945-5.53125-6.65819-11-12.207-12.1875C460.716,0,435.507,0,410.40747,0,307.17523,0,245.26909,55.20312,199.05238,128H94.83772c-16.34763.01562-35.55658,11.875-42.88664,26.48438L2.51562,253.29688A28.4,28.4,0,0,0,0,264a24.00867,24.00867,0,0,0,24.00582,24H127.81618l-22.47457,22.46875c-11.36521,11.36133-12.99607,32.25781,0,45.25L156.24582,406.625c11.15623,11.1875,32.15619,13.15625,45.27726,0l22.47457-22.46875V488a24.00867,24.00867,0,0,0,24.00581,24,28.55934,28.55934,0,0,0,10.707-2.51562l98.72834-49.39063c14.62888-7.29687,26.50776-26.5,26.50776-42.85937V312.79688c72.59753-46.3125,128.03493-108.40626,128.03493-211.09376C512.07526,76.5,512.07526,51.29688,505.12019,19.09375ZM384.04033,168A40,40,0,1,1,424.05,128,40.02322,40.02322,0,0,1,384.04033,168Z"></path></svg> 정규 표현식이란?]

- 특정한 규칙을 가진 문자열을 표현하는 언어
- 특정 조건의 문자를 찾거나 수정할 때 활용
  - ex) `[^가-힣]` : 한글이 아닌 모든 문자
      - `가-힣` : "가" 부터 "힣"까지의 모든 한글 문자
      - `^` : 반대

---

#### `raw_moon`의 불필요한 문자 제거하기

```r
moon <- raw_moon %>%
 str_replace_all("[^가-힣]", " ")

head(moon)
```

```
## [1] "정권교체 하겠습니다 "                                                                                                                                                        
## [2] "  정치교체 하겠습니다 "                                                                                                                                                      
## [3] "  시대교체 하겠습니다 "                                                                                                                                                      
## [4] "  "                                                                                                                                                                          
## [5] "   불비불명       이라는 고사가 있습니다  남쪽 언덕 나뭇가지에 앉아   년 동안 날지도 울지도 않는 새  그러나 그 새는 한번 날면 하늘 끝까지 날고  한번 울면 천지를 뒤흔듭니다 "
## [6] ""
```

---

#### 연속된 공백 제거하기 - `str_squish()`

##### 샘플 텍스트로 작동 원리 알아보기

```r
txt <- "치킨은  맛있다   정말 맛있다  "
txt
```

```
## [1] "치킨은  맛있다   정말 맛있다  "
```

```r
str_squish(txt)
```

```
## [1] "치킨은 맛있다 정말 맛있다"
```

---

##### `moon`에 있는 연속된 공백 제거하기

```r
moon <- moon %>%
 str_squish()

head(moon)
```

```
## [1] "정권교체 하겠습니다"                                                                                                                                          
## [2] "정치교체 하겠습니다"                                                                                                                                          
## [3] "시대교체 하겠습니다"                                                                                                                                          
## [4] ""                                                                                                                                                             
## [5] "불비불명 이라는 고사가 있습니다 남쪽 언덕 나뭇가지에 앉아 년 동안 날지도 울지도 않는 새 그러나 그 새는 한번 날면 하늘 끝까지 날고 한번 울면 천지를 뒤흔듭니다"
## [6] ""
```

---

#### 데이터를 tibble 구조로 바꾸기

##### 문자열 벡터를 tibble 구조로 바꾸기 - `as_tibble()`

```r
library(dplyr)
moon <- as_tibble(moon)
moon
```

```
## # A tibble: 117 x 1
##    value                                                              
##    <chr>                                                              
##  1 "정권교체 하겠습니다"                                              
##  2 "정치교체 하겠습니다"                                              
##  3 "시대교체 하겠습니다"                                              
##  4 ""                                                                 
##  5 "불비불명 이라는 고사가 있습니다 남쪽 언덕 나뭇가지에 앉아 년 동안~
##  6 ""                                                                 
##  7 "그 동안 정치와 거리를 둬 왔습니다 그러나 암울한 시대가 저를 정치~ 
##  8 ""                                                                 
##  9 ""                                                                 
## 10 "우리나라 대통령 이 되겠습니다"                                    
## # ... with 107 more rows
```

---

##### tibble 구조
- 한 행에 한 단락이 들어있음
- 긴 문장은 Console 창에서 보기 편할 만큼 일부만 출력
- 행과 열의 수를 알 수 있음
- 변수의 자료형을 알 수 있음

---

#### 전처리 작업 한 번에 하기

```r
moon <- raw_moon %>%
 str_replace_all("[^가-힣]", " ") %>%  # 한글만 남기기
 str_squish() %>%                      # 연속된 공백 제거
 as_tibble()                           # tibble로 변환
```

---

01-2 토큰화하기

---

#### 토큰화(tokenization)
- 토큰(token): 텍스트의 기본 단위(ex: 단락, 문장, 단어, 형태소)
- 토큰화: 텍스트를 토큰으로 나누는 작업

#### `tidytext` 패키지
  - 텍스트를 정돈된 데이터(Tidy Data) 형태를 유지하며 분석
  - `dplyr`, `ggplot2` 패키지와 함께 활용
  - 토큰화하기: `unnest_tokens()`

---

##### 샘플 텍스트로 작동 원리 알아보기

```r
text <- tibble(value = "대한민국은 민주공화국이다. 대한민국의 주권은 국민에게 있고, 모든 권력은 국민으로부터 나온다.")

text
```

```
## # A tibble: 1 x 1
##   value                                                               
##   <chr>                                                               
## 1 대한민국은 민주공화국이다. 대한민국의 주권은 국민에게 있고, 모든 권~
```

---

```r
install.packages("tidytext")
library(tidytext)

# 문장 기준 토큰화
text %>%
  unnest_tokens(input = value,        # 토큰화할 텍스트
                output = word,        # 토큰을 담을 변수명
                token = "sentences")  # 문장 기준
```

```
## # A tibble: 2 x 1
##   word                                                             
##   <chr>                                                            
## 1 대한민국은 민주공화국이다.                                       
## 2 대한민국의 주권은 국민에게 있고, 모든 권력은 국민으로부터 나온다.
```

- `token`
  - `"sentences"` : 문장
  - `"words"` : 띄어쓰기
  - `"characters"` : 글자

---

```r
# 띄어쓰기 기준 토큰화
text %>%
  unnest_tokens(input = value,
                output = word,
*               token = "words")      # 띄어쓰기 기준
```

```
## # A tibble: 10 x 1
##    word          
##    <chr>         
##  1 대한민국은    
##  2 민주공화국이다
##  3 대한민국의    
##  4 주권은        
##  5 국민에게      
##  6 있고          
##  7 모든          
##  8 권력은        
##  9 국민으로부터  
## 10 나온다
```

---

<br10>

```r
# 문자 기준 토큰화
text %>%
  unnest_tokens(input = value,
                output = word,
*               token = "characters")  # 문자 기준
```

```
## # A tibble: 40 x 1
##    word 
##    <chr>
##  1 대   
##  2 한   
##  3 민   
##  4 국   
##  5 은   
##  6 민   
##  7 주   
##  8 공   
##  9 화   
## 10 국   
## 11 이   
## 12 다   
## 13 대   
## 14 한   
## 15 민   
## 16 국   
## 17 의   
## 18 주   
## 19 권   
## 20 은   
## 21 국   
## 22 민   
## 23 에   
## 24 게   
## 25 있   
## 26 고   
## 27 모   
## 28 든   
## 29 권   
## 30 력   
## 31 은   
## 32 국   
## 33 민   
## 34 으   
## 35 로   
## 36 부   
## 37 터   
## 38 나   
## 39 온   
## 40 다
```
]

<br>

---

##### 연설문 토큰화하기

```r
word_space <- moon %>%
  unnest_tokens(input = value,
                output = word,
                token = "words")

word_space
```

```
## # A tibble: 2,025 x 1
##    word      
##    <chr>     
##  1 정권교체  
##  2 하겠습니다
##  3 정치교체  
##  4 하겠습니다
##  5 시대교체  
##  6 하겠습니다
##  7 불비불명  
##  8 이라는    
##  9 고사가    
## 10 있습니다  
## # ... with 2,015 more rows
```

---

01-3 단어 빈도 분석하기

---

#### 단어 빈도 분석

- 텍스트에 단어가 몇 번 사용됐는지 알아보는 분석 방법
- 글쓴이가 무엇을 강조했는지 알 수 있음

---

#### 단어 빈도 구하기 - `count()`

```r
word_space <- word_space %>%
 count(word, sort = T)

word_space
```

```
## # A tibble: 1,440 x 2
##    word             n
##    <chr>        <int>
##  1 합니다          27
##  2 수              16
##  3 있습니다        13
##  4 저는            13
##  5 등              12
##  6 있는            12
##  7 함께            12
##  8 만들겠습니다    11
##  9 일자리          10
## 10 국민의           9
## # ... with 1,430 more rows
```

---

#### 한 글자로 된 단어 제거하기 - `fitler(str_count())`

##### `str_count()` 문자열의 글자 수 구하기

```r
str_count("배")
```

```
## [1] 1
```

```r
str_count("사과")
```

```
## [1] 2
```

---
##### 두 글자 이상만 남기기

```r
word_space <- word_space %>%
 filter(str_count(word) > 1)

word_space
```

```
## # A tibble: 1,384 x 2
##    word             n
##    <chr>        <int>
##  1 합니다          27
##  2 있습니다        13
##  3 저는            13
##  4 있는            12
##  5 함께            12
##  6 만들겠습니다    11
##  7 일자리          10
##  8 국민의           9
##  9 우리             9
## 10 우리나라         9
## # ... with 1,374 more rows
```

---

##### 한 번에 작업하기

- 빈도 내림차순 정렬 후 두 글자 이상 단어 남기기

```r
word_space <- word_space %>%
 count(word, sort = T) %>%
 filter(str_count(word) > 1)
```

---

##### 자주 사용된 단어 추출하기

```r
top20 <- word_space %>%
 head(20)

top20
```

```
## # A tibble: 20 x 2
##    word             n
##    <chr>        <int>
##  1 합니다          27
##  2 있습니다        13
##  3 저는            13
##  4 있는            12
##  5 함께            12
##  6 만들겠습니다    11
##  7 일자리          10
##  8 국민의           9
##  9 우리             9
## 10 우리나라         9
## 11 새로운           8
## 12 위해             8
## 13 그리고           7
## 14 나라             7
## 15 나라가           7
## 16 지금             7
## 17 낡은             6
## 18 대통령이         6
## 19 되겠습니다       6
## 20 없는             6
```
]

---

#### 막대 그래프 만들기 - `geom_col()`

```r
library(ggplot2)

ggplot(top20, aes(x = reorder(word, n), y = n)) +  # 단어 빈도순 정렬
 geom_col() +
 coord_flip()                                      # 회전
```

---

- `ggplot2` 패키지의 기본 테마 폰트를 한글 지원 폰트로 변경

```r
theme_set(theme_gray(base_family = "AppleGothic"))
```
]

---

#### 그래프 다듬기

```r
ggplot(top20, aes(x = reorder(word, n), y = n)) +
 geom_col() +
 coord_flip() +
 geom_text(aes(label = n), hjust = -0.3) +            # 막대 밖 빈도 표시

labs(title = "문재인 대통령 출마 연설문 단어 빈도",  # 그래프 제목
      x = NULL, y = NULL) +                           # 축 이름 삭제

theme(title = element_text(size = 12))               # 제목 크기
```

---

---

#### 워드 클라우드 만들기

- 워드 클라우드(Word cloud)
    - 단어 빈도를 구름 모양으로 표현한 그래프
    - 빈도에 따라 글자 크기와 색을 다르게 표현
    - 어떤 단어가 얼마나 많이 사용됐는지 한눈에 파악

---

##### 워드 클라우드 만들기 - `geom_text_wordcloud()`

```r
install.packages("ggwordcloud")
library(ggwordcloud)

ggplot(word_space, aes(label = word, size = n)) +
 geom_text_wordcloud(seed = 1234) +
 scale_radius(limits = c(3, NA),     # 최소, 최대 단어 빈도
              range = c(3, 30))      # 최소, 최대 글자 크기
```

---

##### 그래프 다듬기

```r
ggplot(word_space,
       aes(label = word,
           size = n,
           col = n)) +                     # 빈도에 따라 색깔 표현
 geom_text_wordcloud(seed = 1234) +
 scale_radius(limits = c(3, NA),
              range = c(3, 30)) +
 scale_color_gradient(low = "#66aaf2",     # 최소 빈도 색깔
                      high = "#004EA1") +  # 최고 빈도 색깔
 theme_minimal()                           # 배경 없는 테마 적용
```

---

---

그래프 폰트 바꾸기

---

### 그래프 폰트 바꾸기

##### 1. 구글 폰트 불러오기 - `font_add_google()`

```r
install.packages("showtext")
library(showtext)

font_add_google(name = "Nanum Gothic", family = "nanumgothic")
showtext_auto()
```

---

##### 2. 그래프에 폰트 지정하기

```r
ggplot(word_space,
       aes(label = word,
           size = n,
           col = n)) +
  geom_text_wordcloud(seed = 1234,
                      family = "nanumgothic") +  # 폰트 적용
  scale_radius(limits = c(3, NA),
               range = c(3, 30)) +
  scale_color_gradient(low = "#66aaf2",
                       high = "#004EA1") +
  theme_minimal()
```

---

##### '검은고딕' 폰트 적용

```r
font_add_google(name = "Black Han Sans", family = "blackhansans")
showtext_auto()

ggplot(word_space,
       aes(label = word,
           size = n,
           col = n)) +
  geom_text_wordcloud(seed = 1234,
                      family = "blackhansans") +  # 폰트 적용
  scale_radius(limits = c(3, NA),
               range = c(3, 30)) +
  scale_color_gradient(low = "#66aaf2",
                       high = "#004EA1") +
  theme_minimal()
```

---

---

##### 3. `ggplot2` 패키지로 만든 그래프의 폰트 바꾸기

```r
font_add_google(name = "Gamja Flower", family = "gamjaflower")
showtext_auto()

ggplot(top20, aes(x = reorder(word, n), y = n)) +
  geom_col() +
  coord_flip() +
  geom_text(aes(label = n), hjust = -0.3) +

labs(title = "문재인 대통령 출마 연설문 단어 빈도",
       x = NULL, y = NULL) +

theme(title = element_text(size = 12),
        text = element_text(family = "gamjaflower"))  # 폰트 적용
```

---

---

- 매번 `theme()`을 이용해 폰트를 지정하는게 번거롭다면 `ggplot2` 패키지 기본 테마 폰트 설정

```r
theme_set(theme_gray(base_family = "nanumgothic"))
```

- 테마 바꾸는 함수 사용하면 폰트가 기본값으로 되돌아감
  - ex) `theme_minimal()`
- 이때는 `theme()`을 이용해 직접 폰트 지정

]

---

정리하기

---

### 정리하기

```r
# 전처리
moon <- raw_moon %>%
  str_replace_all("[^가-힣]", " ") %>%
  str_squish() %>% 
  as_tibble()

# 토큰화
word_space <- moon %>% 
  unnest_tokens(input = value, 
                output = word, 
                token = "words")

# 단어 빈도 구하기
word_space <- word_space %>% 
  count(word, sort = T) %>% 
  filter(str_count(word) > 1)

# 자주 사용된 단어 추출
top20 <- word_space %>% 
  head(20)
```

---

분석 도전

---

### 분석 도전

`speech_park.txt`에는 박근혜 전 대통령의 대선 출마 선언문이 들어있습니다.

Q1. `speech_park.txt`를 불러와 분석에 적합하게 전처리한 다음 띄어쓰기 기준으로 토큰화하세요.

Q2. 가장 자주 사용된 단어 20개를 추출하세요.

Q3. 가장 자주 사용된 단어 20개의 빈도를 나타낸 막대 그래프를 만드세요. <br> &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;•그래프의 폰트는 나눔고딕으로 설정하세요.

---

Q1. `speech_park.txt`를 불러와 분석에 적합하게 전처리한 다음 띄어쓰기 기준으로 토큰화하세요.

```r
raw_park <- readLines("speech_park.txt", encoding = "UTF-8")
```

```r
# 전처리
library(dplyr)
library(stringr)
park <- raw_park %>%
  str_replace_all("[^가-힣]", " ") %>%  # 한글만 남기기
  str_squish() %>%                      # 연속된 공백 제거
  as_tibble()                           # tibble로 변환

park
```

---

Q1. `speech_park.txt`를 불러와 분석에 적합하게 전처리한 다음 띄어쓰기 기준으로 토큰화하세요.

```
## # A tibble: 96 x 1
##    value                                                              
##    <chr>                                                              
##  1 "존경하는 국민 여러분 저는 오늘 국민 한 분 한 분의 꿈이 이루어지는~
##  2 ""                                                                 
##  3 "국민 여러분 저의 삶은 대한민국과 함께 해온 시간이었습니다 우리나~ 
##  4 ""                                                                 
##  5 "어머니가 흉탄에 돌아가신 후 견딜 수 없는 고통과 어려움 속에서도 ~ 
##  6 ""                                                                 
##  7 "그때부터 제 삶은 완전히 다른 길을 가야했습니다 개인의 삶 대신 국~ 
##  8 ""                                                                 
##  9 "아버지를 잃는 또 다른 고통과 아픔을 겪고 저는 평범한 삶을 살고자 ~
## 10 ""                                                                 
## # ... with 86 more rows
```

---

Q1. `speech_park.txt`를 불러와 분석에 적합하게 전처리한 다음 띄어쓰기 기준으로 토큰화하세요.

```r
# 토큰화
library(tidytext)
word_space <- park %>%
  unnest_tokens(input = value,
                output = word,
                token = "words")  # 띄어쓰기 기준

word_space
```

```
## # A tibble: 1,414 x 1
##    word    
##    <chr>   
##  1 존경하는
##  2 국민    
##  3 여러분  
##  4 저는    
##  5 오늘    
##  6 국민    
##  7 한      
##  8 분      
##  9 한      
## 10 분의    
## # ... with 1,404 more rows
```

---

Q2. 가장 자주 사용된 단어 20개를 추출하세요.

```r
top20 <- word_space %>%
  count(word, sort = T) %>%
  filter(str_count(word) > 1) %>%
  head(20)

top20
```

```
## # A tibble: 20 x 2
##    word             n
##    <chr>        <int>
##  1 국민            29
##  2 저는            14
##  3 있습니다        12
##  4 함께            12
##  5 꿈을            10
##  6 것입니다         8
##  7 새로운           8
##  8 있는             8
##  9 국민행복의       7
## 10 길을             7
## 11 것이             6
## 12 국민들의         6
## 13 만들겠습니다     6
## 14 박근혜           6
## 15 아니라           6
## 16 여러분의         6
## 17 우리             6
## 18 있도록           6
## 19 통해             6
## 20 대한             5
```
]

---

```r
# 폰트 설정
library(showtext)
font_add_google(name = "Nanum Gothic", family = "nanumgothic")
showtext_auto()
```

```r
# 막대 그래프 만들기
library(ggplot2)
ggplot(top20, aes(x = reorder(word, n), y = n)) +
  geom_col() +
  coord_flip () +
  geom_text(aes(label = n), hjust = -0.3) +
  labs(x = NULL) +
  theme(text = element_text(family = "nanumgothic"))
```

---

---

끝