이경수 선생님의 수학실험실

R Text mining

(이경수) — Wed, 21 Apr 2021 13:58:32 +0900

문서에서 단어를 추출하는 함수를 정의한 것이다. 먼저 words에 벡터 형식으로 단어들이 채워지고, 이들은 다시 wlist라는 list의 이름이 된다. 그리고 문서 내, 같은 단어의 모든 위치가 해당 이름 아래 축적된다.

> findwords <- function(doc){
+     words <- scan(doc,"")
+     wlist <- list()
+     for(i in 1:length(words)){
+         wlist[[words[i]]] <- c(wlist[[words[i]]],i)
+     }
+     return(wlist)
+ }
> txt <- findwords("Apple.txt")
Read 706 items
> txt
$Apple
 [1]   1  63  66 143 145 147 149 157 163 165 168 170 189 210 223 245 259 309 324 340 385 410 434 452 525 542 560 585 615
[30] 651 678

$Inc.
[1]   2 453

$is
[1]   3  26 543 561 575 637 669

$an
[1]   4 313 499

$American
[1] 5

$multinational
[1] 6

$technology
[1]   7  38 547

$company
[1]   8 448 513 548 592 659

$headquartered
[1] 9

다음 odrlist 함수는 위 findwords 함수로 얻은 wlist를 빈도수에 따라 오름차순으로 재배열하는 함수이다. 여기서 sapply는 list의 각 요소마다 함수를 적용시킬 수 있는 함수로써 벡터 형식의 결과물을 만들어 낸다. wlist에서 각 요소의 길이를 재고 있는데, 이것은 곧 각 단어의 빈도수를 구하는 것이라 할 수 있다. order 함수는 데이터를 오름차순으로 배열했을 때, 각 데이터의 본래 index를 반환하는 함수이다. 이를 통해 wlist의 단어들을 빈도수에 따라 재배열하는 것이 가능함을 알 수 있다.

R List indexing

(이경수) — Wed, 21 Apr 2021 11:05:52 +0900

아래 예시에서 x는 a, b라는 이름의 벡터로 구성된 리스트이다. a는 숫자형(numeric), b는 문자형(character) 데이터이다. list의 각 요소에 접근하여 데이터를 수정하거나 삭제해야 한다면 [ ]를 두 번 겹쳐서 x[[1]], x[[2]]와 같이 나타내면 된다. 더 세부적으로 리스트의 첫번째 인자에서 k번째 데이터의 접근은 x[[1]][k]와 같이 나타내면 된다.

> x <- list(a=c(1,2,3), b=c("y","n","y"))
> x
$a
[1] 1 2 3

$b
[1] "y" "n" "y"

> x[[1]] <- c(4,5,6)
> x
$a
[1] 4 5 6

$b
[1] "y" "n" "y"

> x[[1]][2:3] <- c(7,8)
> x
$a
[1] 4 7 8

$b
[1] "y" "n" "y"

마찬가지로 list에서 2번째 요소의 2번째 데이터는 x[[2]][2]와 같이 접근하면 되겠다.

> x[[2]][2] <- "y"
> x
$a
[1] 4 7 8

$b
[1] "y" "y" "y"

데이터에 접근하는 또다른 방법은 '$'를 이용하는 것이다. x$a는 x[[1]]와 같은 의미이다.(list x의 첫번째 요소의 이름이 a이다.)

> x$a <- c(11,12,13)
> x
$a
[1] 11 12 13

$b
[1] "y" "y" "y"

그러면 x[1]과 x[[1]]은 어떤 차이를 갖는 것일까?

> x[1]
$a
[1] 11 12 13

> x[[1]]
[1] 11 12 13

datatype을 확인해 보니, x[[1]]는 numeric, x[1]는 list이다. 'x[1] <- c(4,5,6)'는 list에 numeric형 자료를 넣는 표현으로 경고 메시지가 뜨게 만든다. 괄호를 하나만 쓰고자 할 때는 x[1] <- list(c(1,2,3)) 와 같이 표현하는 것이 맞겠다.

> class(x[[1]])
[1] "numeric"
> class(x[1])
[1] "list"
> x[[1]] <- c(1,2,3)
> x
$a
[1] 1 2 3

$b
[1] "y" "y" "y"

> x[1] <- c(4,5,6)
경고메시지(들): 
In x[1] <- c(4, 5, 6) :
  number of items to replace is not a multiple of replacement length
> x[1] <- list(c(1,2,3))
> x
$a
[1] 1 2 3

$b
[1] "y" "y" "y"

R function_example3

(이경수) — Tue, 20 Apr 2021 17:29:21 +0900

다음은 문서에 사용된 단어와 그 단어가 쓰이는 위치를 모두 검색하는 함수에 대한 소개입니다. 문서자료 'poisson.txt'는 wikipedia에서 포아송 분포를 검색했을 때의 내용을 사용하였습니다.

scan( )로 txt file의 내용을 읽어 보면, 다음과 같이 출력됩니다. (절대경로 또는 상대경로)

> txt <- scan("C:/Users/user/Desktop/poisson.txt","")
Read 188 items
> txt
  [1] "In"                               "probability"                     
  [3] "theory"                           "and"                             
  [5] "statistics,"                      "the"                             
  [7] "Poisson"                          "distribution"                    
  [9] "(/<cb>늩w<c9>뫫릗<c9>뭤/;"        "French"                          
 [11] "pronunciation:"                   "<e2>\u0080<8b>[pwas<c9>붛<83>]),"
 [13] "named"                            "after"                           
 [15] "French"                           "mathematician"                   
 [17] "Sim챕on"                          "Denis"                           
 [19] "Poisson,"                         "is"                              
 [21] "a"                                "discrete"                        
 [23] "probability"                      "distribution"                    
 [25] "that"                             "expresses"                       
 [27] "the"                              "probability"                     
 [29] "of"                               "a"                               
 [31] "given"                            "number"                          
 [33] "of"                               "events"                          
 [35] "occurring"                        "in"                              
 [37] "a"                                "fixed"                           
 [39] "interval"                         "of"                              
 [41] "time"                             "or"                              
 [43] "space"                            "if"

findwords() 함수를 정의하여 wlist에 각 단어의 순서가 담겨있는 벡터를 저장합니다.

> findwords <- function(x){
+     txt <- scan(x, "")
+     wlist <- list()
+     for(i in 1:length(txt)){
+         word <- txt[i]
+         wlist[[word]] <- c(wlist[[word]], i)
+     }
+     return(wlist)
+ }
> findwords("poisson.txt")
Read 188 items
$In
[1] 1

$probability
[1]   2  23  28 112 131 153 165

$theory
[1] 3

$and
[1]   4  54 139 143 148 161

$`statistics,`
[1] 5

$the
[1]   6  27  57  60  71 111 115 133 173

$Poisson
[1]   7  64 130

R function_example2

(이경수) — Tue, 20 Apr 2021 16:18:36 +0900

이웃한 세 항들로 이루어진 점화식을 R function으로 나타낸 것이다.

> g <- function(n){
+     if(n==1){
+         return(1)
+     }
+     else if(n==2) {
+         return(2)
+     }
+     else {
+         return( 5*f(n-1)-6*f(n-2) )
+     }
+ }
> g(1)
[1] 1
> g(2)
[1] 2
> g(3)
[1] -5
> g(4)
[1] -0.9058824
> g(5)
[1] -0.2586016

특성방정식의 해를 이용하면, 점화식의 형태를 등비수열의 점화식 꼴로 변형할 수 있다.

또한, 특성방정식이 서로 다른 실근을 갖는다면, 형태가 같은 두 종류의 등식을 얻을 수 있다. 이 두 등식을 연립하는 방법으로도 점화식을 해결할 수 있다.

R function_example1

(이경수) — Tue, 20 Apr 2021 16:13:48 +0900

다음은 고등학교 2학년 수학, 점화식 단원에서 쉽게 볼 수 있는 문제이다. 이 문제는 아래 solution과 같이 점화식의 양변을 모두 역수로 하여 치환하면 기본점화식 형태가 되므로, 어렵지 않게 해법을 발견할 수 있다.

위에 제시한 수열의 점화식을 R의 함수로 나타내 보았다. return()을 통해 결과 값을 반환하고 있다. C에서와 비슷한 모양이다.

> f <- function(n){
+     if(n==1){
+         return(1)
+     } else {
+         return( f(n-1)/(2*f(n-1)+3) )
+     }
+ }
> f(1)
[1] 1
> f(2)
[1] 0.2
> f(3)
[1] 0.05882353

R의 데이터 타입_배열(array)

(이경수) — Tue, 20 Apr 2021 16:06:02 +0900

array는 다차원의 행렬로 생각할 수 있다.

> array(1:12, dim=c(2,3))
     [,1] [,2] [,3]
[1,]    1    3    5
[2,]    2    4    6
> array(1:12, dim=c(2,3,2))
, , 1

     [,1] [,2] [,3]
[1,]    1    3    5
[2,]    2    4    6

, , 2

     [,1] [,2] [,3]
[1,]    7    9   11
[2,]    8   10   12

다음은 4차원의 array를 정의한 것이다.

> array(1:24, dim=c(2,3,2,2))
, , 1, 1

     [,1] [,2] [,3]
[1,]    1    3    5
[2,]    2    4    6

, , 2, 1

     [,1] [,2] [,3]
[1,]    7    9   11
[2,]    8   10   12

, , 1, 2

     [,1] [,2] [,3]
[1,]   13   15   17
[2,]   14   16   18

, , 2, 2

     [,1] [,2] [,3]
[1,]   19   21   23
[2,]   20   22   24

Matrix operation

(이경수) — Tue, 20 Apr 2021 16:03:03 +0900

행렬의 성분은 1열이 모두 채워지면, 2열 그리고 2열이 모두 채워지면 3열의 순서로 채워진다. 그러나 만일, byrow=T라는 인자를 추가하면 채우는 기준을 열에서 행으로 바꿀 수 있다.

> matrix(1:6, nrow=3)
     [,1] [,2]
[1,]    1    4
[2,]    2    5
[3,]    3    6
> matrix(1:6, nrow=3, byrow=T)
     [,1] [,2]
[1,]    1    2
[2,]    3    4
[3,]    5    6

행렬곱은 %*%이다.

> x <- matrix(1:6, nrow=3)
> y <- matrix(1:4, nrow=2)
> x %*% y
     [,1] [,2]
[1,]    9   19
[2,]   12   26
[3,]   15   33

solve(y) : 행렬 y의 역행렬을 구한다.

> y
     [,1] [,2]
[1,]    1    3
[2,]    2    4
> solve(y)
     [,1] [,2]
[1,]   -2  1.5
[2,]    1 -0.5

t( )함수로 본래 행렬의 전치(transpose)행렬을 얻을 수 있다.

> x
     [,1] [,2]
[1,]    1    4
[2,]    2    5
[3,]    3    6
> t(x)
     [,1] [,2] [,3]
[1,]    1    2    3
[2,]    4    5    6

Vectors (seq, rep)

(이경수) — Tue, 20 Apr 2021 15:59:02 +0900

연속된 정수로 이루어진 벡터는 start : end 와 같은 형식으로 정의한다. 만일 공차 d인 수열을 만들고자 한다면 아래 예와 같이 seq(from, to, d) 와 같은 형식으로 정의를 해 주면 된다.

> x <- 1:10
> x
 [1]  1  2  3  4  5  6  7  8  9 10
> x <- seq(1, 10)
> x
 [1]  1  2  3  4  5  6  7  8  9 10
> x <- seq(1, 10, 2)
> x
[1] 1 3 5 7 9
> x <- seq(1, 10, 3)
> x
[1]  1  4  7 10

seq_along()은 인자로 들어오는 데이터의 수(n)에 따라 1:n 인 벡터를 만들며, seq_len(n)는 1:n 인 벡터를 만들어 낸다.

> seq_along(c("k", "o", "r", "e", "a"))
[1] 1 2 3 4 5
> seq_len(3)
[1] 1 2 3

rep()는 동일한 데이터 패턴을 반복적으로 갖는 벡터를 만들어 낸다.

> rep(c("a", "b"), 3)
[1] "a" "b" "a" "b" "a" "b"
> rep(c("a", "b"), each=3)
[1] "a" "a" "a" "b" "b" "b"

벡터를 집합으로 취급하여 집합의 연산을 가능하게 하는 함수도 있다.

- setdiff : 차집합

- union : 합집합

- intersect : 교집합

- setequal : 집합의 상등 판별

> setdiff(c("k", "o", "r", "e", "a"), c("o", "r", "a", "n", "g", "e"))
[1] "k"
> setdiff(c("o", "r", "a", "n", "g", "e"), c("k", "o", "r", "e", "a"))
[1] "n" "g"
> union(c("o", "r", "a", "n", "g", "e"), c("k", "o", "r", "e", "a"))
[1] "o" "r" "a" "n" "g" "e" "k"
> intersect(c("o", "r", "a", "n", "g", "e"), c("k", "o", "r", "e", "a"))
[1] "o" "r" "a" "e"
> setequal(c("o", "r", "a", "n", "g", "e"), c("k", "o", "r", "e", "a"))
[1] FALSE

Random Sampling

(이경수) — Tue, 20 Apr 2021 15:48:50 +0900

sample()은 특정범위의 데이터를 임의로 추출하는 함수이다. 아래와 같이 sample(1:10)은 [1:10]에서 하나의 순열을 만들어 낸다. 이 때, 데이터를 뽑는 횟수를 인자로 추가할 수 있다. sample(1:10, 5)는 [1:10] 범위에서 5개를 뽑아 만든 순열이다. 기본적으로 비복원추출이지만 replace 값을 TRUE로 줌으로써 복원추출을 할 수도 있다.

 [1]  9  2  3  1  8 10  6  4  7  5
> sample(1:10, 5)
[1] 7 1 6 9 4
> sample(1:10, replace = TRUE)
 [1] 6 9 8 6 3 9 7 8 6 2
> sample(1:10, replace = TRUE)
 [1] 7 2 3 4 3 1 7 9 1 2

Random numbers

(이경수) — Tue, 20 Apr 2021 15:44:57 +0900

rnorm 함수는 정규분포에서 임의로 변수를 추출하는 함수이다. 함수는 rnorm(n, mean, sd)와 같은 형식으로 호출하며, 여기서 첫번째 인자인 n은 관찰의 횟수이다. 그리고 아래 예처럼 mean, sd 값을 인자로 넣지 않고 함수를 호출하면 mean=0, sd=1 인 표준정규분포에서 데이터를 취하게 된다.

> x <- rnorm(5)
> x
[1]  0.2884969  1.1597383  0.4425697 -0.5722537 -0.6847786
> x <- rnorm(5, 7, 2)
> x
[1] 9.232620 9.475818 9.156295 5.899293 6.680683
> summary(x)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
  5.899   6.681   9.156   8.089   9.233   9.476

"set.seed is the recommended way to specify seeds."

rnorm 함수를 호출할 때 마다 임의의 데이터가 추출되지만 set.seed()함수를 호출한 후, rnorm 함수를 호출하면 seed에 해당하는 데이터를 다시 불러 오게 된다.

> set.seed(1)
> rnorm(5)
[1] -0.6264538  0.1836433 -0.8356286  1.5952808  0.3295078
> rnorm(5)
[1] -0.8204684  0.4874291  0.7383247  0.5757814 -0.3053884
> set.seed(1)
> rnorm(5)
[1] -0.6264538  0.1836433 -0.8356286  1.5952808  0.3295078

> set.seed(2)
> rnorm(5)
[1] -0.89691455  0.18484918  1.58784533 -1.13037567
[5] -0.08025176
> set.seed(2)
> rnorm(5)
[1] -0.89691455  0.18484918  1.58784533 -1.13037567 -0.08025176
> rnorm(5)
[1]  0.1324203  0.7079547 -0.2396980  1.9844739 -0.1387870
> rnorm(5)
[1]  0.4176508  0.9817528 -0.3926954 -1.0396690  1.7822290
> set.seed(2)
> rnorm(5)
[1] -0.89691455  0.18484918  1.58784533 -1.13037567 -0.08025176