[3-4. 통계분석] 1.통계분석의 이해

4장 통계분석
학습목표
+ 통계의 정의와 자료획득방법을 이해한다
- 간단한 테이블 또는 그래프에서 아주 복잡한 분석 결과까지 형태는 다양
- 자료획득방법으로는 총조사와 샘플량 조사가 있다
+ 통계분석과 통계분석 방법을 이해한다
- 분석방법에는 기술통계와 통계적 추론으로 구분
+ 확률 및 확률분포를 이해한다
+ 추정과 가설검증을 이해한다 
- 추정은 표본으로부터 모집단이 가지는 특성(모수)을 추측하는 것
- 가설검증은 자신이 가지는 이론적 대안이 통계적으로 의미가 있는지를 확인하는 것

1절. 통계분석의 이해
1) 통계
- 특정집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 대한 요약된 형태의 표현
- 예 : 일기예보, 물가/실업률/GNP, 의식조사와 사회조사 분석 통계, 임상실험 통계
- 조사 또는 실험을 통해 데이터를 확보, 조사대상에 따라 총조사(census)와 표본조사(Sampling)로 구분한다

2) 통계자료의 획득방법
1. 총 조사/전수조사(census)
- 대상 집단 모두를 조사하는데 많은 비용과 시간이 소요되므로 특별한 경우를 제외하고는 사용되지 않는다 (ex.인구주택 총 조사)
2. 표본조사(Sampling)
- 대부분의 설문조사가 표본조사로 진행되며 모집단에서 샘플을 추출하여 진행하는 조사 
- 모집단(Population) : 조사하고자 하는 대상 집단 전체
- 원소(Element) : 모집단을 구성하는 개체
- 표본(Sample) : 조사하기 위해 추출한 모집단의 일부 원소
- 모수(Parameter) : 표본 관측에 의해 구하고자 하는 모집단에 대한 정보
- 모집단의 정의, 표본 크기, 조사 방법, 조사기간, 표본추출방법을 정확히 명시해야 함
- 표본오차 : 모집단의 일부인 표본에서 얻은 자료를 통해 모집단 전체의 특성을 추론함으로써 생기는 오차
-> 모집단을 대표할 수 있는 표본단위들이 조사대상으로 추출되지 못하면 발생
- 비표본오차 : 표본오차를 제외한 조사의 전체 과정에서 발생할 수 있는 모든 오차
- 표본편의 : 표본추출방법에서 기인하는 오차중심극한정리
-> 표본추출이 의도된 모집단의 일부 구성원이 다른 구성원보다 더 낮거나 더 높은 표본 추출 확률을 갖는 오차

*표본추출방법 4가지는 필수암기 영어+한글 모두 잘 보기!!
3. 표본 추출 방법
- 표본조사의 중요한 점은 모집단을 대표할 수 있는 표본추출이므로 표본 추출방법에 따라 분석결과의 해석은 큰 차이가 발생
  (N개의 모집단에서 n개의 표본을 추출하는 경우)
(1) 단순랜덤 추출법 (Simple Random Sampling)
- 각 샘플에 번호를 부여하여 임의의 n개를 추출하는 방법
- 각 샘플은 선택될 확률이 동일
- 비복원, 복원(추출한 원소를 다시 집어넣어 추출하는 경우)추출

(2) 계통추출법 (Systematic Sampling)
- 단순랜덤추출법의 변형된 방식으로 번호를 부여한 샘플을 나열하여 K개씩(K=N/n) n개의 구간으로 나누고 
  첫 구간(1, 2, ... , K)에서 하나를 임의로 선택한 후에 K개씩 띄어서 n개의 표본을 선택

(3) 집략추출법 (Cluster Random Sampling)
- 군집을 구분하고 군집별로 단순랜덤 추출법을 수행한 후, 모든 자료를 활용하거나 샘플링하는 방법
- 지역표본추출, 다단계표본추출

(4) 층화추출법 (Stratified Random Sampling)
- 이질적인 원소들로 구성된 모집단에서 각 계층을 고루 대표할 수 있도록 표본을 추출하는 방법
- 유사한 원소끼리 몇 개의 층(Stratum)으로 나누어 각 층에서 랜덤 추출하는 방법
- 비례층화추출법, 불비례층화추출법

4. 측정(Measurement)
1. 개요 : 표본조사나 실험을 실시하는 과정에서 추출된 원소들이나 실험 단위로부터 주어진 목적에 적합하도록 관측해 자료를 얻는 것
2. 측정방법

- 서열(순서)척도는 명목척도와 달리 매겨진 숫자의 크기를 읨있게 활용할 수 있다 (예:1등이2등보다는 성적이 높다)
- 구간척도는 절대적 크기는 측정할 수 없기 때문에 사칙연산 중 더하기와 빼기는 가능하지만 비율처럼 곱하거나 나누는 것은 불가능

3) 통계분석
1. 정의
- 특정한 집단이나 불확실한 현상을 대상으로 자료를 수집해 대상 집단에 대한 정보를 구하고, 적절한 통계분석 방법을 이용해 의사결정을 하는 과정

2. 기술통계(Descriptive Statistic)
- 주어진 자료로부터 어떠한 판단이나 예측과 같은 주관이 섞일 수 있는 과정을 배제하여 통계집단들의 여러 특성을 수량화하여 객관적인 데이터로 나타내는 통계분석 방법론
- Sample에 대한 특성인 평균, 표준편차, 중위수, 최빈값, 그래프, 왜도, 첨도 등을 구하는 것을 의미

3. 통계적 추론(추측통계,Inference Statistics)
- 수집된 자료를 이용해 대상 집단(모집단)에 대한 의사결정을 하는 것으로 Sample을 통해 모집단을 추정하는 것을 의미 
(1) 모수추정 : 표본집단으로부터 모집단의 특성인 모수(평균,분산 등)를 분석하여 모집단을 추론 
(2) 가설검정 : 대상집단에 대해 특정한 가설을 설정한 후에 그 가설이 옳은지 그른지에 대한 채택여부를 결정하는 방법론
(3) 예측 : 미래의 불확실성을 해결해 효율적인 의사결정을 하기 위해 활용

4) 확률 및 확률분포
1. 확률
- 표본공간 S에 부분집합인 각 사상에 대해 실수값을 가지는 함수의 확률값이 0과1사이에 있고, 전체확률의 합이 1인 것을 의미 
- 표본공간 Ω의 부분집합인 사건 E의 확률은 표본공간의 원소의개수에 대한 서건 E의 개수의 비율로 확률을 P(E)라고 할 떄,
        n(E) 표본공간 Q의 원소 개수 
P(E)=  -------------------------
        n(Ω) 사건 E의 원소 개수    

​(1) 표본공간(Sample Space, Ω) : 어떤 실험을 실시할 때 나타날 수 있는 모든 결과들의 집합이다

(2) 사건(Event) : 관찰자가 관심이 있는 사건으로 표본공간의 부분집합이다

(3) 원소(Element) : 나타날 수 있는 개별의 결과들을 의미한다

(4) 확률변수(Random Variable) 
- 특정값이 나타날 가능성이 확률적으로 주어지는 변수
- 정의역(Domain)이 표본공간, 치역(Range)이 실수값(0<y<1)인 함수
- 0이 아닌 확률을 갖는 실수값의 형태에 따라 이산형 확률변수(Discrete Random Variable)와 연속형 확률변수(Continuous Random Variable)로 구분
- 확률변수의 기대값 확률변수 X의 기대값(Expectation, Expected Value) : 실험을 반복했을 때 평균적으로 기대할 수 있는 값
- 적률(moment)이란 확률변수의 특성을 나타내는 측도로, 확률분포의 형태와 특징을 설명하는 데 사용
- 적률은 확률변수의 값에 대한 다항식의 계수로서, 확률분포의 특성을 정량화하는 도구 중 하나
- k차 적률 (k-th Moment): 확률변수의 값을 k제곱하여 가중평균을 구한 값
- k차 중심적률 (k-th Central Moment): 평균값을 기준으로 한 k차 적률
- 2차 중심적률 E [(X-𝜇)^2]=𝜎^2 : 모분산(Population Variance) 기대값의 선형성 이용 -> 즉, 모분산=2차적률-1차적률^2로 해석

- 덧셈정리(배반사건이 아닐 때) : 사건A와 사건B가 동시에 일어날 수 있을 때(교집합이 성립할 때), 일어날 확률P(A또는B) > P(AUB)=P(A)+P(B)-P(A∩B)로 표현
 => 사건B가 주어졌을 때 사건A의 조건부 확률 > P(A|B)=P(A∩B)/P(B)

- 덧셈정리(배반사건일 때) : 사건A와 사건B가 동시에 일어나지 않을 때, 즉 사건A 또는 사건B중 어느 한쪽만 일어날 확률 > P(AUB)=P(A)+P(B)

- 곱셈정리 : 사건A와 B가 서로 무관계하게 나타날 때 즉, 독립사건일 때 사건A와 B가 동시에 나타날 확률 P(A와B) > P(A∩B)=P(A)XP(B)로 표현
  => 사건B가 주어졌을 때 사건A의 조건부 확률 > P(A|B)=P(A)

2. 확률분포
(1) 이산형 확률분포
- 0이 아닌 확률값을 갖는 확률변수를 셀 수 있는 경우(확률질량함수)
- 변수가 취할 수 있는 값들이 서로 간격이나 띄엄띄엄하여 연속적이지 않고 분리되어 있는 경우
- 식 : 
- 이산형 확률변수의 예시 : 동전2개를 던져서 앞/뒷면이 나오는 경우의 수 

가) 베르누이 확률분포(Bernoulli Distribution) : 결과가 2개만 나오는 경우
- 식 :
- 베르누이 확률변수를 X로 나타낼 때, 이 변수가 1일 경우와 0일 경우로 나뉘어집니다.
- 보통 1은 성공(success) 또는 양성(positive), 0은 실패(failure) 또는 음성(negative)으로 해석
- 예 : 동전 던지기(앞/뒤), 시험의 합격/불합격
- 메이저리거 추신수 선수가 안타를 칠 확률은 베르누이 분포를 따름(안타를 치는 사건을 x=1, 안타를 칠 확률은 타율로 적용 가능
- 베르누이 확률분포는 이진 분류(binary classification) 문제에서 많이 사용됩니다. 예를 들어, 동전 던지기에서 앞면이 나오면 1(성공), 뒷면이 나오면 0(실패)
- 성공 또는 실패의 확률을 모델링 > 베르누이 시행


나) 이항분포((Binomial Distribution) : 베르누이 시행을 n번 반복했을 때 k번 성공할 확률
- 식 :
- 메이저리거 추신수 선수가 오늘 경기에서 5번 타석에 들어와서 3번 안타를 칠 확률은 이항분포를 따른다.
  > (n=5, k=3, 안타를 칠 확률 P(x)=타율로 적용 가능)
- 성공할 확률 p가 0이나 1에 가깝지 않고 n이 충분히 크면 이항분포는 정규분포에 가까워짐
- 성공할 확률 P가 1/2에 가까우면 종모양

다) 기하분포(Geometric Distribution) : 성공확률이 p인 베르누이 시행에서 첫 번째 성공이 있기 까지 x번 실패할 확률
- 독립적인 베르누이 시행에서 처음으로 성공할 때까지의 시행 횟수에 대한 이산확률분포
- 식 : P(X=k)=(1−p)k−1p
- X는 기하분포를 나타내는 확률변수
- k는 처음으로 성공할 때까지 걸리는 시행 횟수
- p는 각 시행에서 성공할 확률입니다
- P(X=k)는 처음으로 성공하는데까지 시행이 k-1번 실패하고, 마지막 시행에서 성공할 확률

라) 다항분포(Multinomial Distribution) : 이항분포를 확장한 것으로, 세 가지 이상의 결과를 가지는 반복 시행에서 발생하는 확률 분포
- 예시:한 주사위를 여러 번 던지는 상황 > 
만약 4번의 던지기를 한다고 가정하면, 각 던지기마다 주사위의 어떤 면이 나올지에 대한 확률이 있습니다. 
이때, 각 면의 나올 확률이 동일하다면, 이 상황은 다항분포로 모델링될 수 있습니다.
첫 번째 던지기에서 1이 나올 확률을 p1, 두 번째 던지기에서 2가 나올 확률을 p2
세 번째 던지기에서 3이 나올 확률을 p3, 네 번째 던지기에서 4가 나올 확률을 p4
여기서 p1+p2+p3+p4+p5+p6=1이고, 주사위의 여섯면이 모두 가능한 결과입니다
만약 첫 번째 던지기에서 1이 나오고, 두 번째에서 2가 나오고, 세 번째에서 3이 나오고, 네 번째에서 4가 나올 확률을 알고 싶다면,
이는 p1*p2*p3*p4로 계산. 이처럼 다항분포는 여러 개의 베르누이 시행(주사위 던지기에서의 각 던지기)을 모델링할 때, 
각각의 결과가 발생할 확률을 곱하여 전체 확률을 계산하는 분포입니다.

마) 포아송분포(Poisson Distribution) : 시간과 공간 내에서 발생하는 사건의 발생 횟수에 대한 확률분포
- 책에 오타가 5page당 10개씩 나온다고 할 때, 한 페이지에 오타가 3개 나올 확률
- 메이저리거 추신수 선수가 최근 5경기에서 10개의 홈런을 쳤을 때, 오늘 경기에서 홈런을 못 칠 확률은 포아송분포를 따름
- 포아송 분포는 사건이 서로 독립적으로 발생하고, 발생하는 평균 비율이 일정할 때 적용
- 식 :
- X는 포아송 분포를 나타내는 확률변수
- k는 발생한 사건의 실제 횟수
- λ는 주어진 시간 또는 공간에서 발생하는 사건의 평균 발생 횟수 (정해진 시간 안에 어떤 사건이 일어날 횟수에 대한 기댓값)
예를 들어, 하루 동안 도시의 특정 지점에서 평균적으로 2번의 교통사고가 발생한다고 가정해봅시다. 
이때, 포아송 분포를 사용하여 하루 동안 정확히 3번의 교통사고가 발생할 확률을 계산할 수 있습니다.
식 : 

(2) 연속형 확률변수
- 가능한 값이 실수의 어느 특정구간 전체에 해당하는 확률변수(확률밀도함수)
​- 변수가 특정 값 하나를 가질 확률은 0이며, 대신 확률 변수가 특정 구간에 속할 확률을 표현
- 주로 연속적인 데이터, 예를 들어 시간, 길이, 무게와 같은 변수들을 모델링하는 데 사용 

가) 균일분포(일양분포, Uniform Distribution) : 모든 확률변수 X가 균일한 확률을 가지는 확률분포
- 모든 가능한 값들이 동등한 확률로 발생할 때 발생하는 분포로, 직사각형 모양의 확률밀도함수를 가집니다
- 다트의 확률분포
      b−a
f(x)= ----
       1
​a는 구간의 시작점
b는 구간의 끝점
f(x)는 확률밀도함수입니다.

나) 정규분포(Normal Distribution) : 평균이 𝜇이고, 표준편차가 𝜎인 x의 확률밀도함수
- 정규분포는 평균 주위에 대칭적인 종 모양의 분포를 형성
- 표준편차가 클 경우 퍼져보이는 그래프가 나타남
- 평균 주위의 값들이 높은 확률로 나타나고, 평균에서 멀어질수록 낮은 확률로 나타납니다.
- 정규분포의 특징:68-95-99.7 규칙: 대략적으로 68%의 데이터가 평균에서 한 표준편차 내, 95%는 두 표준편차 내, 99.7%는 세 표준편차 내에 위치
* 표준정규분포 : 평균이 0이고 표준편차가 1인 정규분포
- 정규분포를 표준정규분포로 만들기 위해선 Z=(X-µ)/𝜎(Z-점수 표준화)식 이용
*최소-최대 정규화(Min-Max Normalization):(X-Min)/(Max-Min), 원 데이터의 분포를 유지하면서 0~1 사이 값이 되도록 정규화함
*Z-점수 표준화(Z-Score Standardization):(X-평균)/표준편차, 원 데이터를 표준정규분포에 해당되도록 표준화

다) 지수분포(Exponential Distribution) : 어떤 사건이 발생할 때까지 경과 시간에 대한 연속확률분포
- 전자레인지의 수명시간, 콜센터에 전화가 걸려올 때까지의 시간, 은행에 고객이 내방하는데 걸리는 시간, 정류소에서 버스가 올 때까지의 시간

- x는 양수인 시간 또는 간격
- λ는 감소율 매개변수로, 양수이며 사건이 얼마나 빠르게 일어나는지를 제어합니다.

라) t-분포(t-Distribution) : 표준정규분포와 같이 평균이 0을 중심으로 좌우가 동일한 분포
- 일반적으로 표본 평균에 대한 검정 및 신뢰 구간을 구할 때 사용되는 분포
- 두 집단의 평균이 동일한지 알고자 할 때 검정통계량으로 활용
- 표본의 크기가 적을 때 : 표준정규분포를 위에서 눌러놓은 것
- 표본이 커져서(30개 이상) : 자유도가 증가하면 표준정규분포와 거의 같은 분포
- 데이터가 연속형일 경우 활용

마) χ2-분포(카이제곱분포/Chi-Square Distribution)
: 모평균과 모분산이 알려지지 않은 모집단의 모분산에 대한 가설검정에 사용되는 분포
- 두 집단 간의 동질성 검정에 활용
- 범주형 자료에 대해 얻어진 관측값과 기대값의 차이를 보는 적합성 검정
- 관찰된 빈도와 기대 빈도 간의 차이가 우연적인 것인지 여부를 판단
- 자유도에 의존: 자유도가 높아질수록 분포의 형태가 정규분포에 가까워집니다. 자유도가 증가함에 따라 분산이 감소하는 특성
(자유도(degree of freedom)는 통계 분석에서 모델에 제약을 가하는 독립적인 정보의 수를 나타내는 개념)
- 오직 양수 값만 가짐: χ2-분포의 값은 항상 양수이며, 0에 가까울수록 높은 확률을 가집니다.
- 카이제곱 검정: 주로 관찰된 빈도와 기대 빈도 간의 차이를 검정하는데 사용됩니다.

바) F-분포(F-Distribution) : 두 집단 간 분산의 동일성 검정에 사용되는 검정 통계량 분포
- 확률변수는 항상 양의 값만을 갖고 χ2분포와 달리 자유도를 2개가지고 있으며, 자유도가 커질수록 정규분포에 가까워짐

5) 추정과 가설검정
1. 추정의 개요
(1) 확률표본(Random Sample)
- 확률분포는 분포를 결정하는 평균, 분산 등의 모수(Parameter)를 가짐
- 특정한 확률분포로부터 독립적으로 반복해 표본을 추출
- 각 관찰값들은 서로 독립적이며 동일한 분포를 갖음

(2) 추정
- 표본으로부터 미지의 모수를 추측하는 것
- 점추정(Point Estimation)과 구간추정(Interval Estimation)으로 구분
가) 점추정(Point Estimation)
- '모수(모집단의 특성을 나타내는데 사용되는 고정된 숫자)가 특정한 값'일 것이라고 추정
- 표본의 평균, 중위수, 최빈값 등을 사용

나) 구간추정(Interval Estimation)
- 점추정의 정확성 보완을 위해 확률로 표현된 믿음의 정도 하에서 모수가 특정한 구간에 있을 것이라고 선언하는 것
- 항상 추정량의 분포에 대한 전제가 주어져야 하고, 구해진 구간 안에 모수가 있을 가능성의 크기(신뢰수준)이 주어져야 함

- 모분산을 알 때는 분자에 𝜎를 넣고, 모분산을 모를 때 는 분자에 s를 넣는다는 것을 기억합시다.

2. 가설검정
(1) 정의
- 모집단에 대한 어떤 가설을 설정한 뒤에 표본관찰을 통해 그 가설의 채택여부를 결정하는 분석방법
- 표본관찰 또는 실험을 통해 귀무가술과 대립가설 중 하나를 선택하는 과정
- 귀무가설이 옳다는 전제하에 검정통계량 값을 구한 후에 이 값이 나타날 가능성의 크기에 의해 귀무가설 채택여부 결정

가) 귀무가설(Null Hypothesis, 𝐻0) : 비교하는 값과 차이가 없다, 동일하다를 기본개념으로 하는 가설
나) 대립가설(Alternative Hypothesis, 𝐻1) : 뚜렷한 증거가 있을 때 주장하는 가설
다) 검정통계량(Test Statistic) : 관찰된 표본으로부터 구하는 통계량, 검정 시 가설의 진위 판단 기준
라) 유의수준(Significance Level, 𝛼): 귀무가설을 기각하게 되는 확률의 크기 -> 귀무가설이 옳은데도 이를 기각하는 확률의 크기
마) 기각역(Critical Region, C)=P-value=유의구간: 귀무가설이 옳다는 전제 하에서 구한 검정통계량의 분포에서 확률이 유의수준 𝛼인 부분
    ->반대 : 채택역(Acceptance Region)

*유의확률(p-value): 귀무가설이 맞다고 가정할 때 얻을 수 있는 결과보다 실제값이 더 극단에 위치할 확률
*검정력(Statistical Power): 대립가설이 사실일 때, 대립가설을 채택하는 옳은 결정을 할 확률

- a의 크기를 0.05로 설정했다가 0.01로 줄인경우 B의 값은 일반적으로 증가 > a값과 B의 값은 상충관계가 있다

 

제1종 오류와 제2종 오류

6) 비모수 검정 : 모집단의 모수에 대한 검정 > 모수적 검정, 비모수적 검정
1. 모수적 방법 
- 검정하고자 하는 모집단의 분포에 대한 가정을 하고, 그 가정하에서 검정통계량과 검정통계량의 분포를 유도해 검정을 실시
모수 가정: 데이터가 특정한 확률분포를 따른다고 가정하며, 해당 분포의 모수를 추정하거나 검정을 수행합니다.
파라미터 추정: 주어진 데이터를 사용하여 모수를 추정합니다. 주로 최대우도추정(MLE, Maximum Likelihood Estimation)이나 최소제곱법(Least Squares) 등의 방법을 사용합니다.
가설 검정: 모수에 대한 가설을 세우고, 주어진 데이터를 사용하여 가설을 검정합니다. 가설 검정은 주로 t-검정, F-검정, 카이제곱 검정 등을 사용합니다.
분포 가정: 데이터의 분포에 대한 가정을 통해 통계적 추론을 수행합니다. 대표적인 예로는 정규분포, 이항분포 등이 있습니다.
유연성 및 제약: 모수적 방법은 데이터에 대한 명확한 가정을 기반으로 하기 때문에, 데이터가 해당 가정을 따르는 경우 성능이 우수할 수 있습니다. 그러나 가정이 잘못된 경우 결과가 편향될 수 있습니다.

2. 비모수적 방법
- 자료가 추출된 모집단의 분포에 대한 아무 제약을 가하지 않고 검정을 실시하는 방법
- 관측된 자료가 특정분포를 따른다고 가정할 수 없는 경우에 이용
- 관측된 자료의 수가 많지 않거나(30개 미만) 자료가 개체 간의 서열관계를 나타내는 경우에 이용
- 데이터의 분포에 대한 가정을 최소화하거나 전혀 하지 않고, 데이터의 순위나 순서에만 의존하여 통계적 추론을 수행하는 방법
- 모수적 방법과는 달리, 확률분포를 가정하지 않거나 적은 가정을 기반으로 하기 때문에 데이터에 대한 더 일반적인 가정을 할 수 있다
- 순위 기반 통계량 사용: 대표적으로 순위나 순서에 기반한 통계량을 사용하여 데이터를 분석합니다. 예를 들어, 중앙값(median), 순위 합계 등을 활용합니다.

3. 모수적 검정과 비모수 검정의 차이점
가) 가설의 설정
- 모수적 검정 : 가정된 분포의 모수에 대해 가설 설정
- 비모수 검정 : 가정된 분포가 없으므로 가설은 단지 '분포의 형태가 동일하다' 또는 '분포의 형태가 동일하지 않다' 와 같이 분포의 형태에 대해 설정

나) 검정 방법
- 모수적 검정 : 관측된 자료를 이용해 구한 표본평균, 표본분산 등을 이용해 검정 실시
- 비모수 검정 : 관측값의 절대적인 크기에 의존하지 않는 관측값들의 순위(Rank)나 두 관측값 차이의 부호등을 이용해 검정

4. 비모수 검정 예
-부호검정(Sign Test)
-윌콕슨의 순위합 검정(Wilcoxon's Rank Sum Test)
-윌콕슨의 부호 순위 검정(Wilcoxon's Signed Rank Test)
-맨-휘트니의 U검정(Mann-Whitney U test)
-런 검정(Run Test)
-스피어만의 순위상관계수(Spearmans's rank correlation analysis)