릿지 회귀
릿지 회귀(Ridge regression)는 독립 변수의 상관 관계가 높은 시나리오에서 다중 회귀 모델의 계수를 추정하는 방법이다.[1] 계량경제학, 화학, 공학 등 다양한 분야에서 사용되었다.[2] 안드레이 니콜라예비치 티호노프의 이름을 딴 '티호노프 정규화'라고도 알려진 이 방법은 잘못 제기된 문제를 정규화하는 방법이다. 선형 회귀 분석에서 다중 공선성 문제를 완화하는 데 특히 유용한다. 이 문제는 매개변수 수가 많은 모델에서 흔히 발생한다.[3] 일반적으로 이 방법은 허용 가능한 편향의 대가로 매개변수 추정 문제에서 향상된 효율성을 제공한다(편향-분산 트레이드오프 문서 참고).[4]
이 이론은 1970년 호얼(Hoerl)과 케나드(Kennard)가 테크노메트릭스(Technometrics) 논문 "릿지 회귀: 비직교 문제의 편향 추정" 및 "릿지 회귀: 비직교 문제의 적용"에서 처음 소개했다.[5][6][1] 이는 릿지해석 분야에 대한 10년 간의 연구 결과였다.[7]
릿지 회귀는 선형 회귀 모델에 일부 다중 공선형(상관 관계가 높은) 독립 변수가 있는 경우 릿지 회귀 추정기(RR)를 생성하여 최소 제곱 추정기의 부정확성에 대한 가능한 솔루션으로 개발되었다. 이는 분산과 평균 제곱 추정량이 이전에 파생된 최소 제곱 추정값보다 작은 경우가 많기 때문에 더 정확한 릿지 매개변수 추정값을 제공한다.[8][2]
같이 보기
[편집]각주
[편집]- ↑ 가 나 Hilt, Donald E.; Seegrist, Donald W. (1977). 《Ridge, a computer program for calculating ridge regression estimates》. doi:10.5962/bhl.title.68934.
- ↑ 가 나 Gruber, Marvin (1998). 《Improving Efficiency by Shrinkage: The James--Stein and Ridge Regression Estimators》. CRC Press. 2쪽. ISBN 978-0-8247-0156-7.
- ↑ Kennedy, Peter (2003). 《A Guide to Econometrics》 Fif판. Cambridge: The MIT Press. 205–206쪽. ISBN 0-262-61183-X.
- ↑ Gruber, Marvin (1998). 《Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators》. Boca Raton: CRC Press. 7–15쪽. ISBN 0-8247-0156-9.
- ↑ Hoerl, Arthur E.; Kennard, Robert W. (1970). “Ridge Regression: Biased Estimation for Nonorthogonal Problems”. 《Technometrics》 12 (1): 55–67. doi:10.2307/1267351. JSTOR 1267351.
- ↑ Hoerl, Arthur E.; Kennard, Robert W. (1970). “Ridge Regression: Applications to Nonorthogonal Problems”. 《Technometrics》 12 (1): 69–82. doi:10.2307/1267352. JSTOR 1267352.
- ↑ Beck, James Vere; Arnold, Kenneth J. (1977). 《Parameter Estimation in Engineering and Science》. James Beck. 287쪽. ISBN 978-0-471-06118-2.
- ↑ Jolliffe, I. T. (2006). 《Principal Component Analysis》. Springer Science & Business Media. 178쪽. ISBN 978-0-387-22440-4.