偏最小二乘迴歸

偏最小二乘回歸（英語：Partial least squares regression， PLS回歸）是一種統計學方法，與主成分回歸有關係，但不是尋找響應和獨立變量之間最小方差的超平面，而是通過投影預測變量和觀測變量到一個新空間來尋找一個線性回歸模型。因為數據X和Y都會投影到新空間，PLS系列的方法都被稱為雙線性因子模型。當Y是分類數據時有「偏最小二乘判別分析（英語：Partial least squares Discriminant Analysis， PLS-DA）」，是PLS的一個變形。

偏最小二乘用於查找兩個矩陣（X和Y）的基本關係，即一個在這兩個空間對協方差結構建模的隱變量方法。偏最小二乘模型將試圖找到X空間的多維方向來解釋Y空間方差最大的多維方向。偏最小二乘回歸特別適合當預測矩陣比觀測的有更多變量，以及X的值中有多重共線性的時候。相比之下，標準的回歸在這些情況下不見效（除非它是吉洪諾夫正則化）。

偏最小二乘算法被用在偏最小二乘路徑建模中，^[1]^[2] 一個建立隱變量（原因不能沒有實驗和擬實驗來確定，但一個典型的模型會基於之前理論假設（隱變量影響衡量指標的表現）的隱變量模型）這種技術是結構方程模型的一種形式，與經典方法不同的是基於組件而不是基於協方差。^[3]

偏最小二乘來源於瑞典統計學家Herman Wold，然後由他的兒子Svante Wold發展。偏最小二乘的另一個詞（根據Svante Wold^[4]）是投影到潛在結構，但偏最小二乘法依然在許多領域占據着主導地位。儘管最初的應用是在社會科學中，偏最小二乘回歸今天被廣泛用於化學計量學和相關領域。它也被用於生物信息學，sensometrics，神經科學和人類學。而相比之下，偏最小二乘回歸最常用於社會科學、計量經濟學、市場營銷和戰略管理。

底層模型

偏最小二乘的一般多元底層模型是

X=TP^{\top }+E

Y=UQ^{\top }+F

其中 $X$ 是一個 $n\times m$ 的預測矩陣， $Y$ 是一個 $n\times p$ 的響應矩陣； $T$ 和 $U$ 是 $n\times l$ 的矩陣，分別為 $X$ 的投影（「X分數」、「組件」或「因子」矩陣）和 $Y$ 的投影（「Y分數」）； $P$ 和 $Q$ 分別是 $m\times l$ 和 $p\times l$ 的正交載荷矩陣，以及矩陣 $E$ 和 $F$ 是錯誤項，假設是獨立同分布的隨機正態變量。對 $X$ 和 $Y$ 分解來最大化 $T$ 和 $U$ 之間的協方差。

算法

偏最小二乘的許多變量是為了估計因子和載荷矩陣 $T,U,P$ 和 $Q$ 。它們中大多數構造了 $X$ 和 $Y$ 之間線性回歸的估計 $Y=X{\tilde {B}}+{\tilde {B}}_{0}$ 。一些偏最小二乘算法只適合 $Y$ 是一個列向量的情況，而其它的算法則處理了 $Y$ 是一個矩陣的一般情況。算法也根據他們是否估計因子矩陣 $T$ 為一個正交矩陣而不同。^[5]^[6]^[7]^[8]^[9]^[10] 最後的預測在所有不同最小二乘算法中都是一樣的，但組件是不同的。

PLS1

PLS1是一個 $Y$ 是向量時廣泛使用的算法。它估計 $T$ 是一個正交矩陣。以下是偽代碼（大寫字母是矩陣，帶上標的小寫字母是向量，帶下標的小寫字母和單獨的小寫字母都是標量）：

 1  function PLS1( $X,y,l$ )
 2   $X^{(0)}\gets X$ 
 3   $w^{(0)}\gets X^{T}y/||X^{T}y||$ , an initial estimate of  $w$ .
 4   $t^{(0)}\gets Xw^{(0)}$  
 5  for  $k$  = 0 to  $l$ 
 6       $t_{k}\gets {t^{(k)}}^{T}t^{(k)}$  (note this is a scalar)
 7       $t^{(k)}\gets t^{(k)}/t_{k}$ 
 8       $p^{(k)}\gets {X^{(k)}}^{T}t^{(k)}$ 
 9       $q_{k}\gets {y}^{T}t^{(k)}$  (note this is a scalar)
10      if  $q_{k}$  = 0
11           $l\gets k$ , break the for loop
12      if  $k<l$ 
13           $X^{(k+1)}\gets X^{(k)}-t_{k}t^{(k)}{p^{(k)}}^{T}$ 
14           $w^{(k+1)}\gets {X^{(k+1)}}^{T}y$ 
15           $t^{(k+1)}\gets X^{(k+1)}w^{(k+1)}$ 
16  end for
17  define  $W$  to be the matrix with columns  $w^{(0)},w^{(1)},...,w^{(l-1)}$ .
    Do the same to form the  $P$  matrix and  $q$  vector.
18   $B\gets W{(P^{T}W)}^{-1}q$ 
19   $B_{0}\gets q_{0}-{P^{(0)}}^{T}B$ 
20  return  $B,B_{0}$

這種形式的算法不需要輸入 $X$ 和 $Y$ 定中心，因為算法隱式處理了。這個算法的特點是收縮於 $X$ （減去 $t_{k}t^{(k)}{p^{(k)}}^{T}$ ），但向量 $y$ 不收縮，因為沒有必要（可以證明收縮 $y$ 和不收縮的結果是一樣的）。用戶提供的變量 $l$ 是回歸中隱藏因子數量的限制；如果它等於矩陣 $X$ 的秩，算法將產生 $B$ 和 $B_{0}$ 的最小二乘回歸估計。

擴展

2002年，一個叫做正交投影（英語：Orthogonal Projections to Latent Structures， OPLS）的方法提出。在OPLS中，連續變量數據被分為預測的和不相關的信息。這有利於改進診斷，以及更容易解釋可視化。然而，這些變化只是改善模型的可解釋性，不是預測能力。^[11] L-PLS通過3個連接數據塊擴展了偏最小二乘回歸。^[12] 同樣，OPLS-DA（英語：Discriminant Analysis，判別分析）可能被應用在處理離散變量，如分類和生物標誌物的研究。

軟件實現

大多數統計軟件包都提供偏最小二乘回歸。^{[來源請求]} R中的『pls』包提供了一系列算法。^[13]

參見

擴展閱讀

Kramer, R. Chemometric Techniques for Quantitative Analysis. Marcel-Dekker. 1998. ISBN 0-8247-0198-4.
Frank, Ildiko E.; Friedman, Jerome H. A Statistical View of Some Chemometrics Regression Tools. Technometrics. 1993, 35 (2): 109–148 [2015-09-28]. doi:10.1080/00401706.1993.10485033. （原始內容存檔於2013-02-03）.
Haenlein, Michael; Kaplan, Andreas M. A Beginner's Guide to Partial Least Squares Analysis. Understanding Statistics. 2004, 3 (4): 283–297. doi:10.1207/s15328031us0304_4.
Henseler, Joerg; Fassott, Georg. Testing Moderating Effects in PLS Path Models. An Illustration of Available Procedures. 2005.
Lingjærde, Ole-Christian; Christophersen, Nils. Shrinkage Structure of Partial Least Squares. Scandinavian Journal of Statistics. 2000, 27 (3): 459–473. doi:10.1111/1467-9469.00201.
Tenenhaus, Michel. La Régression PLS: Théorie et Pratique. Paris: Technip.. 1998.
Rosipal, Roman; Kramer, Nicole. Overview and Recent Advances in Partial Least Squares, in Subspace, Latent Structure and Feature Selection Techniques: 34–51. 2006.
Helland, Inge S. PLS regression and statistical models. Scandinavian Journal of Statistics. 1990, 17 (2): 97–114. JSTOR 4616159.
Wold, Herman. Estimation of principal components and related models by iterative least squares. Krishnaiaah, P.R. (編). Multivariate Analysis. New York: Academic Press. 1966: 391–420.
Wold, Herman. The fix-point approach to interdependent systems. Amsterdam: North Holland. 1981.
Wold, Herman. Partial least squares. Kotz, Samuel; Johnson, Norman L. (編). Encyclopedia of statistical sciences 6. New York: Wiley. 1985: 581–591.
Wold, Svante; Ruhe, Axel; Wold, Herman; Dunn, W.J. The collinearity problem in linear regression. the partial least squares (PLS) approach to generalized inverses. SIAM Journal on Scientific and Statistical Computing. 1984, 5 (3): 735–743. doi:10.1137/0905052.
Garthwaite, Paul H. An Interpretation of Partial Least Squares. Journal of the American Statistical Association. 1994, 89 (425): 122–7. JSTOR 2291207. doi:10.1080/01621459.1994.10476452.
Wang, H. (編). Handbook of Partial Least Squares. 2010. ISBN 978-3-540-32825-4.
Stone, M.; Brooks, R.J. Continuum Regression: Cross-Validated Sequentially Constructed Prediction embracing Ordinary Least Squares, Partial Least Squares and Principal Components Regression. Journal of the Royal Statistical Society, Series B. 1990, 52 (2): 237–269. JSTOR 2345437.
Wan Mohamad Asyraf Bin Wan Afthanorhan. (2013). A Comparison Of Partial Least Square Structural Equation Modeling (PLS-SEM) and Covariance Based Structural EquationModeling (CB-SEM) for Confirmatory Factor Analysis International Journal of Engineering Science and Innovative Technology (IJESIT), 2(5), 9.

參考文獻

^ Tenenhaus, M.; Esposito Vinzi, V.; Chatelinc, Y-M.; Lauro, C. PLS path modeling (PDF). Computational Statistics & Data Analysis. January 2005, 48 (1): 159–205. doi:10.1016/j.csda.2004.03.005. ^{[永久失效連結]}
^ Vinzi, V.; Chin, W.W.; Henseler, J.; Wang, H. (編). Handbook of Partial Least Squares. 2010. ISBN 978-3-540-32825-4.
^ Tenenhaus, M. Component-based structural equation modelling (PDF). 2008 [2015-09-28]. （原始內容 (PDF)存檔於2013-11-03）.
^ Wold, S; Sjöström, M.; Eriksson, L. PLS-regression: a basic tool of chemometrics. Chemometrics and Intelligent Laboratory Systems. 2001, 58 (2): 109–130 [2015-09-28]. doi:10.1016/S0169-7439(01)00155-1. （原始內容存檔於2017-09-09）.
^ Lindgren, F; Geladi, P; Wold, S. The kernel algorithm for PLS. J. Chemometrics. 1993, 7: 45–59 [2015-09-28]. doi:10.1002/cem.1180070104. （原始內容存檔於2017-06-07）.
^ de Jong, S.; ter Braak, C.J.F. Comments on the PLS kernel algorithm. J. Chemometrics. 1994, 8 (2): 169–174 [2015-09-28]. doi:10.1002/cem.1180080208. （原始內容存檔於2016-07-13）.
^ Dayal, B.S.; MacGregor, J.F. Improved PLS algorithms. J. Chemometrics. 1997, 11 (1): 73–85 [2015-09-28]. doi:10.1002/(SICI)1099-128X(199701)11:1<73::AID-CEM435>3.0.CO;2-#. （原始內容存檔於2016-07-04）.
^ de Jong, S. SIMPLS: an alternative approach to partial least squares regression. Chemometrics and Intelligent Laboratory Systems. 1993, 18 (3): 251–263. doi:10.1016/0169-7439(93)85002-X.
^ Rannar, S.; Lindgren, F.; Geladi, P.; Wold, S. A PLS Kernel Algorithm for Data Sets with Many Variables and Fewer Objects. Part 1: Theory and Algorithm. J. Chemometrics. 1994, 8 (2): 111–125 [2015-09-28]. doi:10.1002/cem.1180080204. （原始內容存檔於2016-10-17）.
^ Abdi, H. Partial least squares regression and projection on latent structure regression (PLS-Regression). Wiley Interdisciplinary Reviews: Computational Statistics. 2010, 2: 97–106. doi:10.1002/wics.51.
^ Trygg, J; Wold, S. Orthogonal Projections to Latent Structures. Journal of Chemometrics. 2002, 16 (3): 119–128. doi:10.1002/cem.695.
^ Sæbøa, S.; Almøya, T.; Flatbergb, A.; Aastveita, A.H.; Martens, H. LPLS-regression: a method for prediction and classification under the influence of background information on predictor variables. Chemometrics and Intelligent Laboratory Systems. 2008, 91 (2): 121–132. doi:10.1016/j.chemolab.2007.10.006.
^ Package ‘pls’ (PDF). [2015-09-28]. （原始內容存檔 (PDF)於2020-12-09）.

外部連結

imDEV （頁面存檔備份，存於網際網路檔案館） free Excel add-in for PLS and PLS-DA
PLS in Brain Imaging
on-line PLS （頁面存檔備份，存於網際網路檔案館） regression (PLSR) at Virtual Computational Chemistry Laboratory
Uncertainty estimation for PLS （頁面存檔備份，存於網際網路檔案館）
A short introduction to PLS regression and its history （頁面存檔備份，存於網際網路檔案館）

[1] Tenenhaus, M.; Esposito Vinzi, V.; Chatelinc, Y-M.; Lauro, C. PLS path modeling (PDF). Computational Statistics & Data Analysis. January 2005, 48 (1): 159–205. doi:10.1016/j.csda.2004.03.005. ^{[永久失效連結]}

[2] Vinzi, V.; Chin, W.W.; Henseler, J.; Wang, H. (編). Handbook of Partial Least Squares. 2010. ISBN 978-3-540-32825-4.

[3] Tenenhaus, M. Component-based structural equation modelling (PDF). 2008 [2015-09-28]. （原始內容 (PDF)存檔於2013-11-03）.

[wold_2001-4] Wold, S; Sjöström, M.; Eriksson, L. PLS-regression: a basic tool of chemometrics. Chemometrics and Intelligent Laboratory Systems. 2001, 58 (2): 109–130 [2015-09-28]. doi:10.1016/S0169-7439(01)00155-1. （原始內容存檔於2017-09-09）.

[5] Lindgren, F; Geladi, P; Wold, S. The kernel algorithm for PLS. J. Chemometrics. 1993, 7: 45–59 [2015-09-28]. doi:10.1002/cem.1180070104. （原始內容存檔於2017-06-07）.

[6] Jong, S.; ter Braak, C.J.F. Comments on the PLS kernel algorithm. J. Chemometrics. 1994, 8 (2): 169–174 [2015-09-28]. doi:10.1002/cem.1180080208. （原始內容存檔於2016-07-13）.

[7] Dayal, B.S.; MacGregor, J.F. Improved PLS algorithms. J. Chemometrics. 1997, 11 (1): 73–85 [2015-09-28]. doi:10.1002/(SICI)1099-128X(199701)11:1<73::AID-CEM435>3.0.CO;2-#. （原始內容存檔於2016-07-04）.

[8] Jong, S. SIMPLS: an alternative approach to partial least squares regression. Chemometrics and Intelligent Laboratory Systems. 1993, 18 (3): 251–263. doi:10.1016/0169-7439(93)85002-X.

[9] Rannar, S.; Lindgren, F.; Geladi, P.; Wold, S. A PLS Kernel Algorithm for Data Sets with Many Variables and Fewer Objects. Part 1: Theory and Algorithm. J. Chemometrics. 1994, 8 (2): 111–125 [2015-09-28]. doi:10.1002/cem.1180080204. （原始內容存檔於2016-10-17）.

[10] Abdi, H. Partial least squares regression and projection on latent structure regression (PLS-Regression). Wiley Interdisciplinary Reviews: Computational Statistics. 2010, 2: 97–106. doi:10.1002/wics.51.

[11] Trygg, J; Wold, S. Orthogonal Projections to Latent Structures. Journal of Chemometrics. 2002, 16 (3): 119–128. doi:10.1002/cem.695.

[12] Sæbøa, S.; Almøya, T.; Flatbergb, A.; Aastveita, A.H.; Martens, H. LPLS-regression: a method for prediction and classification under the influence of background information on predictor variables. Chemometrics and Intelligent Laboratory Systems. 2008, 91 (2): 121–132. doi:10.1016/j.chemolab.2007.10.006.

[13] Package ‘pls’ (PDF). [2015-09-28]. （原始內容存檔 (PDF)於2020-12-09）.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]