請問利用FA和PCR預估的迴歸模型兩者差異/相同之處？

都是在做資料的 dimension reduction.
FA  用從 correlation matrix 找 eigenvector 的方法
抽因素, 與 PCA 用 correlation matrix 來做, 且又加
上對 PC 做轉軸的實務做法, 混淆了兩種統計方法.

從理論假設來說, PCA 是以資料為整體, 只是對資
料做正交變換, 加上去除不重要成分以縮減資料的
維度, 由 n 變量轉成 p 主成分. 因此, 在理論的基礎
上個人是認為不應對擷取的主成分再做轉軸.

FA 則在理論基礎上假設 n 變數就是由 p 個共同因
子加上各自的特殊因子以線性關係合成的. 因此,
並不能由資料確定 p 個因子各自的方向, 所以在抽
出因子後自然是可以任意轉軸. 而實用上也必須轉
軸來賦與各因子實務上的意義.

PCA 本質是 n 維度資料做線性變換, 找出資料的
第一主要變動方向, 第二主要方向, 以至第 p 主方
向. 因此, 如果再對這些主成分做轉軸 (也就是再
做一次線性變換), 等於再次打亂了 "主成分", 那麼
最後的結果新變數只是把原先 n 變數縮減為 p 變
數罷了. 雖然由於轉軸使得資料分析者可以賦予新
變數實務意義, 但哪比得原變數定義明確、意思清
楚?

FA 需要轉軸, 因為所謂的 "共同因子" 是想像中的
隱藏概念, 根本沒有具體定義. 而把它們做任意線
性變換並不會改變資料(原始變數), 只是與原始變
數間關聯的係數改變而已. 因為資料不能確定因子
的方向, 也因為因子本就是抽象而無法具體界定,
無法實際觀測的, 因此轉軸以便利解釋是必要的.

PCA 所丟掉的成分 (擷取 p 個主成分, 則第 p+1
個成分以後的成分就是被丟掉的) 並不能說是 誤
差, 只是被認為可以不考慮的、不重要的成分而已.
就像在蒐集資料時蒐集了許多變數的資料, 事後發
現某些變項對研究目的而言不重要, 就忽略了, 或
說是被丟棄了.PCA 中的誤差只有樣本與群體間的
差異.

FA 中屬於各原始變數的特殊因子也不是誤差. 因
此在 FA 首先要做的就是估計 "共通性" 和 "特殊
性" (二者合起來是 1.) FA 中的誤差有兩項, 一是
樣本與群體間的差異, 另一是樣本中確定了各變
數的共通性之後, 採用某種方法抽取共同因子, 
最後由這些因子所計算出的變數共通性和相關矩
陣與原設的共通性及原來的相關矩陣之間的差異.

 PCA 由於是資料(變數)的線性變換, 因此可以用
變異數共變異矩陣為基礎(以原變數量測單位為基
礎), 或以相關矩陣為基礎(以標準化、無單位變數
為基礎. FA 則本質上從標準化變數去考慮變數與
因子之間的關係, 因此從相關矩陣出發.

FA 認定特殊因子的存在, 因此先要估計共通性.
PCA 是對資料做線性變換, 當然沒有共通性之說.
但 FA 的共通性怎麼估計是個問題, 而 PCA 之主
成分又無實用意義, 因此現在似乎流行一種做法:
不管是 FA 或 PCA 都做轉軸, FA 也不先估計共
通性而直接由相關矩陣去抽因子. 特別是用找特
徹向量的方法找共同因子, 等於把 FA 和 PCA
均一化了, 也等於把 FA 的特殊因子看成是愈小
愈好的 "殘差", 把 PCA 的主成分當做共同因子.