COMPAS

替代性制裁犯罪矯正管理剖析軟件（英語：Correctional Offender Management Profiling for Alternative Sanctions，簡稱COMPAS），是一款由Northpointe公司開發並所有的法律案例管理（英語：Legal case management）和決策支持系統，美國法院系統藉助這一系統評估案件被告成為累犯的可能性。這一軟件的評分後被曝光對非裔美國人存在偏見，引導法官給予更嚴厲的判罰，由此成為算法偏見的經典案例。^[1]^[2]^[3]

COMPAS系統曾為紐約州、加利福尼亞州、佛羅里達州布勞沃德縣等地的司法機構所採用。^[4]

風險評估原理

COMPAS系統使用算法評估罪犯再犯的潛在可能性，這一算法考慮了再犯的總體與暴力情況以及審前不正當行為，其操作者指南聲稱系統將與再犯及犯罪存在高相關性關係的行為與心理作為衡量依據。^[5]

審前釋放風險係數：該係數衡量被告在釋放的情況下繼續犯罪的可能性。根據指數所基於的研究，「現在的指控、後續的指控、逮捕前的個人經歷、之前審前釋放的失敗、居住區域的穩定性、就業情況、社交關係、藥物濫用情況」是這一係數最為重要的影響指標。^[5]
總體再犯係數：該係數用於預測被告釋放前、COMPAS評估給出後被告再次犯罪的可能性，影響因素包括個人犯罪歷史及其聯繫、藥物使用情況、青少年犯罪記錄。^[6]
暴力犯罪再犯係數：該係數用於預測被告釋放後的暴力犯罪傾向，影響數據包括個人暴力犯罪、不服從、職業或教育問題、開始濫用藥物的年齡、首次被捕時間。^[7]

暴力犯罪風險係數計算公式如下：

$s=a(-w)+a_{\text{first}}(-w)+h_{\text{violence}}w+v_{\text{edu}}w+h_{\text{nc}}w$

其中的s即暴力犯罪風險係數，本質上由幾個帶權因素相乘而得：a是被告現在的年齡， $a_{\text{first}}$ 則是被告第一次被捕的年齡， $h_{\text{violence}}$ 則是從事暴力犯罪的歷史， $v_{\text{edu}}$ 則是職業/教育係數， $h_{\text{nc}}$ 則是違法歷史；權重 $w$ 則是「取決於我們在研究數據中觀察到的乘項與再犯人員之間關係的強弱」。^[8]

批判與限制使用

儘管法院引進AI算法的初衷是為了遏制餓鬼判官效應（英語：hungry judge effect）等認知偏誤^[9] ，但在2016年美國媒體ProPublica調查發現，同等條件下黑人比白人有多出一倍的概率被系統標記更高風險後實際並沒有犯罪，同時系統對於白人再犯的概率也比實際低很多，預測有暴力犯罪傾向的人中僅僅有20%再犯，AI的偏見並不亞於人類。^[10]^[11]COMPAS的開發商Northpointe並不認可ProPublica的研究，並認為ProPublica的調查數據並未正確反映COMPAS系統的應用情況，另外一家智庫發文反駁ProPublica。^[12]後續研究發現，COMPAS對於無犯罪記錄或者犯罪情節較輕的個人預測比較準確，但不如針對這些人組成中的集體預測準確，或言之如果把這些人打包成組，按組計算準確比按個人計算的正確率更高。^[13]

2016年7月威斯康星州最高法院裁判，COMPAS的風險評分在法官裁判時仍可以使用，但必須加以警示以明確這一工具的「局限性與注意事項」^[4]由於COMPAS的算法本身屬於商業機密，因此公眾與當事方無從知曉，可能違反程序正義。除了COMPAS採用的算法外，諸如線性回歸等簡單、透明、解釋性更強的算法也被證明可以實現近似功能。^[10]^[14]^[15]^[16]不管採用何種算法，算法模型還是要依賴於數據，如果數據具有偏見，得出的結果自然可能帶有偏見。^[17]

就COMPAS這個例子而言，COMPAS的算法偏見涉嫌違反美國憲法的平等保護條款。^[18]

延伸閱讀

Northpointe. A Practitioner's Guide to COMPAS Core (PDF). 15 March 2015 [2023-05-12]. （原始內容存檔 (PDF)於2019-10-07）.
Angwin, Julia; Larson, Jeff. Machine Bias. ProPublica. 2016-05-23 [2019-11-21]. （原始內容存檔於2017-11-17）.
Flores, Anthony; Lowenkamp, Christopher; Bechtel, Kristin. False Positives, False Negatives, and False Analyses (PDF). Community Resources for Justice. [2019-11-21]. （原始內容存檔 (PDF)於2023-02-25）.
Sample COMPAS Risk Assessment （頁面存檔備份，存於網際網路檔案館）

參見

算法偏見（英語：Algorithmic bias）
垃圾進，垃圾出
法律專家系統（英語：Legal expert systems）
盧米斯訴威斯康星州案（英語：Loomis v. Wisconsin）
美國刑事審判（英語：Criminal sentencing in the United States）

References

^ Sam Corbett-Davies, Emma Pierson, Avi Feller and Sharad Goel. A computer program used for bail and sentencing decisions was labeled biased against blacks. It's actually not that clear.. The Washington Post. October 17, 2016 [January 1, 2018]. （原始內容存檔於2023-04-12）.
^ Aaron M. Bornstein. Are Algorithms Building the New Infrastructure of Racism?. Nautilus（英語：Nautilus (science magazine)）. No. 55. December 21, 2017 [January 2, 2018]. （原始內容存檔於2018-01-03）.
^ 劉文炎,沈楚雲,王祥豐,金博,盧興見,王曉玲,查宏遠,何積豐. 可信机器学习的公平性综述. 軟件學報. 2021, 32 (05): 1404-1426.
^ ^4.0 ^4.1 Kirkpatrick, Keith. It's not the algorithm, it's the data. Communications of the ACM. 2017-01-23, 60 (2): 21–23. S2CID 33993859. doi:10.1145/3022181 （英語）.
^ ^5.0 ^5.1 Northpointe 2015，第27頁.
^ Northpointe 2015，第26頁.
^ Northpointe 2015，第28頁.
^ Northpointe 2015，第29頁.
^ Chatziathanasiou, Konstantin. Beware the Lure of Narratives: "Hungry Judges" Should Not Motivate the Use of "Artificial Intelligence" in Law. German Law Journal. May 2022, 23 (4): 452–464 [2023-05-12]. ISSN 2071-8322. S2CID 249047713. doi:10.1017/glj.2022.32  . （原始內容存檔於2023-05-21）（英語）.
^ ^10.0 ^10.1 Yong, Ed. A Popular Algorithm Is No Better at Predicting Crimes Than Random People. 2018-01-17 [2019-11-21]. （原始內容存檔於2023-05-24）.
^ Israni, Ellora. When an Algorithm Helps Send You to Prison (Opinion). 2017-10-26 [2019-11-21]. （原始內容存檔於2018-08-20）.
^ Flores, Anthony; Lowenkamp, Christopher; Bechtel, Kristin. False Positives, False Negatives, and False Analyses (PDF). Community Resources for Justice. Community Resources for Justice. [2019-11-21]. （原始內容存檔 (PDF)於2023-02-25）.
^ Dressel, Julia; Farid, Hany. The accuracy, fairness, and limits of predicting recidivism. Science Advances. 2018-01-17, 4 (1): eaao5580. Bibcode:2018SciA....4.5580D. PMC 5777393  . PMID 29376122. doi:10.1126/sciadv.aao5580  .
^ Angelino, Elaine; Larus-Stone, Nicholas; Alabi, Daniel; Seltzer, Margo; Rudin, Cynthia. Learning Certifiably Optimal Rule Lists for Categorical Data. August 3, 2018 [2023-05-12]. arXiv:1704.01701  . （原始內容存檔於2023-06-08） –透過arXiv.org.
^ Robin A. Smith. Opening the lid on criminal sentencing software （頁面存檔備份，存於網際網路檔案館）. Duke Today, 19 July 2017
^ Angelino, Elaine; Larus-Stone, Nicholas; Alabi, Daniel; Seltzer, Margo; Rudin, Cynthia. Learning Certifiably Optimal Rule Lists for Categorical Data. 2017-04-06. arXiv:1704.01701  [stat.ML].
^ O'Neil, Cathy. Weapons of Math Destruction. 2016: 87. ISBN 978-0553418811.
^ Thomas, C.; Nunez, A. Automating Judicial Discretion: How Algorithmic Risk Assessments in Pretrial Adjudications Violate Equal Protection Rights on the Basis of Race. Law & Inequality（英語：Law & Inequality）. 2022, 40 (2): 371–407 [2023-05-12]. doi:10.24926/25730037.649  . （原始內容存檔於2023-03-07）（英語）.

[1] Sam Corbett-Davies, Emma Pierson, Avi Feller and Sharad Goel. A computer program used for bail and sentencing decisions was labeled biased against blacks. It's actually not that clear.. The Washington Post. October 17, 2016 [January 1, 2018]. （原始內容存檔於2023-04-12）.

[2] Aaron M. Bornstein. Are Algorithms Building the New Infrastructure of Racism?. Nautilus（英語：Nautilus (science magazine)）. No. 55. December 21, 2017 [January 2, 2018]. （原始內容存檔於2018-01-03）.

[3] 劉文炎,沈楚雲,王祥豐,金博,盧興見,王曉玲,查宏遠,何積豐. 可信机器学习的公平性综述. 軟件學報. 2021, 32 (05): 1404-1426.

[:0-4] 4.0 ^4.1 Kirkpatrick, Keith. It's not the algorithm, it's the data. Communications of the ACM. 2017-01-23, 60 (2): 21–23. S2CID 33993859. doi:10.1145/3022181 （英語）.

[FOOTNOTENorthpointe201527-5] 5.0 ^5.1 Northpointe 2015，第27頁.

[FOOTNOTENorthpointe201526-6] Northpointe 2015，第26頁.

[FOOTNOTENorthpointe201528-7] Northpointe 2015，第28頁.

[FOOTNOTENorthpointe201529-8] Northpointe 2015，第29頁.

[9] Chatziathanasiou, Konstantin. Beware the Lure of Narratives: "Hungry Judges" Should Not Motivate the Use of "Artificial Intelligence" in Law. German Law Journal. May 2022, 23 (4): 452–464 [2023-05-12]. ISSN 2071-8322. S2CID 249047713. doi:10.1017/glj.2022.32  . （原始內容存檔於2023-05-21）（英語）.

[The_Altantic-10] 10.0 ^10.1 Yong, Ed. A Popular Algorithm Is No Better at Predicting Crimes Than Random People. 2018-01-17 [2019-11-21]. （原始內容存檔於2023-05-24）.

[New_York_Times-11] Israni, Ellora. When an Algorithm Helps Send You to Prison (Opinion). 2017-10-26 [2019-11-21]. （原始內容存檔於2018-08-20）.

[CRJ-12] Flores, Anthony; Lowenkamp, Christopher; Bechtel, Kristin. False Positives, False Negatives, and False Analyses (PDF). Community Resources for Justice. Community Resources for Justice. [2019-11-21]. （原始內容存檔 (PDF)於2023-02-25）.

[Science_Advances-13] Dressel, Julia; Farid, Hany. The accuracy, fairness, and limits of predicting recidivism. Science Advances. 2018-01-17, 4 (1): eaao5580. Bibcode:2018SciA....4.5580D. PMC 5777393  . PMID 29376122. doi:10.1126/sciadv.aao5580  .

[14] Angelino, Elaine; Larus-Stone, Nicholas; Alabi, Daniel; Seltzer, Margo; Rudin, Cynthia. Learning Certifiably Optimal Rule Lists for Categorical Data. August 3, 2018 [2023-05-12]. arXiv:1704.01701  . （原始內容存檔於2023-06-08） –透過arXiv.org.

[15] Robin A. Smith. Opening the lid on criminal sentencing software （頁面存檔備份，存於網際網路檔案館）. Duke Today, 19 July 2017

[16] Angelino, Elaine; Larus-Stone, Nicholas; Alabi, Daniel; Seltzer, Margo; Rudin, Cynthia. Learning Certifiably Optimal Rule Lists for Categorical Data. 2017-04-06. arXiv:1704.01701  [stat.ML].

[WMD-17] O'Neil, Cathy. Weapons of Math Destruction. 2016: 87. ISBN 978-0553418811.

[18] Thomas, C.; Nunez, A. Automating Judicial Discretion: How Algorithmic Risk Assessments in Pretrial Adjudications Violate Equal Protection Rights on the Basis of Race. Law & Inequality（英語：Law & Inequality）. 2022, 40 (2): 371–407 [2023-05-12]. doi:10.24926/25730037.649  . （原始內容存檔於2023-03-07）（英語）.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]