5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

ProPublica

Share on Facebook
Share on Twitter
Donate
 

How We Analyzed the COMPAS
Recidivism Algorithm
by Jeff Larson, Surya Mattu, Lauren Kirchner and Julia Angwin
Ma 23, 2016

← Read the tor
Acro the nation, judge, proation and parole o cer are increaingl uing
algorithm to ae a criminal defendant’ likelihood of ecoming a recidivit – a term
ued to decrie criminal who re-o end. There are dozen of thee rik aement
algorithm in ue. Man tate have uilt their own aement, and everal academic
have written tool. There are alo two leading nationwide tool o ered  commercial
vendor.
We et out to ae one of the commercial tool made  Northpointe, Inc. to dicover
the underling accurac of their recidivim algorithm and to tet whether the algorithm
wa iaed againt certain group.
Our anali of Northpointe’ tool, called COMPA (which tand for Correctional
O ender Management Pro ling for Alternative anction), found that lack defendant
were far more likel than white defendant to e incorrectl judged to e at a higher rik
of recidivim, while white defendant were more likel than lack defendant to e
incorrectl  agged a low rik.
We looked at more than 10,000 criminal defendant in roward Count, Florida, and
compared their predicted recidivim rate with the rate that actuall occurred over a
two-ear period. When mot defendant are ooked in jail, the repond to a COMPA
quetionnaire. Their anwer are fed into the COMPA oftware to generate everal
core including prediction of “Rik of Recidivim” and “Rik of Violent Recidivim.”
We compared the recidivim rik categorie predicted  the COMPA tool to the actual
recidivim rate of defendant in the two ear after the were cored, and found that the
core correctl predicted an o ender’ recidivim 61 percent of the time, ut wa onl
correct in it prediction of violent recidivim 20 percent of the time.

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

1/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

correct in it prediction of violent recidivim 20 percent of the time.
In forecating who would re-o end, the algorithm made mitake with lack and white
defendant at roughl the ame rate (59 percent for white defendant, and 63 percent for
lack defendant) ut in ver di erent wa. It miclai e the white and lack
defendant di erentl when examined over a two-ear follow-up period.
Our anali found that:
lack defendant were often predicted to e at a higher rik of recidivim than
the actuall were. Our anali found that lack defendant who did not
recidivate over a two-ear period were nearl twice a likel to e
miclai ed a higher rik compared to their white counterpart (45 percent
v. 23 percent).
White defendant were often predicted to e le rik than the were. Our
anali found that white defendant who re-o ended within the next two
ear were mitakenl laeled low rik almot twice a often a lack reo ender (48 percent v. 28 percent).
The anali alo howed that even when controlling for prior crime, future
recidivim, age, and gender, lack defendant were 45 percent more likel to
e aigned higher rik core than white defendant.
lack defendant were alo twice a likel a white defendant to e
miclai ed a eing a higher rik of violent recidivim. And white violent
recidivit were 63 percent more likel to have een miclai ed a a low rik
of violent recidivim, compared with lack violent recidivit.
The violent recidivim anali alo howed that even when controlling for
prior crime, future recidivim, age, and gender, lack defendant were 77
percent more likel to e aigned higher rik core than white defendant.

Previous Work
In 2013, reearcher arah Demarai and Ja ingh examined 19 di erent recidivim
rik methodologie eing ued in the United tate and found that “in mot cae,
validit had onl een examined in one or two tudie conducted in the United tate,
and frequentl, thoe invetigation were completed  the ame people who developed
the intrument.”
https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

2/16

 the intrument.”

5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

Their anali of the reearch pulihed efore March2013 found that the tool “were
moderate at et in term of predictive validit,” Demarai aid in an interview. And he
could not  nd an utantial et of tudie conducted in the United tate that
examined whether rik core were raciall iaed. “The data do not exit,” he aid.
The larget examination of racial ia in U.. rik aement algorithm ince then i a
2016 paper  Jennifer keem at Univerit of California, erkele and Chritopher T.
Lowenkamp from the Adminitrative O ce of the U.. Court. The examined data
aout 34,000 federal o ender to tet the predictive validit of the Pot Conviction Rik
Aement tool that wa developed  the federal court to help proation and parole
o cer determine the level of uperviion required for an inmate upon releae.
The author found that the average rik core for lack o ender wa higher than for
white o ender, ut that concluded the di erence were not attriutale to ia.
A 2013 tud analzed the predictive validit among variou race for another core
called the Level of ervice Inventor, one of the mot popular commercial rik core
from Multi-Health tem. That tud found that “ethnic minoritie have higher L
core than nonminoritie.” The tud author, who are Canadian, noted that racial
diparitie were more conitentl found in the U.. than in Canada. “One poiilit
ma e that tematic ia within the jutice tem ma ditort the meaurement of
‘true’ recidivim,” the wrote.
A maller 2006 tud of 532 male reident of a work-releae program alo found “a
tendenc toward clai cation error for African American” in the Level of ervice
Inventor-Revied. The tud,  Kevin Whiteacre of the alvation Arm Correctional
ervice Program, found that 42.7 percent of African American were incorrectl
clai ed a high rik, compared with 27.7 percent of Caucaian and 25 percent of
Hipanic. That tud urged correctional facilitie to invetigate the their ue of the
core independentl uing a imple contingenc tale approach that we follow later in
thi tud.
A rik core move further into the maintream of the criminal jutice tem, polic
maker have called for further tudie of whether the core are iaed.
When he wa U.. Attorne General, ric Holder aked the U.. entencing Commiion
to tud potential ia in the tet ued at entencing. “Although thee meaure were
crafted with the et of intention, I am concerned that the inadvertentl undermine
our e ort to enure individualized and equal jutice,” he aid, adding, “the ma

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

3/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

our e ort to enure individualized and equal jutice,” he aid, adding, “the ma
exacerate unwarranted and unjut diparitie that are alread far too common in our
criminal jutice tem and in our ociet.” The entencing commiion a it i not
currentl conducting an anali of ia in rik aement.
o ProPulica did it own anali.

How We Acquired the Data
We choe to examine the COMPA algorithm ecaue it i one of the mot popular
core ued nationwide and i increaingl eing ued in pretrial and entencing, the ocalled “front-end” of the criminal jutice tem. We choe roward Count ecaue it i
a large juridiction uing the COMPA tool in pretrial releae deciion and Florida ha
trong open-record law.
Through a pulic record requet, ProPulica otained two ear worth of COMPA
core from the roward Count heri ’ O ce in Florida. We received data for all
18,610 people who were cored in 2013 and 2014.
ecaue roward Count primaril ue the core to determine whether to releae or
detain a defendant efore hi or her trial, we dicarded core that were aeed at
parole, proation or other tage in the criminal jutice tem. That left u with 11,757
people who were aeed at the pretrial tage.
ach pretrial defendant received at leat three COMPA core: “Rik of Recidivim,”
“Rik of Violence” and “Rik of Failure to Appear.”
COMPA core for each defendant ranged from 1 to 10, with ten eing the highet rik.
core 1 to 3 were laeled  COMPA a “Low”; 4 to 7 were laeled “Medium”; and 8 to
10 were laeled “High.”
tarting with the dataae of COMPA core, we uilt a pro le of each peron’ criminal
hitor, oth efore and after the were cored. We collected pulic criminal record
from the roward Count Clerk’ O ce weite through April 1, 2016. On average,
defendant in our dataet were not incarcerated for 622.87 da (d: 329.19).
We matched the criminal record to the COMPA record uing a peron’  rt and lat
name and date of irth. Thi i the ame technique ued in the roward Count
COMPA validation tud conducted  reearcher at Florida tate Univerit in 2010.

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

4/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

COMPA validation tud conducted  reearcher at Florida tate Univerit in 2010.
We downloaded around 80,000 criminal record from the roward Count Clerk’ O ce
weite.
To determine race, we ued the race clai cation ued  the roward Count heri ’
O ce, which identi e defendant a lack, white, Hipanic, Aian and Native
American. In 343 cae, the race wa marked a Other.
We alo compiled each peron’ record of incarceration. We received jail record from
the roward Count heri ’ O ce from Januar 2013 to April 2016, and we downloaded
pulic incarceration record from the Florida Department of Correction weite.
We found that ometime people’ name or date of irth were incorrectl entered in
ome record – which led to incorrect matche etween an individual’ COMPA core
and hi or her criminal record. We attempted to determine how man record were
a ected. In a random ample of 400 cae, we found an error rate of 3.75 percent (CI: +/1.8 percent).

How We Defined Recidivism
De ning recidivim wa ke to our anali.
In a 2009 tud examining the predictive power of it COMPA core, Northpointe
de ned recidivim a “a  nger-printale arret involving a charge and a  ling for an
uniform crime reporting (UCR) code.” We interpreted that to mean a criminal o ene
that reulted in a jail ooking and took place after the crime for which the peron wa
COMPA cored.
It wa not alwa clear, however, which criminal cae wa aociated with an individual’
COMPA core. To match COMPA core with accompaning cae, we conidered
cae with arret date or charge date within 30 da of a COMPA aement eing
conducted. In ome intance, we could not  nd an correponding charge to COMPA
core. We removed thoe cae from our anali.
Next, we ought to determine if a peron had een charged with a new crime uequent
to crime for which the were COMPA creened. We did not count tra c ticket and
ome municipal ordinance violation a recidivim. We did not count a recidivit
people who were arreted for failing to appear at their court hearing, or people who

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

5/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

people who were arreted for failing to appear at their court hearing, or people who
were later charged with a crime that occurred prior to their COMPA creening.
For violent recidivim, we ued the FI’ de nition of violent crime, a categor that
include murder, manlaughter, forcile rape, roer and aggravated aault.
For mot of our anali, we de ned recidivim a a new arret within two ear. We
aed thi deciion on Northpointe’ practitioner guide, which a that it recidivim
core i meant to predict “a new midemeanor or felon o ene within two ear of the
COMPA adminitration date.”
In addition, a recent tud of 25,000 federal prioner’ recidivim rate  the U..
entencing Commiion, which how that mot recidivit commit a new crime within
the  rt two ear after releae (if the are going to commit a crime at all).

Analysis
We analzed the COMPA core for “Rik of Recidivim” and “Rik of Violent
Recidivim.” We did not analze the COMPA core for “Rik of Failure to Appear.”
We egan  looking at the rik of recidivim core. Our initial anali looked at the
imple ditriution of the COMPA decile core among white and lack. We plotted
the ditriution of thee core for 6,172 defendant who had not een arreted for a new
o ene or who had recidivated within two ear.

Thee hitogram how that core for white defendant were kewed toward lower-rik

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

6/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

Thee hitogram how that core for white defendant were kewed toward lower-rik
categorie, while lack defendant were evenl ditriuted acro core. In our two-ear
ample, there were 3,175 lack defendant and 2,103 white defendant, with 1,175 female
defendant and 4,997 male defendant. There were 2,809 defendant who recidivated
within two ear in thi ample.
The hitogram for COMPA’ violent rik core alo how a diparit in core
ditriution etween white and lack defendant. The ample we ued to tet COMPA’
violent recidivim core wa lightl maller than for the general recidivim core: 4,020
defendant, 1,918 lack defendant and 1,459 white defendant. There were 652 violent
recidivit.

While there i a clear di erence etween the ditriution of COMPA core for white
and lack defendant, merel looking at the ditriution doe not account for other
demographic and ehavioral factor.

To tet racial diparitie in the core controlling for other factor, we created a logitic

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

7/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

To tet racial diparitie in the core controlling for other factor, we created a logitic
regreion model that conidered race, age, criminal hitor, future recidivim, charge
degree, gender and age.

Risk of General Recidivism Logistic Model

Dependent variable:

Score (Low vs Medium and
High)
Female

0.221*** (0.080)

Age: Greater than
45

-1.356*** (0.099)

Age: Less than 25

1.308*** (0.076)

Black

0.477*** (0.069)

Asian

-0.254 (0.478)

Hispanic
Native American
Other

-0.428*** (0.128)
1.394* (0.766)
-0.826*** (0.162)

Number of Priors

0.269*** (0.011)

Misdemeanor

-0.311*** (0.067)

Two year
Recidivism

0.686*** (0.064)

Constant

-1.526*** (0.079)

Observations

We ued thoe factor to model the odd of
getting a higher COMPA core. According
to Northpointe’ practitioner guide,
COMPA “core in the medium and high
range garner more interet from
uperviion agencie than low core, a a
low core would ugget there i little rik of
general recidivim,” o we conidered core
an higher than “low” to indicate a rik of
recidivim.
Our logitic model found that the mot
predictive factor of a higher rik core wa
age. Defendant ounger than 25 ear old
were 2.5 time a likel to get a higher core
than middle aged o ender, even when
controlling for prior crime, future
criminalit, race and gender.

6,172

Race wa alo quite predictive of a higher
core. While lack defendant had higher
Note: *p<0.1; **p<0.05; ***p<0.01
recidivim rate overall, when adjuted for
thi di erence and other factor, the were 45 percent more likel to get a higher core
than white.
Akaike Inf. Crit.

6,192.402

urpriingl, given their lower level of criminalit overall, female defendant were 19.4
percent more likel to get a higher core than men, controlling for the ame factor.

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

The COMPA oftware alo ha a core for

8/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

Risk of Violent Recidivism Logistic Model

Dependent variable:

Score (Low vs Medium and
High)
Female

-0.729*** (0.127)

Age: Greater than
45

-1.742*** (0.184)

Age: Less than 25

3.146*** (0.115)

Black

0.659*** (0.108)

Asian

-0.985 (0.705)

Hispanic

-0.064 (0.191)

Native American

0.448 (1.035)

Other
Number of Priors

-0.205 (0.225)
0.138*** (0.012)

Misdemeanor

-0.164* (0.098)

Two Year
Recidivism

0.934*** (0.115)

Constant

-2.243*** (0.113)

Observations
Akaike Inf. Crit.

4,020
3,022.779

Note: *p<0.1; **p<0.05; ***p<0.01

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

The COMPA oftware alo ha a core for
rik of violent recidivim. We analzed
4,020 people who were cored for violent
recidivim over a period of two ear (not
including time pent incarcerated). We ran
a imilar regreion model for thee core.
Age wa an even tronger predictor of a
higher core for violent recidivim. Our
regreion howed that oung defendant
were 6.4 time more likel to get a higher
core than middle age defendant, when
correcting for criminal hitor, gender, race
and future violent recidivim.
Race wa alo predictive of a higher core
for violent recidivim. lack defendant
were 77.3 percent more likel than white
defendant to receive a higher core,
correcting for criminal hitor and future
violent recidivim.

9/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

To tet COMPA’ overall predictive accurac, we  t a Cox proportional hazard model to
the data – the ame technique that Northpointe ued in it own validation tud. A Cox
model allow u to compare rate of recidivim while controlling for time. ecaue we
aren’t controlling for other factor uch a a defendant’ criminalit we can include
more people in thi Cox model. For thi anali our ample ize wa 10,314 defendant
(3,569 white defendant and 5,147 lack defendant).

Risk of General Recidivism Cox Model
High Risk

1.250*** (0.041)

Medium Risk

0.796*** (0.041)

Observations

13,344

R2

0.068

Max. Possible R2

0.990

Wald Test

954.820*** (df =
2)

LR Test

942.824*** (df =
2)

We conidered people in our data et to e
“at rik” from the da the were given the
COMPA core until the da the
committed a new o ene or April 1, 2016,
whichever came  rt. We removed people
from the rik et while the were
incarcerated. The dependent variale in the
Cox model wa the COMPA categorical rik
core.

The Cox model howed that people with
high core were 3.5 time a likel to
Note: *p<0.1; **p<0.05;
recidivate a people in the low (core 1 to 3)
***p<0.01
categor. Northpointe’ tud, found that
people with high core (core 8 to 10) were 5.6 time a likel to recidivate. oth reult
indicate that the core ha predictive value.
Score (Logrank) Test

1,054.767*** (df =
2)

A Kaplan Meier urvival plot alo how a clear di erence in recidivim rate etween
each COMPA core level.

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

10/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

Overall, the Cox regreion had a concordance core of 63.6 percent. That mean for an
randoml elected pair of defendant in the ample, the COMPA tem can accuratel
rank their recidivim rik 63.6 percent of the time (e.g. if one peron of the pair
recidivate, that pair will count a a ucceful match if that peron alo had a higher
core). In it tud, Northpointe reported a lightl higher concordance: 68 percent.
Running the Cox model on the underling rik core - ranked 1 to 10 - rather than the
low, medium and high interval ielded a lightl higher concordance of 66.4 percent.
oth reult are lower than what Northpointe decrie a a threhold for reliailit. “A
rule of thum according to everal recent article i that AUC of .70 or aove tpicall
indicate atifactor predictive accurac, and meaure etween .60 and .70 ugget low
to moderate predictive accurac,” the compan a in it tud.
The COMPA violent recidivim core had a concordance of 65.1 percent.
The COMPA tem unevenl predict recidivim etween gender. According to
Kaplan-Meier etimate, women rated high rik recidivated at a 47.5 percent rate during
two ear after the were cored. ut men rated high rik recidivated at a much higher
rate – 61.2 percent – over the ame time period. Thi mean that a high-rik woman ha a
much lower rik of recidivating than a high-rik man, a fact that ma e overlooked 

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

11/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

much lower rik of recidivating than a high-rik man, a fact that ma e overlooked 
law enforcement o cial interpreting the core.

Northpointe doe o er a cutom tet for women, ut it i not in ue in roward Count.
The predictive accurac of the COMPA recidivim core wa conitent etween race
in our tud – 62.5 percent for white defendant v. 62.3 percent for lack defendant.
The author of the Northpointe tud found a mall di erence in the concordance core
 race: 69 percent for white defendant and 67 percent for lack defendant.
Acro ever rik categor, lack defendant recidivated at higher rate.

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

We alo added a race--core interaction

12/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

Risk of General Recidivism Cox Model (with
Interaction Term)
Black

0.279*** (0.061)

Asian

-0.777 (0.502)

Hispanic

-0.064 (0.097)

Native American

-1.255 (1.001)

Other

0.014 (0.110)

High Score

1.284*** (0.084)

Medium Score

0.843*** (0.071)

Black:High

-0.190* (.100, p: 0.0574)

Asian:High

1.316* (0.768)

Hispanic:High

-0.119 (0.198)

Native American:High

1.956* (.083)

Other:High

0.415 (0.259)

Black:Medium

-0.173* (.091, p: 0.0578)

Asian:Medium

0.986 (0.711)

Hispanic:Medium

0.065 (0.164)

Native
American:Medium

1.390 (1.120)

Other:Medium

-0.334 (0.232)

Observations

13,344

R2

0.072

Max. Possible R2

0.990

Log Likelihood

-30,280.410

Wald Test

988.830*** (df = 17)

LR Test

993.709*** (df = 17)

Score (Logrank) Test

1,104.894*** (df = 17)

Note: *p<0.1; **p<0.05; ***p<0.01

We alo added a race--core interaction
term to the Cox model. Thi term allowed u
to conider whether the di erence in
recidivim etween a high core and low
core wa di erent for lack defendant and
white defendant.
The coe cient on high core for lack
defendant i almot tatiticall igni cant
(0.0574). High-rik white defendant are
3.61 time a likel to recidivate a low-rik
white defendant, while high-rik lack
defendant are onl 2.99 time a likel to
recidivate a low-rik lack defendant. The
hazard ratio for medium-rik defendant
v. low rik defendant alo are di erent
acro race: 2.32 for white defendant and
1.95 for lack defendant. ecaue of the
gap in hazard ratio, we can conclude that
the core i performing di erentl among
racial ugroup.
We ran a imilar anali on COMPA’
violent recidivim core, however we did
not  nd a imilar reult. Here, we found
that the interaction term on race and core
wa not igni cant, meaning that there i
no igni cant di erence the hazard of high
and low rik lack defendant and high and
low rik white defendant.

Overall, there are far fewer violent recidivit than general recidivit and there in’t a
clear di erence in the hazard rate acro core level for lack and white recidivit.
Thee Kaplan Meier plot how ver low rate of violent recidivim.

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

13/16

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

Finall, we invetigated whether certain tpe of error – fale poitive and fale
negative – were unevenl ditriuted among race. We ued contingenc tale to
determine thoe relative rate following the anali outlined in the 2006 paper from
the alvation Arm.
We removed people from our data et for whom we had le than two ear of recidivim
information. The remaining population wa 7,214 – lightl larger than the ample in the
logitic model aove, ecaue we don’t need a defendant’ cae information for thi
anali. A in the logitic regreion anali, we marked core other than “low” a
higher rik. The following tale how how the COMPA recidivim core performed:

All Defendants
Low

High

Survived

2681

1282

Recidivated

1216

2035

Black Defendants
Low

High

Survived

990

805

Recidivated

532

1369

White Defendants
Low

High

Survived

1139

349

Recidivated

461

505

FP rate: 32.35

FP rate: 44.85

FP rate: 23.45

FN rate: 37.40

FN rate: 27.99

FN rate: 47.72

PPV: 0.61

PPV: 0.63

PPV: 0.59

NPV: 0.69

NPV: 0.65

NPV: 0.71

LR+: 1.94

LR+: 1.61

LR+: 2.23

LR-: 0.55

LR-: 0.51

LR-: 0.62

Thee contingenc tale reveal that the algorithm i more likel to miclaif a lack
defendant a higher rik than a white defendant. lack defendant who do not recidivate14/16

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

defendant a higher rik than a white defendant. lack defendant who do not recidivate
were nearl twice a likel to e clai ed  COMPA a higher rik compared to their
white counterpart (45 percent v. 23 percent). However, lack defendant who cored
higher did recidivate lightl more often than white defendant (63 percent v. 59
percent).
The tet tended to make the oppoite mitake with white, meaning that it wa more
likel to wrongl predict that white people would not commit additional crime if
releaed compared to lack defendant. COMPA under-clai ed white reo ender a
low rik 70.5 percent more often than lack reo ender (48 percent v. 28 percent). The
likelihood ratio for white defendant wa lightl higher 2.23 than for lack defendant
1.61.
We alo teted whether retricting our de nition of high rik to include onl COMPA’
high core, rather than including oth medium and high core, changed the reult of
our anali. In that cenario, lack defendant were three time a likel a white
defendant to e falel rated at high rik (16 percent v. 5 percent).
We found imilar reult for the COMPA violent recidivim core. A efore, we
calculated contingenc tale aed on how the core performed:

All Defendants
Low

High

Survived

4121

1597

Recidivated

347

389

Black defendants
Low

High

Survived

1692

1043

Recidivated

170

273

White defendants
Low

High

Survived

1679

380

Recidivated

129

77

FP rate: 27.93

FP rate: 38.14

FP rate: 18.46

FN rate: 47.15

FN rate: 38.37

FN rate: 62.62

PPV: 0.20

PPV: 0.21

PPV: 0.17

NPV: 0.92

NPV: 0.91

NPV: 0.93

LR+: 1.89

LR+: 1.62

LR+: 2.03

LR-: 0.65

LR-: 0.62

LR-: 0.77

lack defendant were twice a likel a white defendant to e miclai ed a a higher
rik of violent recidivim, and white recidivit were miclai ed a low rik 63.2
percent more often than lack defendant. lack defendant who were clai ed a a
higher rik of violent recidivim did recidivate at a lightl higher rate than white
defendant (21 percent v. 17 percent), and the likelihood ratio for white defendant wa 15/16

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

 5/24/2016

How We Analyzed the COMPAS Recidivism Algorithm - ProPublica

defendant (21 percent v. 17 percent), and the likelihood ratio for white defendant wa
higher, 2.03, than for lack defendant, 1.62.
We’ve pulihed the calculation and data for thi anali on githu.
← Read the tor

ign up to get ProPulica’ invetigation delivered to our inox.
ou@example.com

SUBSCRIBE

https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

16/16