Background: 
 
This is a response from ​
COMPare​
 to a review by NEJM which claims to have found errors in 
COMPare’s assessment of “​
Trial 49​
” (“Sofosbuvir and Velpatasvir for HCV Genotype 1, 2, 4, 5, 
and 6 Infection”). Each numbered point is the error NEJM claims to have found, followed by the 
response from COMPare. NEJM is wrong on all six points.  
 
For ease of reading and checking, here are links to the ​
registry entry​
; the ​
NEJM paper​
; the 
COMPare assessment sheet​
 (shared openly, as with all raw data from the COMPare project); 
and the ​
COMPare letter​
 correcting misreporting of this trial (which NEJM have so far declined to 
publish).  
 
1. "AEs leading to discontinuation not correctly reported" 
  
NEJM: 
“This is false. Protocol indicates safety and tolerability as second of 2 primary objectives, and 
registration lists incidence of AEs leading to discontinuation as 1 of 2 primary outcome 
measures. First line of Table 3 and first sentence of Safety section (p. 2604) reports that 1 of 
624 patient treated with sofosbuvir­velpatasvir discontinued due to AE.” 
  
COMPare: 
COMPare did not code this as missing. These results are given in the trial report, but incorrectly 
reported by NEJM as a ​
secondary ​
outcome. They were pre­specified as a ​
primary ​
outcome. We 
therefore coded it as reported, but incorrectly reported. This is clearly denoted in the ​
COMPare 
assessment sheet​
 for this trial, and additionally stated as a comment on the relevant cell on our 
assessment sheet. The ​
COMPare letter​
 reads “There were 2 pre­specified primary outcomes, of 
which one is reported in the paper; while one is incorrectly reported as a secondary outcome.” 
 
Conclusion: 
NEJM is wrong.  
 
2. "Secondary outcome SVR not reported in publication." 
 
NEJM:  
“This is false. This is reported in Table 2. The COMPARE reviewers may not appreciate that 
SVR4 (sustained virologic response week 4) is equivalent to HCV RNA <15 IU/ml at week 4, 
which is reported in Table 2. HCV RNA <15 IU/ml is the lower limit of detection of the assay, as 
indicated in the Table footnote.” 
  
COMPare: 
COMPare correctly coded this outcome as missing. We are aware that SVR means HCV RNA 
<15 IU/ml. Table 2 does indeed report HCV RNA < 15 IU/ml at “week 4” but this was ​
week 4 
during treatment ​
(which was 12 weeks long). SVR4 is Sustained Virologic Response at week 4 

 post­treatment.​
 Hence, we correctly concluded that HCV RNA <15 IU/ml at week 4 post 
treatment (SVR4) was not reported in the publication. NEJM editors may not appreciate that 
SVR4 is 4 weeks post­treatment, rather than the 4th week of treatment, hence their 
misunderstanding and misreporting of this outcome in NEJM, and their error in their review of 
the letter from COMPare.   
 

 
  
Conclusion: 
NEJM is wrong.  
 
3. "Secondary outcome SVR24 not reported in publication." 
 
NEJM:  
“This is true but justifiable. In NEJM letters to editor about this paper (in press), the authors 
reported that they have analyzed the SVR24 data and results are equivalent to SVR12 (i.e. 
there were no relapses between week 12 and week 24 post treatment). This was not a surprise, 
as this has been the case in all of the many patients who have now been treated in trials of 
these novel oral agents. SVR12 is considered the relevant primary outcome measure, with no 
additional information conveyed by SVR24 data. It is not necessary to delay reporting trials until 
SVR24 data are available.” 
  
COMPare:  
We agree that there can be good reasons to not report pre­specified outcomes. However, 
consistent with CONSORT and widely accepted best practice, we think that changes to 
pre­specified outcomes should be disclosed and discussed in the main trial report. This 
outcome was pre­specified and then not reported: that fact was not disclosed anywhere in the 
paper, indeed there was no mention of this pre­specified outcome anywhere in the NEJM report 
on the trial.  
 
(As a side note, we are interested that the authors are now writing a letter to belatedly disclose 
the unreported 24 week results. The last patient for this trial was recruited in Dec 2014, final 
data collection was June 2015, and publication date was Nov 2015. No submission date is 
given, but COI forms were signed Oct 2015. While analysis can take time, it is not clear in this 
case that the 24 week data could not have been reported in the initial paper. In any case, the 

 fact that this prespecified outcome was not being reported should simply have been noted in the 
NEJM paper, as per CONSORT and best practice). 
 
Conclusion: 
NEJM is wrong.  
 
4. "Proportion with HCV RNA <LLOQ on treatment not reported in publication" 
 
NEJM: 
“This is false. The COMPARE reviewer may not appreciate that "HCV RNA <LLOQ" is 
equivalent to "HCV RNA <15 IU/ml." Table 2 reports HCV RNA <15 IU/ml during treatment.” 
  
COMPare: 
We are aware that HCV RNA <LLOQ is equivalent to HCV RNA <15 IU/ml. However, the 
time­point for this outcome was given in the registry entry as “up to 8 weeks”, and results were 
reported in NEJM only for 2 and 4 weeks. We therefore concluded that the prespecified 
outcome was not reported. This is made explicit in the letter submitted by COMPare to NEJM. 
 

 
 
It is also made explicit in the comment on the relevant cell on the assessment sheet for this trial, 
as per the image below.  
 

 
 
 
It is worth noting here that CONSORT and widely accepted best practice require that outcomes 
are adequately pre­specified, including the timepoints at which they will be measured, otherwise 
trialists could select and report any time period they wish, exposing the trial report to 
unnecessary selective reporting and bias. Here the trialists pre­specified HCV RNA <LLOQ at 

 “up to 8 weeks” but reported the data at 2 and 4 weeks. If there is an argument that “up to 8 
weeks” should, perhaps, alternatively be coded as an inadequately pre­specified outcome 
(column M on the sheet, as in the image above), then that might be something to consider. 
However in our view that would have been a less reasonable interpretation, and not a 
judgement most readers would have reached on reading “up to 8 weeks” as a pre­specified 
outcome. We therefore concluded, considering CONSORT and best practice on specifying 
timepoints, that pre­specifying “up to 8 weeks” but reporting the data at 2 and 4 weeks was best 
interpreted as a failure to report the initially pre­specified outcome, and the addition of two 
novel, non­prespecified outcomes, at the two non­prespecified timepoints. 
 
Conclusion: 
NEJM is wrong.  
 
5. "HCV RNA change from baseline not reported in publication" 
 
NEJM: 
“This is false. The change in HCV RNA from baseline is conveyed by reporting the mean HCV 
RNA at baseline (Table 1) and the rates of HCV RNA <15 IU/ml (Table 2). Table S4 reports the 
HCV RNA levels for the 2 patients who virologic failure.” 
  
COMPare: 
NEJM is wrong, and expresses a concerning approach to reporting pre­specified outcomes. 
NEJM suggests that readers should subtract one number from another to calculate the 
prespecified outcome of: “HCV RNA change from baseline”. However the numbers needed to 
do this are not reported. Mean baseline HCV RNA ​
is ​
reported. Mean follow­up HCV RNA is ​
not 
reported. Table 2 reports the​
 proportion ​
of patients with HCV RNA​
 ​
<LLOQ​
 ​
(undetectably low), it 
does not give HCV RNA levels. NEJM is therefore wrong again: the information given by NEJM 
cannot be used to get HCV RNA​
 change from baseline,​
 the pre­specified outcome. In any case 
we do not think it is appropriate that readers should be expected to compare and subtract 
numbers from two different tables, without any instruction or signposting, in order to see the 
results for a pre­specified outcome in a clinical trial in NEJM. 
 
Conclusion: 
NEJM is wrong.  
 
 
6. "Proportion with virologic failure not reported in publication" 
 
NEJM: 
“This is false. This is reported in Table 2 which reports virologic failure during treatment (0 
patients) and virologic failure after treatment (1 patient).” 
  
COMPare: 

 NEJM says COMPareclassified “proportion with virologic failure” as unreported. That’s simply 
wrong. COMPare scored this outcome as “correctly reported”. This is clear on the assessment 
sheet.  
 

 
 
Conclusion: 
NEJM is wrong.  
 
 
In summary: 
 
COMPare has shared all its raw underlying data for all assessments. We would expect there to 
be some errors, occasionally, in any raw data for any scientific project. COMPare has written 
letters pointing out misreporting of clinical trials by dozens of research teams in five leading 
journals. For obvious reasons the raw data from COMPare is therefore being scrutinised more 
energetically, by more capable and motivated teams, than most raw data for any other scientific 
project. However, while claiming to find six errors, the review from NEJM and Prof Drazen has in 
fact found no errors, and is factually wrong on every single one of the six points it raises.  
 
It is perhaps ironic that Prof Drazen has previously argued against sharing raw data from 
scientific research, on the grounds that such openness might be abused by groups with vested 
interests in order to distort findings and inappropriately undermine researchers’ work. Some 
might argue that this is exactly what NEJM have attempted to do here, with the openly shared 
raw data from COMPare.  
 
In any case, this discussion and exchange is a good illustration of the benefits that come from 
constructive and open critical discourse around medical research, which is exactly what NEJM 
seem to have become inimical to. COMPare submitted a letter, pointing out that the prespecified 
outcomes for this trial were misreported by NEJM. The most appropriate path would have been 
for NEJM to publish this letter, allowing the community to see the errors in NEJM’s report on this 
trial, and judge their impact for themselves (or perhaps to disagree constructively and openly 
with COMPare). Instead NEJM conducted a secret and unpublished internal review of the 
COMPare letter, made a series of errors, then concluded ­ incorrectly and privately ­ that NEJM 
is not at fault, in a forum where nobody could review and discuss their further 
misunderstandings and errors.  
 
This is the polar opposite of good science, which rests on transparency and open discussion. 
Journals should be the forum for that open discussion. Sadly it is clear that many journals have 

 become something very different: in this case misreporting important research, and then 
suppressing attempts to point out their errors. At the same time, while suppressing public 
discussion of these errors, to compound it all, NEJM, the highest impact journal in the world, 
have apparently misunderstood the details of the research paper which they themselves have 
published.  
 
This is not a small problem, it has ramifications way beyond the single methodological issue of 
outcome switching, and it is all driven by an unnecessary and entrenched resistance to basic 
scientific transparency.  
 
Ben Goldacre, Henry Drysdale, Kamal Mahtani and Carl Heneghan, on behalf of the COMPare 
Trials Project.  

 Response from COMPare to NEJM query on  
outcome reporting in Choueiri et al, 2016.  
 
NEJM have reviewed a second COMPare coding, on “Cabozantinib versus Everolimus in 
Advanced Renal­Cell Carcinoma” by Choueiri et al, 2016. The trial report in NEJM is ​
here​
, and 
the registry entry is ​
here​
, however COMPare used the ​
protocol​
 to extract prespecified outcomes 
as it was dated from before trial commencement. COMPare’s letter to NEJM is ​
here​
, and all raw 
data from the COMPare coding sheet is ​
here​
, including a list of every prespecified and 
non­prespecified outcome. This is the second NEJM response we have reviewed.  
 
On COMPare’s assessment of outcome reporting in Choueiri et al, NEJM raise three issues: 
 
1. NEJM say the unreported endpoints are “additional endpoints”.  
 
It is unclear what point NEJM intends to make here. We agree that “additional endpoints” 
is how these prespecified outcomes are described in the protocol. However it is unclear 
what “additional endpoints” is intended to mean here, as distinct from secondary 
endpoints: “additional” endpoints is not commonly used as a term distinct from 
“secondary”. Indeed, quite the opposite is true: “additional endpoints” is generally used 
as a synonym for “secondary endpoints”, for example in ​
CONSORT​
, and ​
elsewhere​
. 
Furthermore, the combined count of secondary and “additional” outcomes prespecified 
for Choueiri ​
et al​
 is well within the normal range for the number of secondary outcomes 
prespecified for trials in general; and the kinds of measurements prespecified as 
“additional endpoints” in this trial are the same as those routinely prespecified as 
“secondary outcomes” in other trials, so it is even harder to credit the distinction being 
sought. These are pre­specified outcomes that are not reported, and it would have been 
simple for the trial report to state “there were 13 additional outcomes prespecified that 
are not reported”, as per CONSORT and best practice on unreported prespecified 
outcomes. It is notable that ​
previous work​
 has classified all “additional… tertiary” 
outcomes as secondary.  
 
For all that NEJM or others might seek to make a distinction, the COMPare ​
letter​
 to 
NEJM was in any case explicit in specifying that these unreported outcomes were 
described as “additional endpoints”, allowing the reader to draw their own conclusions. 
The letter from COMPare reads: “There was one pre­specified primary outcome, and 2 
prespecified secondary outcomes, which were all reported in the paper. However there 
were 13 “additional endpoints” in the protocol, of which only one was reported in the 
paper.”   
 
2. NEJM say that COMPare missed “changes in bone scans” as an additional 
endpoint, and that this should be added between outcomes #3 and #4.  
 

 NEJM are wrong, and they appear to be working from the wrong version of the protocol. 
As can be seen on page 7 of the ​
PDF​
 (page 5 of the protocol dated 27th Feb 2013 from 
before trial commencement) there is no mention of “changes in bone scans”. This 
additional additional endpoint [sic] is only added as an endpoint in version A1.0 of the 
protocol, dated 14th April 2014, which is after the trial began. Protocol changes are 
unfortunately not discussed in the ​
NEJM paper​
.  
 
3. NEJM say outcomes 11­15 are “not listed in protocol as endpoints and are 
subsumed in #7”.  
 
We disagree. The authors pre­specify: “Change in mobility, self­care, usual activities, 
pain/discomfort, and anxiety/depression, and global health as assessed by the EuroQol 
Health questionnaire instrument (EQ­5D­5L)”. The protocol clearly states that all five 
domains and an omnibus score will be measured using EQ­5D­5L. This is a Quality of 
Life scale that measures health across 5 distinct domains (at five levels each) and 
additionally generates a composite outcome score. All sub­domains of such rating scales 
are routinely reported as separate outcomes. A lack of clarity around whether subscales 
will be reported separately is a recurring theme in poor prespecification of outcomes: 
sometimes none are reported, sometimes all, and often only some are reported, 
exposing the trial to further avoidable bias. It may well be that there was an unstated 
intention by the trialists to report the composite outcome score alone and none of the 
subscales. However any such intention to leave the five specified subscales unreported 
was certainly not clearly set out in the protocol.  
 
In Summary: 
 
NEJM seek to raise three issues. They attempt to argue that additional endpoints are distinct 
from secondary endpoints and imply that there is less requirement to ensure that these 
outcomes are reported; we show that this distinction is not supported by the evidence. They 
state that COMPare has missed one outcome; however NEJM only believe this because they 
are working from the wrong version of the protocol. Lastly, they state that a rating scale with 
multiple subscales and one composite outcome should be counted as a single outcome; 
however throughout the literature such scales are routinely reported as multiple outcomes.  
 
We strongly believe that such discussions are best had in public, and that the interests of both 
the academic community and patients would have been better served by NEJM publishing 
COMPare’s letter, documenting NEJM’s failure to report all prespecified outcomes, alongside 
responses from NEJM and/or the authors. If this discussion was conducted appropriately on the 
pages of NEJM, then readers could see for themselves how NEJM editors handle the issue of 
non­reporting of prespecified outcomes, and assess for themselves whether those editors are 
correct in their judgements.  
 
Ben Goldacre, Henry Drysdale, Carl Heneghan, on behalf of the COMPare Trials Project.  

 29th March 2016. 
 
NEJM’s internal review, given by email to ProPublica: