SAN DIEGO: AUDIT & MANAGEMENT ADVISORY SERVICES 0919     February 1, 2017        ANTHONY MAGIT, MD  Director, Human Research Protection Program   0984      Subject:  Ophthalmology Human Subjects Research Compliance  Report 2017‐48      The final report for Ophthalmology Human Subjects Research Compliance, Report 2017‐48, is attached.   We would like to thank all members of the department for their cooperation and assistance during the  review.    Because we were able to reach agreement regarding management action plans in response to the audit  recommendations, a formal response to the report is not requested.  The findings included in this report  will be added to our follow‐up system.  We will contact department personnel at the appropriate time  to evaluate the status of the management action plans.      UC wide policy requires that all draft reports be destroyed after the final report is issued.  We also  request that draft reports not be photocopied or otherwise redistributed.          David Meier    Director    Audit & Management Advisory Services      Attachment      cc:  Judy Bruner           Pierre Ouillet    David Brenner           Brandon Rhodes    Casey Cox           Cheryl Ross    Gene Hasegawa         Andy Walton    Gary Firestein           Robert Weinreb    David Kimber           Dan Weissburg    Craig Kishaba          Cindy Wen    John Lohse           Kang Zhang      UNIVERSITY OF CALIFORNIA - (Letterhead for Interdepartmental use)                           AUDIT & MANAGEMENT ADVISORY SERVICES Ophthalmology Human Subjects Research Compliance Report No. 2017-48 February 2017 FINAL REPORT             Performed By:     Aparna Handa, Auditor  Christa Perkins, Manager      Approved By:     David Meier, Director    Ophthalmology Human Subjects Research Compliance       Report 2017‐48  TABLE OF CONTENTS  I.  EXECUTIVE SUMMARY .......................................................................................................................... 3  II.  BACKGROUND ....................................................................................................................................... 5  III.  AUDIT OBJECTIVE, SCOPE, AND PROCEDURES ..................................................................................... 6  IV.  CONCLUSION ......................................................................................................................................... 7  V.  OBSERVATIONS REQUIRING MANAGEMENT ACTION .......................................................................... 7  A. Informed Consent and HIPAA Authorization ................................................................................... 7  B. IRB Reporting ................................................................................................................................... 9  C. Subject Files Documentation ......................................................................................................... 11  D. Enrollment Log Accuracy ............................................................................................................... 13  E. Professional Fee Billing .................................................................................................................. 14  F. Regulatory Documentation ............................................................................................................ 14  G. Research Training ........................................................................................................................... 15      ATTACHMENT A ‐ Study Audit Template  ATTACHMENT B ‐ Summary of Findings by Study           2  Ophthalmology Human Subjects Research Compliance     Report 2017‐48  I. EXECUTIVE SUMMARY    Audit & Management Advisory Services (AMAS) has completed a regulatory review of research projects  conducted by a Principal Investigator (PI) in the Department of Ophthalmology (Department), at the  request of the UCSD Human Research Protection Program (HRPP).  The objective of our review was to  evaluate the PI’s active research studies overall compliance with regulatory requirements associated  with study documentation, adverse event reporting, subject safety, and study monitoring.      We concluded that the study team research administration needed improvement to ensure that study  files were complete and accurate, reporting obligations to the Institutional Review Board (IRB) were  met, and research conducted was consistent with the approved protocol.  We noted that consenting  practices and HIPAA1 Authorization completion were not consistently compliant with regulations and  HRPP guidelines, particularly for initial subjects enrolled.  IRB reporting of some protocol deviations  and other study events was also not in compliance with HRPP guidelines.  Documentation and  completion of case report forms (CRFs), source documentation and adverse event assessment was also  inadequate in some cases.    Professional fee billing errors totaling $746 were identified for one study (#140173) that were  improperly charged to the subject and/or their third party payor.  Required regulatory documentation  was generally adequate although some exceptions were noted.  Research training was also incomplete  for some study staff.  It is possible that this contributed to the non‐compliance described above.  All  staff have completed required training since the initiation of this review, however additional training or  monitoring by the HRPP may be needed to promote future compliance.    Based on these findings, the IRB and Department may wish to consider additional strategies to improve  the PI and study team’s compliance with policies and regulations for conducting human subject  research.   For example, additional monitoring by the UCSD Research Compliance Program (RCP) may  be requested.  Management Action Plans to address these findings are summarized briefly below:       A. Informed Consent and HIPAA Authorization  1. The PI will notify the IRB of applicable consenting and HIPAA deviations as required by HRPP  policy.    2. The study team will ensure that Section C and Section G of the HIPAA Authorization are  completed as appropriate for future enrollment.     B. IRB Reporting   1. The PI will implement a Secondary Reviewer Screening Process for current and future trials  requiring  secondary verification of subject enrollment.  2. The PI will report adverse events and protocol deviations to the IRB for applicable studies;  and ensure that events are reported to the IRB on a timely basis in the future to comply with  HRPP guidelines.  3. The PI will consider modifying the recruitment criteria in the research plan for study  #140090.                                                               1  Health Insurance Portability and Accountability Act of 1996  3  Ophthalmology Human Subjects Research Compliance   Report 2017‐48    4. The PI will ensure that future enrollment is consistent with the IRB‐approved  inclusion/exclusion criteria.    5. The PI will ensure that Protocol, Informed Consent Forms (ICFs), and CRFs are consistent on  the timeline for follow up contact.  6. The PI has filed a study closure report with the IRB for study #151667.    C. Subject Files Documentation  1. The study team will ensure that source documentation is filed for study #140173.  2. The study team will ensure that CRF’s are completed or lack thereof is indicated for study  #081041.   3. The study team will consider revising the adverse event log to capture PI sign‐off for each  event listed.    D. Enrollment Log Accuracy   1. The Study Coordinator has corrected the enrollment logs for study #081041 and #140090.  2. The study team will update the IRB with accurate enrollment information for studies  #081041 and #140090.    E. Professional Fee Billing  1. Professional fee charges have been corrected for the three subjects.  2. The study team has reviewed all study visits for any other missed study procedure costs that  may have led to inappropriate billing.  Identified charges have been submitted to Revenue  Cycle for correction.    3. The study team will re‐train staff to ensure that professional fee billing documents are  obtained and retained for all study procedures performed at study visits.     F. Regulatory Documentation  1. The study team will ensure that regulatory binders are complete for their clinical trials.  The  checklist on the UCSD Research Compliance website can assist with ensuring future  compliance    G. Research Training  1. All three support staff completed the mandatory HRPP training module in November 2016.   2. The PI completed Stem Cell Ethics training in November 2016.  3. The PI and study team will pursue one‐on‐one training sessions with the IRB to help achieve  regulatory compliance.  4. The PI will ensure that he and the study team are compliant with mandatory HRPP and Stem  Cell Ethics training going forward.      Observations, related Management Action Plans are described in greater detail in section V. of this  report.      4  Ophthalmology Human Subjects Research Compliance     Report 2017‐48  II. BACKGROUND     Audit & Management Advisory Services (AMAS) has completed a regulatory review of research projects  conducted by a Principal Investigator (PI) in the Department of Ophthalmology (Department), at the  request of the UCSD Human Research Protection Program (HRPP).  This report summarizes the results  of our review.     The UCSD HRPP office assists researchers in complying with federal, state and University policies  regarding experimentation involving human subjects, and oversees the review and conduct of research  conducted through six federally registered Institutional Review Boards (IRBs).      The PI’s clinical and research focuses are on novel disease gene targets and treatment, gene and stem  cell based therapies in age related macular degeneration, diabetic retinopathy, and inherited retinal  degeneration.  The PI’s Laboratory uses genetics to gain insights into the molecular mechanisms of  macular degeneration and other eye diseases.  As of October 2016, the PI had five active research  projects with the IRB as summarized in the table below:     IRB #  Title  081041  Genetic and Molecular Studies of Eye/Human  Diseases  140090  Collection of Blood or Skin Biopsy Samples from  Patients with Late‐Life Blinding Eye Disorders and  from Healthy Matched‐Controls for a Stem Cell Bank  (IT1‐06601)  140173  EAGLE: Evaluating Genotypes Using Intravitreal  Aflibercept Injection  151667  A Phase 2 Randomized, Double‐masked,  Multicenter, Active‐controlled Study Evaluating  Administration of Repeated Intravitreal Doses of hI‐ con1’ in Patients with Choroidal Neovascularization  Secondary to Age‐related Macular Degeneration  160944  Prospective Case Crossover Study to Assess Whether  PDE5 Inhibitor Exposure in Men with Erectile  Dysfunction Increases the Risk for the Development  of Non‐arteritic Anterior Ischemic Optic Neuropathy  (NAION)  Sponsor/Funding Mix of departmental, grant  and start‐up funding used  to support PI lab  California Institute for  Regenerative Medicine  (CIRM) research grant  Enrollment Over  16,000  Regenron Pharmaceuticals  (PI‐initiated)  Iconic Therapeutics  (commercially sponsored)  47  None to  date  Bayer (commercially  sponsored)  None to  date  410    One of the PI’s inactive studies (#110567) was subject to a review by the Food & Drug Administration  (FDA) in July/August of 2016 which found significant regulatory and study conduct noncompliance  issues as summarized below:   Failure to monitor investigational sites for an investigation conducted under an Investigational  New Drug (IND),   Failure to submit annual report to the FDA,   Conducting enrollment during enrollment suspension period,   Protocol Deviations ‐ enrolling subjects that did not meet inclusion criteria and subjects not  completing all protocol required study visits/examinations,  5  Ophthalmology Human Subjects Research Compliance   Report 2017‐48     Informed consent lacking required regulatory language,   Inadequate retention practices and,   Investigation drug disposition record discrepancies.    In response to the FDA report, the IRB placed an enrollment suspension on all of the PI’s active studies,  pending results of this audit of his active studies.      The PI’s research projects are managed by three support staff: one Study Coordinator and two lab  assistants.  The support staff are funded through a combination of the PI’s grants or unrestricted  funding sources and other research projects conducted by another Department PI.       III. AUDIT OBJECTIVE, SCOPE, AND PROCEDURES      The objective of our review was to evaluate the PI’s active research studies overall compliance with  regulatory requirements associated with study documentation, adverse event reporting, subject safety,  and study monitoring.  The project scope included the five active studies, with a focused review of  three studies with enrollment.  The inactive study previously reviewed by the FDA was not further  evaluated in the scope of this audit.  A standard study audit template was used to document the  focused reviews, which is provided in Attachment A.     In order to achieve our objective, we performed the following:     Reviewed applicable IRB policy and Fact Sheets including reporting of protocol violations  and/or unanticipated problems involving risks to subjects or others (UPRs), study closure,  training requirements, and HIPAA compliance;   Obtained and evaluated training records for the PI and his support staff for completion of  mandatory research training;   Met with the PI and Study Coordinator to understand study procedures, regulatory document  management and reporting processes;    Obtained enrollment logs for the three studies with enrollment (#081041, #140090 and  #140193) and traced withdrawals listed on IRB submissions to the log to verify completion of  logs;   Reviewed regulatory binders and selected a judgmental sample of subjects for the three  studies with enrollment (50 subjects for studies #081041 and #140090; 15 subjects for  #140173) to complete a focused review of subject documentation;   Verified subject eligibility for sampled subjects based on enrollment criteria on research plan;   Verified hospital and professional fee billing for study procedures for study dates of service was  in accordance with the research plan for a judgmental sample of subjects for the three studies  with enrollment (#081041, #140090 and #140193); and   Conducted a site visit to review study documentation and subject files for compliance with  regulatory requirements and adverse event reporting.       6  Ophthalmology Human Subjects Research Compliance     Report 2017‐48  IV. CONCLUSION     Based on our review, we concluded that the study team research administration needed improvement  to ensure that study files were complete and accurate, reporting obligations to IRB were met, and  research conducted was consistent with the approved protocol.      We noted that consenting practices and HIPAA Authorization completion were not consistently  compliant with regulations and HRPP guidelines, particularly for initial subjects enrolled.  IRB reporting  of some protocol deviations and other study events was also not in compliance with HRPP guidelines.   Documentation and completion of case report forms (CRFs), source documentation and adverse event  assessment was also inadequate in some cases.    Professional fee billing errors totaling $746 were identified for one study (#140173) that were  improperly charged to the subject and/or their third party payor.  Required regulatory documentation  was generally adequate although some exceptions were noted.  Research training was also incomplete  for some study staff.     Investigational drug accountability records were maintained and study drug inventory was verified for  one study (#140173).  In response to the FDA audit, the study team indicated that they had taken steps  to review subject files and regulatory binders for other active studies and this was evidenced through  notes to file and PI sign offs in November 2016 to document missing data and PI assessments in subject  files.     We noted that mandatory HRPP training was not completed by support staff.  It is possible that this  contributed to the non‐compliance described above.  All staff have completed required training since  the initiation of this review, however additional training or monitoring by the HRPP may be needed to  promote future compliance. These observations are described in further detail in the balance of this  report and in Attachment B.     Based on these findings, the IRB and Department may wish to consider additional strategies to improve  the PI and study team’s compliance with policies and regulations for conducting human subject  research.   For example, additional monitoring by the UCSD Research Compliance Program (RCP) may  be requested.        V. OBSERVATIONS REQUIRING MANAGEMENT ACTION     A.  Informed Consent and HIPAA Authorization  We noted instances when consenting practices were not fully compliant with policy and regulations.   HIPAA Authorization forms Section C and G were not completed for several subjects.   Risk Statement/Effect  Inadequate consenting practices may negatively impact the rights, welfare, and safety of human  7  Ophthalmology Human Subjects Research Compliance    subjects in clinical research.   Report 2017‐48  Management Action Plans    A.1  The PI will notify the IRB of applicable consenting and HIPAA deviations as required by HRPP  policy.   A.2  The study team will ensure that Section C and Section G of the HIPAA Authorization are  completed as appropriate for future enrollment.      A. Informed Consent and HIPAA Authorization – Detailed Discussion      Informed Consent Form (ICF)    UCSD HRPP IRB Standard Operating Policies and Procedures (Section 3.4, Informed Consent)  requires all investigators to obtain a legally effective informed consent from the subject or the  subject’s legally authorized representative, unless conditions for waiver of consent have been met.  When children or minors are involved in research, the regulations require the assent of the child or  minor and the permission of the parent(s) or legally authorized representatives, in place of the  consent of the subjects.      We noted that two subjects (#16596001 and, #16973001) for study #081041 and two subjects (E023  and E043) for study #140173 did not sign the most current version of the ICF upon enrollment.  The IRB  was not informed of these discrepancies.     For study #081041, we noted that one subject’s (#16587001) assent form was filed but was not signed  by the subject.   For study #140090, one subject (CW70350), signed an adult ICF when an adolescent  assent was appropriate based on the subject’s age.      In addition, we identified one instance where it appeared that research procedures were initiated prior  to the informed consent date.  The ICF for one subject (CW70354) for study #140090 was dated by  subject for the day after study procedures were conducted.  However, this appeared to be a date error  on the part of the subject, as the Study Coordinator dated the ICF on the date the study procedures  were performed.      HIPAA Authorization    The HIPAA Privacy Rule establishes a set of requirements for protecting the confidentiality of  protected  health information (PHI) arising as a result of health care services, and includes the  requirement that authorization be obtained in most cases before this type of data is used for  research purposes.  Section C of the HIPAA Authorization form should be initialed by subjects if  information specified (i.e. HIV/AIDS testing, genetic testing etc.) is being collected per study  protocol.  As of September 23, 2013, newly enrolled participants who sign a HIPAA Authorization  must opt‐in to allow the use of their PHI for optional research activity as well as for future  secondary use of PHI (under Section G).  By default, not addressing Section G indicates that the  subject is opting out of the optional research activities.   8  Ophthalmology Human Subjects Research Compliance   Report 2017‐48      Based on discussion with Study Coordinator and review of research activities, agreement for genetic  testing (Section C) and additional optional testing (Section G) was applicable for the three studies.   However, our review of study records identified several instances when Section C and/or Section G of  the HIPAA form were not completed, as summarized in the table below:    IRB #  Section C  Section G  081041  15  25  140090  19  31  140173  1  4    The Study Coordinator indicated that they were not initially aware of the requirement to complete  Section G of the HIPAA Authorization form but have taken measures to ensure this is appropriately  completed by subjects.    In addition, upon review of subject files for study #140090, we noted that HIV testing was done at a  central lab as a screening procedure to verify whether or not HIV or other blood borne diseases were  found in the blood prior to generating cell‐line for the samples submitted.   The Study Coordinator  indicated that  subjects were not asked to initial agreement for release of HIV/AIDS testing information  under Section C of the HIPAA Authorization form.  However, obtaining approval for release of HIV/AIDS  testing appears to be required for this study.       B.  IRB Reporting  We noted that selected minor protocol deviations, certain study events, and one study closure were  not reported to the IRB as required by HRPP policy and guidelines.    Risk Statement/Effect  Incomplete or untimely reporting to the IRB of protocol deviations and adverse events may negatively  impact the rights, welfare, and safety of human subjects in clinical research.    Management Action Plans  B.1  The PI will implement a Secondary Reviewer Screening Process for current and future trials  requiring  secondary verification of subject enrollment.  B.2  The PI will report adverse events and protocol deviations to the IRB for applicable studies; and  ensure that events are reported to the IRB on a timely basis in the future to comply with HRPP  guidelines.  B.3  The PI will consider modifying the recruitment criteria in the research plan for study #140090.  B.4  The PI will ensure that future enrollment is consistent with the IRB‐approved inclusion/exclusion  criteria.    B.5  The PI will ensure that Protocol, Informed Consent Forms (ICFs), and CRFs are consistent on the  9  Ophthalmology Human Subjects Research Compliance    timeline for follow up contact.  B.6   Report 2017‐48  The PI has filed a study closure report with the IRB for study #151667.    B. IRB Reporting – Detailed Discussion      Protocol Deviations     UCSD HRPP IRB Standard Operating Policies and Procedures (Section 3.14, Protocol and Regulatory  Violations and Exceptions) requires major protocol violations to be reported to the IRB within 10  working days of awareness of the violation, and minor violations to be reported to the IRB at time of  continuing review or study closure on the narrative summary of progress document. Major violations  include instances that impact participant safety, substantially alter risks to participants, are non‐ compliant with applicable UCSD HRPP, federal, state and institutional policies and regulations, or any  instance determined by the IRB Chair, HRPP Director, or HRPP Associate Director to require review by a  convened IRB.  Minor protocol violations include instances that do not impact participant safety or  substantially alter risks to participants.    Our review of study #140090 identified seven subjects that did not meet the enrollment criteria as  specified in the research plan.  Recruitment criteria under Section 10 of the research plan specified  subjects recruited will be 50+ years old (male or female) and that no minors will be studied.   However,  our review of 50 sampled subjects files identified seven subjects who were under 50 years, including one  minor, who did not meet the enrollment criteria.  The Study Coordinator indicated that the age should  not be cause for exclusion in this study as long as eye disease or control requirements are met.   However, this was inconsistent with the IRB‐approved protocol and research plan.     For study #140173, we noted several instances of minor protocol deviations that had not been  reported to the IRB.  Most sampled subjects had some missed/delayed study procedures (Fundus  Photography, Fluorescein Angiography (FR), follow up contact, and delayed blood draws).  Subject  records had notes to file (NTFs) for most of these procedures, although some missed or delayed  procedures were not documented in NTFs.  We noted that these events reflected minor protocol  deviations, but none were reported to the IRB in the last two continuing reviews.                                                                                                                                                                                 We also noted inconsistencies between the protocol, ICF, and CRFs for this study.  The study #140173  CRF for follow up contact indicated 2‐7 days after study injection but the ICF indicated 2‐4 days after  injection.  The protocol did not specify timeline for follow up contact.  The protocol, CRFs and ICF  follow up timelines should be consistent to maintain compliance with the protocol and avoid  confusion.     Non‐Unanticipated Problems Involving Risks (UPRs)    UCSD HRPP IRB Standard Operating Policies and Procedures (Section 3.13, Reporting Adverse Events  and Unanticipated Problems) requires an event classified as an unanticipated problem involving risks to  subjects or others (UPR) to be reported to the IRB within 10 working days. Non‐UPRs are required by  policy to be reported to the IRB at least annually as part of the study continuing review report or study  resubmission report.  10  Ophthalmology Human Subjects Research Compliance   Report 2017‐48      During review of sampled subject study records for study #140173, we noted that five subjects had a  total of seven non‐UPRs that were not reported to IRB on the annual continuing reviews submitted.      Study Closure    Federal regulation [21 CFR 56.108(a)(3)] requires ensuring "prompt reporting to the IRB of changes in a  research activity."  The completion of the study is a change in activity and should be reported to the  IRB.   Although subjects will no longer be "at risk" under the study, a final report/notice to the IRB  allows it to close its files as well as providing information that may be used by the IRB in the evaluation  and approval of related studies.  HRPP Face Sheets on Study Withdrawal/Closure requires PIs to “report  closure of a research study to the IRB within 30 days.”      Study #151667 was initially submitted to UCSD IRB in October 2015, seeking review and institutional  jurisdiction waiver for Quorum IRB oversight.  While the study was under review at UCSD, the sponsor’s  study enrollment goals were met, and UCSD was not established as a study site.  The study team was  informed of study enrollment closure by the sponsor on March 31,2016, but a formal closure report  was not submitted to UCSD IRB to reflect study status.        C.  Subject Files Documentation  Subject documentation was incomplete or inadequate in some cases.   Risk Statement/Effect  Reliable, accurate and adequate source documentation  and case report forms are critical to ensure  that study results are built on the foundation of credible and valid data, and symbolize good  documentation practices in clinical research.   Management Action Plans   C.1  The study team will ensure that source documentation is filed for study #140173.  C.2  The study team will ensure that CRF’s are completed or lack thereof is indicated for study  #081041.   C.3  The study team will consider revising the adverse event log to capture PI sign‐off for each event  listed.    C. Subject Files Documentation – Detailed Discussion      Maintaining good clinical documentation in a clinical trial is key to support study results, confirm  eligibility of a subject, document the participation of a subject from consenting to study completion,  and forms a foundation for data transcribed on a CRF which is ultimately translated into a clinical study  report.     11  Ophthalmology Human Subjects Research Compliance   Report 2017‐48    Source Documentation and Case Report Forms    For study #140173, we noted that source documentation was not in subject files for some study  procedures.  There were six subjects for which fluorescein angiography documentation was missing  from the study file.  In addition, five subjects retina progress reports for their eye exams were missing  for 11 study visits.      We also noted that the PI did not sign off on source documentation in subject files for study #140173,  particularly for the fluorescein angiography and optical coherence tomography (OCT) tests.   The sign‐ off evidences review by the PI of study test results.                        Study #081041 had one sampled subject file (#16573001) that could not be located.  Consequently,  consent forms and enrollment forms for the study were not available for review.     We noted that CRFs were incomplete in several sampled subject files for study #081041.  Per the  research plan, the primary objective of the study was to collect blood samples and clinical data on  subjects with heritable disease for genetic research on human tissue samples.  It specified that all study  subjects would have their ophthalmology records, medical history, and family history of disease  reviewed, as well as blood draws.      The enrollment form (CRF developed for study) for study #081041 included sections for subject  demographic, medical/family history, eye test results and disease information.  However, we noted that  in several cases the subject history, eye test and disease information was not captured in the enrollment  form, even if this data was captured in the source document when located in subject file (i.e. retina  progress report).  The enrollment form was also not signed off to identify the study team member that  completed it.      Per the Study Coordinator, data collection was focused on capturing subject demographic information  and therefore other sections on the enrollment form were not consistently completed.  The CRFs for this  project were a means of recording relevant details as the subject discussed medical history and general  demographics with study coordinators.  CRF completion or lack thereof depended on the amount of  detail available at the time of enrollment.      The Study Coordinator stated that most subjects were enrolled for study #081041 during their routine  ophthalmology visit and performing an eye exam specifically for the study was rare.  Only 25 of the 50  sampled subjects source documentation for their eye exam (retina progress report) was in file.   The  Study Coordinator indicated that the eye exam was standard of care and retina progress reports were  only added as additional information.      Adverse Event Assessment    The adverse event logs for study #140173 had sections for capturing each event including its severity  and causality assessment.  There was only one sign off at the end of the log by the PI for all adverse  events noted.  As there are multiple events that occur over the course of study participation, better  documentation practices would evidence PI assessment of each event by requiring PI sign off for each  event noted on the adverse event log.  We also noted that log was signed off by the PI in November  12  Ophthalmology Human Subjects Research Compliance   Report 2017‐48    2016 in most cases, implying that the sign‐off was triggered by the site visit.  For four subjects, the sign‐ off by the PI was lacking in the log.        D.  Enrollment Log Accuracy  The study enrollment logs were inaccurate for two studies (#081041 and #140090).  Risk Statement/Effect  Inaccurate enrollment information impacts validity of information reported to the IRB.  Management Action Plans  D.1  The Study Coordinator has corrected the enrollment log for studies #081041 and #140090.  D.2  The study team will update the IRB with accurate enrollment information for studies #081041  and #140090.     D. Enrollment Log Accuracy – Detailed Discussion      The study enrollment log includes a list of subjects who were consented for the study and can be used  to track subject status (enrolled, screen fail, withdrawn, complete etc.).  Screening and enrollment logs  are considered essential documents per GCP and is useful to track the number of subjects enrolled and  the rate of enrollment for continuing renewal with the IRB.    We compared the subject withdrawals reported to the IRB in continuing reviews (from year 2014  onwards) and compared to the enrollment log for studies #081041 and #140090.  Discrepancies were  identified in the enrollment logs for both studies .  Thirty‐two (32) subjects for study #081041 and 18  subjects for study #140090, were identified as withdrawn on narrative summaries submitted to the IRB  but could not be located on the study enrollment log.     In addition, one subject was identified as withdrawn in the narrative summary and listed on enrollment  log but subject status needed to be updated to reflect withdrawal for study #081041.  Similarly, we  noted two subjects identified as withdrawn on the narrative summary submitted to the IRB for study  #140090, but subject status indicated active status in the enrollment log.  Further review by the Study  Coordinator revealed that these two subjects were in fact in active status and IRB communication in  the narrative summary was inaccurate.      Based on the above, it did not appear that the study logs were maintained consistently and accurately,  raising question about the extent to which they can be relied on.              13  Ophthalmology Human Subjects Research Compliance    E.   Report 2017‐48  Professional Fee Billing  Professional fee billing errors totaling $746 were identified for one study (#140173).   Risk Statement/Effect  Inappropriate billing to subject accounts for study billable charges increase risk of fraudulent claims and  double‐charging which can incur substantial penalties for violations of federal and state billing  requirements.   Management Action Plans  E.1  Professional fee charges have been corrected for the three subjects.  E.2  The study team has reviewed all study visits for any other missed study procedure costs that  may have led to inappropriate billing.  Identified charges have been submitted to Revenue Cycle  for correction.    E.3  The study team will re‐train staff to ensure that professional fee billing documents are obtained  and retained for all study procedures performed at study visits.     E. Professional Fee Billing – Detailed Discussion      Our analysis of professional fee billing for a sample of eight subjects for study #140173 identified  professional fee billing errors of $746 for four study visits for three subjects (E014, E017 and E022).   One subject's (E022) ophthalmic imaging charge had routed to collections.  The Study Coordinator  indicated that the initial (Day 0) study visit was generally standard of care billable to the subject/third  party payor, as subjects were typically enrolled during their scheduled eye examination, unless referred  from an outside medical group.      The study research plan and ICF specified that the subject would not incur any costs or expense for  participation in the study.  All study procedures were therefore not billable to the subjects, and the  study team prevented charges from being billed by retaining all paper professional fee billing  documentation when study procedures were performed.  However, some procedures still routed  inappropriately to the subject’s account.       F.  Regulatory Documentation   Regulatory binders were incomplete in some cases.   Risk Statement/Effect  Regulatory binders provide an organizational framework for filing essential study documents,  facilitate  the effective and efficient management of studies, and symbolize good clinical documentation  practices.    14  Ophthalmology Human Subjects Research Compliance     Report 2017‐48  Management Action Plan  F.1  The study team will ensure that regulatory binders are complete for their clinical trials.  The  checklist on the UCSD Research Compliance website can assist with ensuring future compliance.    F. Regulatory Documentation – Detailed Discussion      The International Council for Harmonization of Technical Requirements for Pharmaceuticals for Human  Use (ICH) Good Clinical Practices (GCP) Guidelines define Essential Documents as those documents  which individually and collectively permit evaluation of the conduct of a trial and the quality of data  produced.  These documents serve to demonstrate compliance with standards of Good Clinical Practice  and with all applicable regulatory requirements.  A regulatory binder or file contains all study‐specific  information and regulatory documentation. It organizes essential documents, provides easy access to  essential documents by the trial monitor, auditor, IRB, or regulatory authorities for review/audit  purposes, and allows research team members to reference information.  The UCSD Research  Compliance Program intranet has a checklist for regulatory binder documentation.     Regulatory binders were obtained and reviewed for the three studies with enrollment (#081041,  #140090 and #140173).  We noted that a complete set of required regulatory documents were not  maintained.  A summary of the regulatory documents not located for the three studies selected for  detailed testing is presented in Attachment B.      G.  Research Training   The study team support staff had not completed the mandatory HRPP training.   Risk Statement/Effect  Training on the principles of conducting biomedical research is vital to ensuring that research studies  are conducted in compliance with applicable regulations and guidelines.  If the Principal Investigator  and all key personnel have not completed required HRPP training, research projects may be delayed, as  IRB may not grant approval for Initial and Continuing Reviews or amendments until training is  complete.   Management Action Plans  G.1  All three support staff completed the mandatory HRPP training module in November 2016.   G.2  The PI completed Stem Cell Ethics training in November 2016.  G.3  The PI and study team will pursue one‐on‐one training sessions with the IRB to help achieve  regulatory compliance.  G.4  The PI will ensure that he and the study team are compliant with mandatory HRPP and Stem Cell  Ethics training going forward.  15  Ophthalmology Human Subjects Research Compliance     Report 2017‐48  G. Research Training – Detailed Discussion      Biomedical Research Training    All Principal Investigators and "Key Personnel" who are engaged in research with living  human beings, human tissue samples or identifiable private information, or conducting  research under the review of UCSD IRBs are required to take the CITI Training Program.  The required  course is  the Biomedical Couse in Responsible Conduct of Research Protection of Human Research  Subjects.  Key personnel include faculty, staff or students who enroll individuals, obtain subject ICF,  intervene or interact with subjects by performing invasive or non‐invasive procedures, collect data  directly or follow‐up directly with participants, collect identifiable provide information from  participants, have access to information that links participants names with their data, or act as  authorized representatives for the investigators.  The Principal Investigator and all key personnel must  complete their CITI training before the HRPP review is completed  at time of initial review, continuing  review, and amendment requests.   The PI certifies key personnel associated with the study have  completed the appropriate CITI training by signing the current application Facesheets and/or  Continuing Review Facepages.     Review of training records for the PI and his support staff revealed that although the PI completed the  mandatory HRPP training, his three support staff had not.  The support staff met the criteria for “key  personnel” as described above and therefore were required to complete the training.     Stem Cell Ethics Training    Based on guidelines from the National Academy of Sciences, regulations from the California Institute of  Regenerative Medicine, and guidelines of the participating institutions of the Sanford Consortium for  Regenerative Medicine, the institutional Stem Cell Research Oversight Committees are charged with  overseeing a requirement for ethics training.  All PI and personnel who work with Human Embryonic  Stem Cells (hESC), are required to complete initial and annual Stem Cell Ethics training.      We noted that study #140090 was approved by the Embryonic Stem Cell Research Oversight (ESCRO)  Committee as it involves stem cell research.  Consequently, the PI is subject to the Stem Cell Ethics  training requirement.  We followed up with the completion of training for Stem Cell Ethics for the PI  with the Research Ethics Program but they were unable to locate any record confirming that training  was completed.  The PI indicated that the study ceased enrollment in September 2016 and he was  working on final data input with the study sponsor for study closure.    16  Ophthalmology Human Subjects Research Compliance      ATTACHMENT A – Study Audit Template   Report 2017‐48  General Information PI: IRB #: Study Name: # of Subjects RCP Reviewer: Enrolled / # Chosen for Review: Billing/Bulk Device Drug Velos Review Type: Regulatory Review Consent Review Sponsor: Federal Commercial Date Review Initiated: Date On-site Review: Coverage Analysis Other Departmental Funds (specify) Investigator Initiated Other (specify) External Monitor? Y N Bulk #: Index#: Investigational Drugs Used? Y N Date of Last Visit: N/A If yes, identify by name/IND: Investigational Device Used: IDE HDE NSR N/A Identification # (include Category/Class): Where did study procedures take place? Inpatient Outpatient (specify) Contact Information Name Title Phone Email Protection of Human Subjects N/A Yes No N/A Comments/Exceptions 1. Is storage of study records adequate and secure? a. Describe the process for maintaining study records during the study and the plans for records retention once the study is complete. For a sample of study subjects: 2. Are all applicable versions of the signed Consent Form present for each subject? 3. Are all applicable versions of the signed assent form present for pediatric subjects age 7 years and older (when appropriate)? Child Assent for subjects ages 7-12, Adolescent Assent for subjects 12-17 4. Was the consent form signed by the subject the most current version available? 5. Is each Consent Form signed/dated prior to Adapted from Audit Templates available on the UCSD Research Compliance Program website.     A‐1  Ophthalmology Human Subjects Research Compliance      ATTACHMENT A – Study Audit Template  Protection of Human Subjects  Report 2017‐48  N/A Yes No N/A Comments/Exceptions initial treatment? a. Is there documentation of the Informed Consent process in the source? b. Is there documentation that a copy of the Subject’s Bill of Rights was provided to each subject? 6. Is the HIPAA Authorization signed by each subject (when applicable)? a. Does the study require information listed in Section C? b. If so, is Section C completed appropriately or is there documentation re: participant declination? c. Section G is only applicable for subjects consented after 9/23/2013 Has section G been completed? 7. Is a copy of the signed Informed Consent Form and HIPAA uploaded in the subject’s electronic medical record? Financial Administration & Billing N/A Yes No N/A Comments/Exceptions Yes No N/A Comments/Exceptions 1. Was there a clinical trial agreement, contract or grant executed prior to initiation of the study? 2. For a sample of subjects, verify that subjects (or their third party payer) were not charged for study procedures that were to be billed to the research study? Sample Collection and Storage N/A 1. Does the study include sample collection? a. If using a central lab, are sampled deidentified in accordance with the consent form? b. Are sample temperature logs maintained? 2. If other sub-sites are used are they: a. Approved by the IRB b. contract in place prior to sample collection c. transfers of samples is logged 3. If sub-sites are used, understand the process for monitoring of sub-sites to ensure compliance with study protocol. Adapted from Audit Templates available on the UCSD Research Compliance Program website.     A‐2  Ophthalmology Human Subjects Research Compliance      ATTACHMENT A – Study Audit Template  Investigational Drugs  Report 2017‐48  N/A Yes No N/A Comments/Exceptions 1. Is the investigational drug identified on the IRB Face Sheet with IND number? 2. Is the drug labeled for investigational use only? 3. If investigational drugs are used in the study, is the UCSDMC Investigational Drug Service involved? NOTE: If yes, skip questions 4 -12. 4. Is documentation of receipt of study drug present? Who supplies the drug? 5. Is the lot # and expiration date for the study drug documented if applicable? 6. Has the expiration date of the study drug passed? 7. Is the investigational drug labeled in accordance w/ guidelines provided in the protocol? (Drug Fact Sheet?) 8. Is the study drug stored in an appropriate location with restricted access? 9. Describe the process for inventory control of the study drugs, i.e. is there adequate separation of duties in the receipt, dispensing, disposal or wastage of study drugs? 10. Is documentation of distribution, return, and disposition of study drug present (i.e., drug accountability log) logs? 11. Are study drugs stored in accordance with specified storage conditions? a. Is a temperature log maintained? 12. Does the physical inventory match the Drug Accountability log? Unexpected Problems Involving Risks (UPRs) and Adverse Events For a sample of study subjects: 1. Were there any adverse events/UPRs? 2. Is there documentation of adverse events/UPRs in the subjects research record? 3. Does review of subject electronic medical record for study visit identify any adverse events? Yes No N/A Comments/Exceptions Adapted from Audit Templates available on the UCSD Research Compliance Program website.     A‐3  N/A Ophthalmology Human Subjects Research Compliance      ATTACHMENT A – Study Audit Template  Unexpected Problems Involving Risks (UPRs) and Adverse Events For a sample of study subjects: a. Yes No N/A Comments/Exceptions Yes No N/A Comments/Exceptions  Report 2017‐48  N/A If yes, were these events noted in the adverse event log? 4. Were UPRs reported to the IRB within 10 working days of knowledge of the event? 5. Were adverse events/non-UPRs reported to the IRB at the time of continuing review? Regulatory Binder/File N/A 1. Master Protocol, including subsection for: a. protocol amendments b. protocol signature pages 2. Investigator’s Brochure, Package Insert or Product Information (include all versions) 3. FDA letter or other documentation of IND, IDE and other designation (as applicable) 4. IND Safety Reports 5. DSMB Reports 6. IRB-approved Informed Consent and/or Assent Forms (include all versions) 7. HIPAA Authorization form 8. IRB-approved Advertisements/Flyers 9. Protocol Deviation/Violation Reports (UPR Reports) 10. IRB Correspondence, includes all submissions and correspondence to/from IRB such as: a. HRPP Application Facepages b. Research Plan c. IND Fact Sheet d. Continuing Review Facepages e. Continuing Review Narrative f. Study closure facepages g. Submission and response letters from research unit h. IRB letters 11. Continuing Reviews/10-Year Resubmission a. Was there any lapse in IRB approval? b. Were participants enrolled during this lapsed period? Adapted from Audit Templates available on the UCSD Research Compliance Program website.     A‐4  Ophthalmology Human Subjects Research Compliance      ATTACHMENT A – Study Audit Template  Regulatory Binder/File N/A Yes No N/A Comments/Exceptions c. If yes, was the IRB notified? d. Were study activities conducted during lapse in IRB approval? e. If yes, is there documentation of IRB approval on file? 12. Were amendments submitted to the IRB? 13. Were participants required to be re-consented as a result of an amendment? - Specify amendment (e.g., protocol version, reason for amendment, consent version, IRB approval date). 14. Correspondence, submission forms and/or approvals from other institutional committees (as applicable) 15. Sponsor correspondence (study-related correspondence to/from site and sponsor/CRO) 16. Federalwide Assurance Letter (FWA) 17. Regulatory notes to file 18. Monitoring Visit Reports 19. FDA Form 1572 or device equivalent 20. Curricula Vitae and Professional Licenses of investigators and staff 21. Financial Disclosure Forms 22. Screening and Enrollment Log 23. Site Visit/Monitoring Log 24. Delegation of Responsibilities Log 25. Site Signature Log (as applicable) 26. Training Certificates/Logs (as applicable, may include site initiation visit attendance log) 27. Storage/Equipment Monitoring Logs (e.g. temperature log for freezer) 28. Retained Tissue Log (as applicable) 29. Laboratory Licenses and Certificates (e.g., CAP, CLIA) 30. Lab Normals/Reference Ranges 31. Curriculum Vitae of Laboratory Director (as required) 32. Were any FDA or outside regulatory audits performed? a.  Report 2017‐48  If Yes were they reported to RCP? Adapted from Audit Templates available on the UCSD Research Compliance Program website.     A‐5  Ophthalmology Human Subjects Research Compliance      ATTACHMENT A – Study Audit Template  ClinicalTrials.gov Requirements  Report 2017‐48  N/A Yes No N/A Comments/Exceptions 1. Is the study required to be registered on ClinicalTrials.gov? 2. Has the study been registered on ClinicalTrials.gov? a. If yes, list the ClinicalTrials.gov number For PI initiated studies or studies where the PI holds the IND or IDE: FDAAA 801 requires registration within 21 days of enrollment of the first subject. ICMJE and CMS require registration prior to enrollment of the first subject. 3. Was the study registered within the required timeframe? 4. Was the recruitment status and overall recruitment status updated within 30 days of a change? Per ClinicalTrials.gov, it is recommended the Record Verification Date be updated at least every 6 months for studies that are not yet completed, even if there were no changes to the record. 5. Have other changes or updates, such as protocol amendments, been made at least every 12 months? 6. If the study is closed, have results been submitted no later than 12 months after the date of final data collection? Source Documentation and CRF Review N/A For a sample of subjects: Yes 1. Is the source record complete and maintained with current source documentation? 2. Is there documentation to support eligibility criteria? No N/A Comments/Exceptions a. Does eligibility criteria appear to be met for subject inclusion (as per research plan inclusion/exclusion criteria) 3. Have all procedures that are outlined in the protocol been completed? a. 4. 5. If no, were missed visits or procedures documented in the source? Have all AE’s documented been entered on the AE log? a. Are all AE’s entered appropriately on the CRF? b. Is there documentation that the PI has assessed causality of the AE’s? Have all concomitant medications (CC meds) documented been entered on the CC med Adapted from Audit Templates available on the UCSD Research Compliance Program website.     A‐6  Ophthalmology Human Subjects Research Compliance      ATTACHMENT A – Study Audit Template  Source Documentation and CRF Review N/A For a sample of subjects: Yes No N/A Comments/Exceptions log? a. Are all CC meds entered appropriately on the CRF? 6. Are drug/device compliance rates documented at each visit? 7. Has the PI signed and dated all required source documents including study labs, physical exams, etc? 8. Is the source data recorded accurately in the CRF?  Report 2017‐48  Notes To be used for additional documentation of issues noted above Adapted from Audit Templates available on the UCSD Research Compliance Program website.     A‐7  Ophthalmology Human Subjects Research Compliance  ATTACHMENT B ‐ Summary of Findings by Study No. of  Subjects  Study Type Enrolled Multiple  Over  internal  16,000 funding  IRB Reporting ‐  Informed Consent and HIPAA  IRB Reporting ‐  Adverse  Foms Protocol Deviations events Subject File Documentation ‐ Two subjects had not signed  N/A N/A ‐ One subject file could not be  most current version of ICF. located. ‐ One subject assent form was  ‐ CRF (enrollment form) was  filed but not signed by subject. incomplete with subject  ‐ Section C (15 subjects) and  demographic, medical/family  Section G (25 subjects)of HIPAA  hostory, eye test and disease  Authorization was not complete. information in several cases. ‐ Source document (retina  progress report) was not in file  for 25 of 50 subjects. 140090 CIRM  research  grant ‐ Adoloscent ICF not signed for  one minor. ‐ One subject ICF was dated after  study procedures were  conducted. ‐ Section C (19 subjects) and  Section G (31 subjects)of HIPAA  Authorization was not complete. ‐ HIV testing of Section C not  completed on HIPAA Form. Seven subjects did  N/A not meet the  enrollment criteria  as specified in the  research plan. 140173 Regenron  47 Pharmaceut icals (PI‐ initiated) ‐ Two subjects had not signed  most current version of ICF. ‐ Section C (1 subjects) and  Section G (4 subjects)of HIPAA  Authorization was not complete. ‐Minor protocol  deviations for  missed/delayed  study procedures. ‐ Follow up contact  timeline  inconsistent in  protocol, CRF, and  ICF. IRB # 081041 410 Report 2017‐48 Professional Fee  Enrollment Log Billing  Thirty‐two (32) subjects were  N/A identified as withdrawn on narrative  summaries submitted to the IRB but  could not be located on the study  enrollment log.  ‐ One subject was identified as  withdrawn on narrative summary  submitted to IRB but subject status  had not been updated on enrollment  log. ‐ There were six subjects for  ‐ Eighteen (18) subjects were  N/A which fluorescein angiography  identified as withdrawn on narrative  documentation was missing  summaries submitted to the IRB but  from study file.  In addition, five  could not be located on the study  subjects retina progress reports  enrollment log. for their eye exams were  ‐ Two subjects were identified as  missing for 11 study visits. withdrawn on narrative summary  ‐ PI had not signed off on source  submitted to IRB but subject status  documentation for fluorescein  was active on enrollment log.  Further  angiography and OCT tests. review by the study coordinator  revealed that these two subjects were  in fact in active status and IRB  communication in the narrative  summary was inaccurate.   Five subjects  N/A with total of  seven non‐ UPRs had not  been reported  to IRB N/A B‐1 Regulatory Binder Documents Selected regulatory binder  documentation was not  maintained including: IRB Consent  forms (all versions), HIPAA  Authorization, Federal Wide  Assurance Letter, Curriculum Vitae  (CV) and Licenses of staff,  Delegation of responsibility Log,  Site Signature Log, Sample storage  freezer logs. In addition, there were only partial  documentation for the following:  IRB correspondence, Protocol  amendments, Training certificates  (for PI). Selected regulatory binder  documentation was not  maintained including: Federal Wide  Assurance Letter, CV and Licenses  of staff, Sample storage freezer  logs. In addition, there was  partial  documentation for the following:  Training certificates (for PI). $746 in professional  Sample storage freezer logs were  fee billing errors were  not maintained. identified for three  subjects