Table of Contents
SOFTWARE AS A MEDICAL DEVICE (SaMD) : CLINICAL EVALUATION
Aufgrund der speziellen Charakteristika von Software as Medical Device (SaMD), veröffentlichte die FDA am 14. Oktober einen Entwurf eines Guidance Documents, welches sich nun eingehend der Thematik der klinischen Bewertung widmet (Link). Korrekterweise ist zu erwähnen, dass die FDA das Dokument des Investigator Medical Device Regulators Forum (IMDRF) übernommen hat und dieses um Formalitäten erweiterte. Eines vorweg - das Ausmaß der klinischen Bewertung ist sinnvollerweise vom Risikopotential des SaMDs abhängig. Die Idee der FDA / des IMDRFs zur Einschätzung des Risikopotentials von SaMDs ist detailliert in diesem IMDRF-Dokument geschildert. Untenstehend möchten wir nun also überblicksmäßig auf die Bestimmung des Risikopotentials und in weiterer Folge auf die Elemente der klinischen Bewertung eingehen. Abschließend wird der Zusammenhang dieser beiden Komponenten dargestellt.
Risikopotential
Zusammengefasst werden zwei Gesichtspunkte zur Einschätzung herangezogen:
- die Signifikanz des Outputs des SaMDs hinsichtlich der klinischen Anwendung (untenstehende Grafik - horizontale Achse) und
- die Kritikalität der klinischen Anwendung hinsichtlich Krankheitsbild, Nutzergruppe und Typ der Intervention führen zu einer Einteilung in unkritisch, schwerwiegend oder kritisch (untenstehende Grafik - vertikale Achse)
Die Signifikanz bezieht sich hierbei auf die Tatsache, ob der Output
- direkt klinische Entscheidungen über die Behandlung / die Therapie / die Diagnose trifft,
- klinische Entscheidungen anleitet und unterstützt,
- über mögliche klinische Entscheidungen informiert.
Untenstehende Grafik stellt nun diese beiden Komponenten dar und deutet bereits den Zusammenhang mit dem Ausmaß der geforderten klinischen Evidenz an.
Clinical Evidence - die drei Säulen
Die klinische Evidenz aus Sicht der FDA stützt sich auf drei wesentliche Säulen, welche je nach Risikopotential in unterschiedlichem Ausmaß gegeben sein müssen (vergleichbar mit der Leistungsbewertung bei IVDs):
- Analytische Validität (Analytical Validity, AV)
- Wissenschaftliche Validität (Scientific Validity, SV)
- Klinische Leistungsfähigkeit (Clinical Performance, CP)
| Komponente | Zielsetzung | Methodik | Erfolgsparameter | Beispiel |
|---|---|---|---|---|
| Analytische Validität | Analytischer Zusammenhang zwischen Input und Output des SaMDs | Literaturrecherche, präklinische Studien, klinische Studien (zB für die Probenentnahme), Post-Market Aktivitäten | klinische Genauigkeit, Präzision (Wiederholbarkeit, Reproduzierbarkeit), Grenzwerte, Linearität, Analytische Sensitivität | Reproduzierbarkeit - CT Bilder des selben Patienten und von verschiedenen Aufnahmesystemen werden als Input verwendet und der Output verglichen… |
| Wissenschaftliche Validität | Allgemeiner Zusammenhang zwischen Output und klinischem Zustand | Literaturrecherche, klinische Studien (prospektiv, longitudinal, retrospektiv…), Post-Market Aktivitäten | Zusammenhangsmaße (Korrelationskoeffizient..), Darstellung des therapeutischen Behandlungserfolgs - verglichen mit Goldstandard | Zusammenhang der automatisierten Analyse von Aufnahmen unter Beleuchtung mit UV- Licht zur Detektion von malignen Hautveränderungen |
| Klinische Leistungsfähigkeit | Ermittlung der (diagnostischen) Leistungsfähigkeit des Output-Parameters | Klinische Studien (Vergleich mit Goldstandard…), Literaturrecherche (Äquivalenzbetrachtung), Post-Market Aktivitäten | Sensitivität, Spezifität, positiv / negativ prädiktiver Wert… | Sensitivität und Spezifität des konkreten SaMDs im Vergleich mit Goldstandard (pathohistologische Untersuchung) |
Zusammenhang Risikopotential - klinischer Evidenzgrad
Abhängig vom Risikopotential wird also nun die Strategie der klinischen Bewertung definiert, wobei bei kritischen Produkten zusätzlich ein unabhängiges Review der klinischen Evidenz verlangt wird.
| Risikokategorie | Strategie der klinischen Bewertung | Beispiel | Unabhängige Überprüfung |
|---|---|---|---|
| I.i - I.ii - I.iii | Allgemein: AV, SV Neuartig: AV, SV, “Real World Experience” | Detektion von Augenbewegungen bei Astigmatismus zur Anleitung der folgenden diagnostischen Schritte (I.i) | Nicht erforderlich |
| II.i - II.iii | Allgemein: AV, SV Neuartig: AV, SV, “Real World Experience” Diagnostisch: AV, SV, CP | Softwaresystem, welche prädiktive Werte hinsichtlich Schlaganfallrisiko generiert um Präventionsstrategien zu entwickeln (II.iii) | Nicht erforderlich |
| II.ii - III - IV | Allgemein: AV, SV Diagnostisch: AV, SV, CP | Softwaregestützte Analyse von Liquorflüssigkeit zur Diagnose von viraler Meningitis bei Kindern (IV.i) | Erforderlich |
Beispiel
Zweckbestimmung: Das SaMD soll histopathologische Untersuchungen von Biopsien ersetzen um automatisiert Zellveränderungen zu detektieren, welche bei malignen Melanomen auftreten. Dazu werden Fotografien softwaregestützt ausgewertet, welche mittels eines speziellen Objektivs unter UV Beleuchtung aufgenommen werden. Da das Krankheitsbild als kritisch einzustufen ist, ist das SaMD in die Kategorie IV.i einzustufen. Daraus ergibt sich folgende Möglichkeit für die Strategie der klinischen Bewertung:
- Analytische Valdität (auszugsweise):
- Literaturrecherche - die beobachteten Hautveränderungen stehen ganz allgemein in Beziehung zur Entwicklung von malignen Melanomen.
- Wiederholbarkeit - Die Bilder des selben Patienten führen zu einem vergleichbaren Output
- Unterer Grenzwert - die kleinste zu detektierende Hautveränderung wird bestimmt
- Wissenschaftliche Validität:
- Literatur und klinische Studien, welche zeigen, dass ein Zusammenhang der automatisierten Analyse von Aufnahmen unter Beleuchtung mit UV- Licht zur Detektion von malignen Hautveränderungen führen kann.
- Klinische Leistungsfähigkeit:
durch eine prospektive Studie wird die Methode mit dem Goldstandard (histopathologische Untersuchungen) verglichen, um die Sensitivität und Spezifität unter verschiedenen Rahmenbedingungen zu erheben (Patientenpopulation, Hauttypen, Kontrastverhälnisse). Um die Anzahl der tatsächlichen Krankheitsfälle zu erfassen, kann es möglich sein, dass die StudienteilnehmerInnen lange nachbeobachtet werden müssen.
- Post-Market Studie: Zusätzlich wird eine Post-Market Studie durchgeführt, um die klinische Leistungsfähigkeit weiter zu beobachten.
Fazit
Das Dokument stellt eine wichtige Informationsquelle für Hersteller von SaMD dar um eine Strategie zur klinischen Bewertung zu erarbeiten. Wichtig zu erwähnen ist, dass diese Rahmenbedingungen die Sichtweise der amerikanischen Zulassungsbehörde darstellen. Für Europa ist das Dokument zwar ebenfalls von Interesse - es sei in Bezug auf die klinische Bewertung allerdings zusätzlich auf das MedDev Guidance Document 2.7/1 rev 4 (MD/AIMD) Blog-Artikel bzw. auf entsprechende Dokumente des IMDRFs (IVD) verwiesen.
Die Strategie der klinischen Bewertung sollte in jedem Fall zu einem frühen Zeitpunkt der Entwicklung erfolgen - durchaus initial bereits nach der Definition der Zweckbestimmung und der entsprechenden Risikoklasse des SaMDs. Eine erste Literaturrecherche kann beispielsweise dazu dienen, um zusätzlich den vorhandenen Wissensstand abzuklären. Basierend auf:
- der Indikation (Diabetes I oder II…),
- der Patientenpopulation (Kinder, Erwachsene, postmenopausale Frauen…),
- der Erfolgsparameter (Sensititivät, Spezifität, Blutdruckabnahme…),
- und Qualität der recherchierten Studien (randomisiert, doppelblind…).
kann so eine erste Einschätzung der klinischen Beweislage geschehen. Die Risikoklasse des SaMDs in Kombination mit dem aktuellen Evidenzgrad bildet weiterführend Grundlage für die Planung der Strategie der klinischen Bewertung - inklusive Studien nach der Markteinführung (um beispielsweise die Patientenpopulation zu erweitern).
Hersteller von SaMDs, welche die Markteinführung in Amerika anstreben, sollten diesen Entwurf unbedingt im Auge behalten.