Zwischenbildsynthese und generative Super-Resolution in der MR-Bilddarstellung

Eine Begründung der Trennung von Mess- und Darstellungsschicht — wann, wofür und warum flussbasierte Interpolation und Super-Resolution der Originaldarstellung überlegen sind, und wo diese Überlegenheit sich umkehrt

Fassung 1.0 · 21. September 2026 · Arbeitspapier zur Softwaredokumentation

1Ausgangslage

Die klinische MR-Bildgebung arbeitet überwiegend mit zweidimensional akquirierten Schichtstapeln. Ein typischer T2-gewichteter Turbo-Spin-Echo-Stack löst in der Schichtebene bei 0,4–0,6 mm auf, hat aber 3 mm Schichtdicke, teilweise zuzüglich einer Schichtlücke. Das Voxel ist damit um den Faktor fünf bis acht anisotrop.

Für die Betrachtung in der Akquisitionsebene ist das unproblematisch. Sobald jedoch senkrecht dazu reformatiert wird — und das ist für räumliche Orientierung, Verlaufsdarstellung und Planung der Normalfall — bricht die Darstellungsqualität ein. Die Ursachen sind physikalisch und getrennt zu betrachten:

• Schichtprofil. Die Anregung ist kein Rechteckprofil, sondern näherungsweise gaußförmig mit einer Halbwertsbreite in der Größenordnung der Schichtdicke. Durch die Schicht wirkt eine breite Punktbildfunktion.
• Partialvolumeneffekt. Strukturen kleiner als die Schichtdicke werden über das gesamte Voxel gemittelt. Grenzen, die schräg zur Schichtebene verlaufen, erscheinen als Intensitätsrampe statt als Kante.
• Schichtlücke. Übersteigt der Schichtabstand die Schichtdicke, existieren Volumenanteile, die in diesem Stack überhaupt nicht gemessen wurden.
• Rauschen. Die Signalausbeute pro Voxel sinkt mit der Voxelgröße. Hochaufgelöste Sequenzen sind rauschärmer erkauft durch Messzeit oder dicker erkauft durch Schichtdicke.

Die Rekonstruktion eines isotropen Volumens aus solchen Daten ist ein etabliertes Forschungsfeld. Modellbasierte Super-Resolution-Rekonstruktion¹⁵ und selbstüberwachte Verfahren wie SMORE⁸ und ECLARE⁹ lösen es mit explizitem Vorwärtsmodell beziehungsweise patientenspezifischem Training. Diese Verfahren zielen auf Bildtreue und sind entsprechend zurückhaltend im Ergebnis.

Davon zu unterscheiden ist die Frage, die dieses Papier behandelt: nicht wie ein möglichst treues Volumen entsteht, sondern wie eine möglichst brauchbare Ansicht entsteht. Das sind nachweislich nicht dieselben Optimierungsziele.

2Methodischer Hintergrund

2.1Flussbasierte Zwischenbildsynthese

RIFE¹ schätzt zwischen zwei Bildern ein dichtes Zwischenflussfeld und synthetisiert daraus ein Zwischenbild. Das Verfahren wurde für Videobildraten-Erhöhung entwickelt; die Annahme lautet, dass korrespondierende Bildinhalte zwischen benachbarten Frames einer glatten Verschiebung folgen.

Auf einen Schichtstapel angewandt, ist diese Annahme im wörtlichen Sinn unzutreffend: zwischen benachbarten Schichten findet keine Bewegung statt, sondern ein Wechsel der Anatomie. Der geschätzte „Fluss“ hat kein physikalisches Korrelat. Dass das Verfahren dennoch anatomisch sinnvolle Ergebnisse liefert, hat einen anderen Grund, der in Abschnitt 3.3 entwickelt wird.

2.2Generative Super-Resolution

ESRGAN² und verwandte Architekturen erhöhen die Auflösung nicht durch Rekonstruktion, sondern durch Synthese: ein adversarial trainiertes Netz erzeugt ein hochaufgelöstes Bild, das ein Diskriminator nicht von echten hochaufgelösten Bildern unterscheiden kann. Das Trainingsziel ist Ununterscheidbarkeit von der Verteilung natürlicher Bilder, nicht Nähe zu einem bestimmten wahren Bild.

Der gelernte Prior stammt bei den verbreiteten Gewichten aus Fotodatensätzen. Das ist für die spätere Argumentation zentral: es ist ein Prior über Bildstruktur, nicht über Gewebe.

2.3Der Perzeption-Distorsion-Kompromiss

Blau und Michaeli³ haben gezeigt, dass Verzerrung (Abweichung vom wahren Bild, gemessen etwa als MSE, PSNR oder SSIM) und Wahrnehmungsqualität (Ununterscheidbarkeit von der Verteilung natürlicher Bilder) nicht gleichzeitig beliebig gut werden können. Es existiert eine harte Grenzkurve: jede Verbesserung der Wahrnehmungsqualität unterhalb eines Schwellenwerts erzwingt eine Verschlechterung der Verzerrung.

Das ist kein Implementierungsmangel und keine Frage besserer Netze. Es ist eine Eigenschaft des Problems. Daraus folgt unmittelbar die Kernaussage dieses Papiers:

Die übliche Kritik an generativer Super-Resolution in der Medizin — sie erzeuge Strukturen, die nicht gemessen wurden⁴⁵⁶ — ist zutreffend, aber unvollständig formuliert. Sie beschreibt nicht einen Fehler des Verfahrens, sondern den Preis, den es bewusst für Wahrnehmungsqualität zahlt. Die relevante Frage ist deshalb nicht, ob synthetisiert wird, sondern wo die Synthese mit der Wirklichkeit zusammenfällt und wo nicht.

3Wirkmechanismen auf MR-Daten

Vier Mechanismen erklären, warum die synthetisierte Darstellung der Originaldarstellung überlegen sein kann. Drei davon sind im strengen Sinn korrekt, einer ist es nur bedingt.

3.1Kantenschärfung als impliziter Entfaltungsprior

Eine anatomische Grenze — Kortikalis gegen Mark, Faszie gegen Fett, Organkapsel gegen Umgebung — ist physikalisch eine Stufenkante. Im Bild erscheint sie als Rampe, weil Schichtprofil und Partialvolumen sie verschmiert haben.

Ein Netz, dessen gelernte Annahme „Grenzen sind scharf“ lautet, schiebt die Kante zur steilstmöglichen Form zurück. Die Annahme trifft in diesem Fall zu. Das Ergebnis ist deshalb nicht Erfindung, sondern eine Entfaltung mit einem zufällig zutreffenden Modell. Die rekonstruierte Kantenlage kann der wahren Lage näher liegen als die gemessene Rampe.

Der Mechanismus ist umso verlässlicher, je höher der Kontrast über die Grenze ist, weil die Kantenlage dann durch die Daten stärker bestimmt ist und dem Prior weniger Spielraum bleibt.

3.2Rauschunterdrückung und Kantenlokalisation

Bei niedrigem Signal-Rausch-Verhältnis schwankt die wahrgenommene Position einer Grenze von Schicht zu Schicht. Rauschunterdrückung senkt die Varianz dieser Schätzung und verbessert damit die Lokalisation, unabhängig von jeder Schärfung.

Hinzu kommt ein wahrnehmungspsychologischer Anteil: Strukturen, die in den Daten vorhanden, aber unterhalb der visuellen Detektionsschwelle lagen, werden nach Rauschunterdrückung sichtbar. Hier wird keine Information erzeugt, sondern bereits vorhandene Information wahrnehmbar gemacht. Dass Entrauschung die Abgrenzbarkeit real verbessert, ist unabhängig belegt, etwa für tiefgelernt entrauschte Prostata-Diffusionsbildgebung¹³.

3.3Interslice-Kontinuität als anatomiekonformer Filter

Dies ist der Mechanismus, der die zunächst unplausible Anwendung eines Videoverfahrens auf Schichtstapel rechtfertigt.

Flussbasierte Interpolation erzwingt Korrespondenz zwischen benachbarten Schichten. Sie verstärkt, was sich von Schicht zu Schicht fortsetzt, und unterdrückt, was das nicht tut. Nun gilt:

• Echte Anatomie ist über Schichten hinweg kontinuierlich. Eine Kapsel, ein Gefäß, ein Nerv, ein Muskelbauch laufen durch.
• Rauschen ist es nicht. Es ist zwischen Schichten unkorreliert.
• Bewegungsartefakte sind es meist ebenfalls nicht. Ghosting aus Peristaltik oder Atmung wechselt Lage und Ausprägung zwischen Anregungen.

Das Verfahren wirkt damit als strukturselektiver Filter entlang der Durchschicht-Richtung, ohne je dafür entworfen worden zu sein. Es handelt sich um eine Passung zwischen Verfahrensannahme und Gegenstandseigenschaft, nicht um einen Zufall im Einzelfall — und genau deshalb ist der Effekt reproduzierbar.

3.4Texturprior: Tragfähigkeit und Grenze

Der vierte Mechanismus ist der einzige, der nur bedingt trägt. Der Texturprior eines auf Fotografien trainierten Netzes beschreibt feinkörnige, kontrastreiche, kantenbetonte Struktur. Diese Beschreibung passt auf einige Gewebe gut und auf andere gar nicht.

Sie passt bemerkenswert gut auf Muskulatur. Muskelgewebe hat eine orientierte, quasi-periodische Binnenstruktur — Pennationsmuster, perimysiale Septen. Natürliche Bilder sind reich an orientierter repetitiver Textur (Maserung, Faserstrukturen, Gewebeoberflächen). Prior und Gegenstand fallen hier strukturell zusammen. Das ist die eine Gewebeklasse, bei der die Herkunft des Priors aus Fotodatensätzen kein Nachteil ist.

Sie passt nicht auf homogenes oder feinstrukturiertes Parenchym. Hier erzeugt der Prior eine plausible, aber nicht gemessene Binnenzeichnung. Die klassische Beobachtung, dass verteilungsanpassende Verlustfunktionen in der medizinischen Bildübersetzung Merkmale halluzinieren können⁴, betrifft genau diesen Fall.

4Eignung nach Strukturklassen

Aus den Mechanismen folgt eine nach Strukturklassen differenzierte Bewertung. Maßgeblich ist, wie stark die Kantenlage durch die Daten bestimmt ist (Kontrast), wie kontinuierlich die Struktur über Schichten verläuft, und wie sehr die diagnostische Frage von Binnentextur abhängt.

5Der Regelmäßigkeitsprior

Die Einzelbefunde aus Tabelle 1 lassen sich auf einen gemeinsamen Nenner bringen, der zugleich Vorhersagekraft für nicht aufgeführte Fälle hat.

Daraus folgt eine Indikationsregel, die ohne Kenntnis des konkreten Netzes anwendbar ist:

Fragen der Form „wo verläuft diese Struktur“, „wie ist sie zur Nachbarstruktur orientiert“, „wie ist die räumliche Beziehung“ sind Fragen an Regularität. Sie werden durch die synthetisierte Ansicht besser beantwortet als durch das Original.

Fragen der Form „ist diese Struktur intakt oder unterbrochen“, „ist die Grenze glatt oder infiltriert“, „ist hier ein zusätzlicher Herd“ sind Fragen an Diskontinuität. Sie gehören an die Originaldaten, und zwar ausnahmslos.

6Indikationen und Kontraindikationen

Für die Befundung gilt unabhängig davon die jeweils geltende Fachvorgabe. Für die Prostata etwa bleibt PI-RADS v2.1¹² maßgeblich, wonach die zweidimensionalen Originalsequenzen die Beurteilungsgrundlage bilden und dreidimensionale Datensätze ergänzend, nicht ersetzend, zur Segmentierung und Planung dienen.

7Architekturkonsequenz

7.1Zwei Schichten

Aus Abschnitt 2.3 folgt zwingend eine Aufteilung in zwei getrennt geführte Datenpfade:

• Mess-Schicht. Ausschließlich Originaldaten. Sämtliche Segmentierungen, Distanzen, Volumina, Intensitätsmessungen und abgeleiteten Größen werden hier berechnet. Wird ein isotropes Volumen benötigt, kommt ein deterministisches, modellbasiertes Verfahren zum Einsatz — multiplanare Fusion orthogonaler Stacks oder modellbasierte SRR¹⁵ — dessen Fehlerverhalten bekannt und dessen Ausgabe reproduzierbar ist.
• Darstellungs-Schicht. Zwischenbildsynthese und Super-Resolution. Optimiert auf Wahrnehmungsqualität. Kein Rückfluss in die Mess-Schicht, unter keinen Umständen.

Diese Trennung ist kein Vorsichtsmaßnahme, die durch Disziplin aufrechterhalten werden müsste, sondern eine Konstruktionsentscheidung, die den Fehler ausschließt. Der typische Ausfallmodus medizinischer Bildverarbeitungssoftware besteht darin, dass beide Pfade irgendwann zusammenfallen und anschließend nicht mehr unterscheidbar ist, welcher Bildinhalt gemessen und welcher erzeugt wurde.

7.2Geometrische Konsistenz

Ein Risiko liegt genau an der Nahtstelle und wird leicht übersehen: die Darstellungsgeometrie ist nicht die Messgeometrie.

Flussbasierte Interpolation ist konstruktionsbedingt nicht-starr. Sie verschiebt Bildinhalt lokal, um den Übergang zwischen Schichten glatt zu machen. Super-Resolution ändert zusätzlich das Abtastgitter. Beides ist für die Betrachtung gewollt und unschädlich, solange ausschließlich betrachtet wird.

Kritisch wird es, sobald ein Ergebnis der Mess-Schicht auf der Darstellungs-Schicht angezeigt wird: eine Kontur, eine Region, eine Strecke, eine Markierung. Der Zahlenwert stammt dann korrekt aus den Originaldaten, das darunterliegende Bild hat die zugehörige Kante aber möglicherweise um einen Bruchteil eines Voxels verschoben. Die Überlagerung liegt sichtbar daneben — oder, ungünstiger, sie liegt scheinbar sauber an einer Kante, die dort nicht gemessen wurde. Der Versatz ist klein genug, um nicht aufzufallen, und systematisch genug, um nicht zufällig zu sein.

Drei Absicherungen, in aufsteigender Bequemlichkeit:

1. Überlagerungen nicht durch den Synthesepfad resampeln, sondern in Originalgeometrie rendern und darüberlegen.
2. Den maximalen Betrag des Verschiebungsfelds mitführen und protokollieren. Bleibt er unter der halben Originalvoxelkante, ist der Effekt praktisch irrelevant — entscheidend ist, dass er bekannt ist.
3. Messwerkzeuge auf der synthetisierten Ansicht nicht anbieten. Ein verfügbares Messwerkzeug wird verwendet.

7.3Kennzeichnung

Verlässt ein synthetisiertes Volumen die Anwendung — Export, PACS, Zweitmeinung, Publikation — muss es als solches erkennbar sein. Eigene Serienkennung, eine Serienbeschreibung, die das Verfahren benennt, und nach Möglichkeit eine von der Originalserie unterscheidbare Darstellungsvoreinstellung. Das Risiko liegt nicht bei der Person, die das Verfahren angewandt hat, sondern bei der nächsten, die die Serie öffnet und für eine Messsequenz hält.

8Limitationen

Die hier vorgetragene Begründung ist mechanistisch und argumentativ, nicht experimentell. Folgende Einschränkungen sind festzuhalten:

• Keine Endpunktvalidierung. Dass die Darstellung besser aussieht und mechanistisch besser begründet ist, belegt nicht, dass Befunde dadurch zutreffender werden. Für die verwandte Klasse der tiefgelernten Rekonstruktionen besteht derselbe Vorbehalt auch dort, wo die Verfahren bereits zugelassen sind¹¹.
• Fehlende Leserstudien. Die Strukturklassen-Bewertung in Tabelle 1 ist aus Mechanismen abgeleitet, nicht aus vergleichenden Beobachterstudien gewonnen.
• Domänenfremder Prior. Die verbreiteten Gewichte stammen aus Fotodatensätzen. Ein auf MR-Daten nachtrainierter Prior würde Abschnitt 3.4 verändern, vermutlich zugunsten der Texturwiedergabe, möglicherweise zulasten der Erkennbarkeit des synthetischen Charakters.
• Regulatorischer Status. Die betrachteten Verfahren sind allgemeine Bildverarbeitung ohne medizinproduktrechtliche Zulassung. Die Beschränkung auf die Darstellungsschicht ist auch aus diesem Grund keine Empfehlung, sondern Voraussetzung.
• Nichtdeterminismus. Je nach Implementierung und Hardware können wiederholte Durchläufe geringfügig abweichende Ergebnisse liefern. Für eine Darstellungsschicht ist das hinnehmbar, für eine Mess-Schicht nicht.

9Schlussfolgerung

Dass eine flussinterpolierte und generativ hochaufgelöste Ansicht die Originaldarstellung deutlich übertrifft, ist kein Widerspruch zu ihrer Ungeeignetheit für quantitative Auswertung. Beides folgt aus dem Perzeption-Distorsion-Kompromiss und ist damit theoretisch erwartbar, nicht bloß empirisch vorgefunden.

Der Gewinn ist auf drei Mechanismen zurückführbar, die sämtlich mit Eigenschaften des Gegenstands korrespondieren: der Entfaltungsprior trifft bei echten Stufenkanten zu, die Rauschunterdrückung verbessert Kantenlokalisation ohne Informationszufuhr, und die erzwungene Interslice-Kontinuität deckt sich mit der tatsächlichen Kontinuität anatomischer Strukturen. Wo diese Korrespondenz besteht — ossäre Begrenzungen, Muskelarchitektur, neurovaskuläre Verläufe — ist die synthetisierte Darstellung der Originaldarstellung nicht nur ästhetisch, sondern in der vermittelten räumlichen Information überlegen.

Wo sie nicht besteht, kehrt sich der Vorteil um, und zwar vorhersagbar: der Regelmäßigkeitsprior glättet Diskontinuität, und Diskontinuität ist der Ort der Pathologie.

Die daraus folgende Architektur ist einfach und trennscharf. Messung auf Originaldaten. Darstellung auf der synthetisierten Ebene. Geometrisch kontrollierte, klar gekennzeichnete Kopplung zwischen beiden. Zwei Bilder für zwei Zwecke — weil ein einziges Bild beides nicht leisten kann.

10Literatur

1. Huang Z, Zhang T, Heng W, Shi B, Zhou S. Real-Time Intermediate Flow Estimation for Video Frame Interpolation. ECCV 2022. arXiv:2011.06294
2. Wang X, Yu K, Wu S, Gu J, Liu Y, Dong C, Qiao Y, Loy CC. ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks. ECCV Workshops 2018. arXiv:1809.00219
3. Blau Y, Michaeli T. The Perception-Distortion Tradeoff. CVPR 2018. arXiv:1711.06077
4. Cohen JP, Luck M, Honari S. Distribution Matching Losses Can Hallucinate Features in Medical Image Translation. MICCAI 2018. arXiv:1805.08841
5. Antun V, Renna F, Poon C, Adcock B, Hansen AC. On instabilities of deep learning in image reconstruction and the potential costs of AI. PNAS 2020. doi:10.1073/pnas.1907377117
6. Gottschling NM, Antun V, Adcock B, Hansen AC. The troublesome kernel — On hallucinations, no free lunches and the accuracy-stability trade-off in inverse problems. arXiv:2001.01258
7. Impact of GAN-based lesion-focused medical image super-resolution on the robustness of radiomic features. Scientific Reports, 2021. nature.com/articles/s41598-021-00898-z
8. Zhao C, Dewey BE, Pham DL, Calabresi PA, Reich DS, Prince JL. SMORE: A Self-Supervised Anti-Aliasing and Super-Resolution Algorithm for MRI Using Deep Learning. IEEE Trans Med Imaging, 2021. PMC8053388
9. Remedios SW, et al. ECLARE: Efficient cross-planar learning for anisotropic resolution enhancement. 2025. arXiv:2503.11787
10. AceVFI: A Comprehensive Survey of Advances in Video Frame Interpolation. arXiv:2506.01061
11. Deep Learning Super-Resolution Reconstruction for Fast and Motion-Robust T2-weighted Prostate MRI. Radiology, 2023. doi:10.1148/radiol.230427
12. Turkbey B, Rosenkrantz AB, Haider MA, et al. Prostate Imaging Reporting and Data System Version 2.1 (PI-RADS v2.1). European Urology, 2019. ACR PI-RADS
13. Improved prostate diffusion imaging using deep learning denoising and phase correction with ultra-high-density coil array. Radiology Advances, 2026. academic.oup.com/radadv
14. Multiplanar reformation improves identification of the anterolateral ligament with MRI of the knee. Scientific Reports, 2021. nature.com/articles/s41598-021-92707-w
15. Ebner M, et al. An automated framework for localization, segmentation and super-resolution reconstruction of fetal brain MRI (NiftyMIC). NeuroImage, 2020. github.com/gift-surg/NiftyMIC