02.05.2022 VO Bildverarbeitung und Fernerkundung 290234 Oliver Rehberger Universität Wien Institut für Geographie und Regionalforschung SS 2022 VO Bildverarbeitung und Fernerkundung 290234 8. Einheit: Bildverarbeitung III Inhalt: Bildtransformation Bildfusion Radiometrische Korrekturen Geokodierung Geometrische Transformationen Resampling Bildtransformation • Bilddaten zeigen in mehreren Spektralkanälen oft große Ähnlichkeit untereinander • Vor allem in benachbarten Kanälen hohe Korrelation • Oft redundante Informationen • Reduktion der Datenmenge • Durch Ableitung neuer Datensätze und Konzentration der Information Effizienzsteigerung möglich VO Bildverarbeitung und Fernerkundung 3 1 02.05.2022 Bildtransformation • Dimensionsreduzierung • Fusion mehrerer Inputs • Eliminierung / Selektion von Daten • Informationsextraktion • Erneut Kombination / Fusion von Inputs • Erstellung eines neuen Datensatzes mit Verstärkung bestimmter Information VO Bildverarbeitung und Fernerkundung 4 Bildtransformation • Ergebnis wird durch Erhöhung an Inputdaten verbessert • Nur bis ein „peaking“ erreicht wird • Ein „peaking phenomenon“ tritt auf, wenn ein Model „overfitted“ Zu viel Information wird in ein Model integriert • Vorsicht bei Datenselektion! • Nur geeignete und wertvolle Information integrieren VO Bildverarbeitung und Fernerkundung 5 Bildtransformation • Nach Journaux (2006) können jene Methoden dieses Prozesses nach drei Charakteristika gruppiert werden: • Nach der Art der Transformation (linear/non‐linear) • Nach der Art wie Eigenschaften erhalten bleiben (lokal/global) • Nach der Art der Distanz (euklidisch/geodätisch) VO Bildverarbeitung und Fernerkundung 6 2 02.05.2022 Bildtransformation Lineare Transformationen Non‐lineare Transformationen Principal Componant Analysis (PCA) Linear Discriminant Analysis (LDA) VO Bildverarbeitung und Fernerkundung 7 Bildtransformation Lineare Transformationen Non‐lineare Transformationen Principal Componant Analysis (lokal) ISOMAP Linear Discriminant Analysis (lokal) Locally Linear Embedding (lokal‐ euklidisch) Gradient Threshold Method (lokal) VO Bildverarbeitung und Fernerkundung 8 Bildtransformation • Principal Component Analysis (PCA) • Auch Karhunen‐Loève‐Transformation genannt • In der Praxis die am häufigsten genutzte Methode • Untersuchung der Abhängigkeiten von einzelnen Kanälen • Lineare Transformation der Pixelwerte im Merkmalsraum DNpc1 = a11DN1 + a12DN2 DNpc2 = a21DN1 + a22DN2 Dni pc1 pc2 aij Pixelwert (digital number) in Kanal i erste Hauptkomponente zweite Hauptkomponente Transformationsparameter VO Bildverarbeitung und Fernerkundung 9 3 02.05.2022 Bildtransformation • Principal Component Analysis (PCA) 1. Grauwerte werden in einem Koordinatensystem dargestellt x‐Achse = Kanal 1 y‐Achse = Kanal 2 Korrelation = gestreckte, schräg liegende Punktwolke Quelle: Albertz 2007, 115 VO Bildverarbeitung und Fernerkundung 10 Bildtransformation • Principal Component Analysis (PCA) 2. Mittelpunkt der Streuung wird ermittelt Berechnung zweier orthogonal zueinander stehenden Geraden Hauptkomponente 1 Hauptkomponente 2 Quelle: Albertz 2007, 115 VO Bildverarbeitung und Fernerkundung 11 Bildtransformation • Principal Component Analysis (PCA) 3. Drehung der Koordinatenachsen um einen Winkel, dass die erste in die Richtung der Hauptausdehnung der Punktwolke fällt und parallel zur x‐Achse steht. ‐> Transformation Quelle: Albertz 2007, 115 VO Bildverarbeitung und Fernerkundung 12 4 02.05.2022 Bildtransformation • Principal Component Analysis (PCA) • Wenn Bänder in hohem Maß korrelieren, erste berechnete Komponente völlig ausreichend! • 1. Hauptkomponente (PC1) enthält größten Prozentsatz der Gesamtvarianz • 2. Hauptkomponente (PC2) enthält geringeren Prozentsatz der Gesamtvarianz als PC1 • 3. Hauptkomponente (PC3) enthält geringeren Prozentsatz der Gesamtvarianz als PC2 • usw. VO Bildverarbeitung und Fernerkundung 13 Bildtransformation • Principal Component Analysis (PCA) VO Bildverarbeitung und Fernerkundung 14 Bildtransformation • Principal Component Analysis (PCA) • Je größer die Zahl der Spektralkanäle, desto höhere Konzentration der relevanten Information in ersten beiden Hauptkomponenten. • Höhere Hauptkomponenten enthalten zunehmend das Rauschen der ursprünglichen Daten. VO Bildverarbeitung und Fernerkundung 15 5 02.05.2022 Bildtransformation • Principal Component Analysis (PCA) Nachteile: • Nur lineare Zusammenhänge • Fokus auf Varianz der einzelnen Werte Vorteile: • Zeitsparende Methode VO Bildverarbeitung und Fernerkundung 16 Bildfusion • Bildfusion – image fusion • Kreation eines neuen Bildes aus der Kombination von zwei oder mehreren unterschiedlichen Bildern. • Anwendung eines Algorithmus • Arten der Bildfusion: • Multisensoral (zB optische Daten und SAR) • Multitemporal (zB change detection) • Multiresolution (zB Pansharpening) VO Bildverarbeitung und Fernerkundung 17 Bildfusion • Mosaikbildung • Einzelbilder zu großflächigem Bild zusammenfügen • Tradition in der Photogrammetrie • Geometrische Mosaikbildung • Verknüpfung einzelner Bilder durch Passpunkte • Auf gemeinsames Bezugssystem zu transformieren • Radiometrische Mosaikbildung • Unterschiedliche Helligkeits‐ und Kontrastwerte werden über gesamtes Bild korrigiert VO Bildverarbeitung und Fernerkundung 18 6 02.05.2022 Bildfusion • Multisensoral image fusion • Unterschiedliche Informationsinhalte vorliegender Bilddaten zu vereinigen. • Optische Daten – SAR • Pan image – Farbinformation • Durch Kombination eines Panchromatischen Bildes kann Farbinformation von MS Kanälen auf besser aufgelöstes Bild übertragen werden VO 19 Bildverarbeitung und Fernerkundung Bildfusion • Multitemporal image fusion • Basiert auf unterschiedlichen Aufnahmezeitpunkte einzelner Bilder • Veränderungen erkennen • Change detection • Geometrische Übereinstimmung ist Voraussetzung • Abweichungen in der Geometrie würden als Veränderungen erkannt werden VO 20 Bildverarbeitung und Fernerkundung Bildfusion • Multiresolutional image fusion • Kombination von Bildern unterschiedlicher Auflösungen Auflösung Panchromatisches Bild Multispektrales Bild räumlich spektral Hoch Niedrig niedrig hoch • Kreation eines multispektralen Bildes mit jener hohen Auflösung des panchromatischen Kanals Auflösung Multispektrales Bild VO räumlich spektral Hoch hoch Bildverarbeitung und Fernerkundung 21 7 02.05.2022 Bildfusion • Multiresolutional image fusion • Intensity‐Hue‐Saturation Merging (IHS‐Merging) 1. MS‐Bild als RGB Kombination definieren 2. Transformation des RGB‐Bildes in den IHS‐Farbraum 3. Substitution des Intensitäts‐Kanals (I) durch das panchromatische Bild (I*) 4. Rücktransformation des I*HS‐ Bildes in den RGB‐Farbraum Albertz 2007, 115 VO Bildverarbeitung und Fernerkundung 22 Bildfusion • Multiresolutional image fusion • Intensity‐Hue‐Saturation Merging (IHS‐Merging) Ausgangsbild VO Pansharpening Bildverarbeitung und Fernerkundung 23 Bildfusion • Multiresolutional image fusion • Adaptive image fusion • Keine Übernahme der spektralen Werte, sondern die Lage der Kanten • Erfassung der Kanten im panchromatischen Bild mit adaptiven Filtern 1. Sigma‐Filterung des panchromatischen Bildes 2. In jeder Position des Filterfensters wird ein zentrales Pixel mit den Pixelwerten gemittelt, die innerhalb derselben Verteilung liegen, wie das zentrale Pixel 3. Die Positionen der Pixel , die in derselben Verteilung liegen, werden in das multispektrale Bild übertragen 4. Mittelwertbildung der ausgewählten Pixel wird im multispektralen Bild durchgeführt VO Bildverarbeitung und Fernerkundung 24 8 02.05.2022 Bildfusion • Multiresolutional image fusion • Adaptive image fusion • Keine Übernahme der spektralen Werte, sondern die Lage der Kanten • Erfassung der Kanten im panchromatischen Bild mit adaptiven Filtern 1. Sigma‐Filterung des panchromatischen Bildes 2. In jeder Position des Filterfensters wird ein zentrales Pixel mit den Pixelwerten gemittelt, die innerhalb derselben Verteilung liegen, wie das zentrale Pixel 3. Die Positionen der Pixel , die in derselben Verteilung liegen, werden in das multispektrale Bild übertragen 4. Mittelwertbildung der ausgewählten Pixel wird im multispektralen Bild durchgeführt VO Bildverarbeitung und Fernerkundung 25 Bildfusion • Multiresolutional image fusion • Adaptive image fusion • Keine Übernahme der spektralen Werte, sondern die Lage der Kanten • Erfassung der Kanten im panchromatischen Bild mit adaptiven Filtern 1. Sigma‐Filterung des panchromatischen Bildes 2. In jeder Position des Filterfensters wird ein zentrales Pixel mit den Pixelwerten gemittelt, die innerhalb derselben Verteilung liegen, wie das zentrale Pixel 3. Die Positionen der Pixel , die in derselben Verteilung liegen, werden in das multispektrale Bild übertragen 4. Mittelwertbildung der ausgewählten Pixel wird im multispektralen Bild durchgeführt VO Bildverarbeitung und Fernerkundung 26 Bildfusion • Multiresolutional image fusion • Adaptive image fusion • Keine Übernahme der spektralen Werte, sondern die Lage der Kanten • Erfassung der Kanten im panchromatischen Bild mit adaptiven Filtern 1. Sigma‐Filterung des panchromatischen Bildes 2. In jeder Position des Filterfensters wird ein zentrales Pixel mit den Pixelwerten gemittelt, die innerhalb derselben Verteilung liegen, wie das zentrale Pixel 3. Die Positionen der Pixel , die in derselben Verteilung liegen, werden in das multispektrale Bild übertragen 4. Mittelwertbildung der ausgewählten Pixel wird im multispektralen Bild durchgeführt VO Bildverarbeitung und Fernerkundung 27 9 02.05.2022 Bildfusion • Multiresolutional image fusion • Adaptive image fusion Ausgangsbild VO Kantengeschärftes Bild Bildverarbeitung und Fernerkundung 28 Bildfusion • Multiresolutional image fusion • Adaptive image fusion • beliebig viele Spektralkanäle verwendbar, da jeder Kanal einzeln mit dem panchromatischen Bild fusioniert wird • Eignung auch zur multisensoralen Bildfusion von optischen und SAR‐ Daten VO Bildverarbeitung und Fernerkundung 29 Bildvorbearbeitung • Bildvorbearbeitung • Gelieferte Daten oft noch nicht für Analyse geeignet • Daten müssen aufbereitet werden • zB Falsches räumliches Bezugssystem Radiometrische Korrekturen Geometrische Transformationen VO Bildverarbeitung und Fernerkundung 30 10 02.05.2022 Bildvorbearbeitung • Radiometrische Korrekturen • Am Sensor empfangene Strahlung wird modifiziert • Äußere Einflüsse schwächen Strahlung • Mögliche Störungen durch: • Beleuchtungsunterschiede • Atmosphärische Einflüsse • Sensorcharakteristika VO Bildverarbeitung und Fernerkundung 31 Bildvorbearbeitung • Radiometrische Korrekturen • Multitemporale Auswertung Bei regelmäßigem Monitoring müssen externe Einflüsse minimiert werden, um Unterschiede auch zu erkennen. • Mosaikbildung Grauwerte sollten über einzelne Tiles konstant gehalten werden um homogenes Bild zu generieren. VO Bildverarbeitung und Fernerkundung 32 Bildvorbearbeitung • Atmosphärische Korrektur • Korrektur einer verfälschten spektralen Mischsignatur aus reflektierten und gestreuten Strahlungsanteilen • Anwendung von Korrekturmodellen (oft direkt in Softwarepaketen enthalten) • Korrektur wird auf Pixelebene durchgeführt • Einfache Form durch Ermittlung eines Versatzwertes aus Histogramm möglich VO Bildverarbeitung und Fernerkundung 33 11 02.05.2022 Bildvorbearbeitung • Geometrische Transformation • Rektifizierung = Beseitigung von Verzerrungen • Umrechnung des Originärbildes • Geokodierung = geometrische Transformation der Originaldaten in ein gewähltes Bezugssystem • Geometrische Operationen, welche das digitale Bild in einen geographischen Raumbezug stellen VO Bildverarbeitung und Fernerkundung 34 Parametrische Rektifizierung • Parametrische Rektifizierung • Berücksichtigung der Parameter der Flugbahn • Lage der Flugbahn im Raum • Neigung und Drehung der Plattform • Berücksichtigung der Geländeform • Ortho‐Rektifizierung VO Bildverarbeitung und Fernerkundung 35 Parametrische Rektifizierung • Parameter der Flugbahn • Die 6 Elemente der äußeren Orientierung Position zum Zeitpunkt der Aufnahme Lage des Sensors im Raum (Drehwinkel) Steinnocher 2019 VO Bildverarbeitung und Fernerkundung 36 12 02.05.2022 Parametrische Rektifizierung • Orthorektifizierung • Berücksichtigung der Geländeform • Voraussetzung ist ein Digitales Geländemodell • Projektion zweier Positionen • Ohne Ortho‐Rektifizierung (A, B) • Mit Ortho‐Rektifizierung (A‘, B‘) VO Bildverarbeitung und Fernerkundung 37 Parametrische Rektifizierung • Orthorektifizierung VO Bildverarbeitung und Fernerkundung 38 Bildvorbearbeitung • Geokodierung • Kombination mehreren / unterschiedlichen Datentyps Multitemporal: zB bei Untersuchungen von Umweltveränderungen Hier am Beispiel Verlandung des Aralsees zwischen 1998 und 2009 (Spot 4/5 Aufnahmen) Steinnocher 2019 VO Bildverarbeitung und Fernerkundung 39 13 02.05.2022 Bildvorbearbeitung • Geokodierung • Verzerrungen eliminieren oder in ein Bezugssystem überführen • Bildkoordinatensystem (Matrixstruktur – digitales Bild) • Referenzsystem (z.B. Gauß Krüger, UTM) Steinnocher 2019 VO Bildverarbeitung und Fernerkundung 40 Bildvorbearbeitung • Geokodierung • Voraussetzung sind im Bild sichtbare Passpunkte • Geometrische Beziehungen zwischen Bild und Gelände werden hergestellt • Transformationsparameter ableitbar • Direkte oder indirekte Transformation • Es kommt zu Drehungen, Dehnungen und Stauchungen VO Bildverarbeitung und Fernerkundung 41 Bildvorbearbeitung • Geokodierung • Direkte Transformation Für jeden Pixel wird Lage im Ausgangsbild berechnet und Grauwert zugewiesen. Mehrfache oder gar keine Zuweisung möglich (Informationsverlust) • Indirekte Transformation Mit Funktion wird vom Ausgabebild in das Eingabebild zurückgerechnet. Richtiger Grauwert wird vom Eingabebild übernommen VO Bildverarbeitung und Fernerkundung 42 14 02.05.2022 Bildvorbearbeitung • Geokodierung • Direkte Transformation • Indirekte Transformation Albertz 1991 VO Bildverarbeitung und Fernerkundung 43 Bildvorbearbeitung • Geokodierung • Welche Arbeitsschritte sind notwendig? 1. Referenzsystem wählen 2. Bestimmung von Passpunkten, welche eindeutig identifizierbar sind 3. Berechnung bzw. Transformation der Koordinaten für jedes Pixel im Referenzsystem VO Bildverarbeitung und Fernerkundung 44 Bildvorbearbeitung • Passpunkte (Ground Control Points) • Genau Geokodierung benötigt eine ausreichende Anzahl an Passpunkten • Müssen gut erkennbar sein (zB Straßenkreuzung) • Gleichmäßig über Bild verteilt • Können aus bereits referenzierten Karten stammen VO Bildverarbeitung und Fernerkundung 45 15 02.05.2022 Bildvorbearbeitung • Passpunkte (Ground Control Points) • Passpunkttypen: • Lagepasspunkte (x, y) • Höhenpasspunkte (z) • Vollpasspunkte (x, y, z) • Wahl der Passpunkte: • Räumlich verteilt • Sinnvolle Anordnung • Möglichst am Bildrand (hier größte Verzerrung) • Zumindest 4 Passpunkte! VO Bildverarbeitung und Fernerkundung 46 Bildvorbearbeitung • Passelemente (Control Features) • Bei Passelemente wird anstatt eines einzelnen Punktes wird Umgebung und Lage beschrieben • Höhere Genauigkeit, da , da nicht ein Passpunkt sondern eine Vielzahl von Punkten zur Verfügung stehen • Passelement => eindeutiger Bezugspunkt zugeordnet Steinnocher 2019 VO Bildverarbeitung und Fernerkundung 47 Bildvorbearbeitung • Passpunkte (Ground Control Points) 1. 2. 3. Bestimmung der Passpunkte im digitalen Bild Bestimmung des selben Punkts im Referenzsystem Evtl. Eingabe der Passpunktkoordinaten des Referenzsystems VO Bildverarbeitung und Fernerkundung 48 16 02.05.2022 Bildvorbearbeitung • Transformationsparameter • Methoden: • Ähnlichkeitstransformation • Affintransformation • Koeffizienten: • Translation (Verschiebung) • Maßstabsänderung • Rotation Lillesand und Kiefer 2000: 475. VO Bildverarbeitung und Fernerkundung 49 Bildvorbearbeitung • Resampling • Bestimmung der Werte im Ergebnisbild durch Interpolationsverfahren im Ausgangsbild • Drei Resampling Methoden: • Nearest Neighbour • Bilinear Interpolation • Bicubic Convolution VO Bildverarbeitung und Fernerkundung 50 Resampling • Nearest Neighbour • Dem gesuchten Pixel wird jener Grauwert aus dem Ergebnisbild zugewiesen, welcher am nächsten liegt • Vorteil: sehr geringe Rechenzeit • Nachteil: schräg verlaufende Kanten können stufig erscheinen VO Bildverarbeitung und Fernerkundung 51 17 02.05.2022 Resampling • Bilinear Interpolation • Wert wird aus Interpolation der 4 nächstgelegenen Pixel herangezogen (benachbarte 2*2 Pixel) • Grauwerte bleiben nicht erhalten • Vorteil: „glatteres“ Bild • Nachteil: höhere Rechenzeit VO Bildverarbeitung und Fernerkundung 52 Resampling • Bicubic Convolution • Zur Interpolation werden die Grauwerte der nächsten 4 Zeilen und Spalten herangezogen (benachbarte 4*4 Pixel) • Grauwerte bleiben nicht erhalten • Vorteil: Interpolation höherer Ordnung, • Nachteil: sehr hoher Rechenaufwand VO Bildverarbeitung und Fernerkundung 53 Resampling • Vergleich der Methoden VO Bildverarbeitung und Fernerkundung 54 18 02.05.2022 Noise Removal VO Bildverarbeitung und Fernerkundung 55 Noise Removal • Rauschen / Störungen • Wertet die Qualität des Bildes ab • Einzelne Bereiche ohne Signal • Bildverbesserungen müssen vorgenommen werden • Klassifizierung nötig, um betroffene Bereiche auzuweisen Ziel ist, mit geeigneter und möglicher Qualität, das Bild wiederherzustellen VO Bildverarbeitung und Fernerkundung 56 Noise Removal • Lösungsansätze • Ausfälle: Maskieren und durch andere Daten ersetzen • Kanalstörungen: Histogramme von Bandkombinationen erzeugen und anpassen • Pixel oder Linienstörung: Anpassung durch Ermittlung eines Mittelwertes VO Bildverarbeitung und Fernerkundung 57 19 02.05.2022 Noise Removal • Lösungsansätze • Bit‐Fehler • Können durch Nachbarschaftsvergleiche detektiert werden • Durch Grauwert‐Resampling korrigieren • Fenster streift Bild ab und errechnet jeweils neue Werte VO Bildverarbeitung und Fernerkundung 58 VO Bildverarbeitung und Fernerkundung 290234 Nächster Termin: 16. Mai 2021 Ausblick: • Überwachte Klassifikation • Unüberwachte Klassifikation VO Bildverarbeitung und Fernerkundung 290234 Kontakt: Oliver Rehberger Institut für Geographie und Regionalforschung oliver.rehberger@univie.ac.at 20 02.05.2022 Quellen Albertz J. (2007): Einführung in die Fernerkundung. Grundlagen der Interpretation von Luft‐ und Satellitenbildern. 3. Auflage. – Darmstadt. Canty M. J. (2015): Image Analysis, classification and change detection in remote sensing. With algorithms for ENVI/IDL and Python. 3. Edition. Hoboken. Dougherty G. (2013): Pattern recognition and classification. An Introduction. New York. Journaux L., Tizon X., Foucherot I. und Gouton P. (2006): Dimensionality Reduction Techniques. An Operational Comparison On Multispectral Satellite Images Using Unsupervised Clustering. In: Proceedings of the 7th Nordic Signal Processing Symposium. Proceedings of the 7th Nordic Signal Processing Symposium ‐ NORSIG 2006. Reykjavik, 2006, S. 242–245. Pfeiffer M. (2008): Illustration des morphologischen Öffnens bei Binärbildern. Szeliski R. (2011): Computer vision. Algorithms and applications. London (Texts in computer science). VO Bildverarbeitung und Fernerkundung 61 Bildquellen Albertz J. (2007): Einführung in die Fernerkundung. Grundlagen der Interpretation von Luft‐ und Satellitenbildern. 3. Auflage. – Darmstadt. De Lange N. (2002): Geoinformatik in Theorie und Praxis. – Berlin und Heidelberg. Lillesand T. M. und Kiefer R. W. (2000): Remote sensing and image interpretation. – New York. Spektrum Akademischer Verlag (2000): Atmosphärenkorrektur. In: Lexikon der Geowissenschaften. online unter: https://www.spektrum.de/lexikon/geowissen schaften/atmosphaerenkorrektur/1062 (24.02.2021) VO Bildverarbeitung und Fernerkundung 62 21
