type
status
date
slug
summary
tags
category
icon
password
Hide-in-Web
Hide-in-Web
Hide-in-Config
Hide-in-Config
comment
Pin
Pin
Link
🎉欢迎大家来到我的博客！！🎉
这门课程是我在大三上学期选的一门专业选修课的课程，国际班老师推荐的，选修这门课主要是因为对于数字图像处理这个方面还是比较感兴趣的，因为之前在学习机器学习的时候，经常会碰到处理图像的问题，因此我觉得有必要对图像这方面的知识有所了解。（这门课程似乎也会冲抵第 6 学期“数字图像分析与处理”的专业选修课，挺不错的）。
本门课程的笔记还在持续更新中！！！预计 11 月份左右会完结。
建议大家使用电脑来查看笔记内容，会有最好的显示效果。
绪论（第一章）
💡 Key Words
这里的关键词只是帮助大家看完右侧的笔记后回忆内容，不是跳转链接！！
- 远程遥感技术 ↔ 地球表面侦测
- 史蒂芬-波兹曼定律
- 维恩位移定律
- EMR 与大气散射
- EMR 与地球表面的反射
- EMR 大气吸收
- 表面粗糙度
- 不同的传感器系统
- 摄影
- 单向扫描（多光谱）
- 双向扫描（多光谱）
- 沿轨推帚式扫描
- 立体成像
- 分辨率
- 空间分辨率
- 频谱分辨率
- 辐射分辨率
- 时间分辨率
- 图像处理（时间↔结果）
- 像素、数字编号（DN）
- 单色图像
- 三色理论（RGB → 三原色？）
- RGB 立方体
- 真彩色合成 假彩色合成 伪彩色显示
🔗 Relevant Information
📝 Class Notes
什么是远程遥感技术
Remote sesing is about taking pictures of the groud or surface.
远程遥感技术的应用
远程遥感技术默认指的就是地球表面的侦测。
EMR 的介绍
EMR 指的是电磁波，Electromagnetic Radiation 。
电磁辐射或 EMR 是电场和磁场之间在空间传播的能量波，它的波长和频率之间会满足这个这个公式 （1.1）。波长越长的波，它的频率就越低。
我们人眼可见的光的波长是在 0.38-0.75 μm 间，这意味着遥感技术观测的物体波长就在这个范围内以及略略超出这个范围，如下图所示：
任何物体都会产生电磁波，
电磁辐射可以用波浪理论来描述，但事实上，根据量子物理学的粒子理论，电磁辐射是由许多被称为光子（或量子）的离散物质单位组成的。每个光子蕴含的能量符合下面的公式：
我们可以将上面的公式与前面的波长公式结合起来，这样光子的能量就和波长直接相关了。
波长越长的波，光子所蕴含的能量就低，电磁波的辐射能量就比较低。不同频段下电磁波和它的能量关系如下图所示：
史蒂芬·波斯曼定律：
所有温度高于绝对零度（0° K 或 -273º C）的物质都会发射电磁辐射。物体辐射能量的多少是物体表面温度的函数，正如斯蒂芬-玻尔兹曼定律所表示的那样。
M： 从材料表面辐射的总能量通量密度。
维恩位移定律（考点）：
不同温度下黑体辐射的光谱分布和辐射峰值。
现在，我们尝试将辐射能量物体的温度与其电磁辐射峰值波长（黑体辐射达到最大值的波长）联系起来。这就是维恩位移定律。
维恩位移定律的公式如上图所示，它意味着一个黑体辐射的最大光谱波长是常数 A 比上黑体温度值。
黑体只是意味着不反射，但是它实际上还是会发射辐射。太阳实际上就是一个黑体。下图就是常见的黑体对应的温度：
上图中可见光的范围就是图中的灰色矩形部分。
根据上图中黑体的温度，我们就可以计算出对应黑体的最大辐射波长，如太阳的就是 0.483 μm。
EMR 与 大气层的 interaction（散射）:
什么是散射？
散射是指当光、声波或其他波遇到障碍物或介质时，被偏转或分散到不同方向的现象。在物理学中，散射常指光波通过某种介质（如气体、液体或固体）时与介质中的粒子相互作用，导致波的传播方向发生变化。
大气散射（Atmospheric scattering）是指大气中的粒子对辐射进行不可预测的扩散。
当辐射与大气分子和其他微小颗粒发生相互作用时，就会产生瑞利散射，这些微小颗粒的直径远远小于相互作用辐射的波长。大气中的瑞利散射效应与波长的 4 次方成反比。因此，影响主要发生在短波长上。
当大气中的颗粒直径基本上等于所感应到的电磁辐射波长时，就会出现米氏散射。水蒸气和灰尘是造成米氏散射的主要原因，这种散射往往会影响较长的波长。例如，云的白色是由水滴和冰晶对光进行的米氏散射造成的，散射了所有波长的可见光，也就是说颗粒的大小大于 0.75 μm，因此呈现白色。
非选择性性散射是由比电磁辐射波长大得多的粒子造成的，这种效应只是非选择性地阻挡所有波长比粒子尺寸短得多的电磁辐射。在这种情况下，波与粒子的相互作用会导致能量的转移，改变波的频率或能量。
为什么天空是呈蓝色的呢？
天空呈现蓝色主要是由于一种被称为“瑞利散射”（Rayleigh Scattering）的现象。当太阳光进入地球大气层时，它包含了不同波长的光，其中包括红、橙、黄、绿、蓝、靛、紫等色彩。短波长的光，如蓝光和紫光，比长波长的光（如红光）更容易被大气中的小分子（如氧气和氮气）散射。
虽然紫光的波长比蓝光更短，理论上应该散射得更多，但因为人类的眼睛对蓝光更敏感，而且太阳光中紫光的强度相对较低，所以我们看到的天空主要呈现蓝色。
因此，白天时，我们看到的天空是蓝色的，是由于蓝光被空气中的分子散射到各个方向，而被我们的眼睛捕捉到的结果。
大气吸收：
太阳辐射和大气吸收区。
大气吸收导致大气成分有效损失电磁辐射能量。这通常包括吸收特定波长的电磁辐射。
- 在这方面，最有效的太阳辐射吸收体是水蒸气、二氧化碳和臭氧。
- 在太阳辐射主要被吸收的光谱范围内，大气对传感器系统是不透明的，因此这些光谱范围不能用于遥感。
- 在吸收很少的光谱范围内，大气对传感器基本是透明的。这些光谱范围适用于遥感，称为大气窗口。
上图表示的是太阳辐射和大气吸收带的关系。图中有 3 条曲线，分别是：
- 黑体辐射曲线：代表温度为 5900K（约等于太阳表面温度）时，理想黑体发出的辐射强度。
- 大气层外太阳辐照曲线：代表在没有大气吸收的情况下，太阳辐射到达地球的理论值。
- 海平面太阳辐照曲线：代表太阳光在通过地球大气层后，实际到达地面的辐照度。
图中的浅灰色部分显示了不同波长上，地球大气层对太阳辐射的吸收带。这些吸收主要由大气中的成分，如臭氧 (O₃)、水蒸气 (H₂O)、二氧化碳 (CO₂) 和氧气 (O₂) 造成。图中箭头指向的是有比较大的衰减的部分，即浅灰色阴影纵宽比较大的部分。
不同物质在不同波长上吸收太阳辐射。例如：
- 臭氧 (O₃) 在 0.2-0.35 μm 范围内吸收紫外线。
- 水蒸气 (H₂O) 和二氧化碳 (CO₂) 在 1.4 μm 及之后的红外波段吸收太阳辐射。
地球表面的 EMR 反射：
发射入地球表面的能量会通过反射、吸收和传输多种方式消散。
根据史蒂芬-波尔兹曼定律，被吸收和传输的太阳电磁辐射能量会使地球温度升高，并最终从地球释放出来。
表面粗糙度：
与电磁辐射相互作用的反射表面一般有两种类型：镜面反射（光滑）和漫反射（粗糙）。 这些术语的定义是几何上的，而不是物理上的。在物理意义上，一个表面可能看起来很光滑，即看起来和感觉上都很光滑，但在光波长的数量级上，整个表面可能会出现许多不规则的地方。照射到漫射表面上的辐射往往会向多个方向反射（散射）。 雷利准则（Rayleigh criterion）用于确定表面在辐射作用下的粗糙度。如果以下条件成立，则表面光滑，否则表面粗糙：
光谱特性的关键参数：
可见近红外光谱范围内松林、草地、红沙坑和淤泥水的典型光谱特征.
光谱反射率（Spectral reflectance）是材料对特定波长电磁辐射的反射率。
反照率或总辐射反射率（Albedo）是所有光谱范围内反射光谱辐射的积分，按辐照度加权。
示例：
遥感图像数据的获取方式
获取图像数据的平台：
- 地面：用于收集实地地面实况数据的便携式光谱仪；
- 机载：目标定向调查；
- 空间：区域信息和定期监测。
三种进行地球表面侦测的卫星：
- 地球同步轨道（Geostationary Orbit）：
- 高度约为36000公里，与地球自转同步。卫星固定在地球的某一个区域上方，提供连续的观测。
- 这种轨道常用于气象卫星（如GOES卫星）和通信卫星。
- 在遥感中的意义：尽管空间分辨率较低，但它可以对特定区域进行实时监控，非常适合气象观测。
- 近圆极地太阳同步轨道（Sun-Synchronous Orbit）：
- 高度约为400-900公里，覆盖大部分地球表面（除极地地区外），并且具有固定的局部时间成像特性。
- 这种轨道上的卫星能够定期访问同一地点，比如Landsat卫星每16天会复访同一地点。
- 在遥感中的意义：该轨道有利于获取高空间分辨率的影像，并在全球范围内进行定期成像，适合长期监测环境变化和土地利用。
- 上升和下降轨道（Ascending and Descending Passes）：
- 卫星的轨道倾角约为98°，在上升段和下降段通过地球南北极之间的部分。下降轨道通常在有阳光的一侧，适合传感器记录反射的太阳能。
- 在遥感中的意义：下降轨道用于收集高质量的太阳照射数据，确保影像的照度充足和稳定。这有助于获取精确的光学遥感数据。
多光谱和全色光学传感器系统：
Broad Band Multi-Spectral and Panchromatic Optical Sensor System（宽带多光谱和全色光学传感器系统）
多光谱和全色光学传感器：这些传感器能够捕获从可见光到红外光谱的广泛范围的电磁波。通过这些传感器，遥感卫星可以获取不同波段的数据，用于环境监测、土地覆盖分析等。
传感器的种类：包括大幅面数字相机、视频相机、多光谱扫描仪（MSS）、专题制图仪（TM）、增强型专题制图仪（ETM+）、高分辨率可见光（HRV）等。
成像机制：摄影、单向扫描、双向扫描、推帚扫描、视频扫描等。
成像几何学：包括垂直（nadir）和离轴成像（off-nadir），可用于立体成像和缩短重访周期。
下面介绍这些传感器的特点：
Cameras and Aerial Photography（相机与航空摄影）
照相机和航空摄影。
相机的光学系统：这部分展示了相机的光学系统，包括镜头、焦距和成像区域。相机成像是遥感中最传统的一种方式，依赖于光学成像设备。
什么是伪彩色图像（false color image）?
False Color Image（伪彩色图像）是一种通过重映射图像中的波段数据，将人眼无法看到的光谱（如红外光）可视化为可见光的一种图像表现形式。具体来说，伪彩色图像通常会使用不常见的颜色组合来突出显示图像中的某些特定特征，以便更好地进行分析或识别。
在遥感中，卫星或传感器能够捕获到人类肉眼无法看到的电磁波（例如红外波段、紫外波段等）。为了帮助分析这些数据，伪彩色图像将这些不可见波段映射为可见光的颜色（红、绿、蓝），从而可以通过视觉上的差异来分析地物特征。
伪彩色图像的关键点：
- 多光谱数据的可视化：
- 遥感卫星通常捕获多光谱影像，其中包含可见光（红、绿、蓝）和不可见光（如近红外、中红外等）。伪彩色图像可以通过不同波段的组合来显示不同的地物信息。
- 颜色映射：
- 在伪彩色图像中，波段通常按如下方式分配颜色：
- 红外波段 -> 红色
- 红色波段 -> 绿色
- 绿色波段 -> 蓝色
- 通过这种映射，植被、土壤、水体等地物可以更明显地区分出来。例如，健康的植被在红外波段反射较强，因此在伪彩色图像中显示为红色。
- 应用场景：
- 植被监测：在伪彩色图像中，健康植被通常显示为鲜艳的红色，这帮助分析农田、森林等区域的植被健康状况。
- 水资源监测：水体在红外波段反射较少，通常显示为黑色或深蓝色，帮助识别河流、湖泊等水体。
- 城市热岛效应分析：热红外波段可以用于分析城市中的温度分布情况。
在Landsat卫星的影像处理中，常见的波段组合是：
- 假彩色（False Color Composite）：使用近红外（NIR）、红色和绿色波段分别表示为红、绿、蓝，这样健康的植被会呈现为红色，水体为深蓝色，裸露的土地呈现为浅色。
- 真彩色图像显示了我们肉眼可以看到的颜色，用于显示自然的地物信息。
- 伪彩色图像利用多光谱波段，将不可见的光谱（如红外光）映射为可见颜色，帮助分析植物健康、土壤湿度等特征。下图展示的伪彩色图像使植被区域显示为红色，便于识别。
Multi-Spectral Scanner（多光谱扫描仪）
工作原理：多光谱扫描仪通过旋转镜和棱镜将进入的光分解为不同的波段，并使用 CCD 传感器捕获每个波段的光线。这样，扫描仪可以同时采集多个波段的信息，从而生成多光谱图像。
什么是 CCDs(CCD 阵列)?
CCD 阵列（Charge-Coupled Device，电荷耦合器件阵列）是一种光电传感器，用于将光信号转换为电信号。它由多个光敏单元组成，这些单元排列成二维矩阵，可以同时捕捉大量像素。每个单元在接收到光子后生成与光强度成比例的电荷，通过电荷耦合的方式，电荷信号被逐行传输和读取，最终转化为数字图像。
CCD 阵列常用于遥感卫星、数码相机等设备中，其优点是灵敏度高、噪声低，能够在弱光环境下捕捉细节。
仪器的工作过程：
- 旋转镜（Rotation Mirror）：仪器通过旋转镜面扫描地表。旋转镜会左右摆动，沿着横向扫描整个成像区域。每次镜面旋转时，仪器捕捉到一个小范围内的地表信息，这个范围被称为“瞬时视场（IFOV）”。
- 光学系统（Optics）：光从旋转镜反射后通过光学系统，该系统负责聚焦和校正光束，确保地表反射的光线准确进入下一步处理阶段。
- 棱镜（Prism）：光学系统后的棱镜会将来自地表的光线按不同波长分解为多个光谱波段（可见光、近红外等）。
- CCD 阵列：棱镜分解的光谱波段进入不同的 CCD 阵列，每个 CCD 阵列专门检测某个波段的电磁辐射（例如红光、蓝光、近红外等）。这些 CCD 阵列将检测到的光信号转换为电信号。
扫描方式：
- 单向扫描（one-way scan）：Landsat MSS 传感器使用单向扫描，表示扫描完成后镜头回到初始位置，然后开始下一次扫描。
- 双向扫描（two-way scan）：Landsat TM 和 ETM+ 传感器使用双向扫描，意味着扫描在一个方向结束后，反向继续扫描下一个范围，这样可以提高扫描效率。
Across-Track Mechanical Scanner（横向机械扫描仪）：即图中“Landsat MSS”采用的单向扫描（one-way scan）模式。扫描仪通过横向摆动扫描地表区域，每次扫描一个条带。早期的Landsat MSS采用的是这种方式。
- MSS 采用的是单向扫描的方式进行侦测的，采用这种扫描仪是因为它在早期技术中结构相对简单，便于实现。其缺点在于扫描速度较慢，图像的获取时间较长。
- 随着技术的发展，卫星能够通过软件来进行修正扫描结果，因此在 TM 和 ETM+ 系列的卫星就开始使用双向扫描的方式了。
Multi-Spectral Scanner（沿轨推帚式扫描仪）
最初是由法国发明的，美国将其应用于卫星 Landset 8 和 Landset 9 中。
Along-Track Push Broom Scanner（沿轨推帚扫描仪）：与横向机械扫描不同，推帚式扫描仪同时采集整个图像条带，而不是通过旋转镜逐步扫描。CCD线阵列传感器一次性捕获整个条带的图像，从而提高了图像获取效率。
应用：这种扫描方式用于更先进的遥感卫星，如SPOT的HRV（高分辨率可见光）、Terra-1的ASTER、Landsat 8的OLI（Operational Land Imager）
Hyperspectral Sensor System（高光谱传感器系统）：
- 说明：高光谱传感器系统能够在多个（几十到上百个）光谱波段上采集数据，每个波段都代表不同的电磁波长。典型的高光谱传感器可以捕捉几百个波段，比如图中提到的 AVIRIS（224个波段）、CASI（288个波段）等。这些波段覆盖了从可见光到红外的广泛波长范围，能为科学家提供丰富的地表信息。
- 工作原理：图示显示了高光谱传感器的工作流程。传感器通过光学系统将地面区域成像，光谱分散设备（如光栅或棱镜）将不同波长的光分离，最后由二维 CCD 阵列进行记录。每个像素捕获不同波长的光信息，这样可以生成每个地物的“光谱指纹”，便于精细分析。
- 应用：高光谱成像广泛应用于农业、矿产勘测、环境监测等领域，能够识别地表物质的化学成分与特征。
Stereo Imaging（立体成像）：
- 说明：立体成像是通过从不同视角拍摄同一目标来生成数字高程模型（DEM），主要用于地形测量和3D地表重建。图中展示的是 ASTER（先进星载热辐射与反射辐射计）的立体成像过程。
- 工作原理：该传感器同时从两个不同的角度（前视和后视）获取地表的影像，前视和后视影像分别称为 nadir（垂直向下）和 aft（向后看）。通过分析不同角度下的影像差异，计算地表的高度变化，从而生成数字高程模型。
- 应用：立体成像广泛用于测绘和制图，尤其是在山区和复杂地形区域。它能够为地质研究、城市规划和水文分析等领域提供三维地形数据。
各种分辨率的概念
空间分辨率（Spatial resolution）： 
图像中可辨别的细节取决于传感器的空间分辨率，即可检测到的最小特征的大小。被动传感器的空间分辨率主要取决于其瞬时视场（IFOV），而瞬时视场是由光学传感器系统的空间采样密度决定的。如图所示，IFOV（即时视场，Instant Field of View） 是探测器（即 CCD）能看到的角锥体 A，它将特定时刻 C 距离内 B 区域的电磁辐射记录为一个图像像素，显然，B=IFOV×C。地面上的 B 区域称为分辨率单元，主要决定图像的空间分辨率。
频谱分辨率（Spectral Resolution）：
是指传感器在不同波长上区分电磁波的能力。具体来说，它描述的是传感器能够将电磁波谱分成多少个波段，并测量每个波段的特定信息。每个波段对应的波长范围称为频谱间隔（spectral interval），即传感器在该波段上能够探测到的电磁辐射的波长范围。
频谱分辨率在遥感、光谱分析等领域非常重要，因为不同物质在不同波长下的反射或吸收特性各不相同。高频谱分辨率意味着传感器能够在更多、更窄的波段上精确测量电磁辐射，从而更好地识别和区分物质的不同特性。
辐射分辨率：
传感器对电磁能量大小的灵敏度决定了辐射分辨率，成像系统的辐射分辨率描述了其区分传感器接收到的能级中非常微小的差异并定量表征为比特的能力。
时间分辨率：
一般来说，时间分辨率就是重拍周期。
遥感系统以同一视角对同一区域进行第二次成像的绝对时间分辨率等于重访周期。 有些卫星系统能够将其传感器指向同一地面区域，在重访周期内，不同卫星经过的时间间隔从一天到多天不等。传感器的实际时间分辨率取决于多种因素，包括卫星/传感器能力、扫描带重叠度和纬度。
上述四种分辨率的说明：
图像分辨率最终取决于传感器的分辨率。
对于给定的传感器系统，在其光学分辨率限制范围内，空间分辨率取决于使能信号从仪器的电子背景噪声（即暗电流）中区分出来的最小电磁辐射能量水平。电磁辐射的最小能量与光谱范围内的辐射强度、IFOV（即时视场）和停留时间的乘积成正比。
- 空间分辨率较低，光谱/辐射分辨率较高。
- 较低的光谱分辨率，较高的空间/辐射分辨率。
- 停留时间更长，空间/光谱/辐射分辨率更高。
- 传感器灵敏度更高，辐射分辨率更高。
图像处理
图像处理无法从原始图像数据中增加任何信息。老师说，过去几十年直到现在，仍然有论文会犯这种错误，认为图像处理可以增加图像信息。
如何理解上面这句话？
这句话的意思是：图像处理过程并不能从原始图像数据中“创造”或“增加”新信息，图像处理只能在现有数据的基础上进行处理、优化、或提取已有的信息。例如，调整图像的亮度、对比度，或应用一些增强算法，但这些操作都不会增加原本不存在的信息。
即便经过 AI 处理后，这句话仍然成立。AI 图像处理技术，例如超分辨率、去噪或修复算法，虽然看起来似乎“增强”了图像的细节，但它只是根据已有信息进行推测或生成更多符合该信息的数据，而这些推测或生成的信息并不代表真实的新信息，实际效果依然受限于原始数据的质量和内容。
因此，AI 图像处理虽然能改善视觉效果，但并不能真正“增加”从未在原始图像中存在过的真实信息。
这个简单的示意图旨在说明，图像处理的结果并不一定与所花费的时间/精力成正比。恰恰相反，使用简单的技术可能只需花费很少的时间就能获得最有用的结果，而使用复杂的技术则可能需要花费大量的时间才能获得少量的结果。
什么是数字图像及其显示？
数字图像是由行和列组成的二维（2D）数字阵列或光栅数据集。它也可以有三维层（如图像带）。
数字图像的每个单元称为像素（pixel），代表像素亮度的数字称为数字编号（DN）。
数字图像的显示：
物体的颜色是光源对电磁辐射选择性吸收和反射的结果。人眼的感知能力仅限于 0.38-0.75 μm 的光谱范围（可见光范围），这只是整个太阳光谱范围中很小的一部分。
遥感技术可以将比人类视觉能力更广的光谱信息记录为数字图像，这些数字图像可以通过计算机显示器等电子显示设备显示为黑白图像或彩色图像。就数字图像显示而言，色调或颜色是数字图像中作为 DNs 记录的图像信息的可见表现形式，但不一定代表这些 DNs 的物理意义。
单色显示：
任何图像，无论是全色图像还是多光谱图像的光谱带，都可以通过单色显示屏显示为黑白图像。 显示的方法是将 DN 转换为一系列能级的电子信号，产生不同的灰度级（亮度），形成黑白图像显示。 大多数图像处理系统支持 8 位（256 灰度级）显示图形。它以黑白显示 0 至 255 的 DN。这一显示范围足以满足人类的视觉能力。 遥感图像的 DN 范围可能比 8 位宽得多，如 Ikonos 和 QuickBird 图像的 DN 范围为 11 位。在这种情况下，图像仍然可以通过某些方式在 8 位显示系统中可视化，例如将 DN 范围压缩为 8 位，或在整个 DN 范围的几个 8 位间隔场景中显示图像。
三色理论与 RGB 彩色显示：
CIE 1931 色彩空间色度图 
三色理论：人类视网膜有3种类型的视锥细胞。每种锥体的响应都是入射光波长的函数，分别在440nm（蓝色）、545nm（绿色）和680nm（红色）处达到峰值。换句话说，每种类型的锥体主要对三原色之一敏感：蓝色、绿色或红色（因此红、绿、蓝是三原色）。一个人感知到的颜色取决于这三种锥体中每一种被刺激的比例，因此可以表示为三元组（r、g、b），即使可见光是400-700nm连续光谱中的电磁辐射。数字图像彩色显示完全基于三刺激颜色理论。
彩色监视器，就像彩色电视一样，由三支几何上对齐的电子枪组成：红色、绿色和蓝色。这些电子枪能够以精确的几何方式对齐，从而同时发射相应颜色的光线，组合成我们看到的各种颜色。通过调节这三种颜色的强度，显示器可以再现出丰富的色彩，从而形成完整的图像。这种原理是基于加色法，即通过不同颜色的光混合来产生其他颜色。在红色枪中，图像的像素根据其 DN 值以不同强度的红色（即深红色、浅红色等）显示。绿色和蓝色的枪也是如此。因此，如果多光谱图像的三个波段同时以红、绿、蓝显示，则生成彩色图像显示，其中像素的颜色由其在红、绿和蓝波段（r、g、b）的DN决定。这种彩色显示系统被称为加色RGB彩色复合系统。在这个系统中，不同的颜色是由红色、绿色和蓝色成分的叠加组合产生的。红、绿、蓝被称为三原色。
人类对颜色的感知是由视网膜上的三种锥状体完成的，其灵敏度峰值与三种原色相匹配：红色（680 纳米）、绿色（545 纳米）和蓝色（440 纳米）。
非三原色光（C）会刺激每组光的不同部分，从而形成对这种颜色的感知。因此，三原色光的混合可以产生任何颜色。
这就是 RGB 添色法 的原理。
C = rR+gG+bB ；
等量三原色（r=g=b）的混合物是白色或灰色。
等量的任意两种原色会产生互补色：黄色、青色和品红色。这三种互补色也可以用作原色来产生各种颜色，如彩色印刷中的颜色。
RGB 立方体：
将 RGB 显示器立方体的各分量视为三维色彩空间的正交轴；显示器各分量的最大 DN 值定义了 RGB 色彩立方体。在这个系统中，任何一个图像像素都由一个从原点到色彩立方体内某处的矢量来表示。大多数标准的 RGB 显示系统可以显示 8 位/像素/通道，多达 24 位（约 1680 万）的不同颜色。从色彩立方体的原点到对角凸角的直线被称为灰线，因为位于这条直线上的像素矢量在红、绿、蓝三色中的分量相等（即 r=g=b）。
真彩色合成和假彩色合成：
虽然颜色是可见光谱范围 380-750nm 的光，但在数字图像的彩色显示中，它们被用作信息可视化的工具。因此，在数字图像显示中，每个光谱带或光谱层的主色调可以根据应用的要求任意分配，而不一定是该光谱带的光谱范围所对应的颜色。如果我们用 RGB 显示红、绿、蓝三个光谱范围的图像带，那么就会生成一个真彩色的复合图像。否则，如果显示的红、绿、蓝三色图像带与这三种原色的光谱范围不匹配，则会生成假色合成图像。一个典型的例子就是所谓的标准假色合成图像，其中近红外波段显示为红色，红色波段显示为绿色，绿色波段显示为蓝色。 颜色作为信息可视化的工具，假色合成是 RGB 颜色显示的一般情况，而真色合成只是它的一个特例。
考点：假色合成的时候并不一定要采用标准假色合成的方式，即近红外段 → 红色；也可以采用 ”绿色 → 蓝色，蓝色 → 红色，红色 → 绿色“ 这样类似的方式。
伪彩色图像显示：
人眼能识别的颜色远远多于灰度级。因此，可以非常有效地利用色彩来增强单色图像中微小的灰度差异。将单色图像显示为彩色图像的技术称为伪彩色显示。
伪彩色图像是通过为每个灰度级分配一种独特的颜色而生成的。这可以通过交互式色彩编辑或基于特定逻辑的自动转换来实现。 伪彩色显示的优点也是它的缺点。当数字图像在黑白显示屏上根据其 DN 值以灰度显示时，不同 DN 值之间的定量顺序关系就会有效地显示出来。而在伪彩色显示屏中，由于不同灰度级所分配的颜色不是定量和顺序的，因此会丢失这 一重要信息。事实上，伪彩显示屏的图像是符号图像而不是数字图像，它不再是数字图像。我们可以将灰度黑白显示视为伪彩色显示的一种特例，在这种显示中，使用的是基于 DN 级的顺序灰度，而不是色彩方案。
考点：伪彩色图像(pseudo color display)是一般使用的情形，而灰度图像(grey display)显示是特殊的情况下使用的。
问题测验 1
问题
我的回答：
- 数字图像就是一个用行和列表示的二维数组，每个元素都是一个像素，数组中的每个元素可以通过 DN 值（数字编号）来表示强度大小；
- 数字图像易于存储，数据不易丢失，而且图像易于后期处理，灵活度高；
- Tristmulus 色彩理论？忘了😳。RGB 添色法依据的就是 R G B 三原色的特性，由于我们人眼对于 RGB 三原色是最敏感的，所有的可见光都是通过 RGB 三种颜色加权形成的，如品红色是 255r + 0g + 255b 组合而成的，这就是 RGB 添色法。
- 应该是用 CIE 色彩空间色度图 来表示，懒得画了。
- RGB 立方体的图在我心里，不画了。一个颜色在 RGB 立方体中可以通过直角坐标系中的矢量来表示，坐标为 (R, G, B)，只要 R G B 的值确定，那么颜色就确定了。灰度线就是 RGB 立方体由原点到 (255, 255, 255) 的直线，也就是立方体的对角线。
- 假彩色合成就是将红外波段的波谱或是其他颜色的波谱映射为 R G B 来显示的一种方式；准则就是将多频段光谱带的主色调映射为 RGB，然后通过 RGB 组合来进行显示？ 答案是可以的，不一定非要使用标准假色合成方法。
- 伪彩色显示就是将单色图像通过彩色图像来进行显示，它可以将单色图像中的 DN 值映射为彩色图像中的 R G B 值；伪彩色图像显示可以让微小的灰度差异放大，让我们更全面的了解图像的信息，但是它的优点也是它的缺点，这会是它失去原来单色图像各个像素间的 DN 值的定量顺序关系。
gpt 的回答：
1. 什么是数字图像，它是如何组成的？
数字图像是一种以数字形式存储的二维图像表示。它由许多称为像素的元素组成，每个像素都有特定的颜色或亮度。在遥感中，数字图像通常由像素矩阵构成，每个像素代表地球表面的一部分，其数值对应于该区域在某一波段的电磁能量反射或辐射值。
2. 数字图像相比传统硬拷贝图像的主要优势是什么？
- 便捷的存储和共享：数字图像可以轻松存储、传输并通过互联网或数字设备共享。
- 易于处理和分析：数字图像可以使用软件轻松处理和分析，以提取信息（如在遥感中进行的分析）。
- 无损复制：数字图像的复制不会随时间劣化，而传统硬拷贝会随着时间的推移而质量下降。
- 与其他数据的集成：数字图像可以与其他地理空间数据集成，用于高级分析（如在 GIS 中的应用）。
3. 描述三刺激值（Tristimulus）颜色理论及 RGB 加法色彩组成原理。
三刺激值颜色理论基于这样一个观点：任何颜色都可以通过三种原色的组合来表示，即红色 (R)、绿色 (G) 和蓝色 (B)。在 RGB 加法色彩模型中，颜色是通过这三种原色按不同强度组合生成的。在数字成像和遥感中，RGB 用于通过将不同的光谱波段分配到 RGB 通道上来表示彩色图像，从而创建颜色合成图像。
4. 解释原色和互补原色之间的关系，并通过图解说明。
在 RGB 模型中，原色是 红色、绿色 和 蓝色。它们的互补色为：
- 红色的互补色是：青色（绿色和蓝色的组合）
- 绿色的互补色是：品红（红色和蓝色的组合）
- 蓝色的互补色是：黄色（红色和绿色的组合）
使用颜色轮可以表示这些原色和互补色的关系，其中互补色在颜色轮上是相对的。
5. 通过图解说明颜色立方体。如何由 RGB 组件组成颜色？定义颜色立方体中的灰线。
在颜色立方体中，每个轴分别代表一个原色：R、G 和 B，取值范围从 0 到 255。一个颜色是通过这三个轴上的强度组合生成的。例如，(R=255, G=0, B=0) 表示纯红色。
灰线是在颜色立方体中从黑色点（R=0, G=0, B=0）到白色点（R=255, G=255, B=255）之间的对角线。在这条线上，R、G 和 B 的强度相等，表示从黑色到白色的灰度变化。
6. 什么是假彩色合成？解释利用颜色作为工具可视化多光谱图像光谱信息的原理。我们能否用蓝色、绿色和红色波段生成假彩色合成？
假彩色合成是利用颜色来表示人眼不可见的电磁波段。在遥感中，不同的光谱波段（如近红外、红色、绿色）被分配到红色、绿色和蓝色通道，以创建假彩色图像，从而突出特定特征。
可以通过蓝色、绿色和红色波段生成假彩色合成。例如，将近红外映射到红色通道，将红色映射到绿色通道，将绿色映射到蓝色通道，这样的组合有助于突出植被等特征。
7. 如何生成伪彩色显示？伪彩色显示的优点和缺点是什么？
伪彩色显示通过将颜色分配给灰度图像的像素强度值来生成。每个灰度值映射到特定颜色，从而增强数据的可视化。
优点：
- 有助于可视化图像中细微的强度差异。
- 可以突出在灰度图中难以分辨的特征，使得分析更加容易。
缺点：
- 可能会引入不代表实际现象的颜色伪影。
- 如果使用不当，可能会产生误导，因为颜色可能暗示不存在的物理特性。
📌 SUMMARIZE
2024.9.21
这节课主要是对遥感数字图像课程的引入，介绍了遥感技术是什么以及主要应用，也讲解了这门课程的一些基础概念。遥感技术简单的说就是拍照片，拍什么照片，拍的多是地球表面的照片，通过照片来分析地球的气候、地理状况、生物等等信息，这就是遥感技术。
本节课还介绍了数字图像，数字图像有两种显示形式，一种是单色的，一种是彩色的。单色的图像是通过像素 DN 值的大小来控制电子枪发出的射线的强度，进而调节图像的亮度，显示出灰度图像；而彩色图像是通过 RGB 三原色组成的，通过三支几何对齐的三支电子枪（红绿蓝）发出各自强度的射线，射线叠加在一起后就可以显示出不同颜色的图像（RGB 加色法）。灰度图像每个像素的 DN 值是通过 8 位的内存来进行存储的，而彩色图像的每个像素的 DN 值是通过 24 位的内存来进行存储的（R、G、B 各 8 位），R G B 三个分量可以通过 RGB 立方体的形式来直观的显示不同颜色的形成过程。
图像可视化和处理的基础（第二章）
💡 Key Words
这里的关键词只是帮助大家看完右侧的笔记后回忆内容，不是跳转链接！！
- 直方图及其修正
- 查找表 LUT
- 对数和指数函数 → 对比度
- 直方图均衡(对比) → HE
→ HM(高斯拉伸)
- 平衡对比增强技术 （BCET）
- 截断
- 交互式对比度增强 → 视觉观察
🔗 Relevant Information
🧠 Tmeporary Notes
相同部分被减，噪声部分
会显著地减小噪声信噪比
📝 Class Notes
点操作（对比度增强——contrast enhancement）
引入
对比度增强（有时也称为辐射增强、直方图修正等）是一种最基本但非常有效的技术，用于优化图像的对比度和亮度，以实现可视化或突出特定 DN 范围内的信息。
让 X 代表数字图像， 是图像中第 i 行和第 j 列上任意一个像素的 DN。让 Y 代表通过函数 f 从 X 得出的图像， 是 对应的输出值。 那么，对比度增强可以用一般的形式表示： 。
这种处理方式通过函数 f 将单个输入图像 X 转换为单个输出图像 Y，使输出像素 的 DN 仅取决于相应输入像素 的 DN。 这种处理方式称为点操作。对比度增强是一种修改图像亮度和对比度，但不改变图像大小和纹理的点操作。
直方图修正和查找表（LUT）
让 x 代表图像 X 的 DN 级别，如所有 DN 值为 1 构成的集合为 ，所有 DN 值为 2 构成的集合为 ，每个 DN 级别的像素数 h(x) 称为图像 X 的直方图。
h(x) 也可以表示为某 DN 级别下 x 的像素数占图像 X 总像素数的百分比。
直方图可以很好地展示图像的对比度（延展程度）、亮度（高度）和数据分布（整体的数据变化趋势）。
每幅图像都有一个独一无二的直方图，但一般情况下并不是这样，因为直方图不包含任何空间信息。
点操作也称为直方图修改，因为该操作只改变图像的直方图，而不改变图像像素的空间关系。对于输入的 DN（x） 相同但位置不同的像素，函数 f 将产生相同的输出 DN（y）： 。
点操作下柱方图修正的原理：
整数图像数据线性拉伸前后的直方图 
当点运算函数 的梯度(斜率)大于 1 时，它是一个拉伸函数，可以增加图像的对比度；
当点运算函数 的梯度(斜率)小于 1 但为正值时，它是一个压缩函数，可以降低图像对比度；
当点运算函数的梯度小于 0 的时候，会发生图像色彩的翻转。
对于非线性点运算函数来说，它可以根据梯度来拉伸和压缩 DN 层的不同部分，这一点在后面有关对数和指数点运算函数的讨论中会有所说明。
在整数数字图像的实际情况中， 和 都是离散函数。给定一个点运算函数 y = f(x) ，图像 X 中的 DN 值 x 将转换为输出图像 Y 中的 DN 值 y，X 中 DN 值为 x 的像素数等于 Y 中 DN 值为 y 的像素数（这意味着转换前后 和 与坐标轴围成的面积是相同的）。
虽然拉伸图像直方图（右图）中的直方图条与原始直方图（左图）中的直方图条高度相同，但由于这些直方图条的间隔更宽，因此绘制的等效连续曲线直方图更宽更平。
使用查找表 (LUT) 可以更高效地执行点操作，即修改直方图。LUT 由输入图像 X 的 DN 值和输出图像 Y 中相应的 DN 值组成，如表所示。在应用点操作函数增强图像时，首先通过对输入图像 X 的每个 DN 级 x 应用函数 y=f(x)来生成 LUT，从而在输出图像 Y 中生成相应的 DN 级 y。
LUT 可以大大提高运算的速度，比起运算上万次得到结果，通过查表得到相应的结果显然更加高效。
LCE(线性对比度增强 —— linear contrast enhancement)
LCE 是最简单也是最有效的对比度增强技术之一。在此功能中，a 控制输出图像的对比度，b 修改整体亮度。
如果输出的 DN 范围大于输入的 DN 范围，LCE 可在不扭曲图像信息的情况下提高图像对比度。在这种情况下，LCE 除了扩大 DN 级的增量和沿图像 DN 轴移动直方图位置外，什么也不做。
- 交互式线性拉伸(interactive linear stretch)
根据用户的视觉判断，交互式地改变上述公式中的 a 和 b，以优化输出图像的对比度和亮度。
- 线性比例(Linear Scale) —— 适合用于将原先只有某一段 DN 值的图像扩展为全 DN 段。
根据输入图像 X 的最大值和最小值，自动将图像的 DN 范围缩放至显示系统的全动态范围（8 位）。
- 分段线性法（PLS——Piecewise linear stretch）
使用多个不同的线性函数拉伸输入图像的不同 DN 范围。PLS 是一种非常通用的点操作函数。 它可用于模拟无法用数学函数轻松定义的非线性函数。
通过分段线性法，可以将我们想要观测的 DN 值区段（比如我们想要观察 100~200 范围的 DN 值）用函数区域性的增大，将其他的 DN 值用函数截断或是减小。这种方法的灵活度比前面两种方法高。
通过 对数函数 和 指数函数 来增强对比度
对数函数
对数函数和指数函数互为逆运算。为了增强对比度，这两个函数以相反的方式修改图像直方图。对数函数和指数函数都会改变图像直方图的形状，并扭曲原始图像中的信息。
其中，a 控制对数函数的曲率，b 是缩放因子，用于使输出的 DN 在给定值范围内，而移位 1 则是为了避免对数函数在零值处失去意义。
如上图所示，在低 DN 值范围内，函数的梯度大于 1，因此会分散低 DN 值，原先比如 会被分散为如 由于分散前后面积是相等的，因此幅度值会减小；而在高 DN 值范围内，函数的梯度小于 1，因此会压缩高 DN 值。 因此，对数对比度增强会将图像直方图的峰值向右移动，突出输入图像中暗部的细节。
也就是说，原先图像中 DN 值比较小的像素特别多，但是经过对数变换后，像素的密度朝着 DN 值较大的方向靠近，相当于把原先暗部的 DN 值调高了，暗部变亮了，因此丰富了暗部的细节。
许多图像的直方图形式类似于对数正态分布。在这种情况下，对数函数会将这种直方图修正为正态分布的形状。
指数函数
这里，a 控制指数函数的曲率，b 是缩放因子，用于使输出的 DN 在给定的值范围内，而指数移动 1 则是为了避免幂次的零值，因为无论底数是多少，它的零次幂都是 1，这样的话进行转换就没有意义了 ，如果加上 1，那么 x 在等于 0 的时候也会发生变化，受到 b 的缩放作用。
作为对数函数的倒数，指数对比度增强通过分散高 DN 值和压缩低 DN 值来向左移动图像直方图峰值，从而增强亮部的细节，但代价是抑制暗部的色调变化，如上图所示。
直方图均衡化（HE）
直方图均衡化是一种增强图像对比度的方法，通过将图像的像素灰度值重新分布，使其更加均匀地分布在整个灰度范围内。理论上，这可以提升图像细节，使暗部更加明亮，亮部更加清晰。
HE 的关键点是找到将 转换为 的函数，其中 ，N 表示像素点的总数，L 表示转换后 y 的有效值范围，在灰度图像中通常为 0~255。
是 X 的累积均方函数，对于数字图像中的离散函数：
HE 对比度增强技术背后的理念是，图像的数据呈现应均匀分布在整个数值范围内。
然而，在现实中，HE 通常会产生对比度过高的图像。这是因为自然场景更有可能遵循正态（高斯）分布，也就是灰度值集中在中间的亮度范围。通过 HE 处理，原本集中在中间的灰度值被强制拉伸到两端，这可能会导致图像的对比度过高，产生不自然的视觉效果。人眼对图像的中间亮度（中灰度区域）的变化更为敏感，而对极亮（高灰度值）和极暗（低灰度值）的变化不太敏感。这是由于人眼对灰度的感知不是线性的，而是在中间亮度区域能够分辨更多的细节变化。因此，人眼在分辨中间亮度的细微灰度变化时比分辨极高亮度和极低亮度时更加敏感。
总的来说，自然场景中的亮度通常呈现某种正态（高斯）分布，大多数像素的亮度值集中在中间灰度范围，较少的像素分布在极亮或极暗的区域。正因为这种分布符合人眼的感知习惯，当 HE 强行拉伸灰度值时，会破坏这种自然的分布，导致对比度过高和视觉上的不适感。
从理论上讲，如果 是一个连续函数，就可以实现直方图均衡化。 然而，由于 是整数数字图像的离散函数，因此 HE 只能产生一个相对平坦的直方图，在数学上等同于均衡直方图，其中直方图条之间的距离与高度成正比。
图中横向曲线为直方图均衡化功能，实心直方图为原始直方图，均衡化后的直方图以之字形线条表示。
直方图匹配 (HM) 和高斯拉伸
直方图匹配是一种点操作，通过变换输入图像，使其直方图与数学函数或另一幅图像的直方图所定义的给定形状相匹配。它对图像对比和差分特别有用，其目的是为了使两幅图像在亮度分布上具有相似性，常用于多时相图像的对比、变化检测、图像融合等任务。如果比较中的两幅图像被修改为具有相似的直方图，那么比较就会更加公平。
HM 可以通过两次应用 HE 来实现。相同尺寸的图像在固定的输出 DN 范围内总是具有相同的均衡直方图，因此 HE 可以作为连接相同尺寸但直方图不同的图像的桥梁。
假设 z=f(x) 是将 转换为均衡直方图 的 HE 函数，而 z=g(y) 是将参考直方图 转换为相同的均衡直方图 的 HE 函数，则
将 LUT 用于实现均方匹配：
输入相同 DN 的 x 将转换为具有相同 z 值的输出具有相同 DN 的 y。如表所示，x=5 时，z=3；y=0 时，z=3。因此，输入 x=5 时，LUT 将转换为输出 y=0，以此类推。最终，输出图像 Y 的直方图将与参考直方图相匹配。
高斯拉伸：
如果参考直方图 是由高斯函数定义的：
HM 变换被称为高斯拉伸，因为变换后的图像具有高斯分布的直方图。
平衡对比增强技术(BCET)
这个技术是老师当年在英国攻读博士时写的一篇论文里提出的技术 👍🏾👍🏾。
色彩偏差是造成彩色合成图像效果不佳的主要原因之一。要消除这种偏差，用于色彩合成的三个波段必须具有相等的数值范围和平均值。平衡对比度增强技术（BCET）是解决这一问题的简单方法。
抛物线 BCET 函数：
系数 a、b 和 c 可根据输入图像 X 的最小值、最大值和平均值（l、h、e）以及输出图像 Y 的给定最小值、最大值和平均值（L、H、E）得出，如下所示：
BCET 利用从输入图像导出的抛物线函数，可以将图像拉伸（或压缩）到给定的值范围和平均值，而不改变图像直方图的基本形状。因此，可将用于色彩合成的多个光谱波段（如 RGB 或其他多光谱波段）调整到相同的值范围和平均值，以实现均衡的色彩合成，生成更自然的色彩组合。
BCET 的实际表现：
对比度增强中的截断（剪切）(cut-off clipping)
在数字图像中，少数像素（通常代表噪点）可能会占据直方图高低两端的较大数值范围。在这种情况下，为了有效利用显示设备的动态范围，在对比度增强中必须设置一个适当的截止点来截取直方图的两端。
剪切通常以图像像素总数的百分比来表示。例如，在图像直方图的低端和高端分别设置 1%和 99% 作为截断限值，然后对图像进行拉伸，使输出图像中的 DN 水平 < （其中 % ）处设为 0，DN 水平 > （其中 % ）设为 255（对于 8 位/像素/通道显示）。
交互式对比度增强技巧
对比度增强的一般目的是优化可视化效果。通常在经过相当复杂的图像处理后，您需要应用交互式对比度增强来正确查看结果。毕竟，图像是给你看的。
视觉观察永远是对图像质量最有效的判断。对于数字图像处理来说，这听起来不够专业，但这一黄金法则却非常正确！另一方面，直方图可以定量描述图像数据的分布情况，并能有效指导你提高图像的视觉质量。如前所述，对比度增强的全部工作就是修改直方图，下面的直方图修改指南可能会对你有所帮助。
- 充分利用显示系统的动态范围。在 8 位显示时，可将输入图像的实际界限指定为 0 和 255。在这里，百分比削波对于避免直方图两端出现较大间隙非常有用。
- 调整直方图，使其峰值接近显示范围的中心。对于大多数图像来说，峰值通常可以稍微向左倾斜，以达到最佳的可视化效果，除非图像以明亮的特征为主，在这种情况下，峰值可以向右倾斜。
- 点操作函数根据函数的梯度或斜率修改图像直方图。 如果梯度=1（斜率=45°），函数不做任何操作。 如果梯度>1（斜率>45°），函数会拉伸直方图。 如果梯度<1（斜率<45°），函数将压缩直方图。因此，通常的做法是使用斜率 >45° 的函数来扩展峰值部分，而使用斜率 <45° 的函数来压缩直方图两端的尾部。
问题测验 2
问题
我的回答
- 图像处理的点操作就是将原图像中的像素点 的 DN 值通过函数 f(x) 映射为 。
- 直方图修正是将图像中每个 DN 值对应的 通过某个函数 f(x) 映射为 ，这实际上与点操作的定义是匹配的，因此点操作又被称为是直方图修正；
- ; ; ；
- 如下图所示：
- 对数函数可以让图像的重心向右移动，暗部变亮，暗部得到增强；指数函数可以让图像的重心往左移动，亮部得到增强；
- 柱方图均衡是通过将图像的输入 直接变换为 ，其中 L 是输出的有效值范围，如果是灰度图像就是 0 ~ 255，那么 A 就是所有 DN 值的平均占比，转换的函数 ；HM 是通过对两幅图像分别运用 HE 的技术，将两幅图像都放在同一个 DN 值范围内进行比较就会具有可比性；
- BCET 利用的是抛物线函数来实现的；如何实现的其实有点没理解。
- 公式推导还没理解；
- 剪切就是将图像数据中的 DN 值过大或是过小的噪点给剔除，避免他们影响图像的整体表现。
gpt 的回答
2.9 问题
1. 图像处理中的点操作是什么，请给出数学定义？
点操作是图像处理中的一种技术，它在图像的每个像素上应用一个数学函数，改变像素值而不改变像素的位置。数学定义为 y=f(x)y = f(x)y=f(x)，其中 xxx 为输入像素值，yyy 为输出像素值，fff 为应用于每个像素的函数。
2. 使用图解解释为什么点操作也被称为直方图修改。
点操作也被称为直方图修改是因为这种操作通过改变图像中每个像素的值来直接影响图像的直方图分布。例如，增加像素值将使直方图向右移动，而减少像素值将使直方图向左移动，这种变化可以通过图解更直观地展示。
3. 给定以下点操作函数，从输入直方图推导输出直方图：
这里 gpt 的回答不好，可以看我的回答。
4. 尝试推导线性缩放函数。
线性缩放函数推导可以看我的回答。
5. 解释对数和指数函数如何在图像对比度增强上起作用。
对数函数将高亮度值压缩而对暗部细节进行展开，这有助于增强暗部细节。指数函数则相反，它能增强亮部的对比度，同时压缩暗部细节。这两种函数常用于调整图像的动态范围，使图像的细节更加清晰。
6. 如何实现直方图均衡化（HE）？HE如何用于实现直方图匹配？
直方图均衡化通过将图像的原始直方图转变为均匀分布的直方图来实现，从而提高图像的整体对比度。这通常涉及到计算累积直方图，然后根据累积直方图的分布调整每个像素的强度值。直方图匹配则是将一幅图像的直方图调整成另一幅图像的直方图，通常通过映射函数来实现这种调整。
7. BCET 函数使用什么类型的函数，如何实现平衡的对比度增强？
BCET（平衡对比度增强技术）使用的是抛物线函数，通过调整参数来优化图像的亮度和对比度，同时保持原有直方图的基本形状。平衡的对比度增强是通过精确控制输出直方图的均值和方差来实现的。
8. 尝试推导 BCET 函数中的系数 a, b 和 c。
BCET 函数形式通常为 。系数 a、b 和 c 的推导需要根据输入图像的统计特性（如均值、最小值和最大值）来计算，以确保输出图像的对比度和亮度达到预期的调整效果。GPT 也没推处理的过程，具体可以看老师的论文，DOI 为 10.1080/01431169108955241。(什么！你不知道怎么通过 DOI 查论文，去看👉🏾这篇文章👈🏾)
9. 什么是剪裁，为什么它对图像显示很重要？
剪裁是在图像处理中限制像素值到一个确定的范围内的过程，例如，将所有超出0-255范围的像素值分别设定为0或255。剪裁在图像显示中很重要，因为它可以防止数据溢出并确保图像数据适合显示设备的动态范围，从而避免图像失真。
❓ My Doubts
✔️ Question 1
My Question is:
什么是 TM 和 ETM+ ？TM band 1, TM band 2, TM band 3 这些指的是什么，总共有哪些 band？
My Answer:
TM（Thematic Mapper）和ETM+（Enhanced Thematic Mapper Plus）是美国陆地卫星系统（Landsat）上的传感器。TM是Landsat 5上的传感器，而ETM+则是Landsat 7上的改进版本。
TM的波段（band）指的是传感器能够接收的不同光谱范围，例如：TM Band 1 是蓝光，TM Band 2 是绿光，TM Band 3 是红光，TM Band 4 是近红外，TM Band 5 是中红外，TM Band 6 是热红外，TM Band 7 是短波红外。每个波段在遥感应用中有不同的用途，比如植被监测、水体分析等。
📌 SUMMARIZE
2024.9.25
这节课主要介绍了真彩色合成、假彩色合成、伪彩色图像以及点操作的知识。
真彩色合成指的就是原来的光谱带显示什么颜色就表现为什么颜色，即光谱带在红色范围的就显示为红色，绿色的显示为绿色，蓝色的为蓝色，这符合我们生活中看事物的习惯，但是会缺失红外波段的信息，因为我们人眼无法观测到；假彩色合成则是为了解决这个问题而产生的，它可以让近红外波段映射为红色，红色映射为绿色，绿色映射为蓝色，这种映射方式称为标准假彩色映射。但是需要注意，假彩色合成可以不采用标准的映射方式，具体映射规则可以自己设定。
点操作指的是将图像的每个像素点的 DN 值通过某种映射关系发生改变，对比度增强（CE）是一种最常见的点操作方法。对比度指的是一幅图像中亮部和暗部之间的差异程度，对比度越大，亮部和暗部差异就越大。优化图像的对比度是对比度增强的目标。
为了观察图像的对比度，我们引入了直方图。直方图的横轴为 x，表示的是 DN 值，直方图的纵轴是 x 对应 DN 值下的所有像素点与图像所有像素点的比值。因此直方图可以很好的观察到图像在不同 DN 值下像素的分布情况，观察图像的亮度、对比度。最简单的对比度增强的方法就是引入一个线性的中间函数 f(x)，将 作为输入，经过函数 f(x) 映射为 ，使得映射前后 ，同时 。因此可以通过调整 f(x) 斜率的大小来控制输出图像的对比度，当斜率是大于 1 的时候，图像延展，对比度增大；斜率大于 0 小于 1 的时候，对比度减小；斜率小于 0 的时候，图像颜色翻转。由于映射是通过 f(x) 函数完成的，因此可以在确定好 f(x) 后引入查找表 LUT 来提高对比度运算的速度，对于线性函数而言，也许速度的提升并不明显，但当函数越来越复杂后，查找表对于速度的提升是显著的。查找表可以根据输入的 x 很快确定输出的 y，其实就是提前存储一些常用的映射值，比如 f(x) = 2x，可以存放 x=1 → y=2，这样的映射对。
如果希望图像对比度有非线性的变化，可以使用指数和对数函数。指数函数可以将直方图的重心朝左移动，增强图像暗部的表现；对数函数可以将直方图的重心朝右移动，增强图像亮部的表现。
也可以通过直方图均衡的技术（HE）来实现图像对比度的增强。 它的作用就是将原先集中在某一段 DN 值的直方图延展到整个 DN 频段（如 0~255），让所有 DN 值的占比都是相近的。理论上来说可以同时提高图像暗部和亮部的表现，但实际由于自然场景中的图像更多呈现正态分布，符合人眼习惯使得 HE 处理后的图像对比度通常过高，让人看得不舒服。
但是 HE 技术还有另外一种用途 —— HM(直方图匹配)，它可以将两幅分布不同的图像都通过 HE 变换为分布均衡的图像，这样，他们的比较就会变得更加容易（因为有些图像是分布在 DN 值为 50~100 的，有些可能是 120~200 的，将他们都映射为 0~255 的是不是比较起来就容易了）。如果要将一幅图像与高斯分布进行比较，那么就可以将该图像与高斯分布的图像都映射为 0~255 的区间范围，这种变换比较方式就称为高斯拉伸。
还有一种对比度增强的技术 —— 平衡对比度增强技术（BCET），是老师研发的。这种技术可以解决彩色图像色彩偏差的问题，将多个光谱段的图像调整到合适的平均值，算法的具体细节不是太懂。
当图像的 DN 值范围主要集中在某一个 DN 区段的时候，可能会因为个别过高或是过低的 DN 值影响图像的对比度，造成图像变换的不准确，这时候就需要对图像进行截断操作，消除图像 % 的点以及 % 的点。
在增强图像的对比度的时候，具体要增强到什么程度需要通过我们的视觉观察，凭借我们的直觉感受，这种方法看似非常的不专业，但是却是一个黄金法则。图像最终处理出来是要给人看的，因此我们也要发挥身体本身的主观能动性调整图像对比度。
代数运算（第三章）
💡 Key Words
这里的关键词只是帮助大家看完右侧的笔记后回忆内容，不是跳转链接！！
- 图像代数运算的方式（像素）
- 图像加法 → 提高信噪比
- 图像减法 → 降低信噪比（权重）
- 图像乘法
- 遮蔽
- 调制
- 图像除法
- 指数 监督增强
- NDVI
- 氧化铁
- 粘土矿物
🔗 Relevant Information
📝 Class Notes
引入
对于多光谱或更一般的多层图像，代数运算，如四种基本算术运算（+、-、×、/）、对数运算、指数运算、sin 运算、tan 运算等，可应用于每个像素不同波段的 DNs，以生成新的图像。这种处理称为图像代数运算。代数运算是在每个像素的光谱带（或层）DN 之间逐个像素进行的，不涉及邻近像素。因此，它们可以被视为多图像点操作，定义如下：
显然，所有涉及代数运算的图像都应进行精确的核心套准。由于图像代数运算完全是基于像素到像素的运算，因此我们可以在下面的章节中进行概括性描述：让 同时表示第 i 个波段图像和属于 n 波段图像 X， ，的第 i 个波段图像的任意一个像素。 Y 表示输出图像和输出图像中的任何一个像素。与对比度增强不同，代数运算与位置相关，必须逐个像素进行。
图像加法
这一操作会对两幅或多幅图像进行加权求和：
图像相加的一个重要应用是降低噪声和提高信噪比（SNR）。假设 n 波段多光谱图像的每个图像波段都受到加法性噪声源的污染，噪声像素不太可能出现在不同波段的相同位置，因此波段 i 中的噪声像素 DN 将与其他 (n-1) 个波段中的非噪声 DN 进行平均。结果，噪声将被大大抑制。对于一个图像的 n 个副本，每个副本都被相同水平的随机噪声污染，那么这 n 个副本的总和图像的信噪比为：
这意味着，对于 n 个波段的多光谱图像，所有波段的总和可将信噪比提高约 倍。
图像减法（差分）
图像减法是从两幅输入图像中生成差分图像：
权重 和 对于确保均衡差分的执行非常重要。例如，如果 的亮度明显高于 的亮度，那么差分图像将以 为主，从而无法有效显示两幅图像之间的真实差异。
图像减法通常用于比较同一地区在不同时间拍摄的遥感图像，目的是识别变化（如土地利用变化、植被生长或减少等）。
将两幅同一地点的图像逐像素相减。例如，如果你有一幅图像A（时间 t1）和一幅图像B（时间 t2），你可以通过计算A - B得到一幅新图像。这个新图像中，像素值的变化可以指示出在这段时间内发生的变化。
- 如果某个像素的值为正，表示在t2时该区域的特征增强（如植被增加）。
- 如果是负值，表示特征减少（如城市扩展）。
- 零值表示该区域没有变化。
通过图像减法，可以有效地识别和分析变化，为环境监测、城市发展规划等提供重要依据。
减法是选择性光谱增强最简单、最有效的技术之一，也可用于变化检测和消除背景光照偏差。
不过，一般来说，减法操作会减少图像信息并降低图像信噪比。这很明显，因为图像减法在去除共同特征的同时，可能会保留两幅图像中的随机噪声。
为什么减法操作会降低图像信噪比
信噪比的降低有两个方面的原因： ① 信号功率降低； ② 噪声功率升高。
图像减法有时会降低信噪比的原因主要包括以下几点：
- 噪声叠加：每幅图像中通常包含随机噪声。当进行图像减法时，这些噪声也会被一并相减，可能导致有效信号被掩盖。例如，噪声在两幅图像中可能不同，相减后，噪声的影响可能会增加，导致信噪比下降。
- 差异放大：在相减过程中，原本较小的信号变化可能会被噪声放大。即使变化的信号很微小，但如果噪声水平较高，减法后的图像可能会显得变化不明显，信噪比降低。
- 图像对齐问题：如果两幅图像未能精确对齐，图像减法可能会引入额外的误差，导致有效信号的丢失和噪声的相对增大，进一步降低信噪比。
- 动态范围影响：减法操作可能导致部分像素值变为负值或接近零，这使得图像的动态范围受限，从而降低可用信息量和信噪比。
因此，在进行图像减法时，通常需要进行适当的预处理（如噪声过滤和图像配准）来提高信噪比，确保得到更可靠的变化信息。
灰度图像相减后，图像越亮的地方（正值）表示 DN 值相差越大。
图像乘法
公式表示：
这里的图像乘法是逐个像素进行的；在每个图像像素上，其波段 i 的 DN 值与波段 j 的 DN 值相乘。这与矩阵乘法有着本质区别。数字图像是一个二维数组，而不是矩阵。 乘法的应用之一是遮蔽。
例如，如果 是由 DN 值 0 和 1 组成的遮罩图像，那么图像 中与 中的 0 相对应的像素将变为 0（被遮罩掉），其他像素在乘积图像 Y 中保持不变。
乘法的另一个应用是使用一个图像对另一个图像进行调制。例如，通过使用全色图像（强度分量）对分类图像的三个颜色分量（红、绿、蓝）进行调制，可将地形特征添加回彩色编码分类图像，如下所示：
- 从彩色编码分类图像中生成红色 (R)、绿色 (G) 和蓝色 (B) 分量图像。
- 使用相关的全色图像 (I) 对 R、G 和 B 分量进行调制：R × I、G × I 和 B × I。
- 使用 R × I、G × I 和 B × I 进行色彩合成。
图像除法
图像分割是一种非常流行的技术，被称为比率（Ratio）。该操作定义如下：
在图像除法处理中，需要一定的保护措施，以避免数字除以零时出现溢出。一个常用的技巧是将分母图像的数值范围上移 1 以避免零。
比率图像 Y 是实数图像，而不是整数图像。如果 和 都是 8 位图像，Y 的最大值范围可能是 0、[1/255, 1]、（1, 255]。[1/255，1] 的取值范围可能与更宽的取值范围（1，255）包含同样多的信息！ 由于数值范围 [1/255, 1] 中记录的信息可能被压缩成几个 DN 级，造成细节丢失，而线性拉伸会放大这种压缩效应，可能导致高达 50% 的信息损失。
我们可以将比值视为从直角坐标系到极坐标系的坐标变换，那么
比例图像 Y 实际上是角度 α 的切线图像。比例图像的信息由角度 α 在值范围 [0, α/2] 内均匀表示，而不是在值范围 [0,255] 内均匀表示。因此，为了实现 "公平" 的线性比例拉伸以显示比例图像，最好将 Y 转换为 α。线性缩放的方法如下：
但上述变换并不总是必要的。比率的设计通常是为了突出作为高比率 DN 的目标特征。在这种情况下，直接拉伸比率图像 Y 可以更好地增强目标特征，但代价是丢失低比率 DN 所代表的信息。从这个意义上讲，重要的是要注意到，例如，虽然比率 TM1/TM3 和 TM3/TM1 互为倒数包含相同的信息，但它们在数字图像显示的线性比例后是不同的！请记住，在设计比例时，一定要确保目标信息在比例图像中处于高值。
比率是选择性增强光谱特征的有效技术。 从不同波段对得到的比例图像通常以 RGB 系统显示，以生成比例彩色合成图。例如，TM5/TM7（蓝色）、TM4/TM3（绿色）和 TM3/TM1（红色）的彩色合成图可以突出显示蓝色的粘土矿物、绿色的植被和红色的氧化铁。许多指数，如归一化差异植被指数（NDVI），都是基于差分和比率运算开发的。
在给定的太阳辐射入射角度下，陆地表面接收到的辐射能量取决于陆地表面与入射辐射之间的角度。因此，陆地表面的太阳光照度随地形坡度和倾斜度的变化而变化，从而产生地形阴影。多光谱图像不同光谱波段的 DN 与地表接收的太阳辐射及其光谱反射率成正比。假设 DN(λ) 表示光谱波段 λ 图像中像素的数字编号，则
其中 和 是光谱带 λ 的光谱反射率和辐照度。辐照度是在与像素对应的陆地表面接收到的太阳辐射。
假设一个面向太阳的陆地表面像素接收到的辐射能量是另一个远离太阳的陆地表面像素接收到的辐射能量的 n 倍，那么这两个像素在光谱带 i 和 j 中的 DNs 如下。
地形被抑制地形通常占多光谱图像信息的 90% 以上，因此比率图像会大大降低信噪比。
图像除法和图像差分有什么区别
回答来源于 gpt。
图像减法和图像除法是遥感图像处理中常见的两种代数运算，它们在处理方式、应用场景和效果上存在显著差异。以下是二者的对比：
1. 图像减法（Image Subtraction）
图像减法是指对两幅图像的对应像素值进行逐点相减，通常用于检测两幅图像之间的变化。
特点：
- 计算公式： ，其中 A(i, j) 和 B(i, j) 分别是图像A和图像B在像素位置 (i, j) 的灰度值，结果图像 D(i, j) 表示两者的差异。
- 应用场景：常用于变化检测，例如在多时相图像之间检测变化区域，如城市扩张、自然灾害前后地貌的变化等。
- 优点：
- 突出变化：图像减法能够明显显示两幅图像之间的差异区域，适合快速定位发生变化的部分。
- 简单直观：计算过程简单，结果易于理解和解释。
- 缺点：
- 噪声敏感：图像减法对噪声非常敏感，任何微小的噪声差异都会被放大，导致误差增加，进而影响信噪比（SNR）。
- 光照变化影响大：减法无法消除光照、天气等外部因素引起的变化，这些非真实的变化可能会干扰结果。
2. 图像除法（Image Division, Ratioing）
图像除法是指对两幅图像的对应像素值进行逐点相除，通常用于消除外部因素的影响，突出特定特征。
特点：
- 计算公式： R(i, j) = \frac{A(i, j)}{B(i, j)} ，其中 A(i, j) 和 B(i, j) 是两幅图像在像素位置 (i, j) 的灰度值。
- 应用场景：常用于光照和地形的校正，如植被指数（NDVI）等特征提取，通过比值消除光照或地形变化引起的亮度差异。
- 优点：
- 消除光照和地形效应：比值法通过相除操作可以削弱由于光照、地形等外部因素带来的影响，从而突出图像中目标物体的相对差异。
- 增强目标物体的对比度：能够突出图像中特定目标物体的特征，尤其在多光谱图像中，用于植被、矿物等分类。
- 缺点：
- 零值问题：当除数图像中存在像素值为零的情况时，计算无法进行，可能导致异常值或计算失败。
- 信息压缩：由于输出结果通常在很小的数值范围内（例如 [0, 1] ），进行线性拉伸时可能丢失部分细节信息。
- 处理速度较慢：比减法复杂，计算时间和资源占用较大。
总结：
操作 | 图像减法 | 图像除法 |
应用 | 变化检测、差异分析 | 光照、地形效应校正，特征提取（如NDVI） |
优点 | 突出变化，简单直观 | 消除光照、地形影响，增强目标物体的对比度 |
缺点 | 对噪声和光照变化敏感，误差容易被放大 | 存在零值问题，数值压缩可能导致信息损失 |
适用场景 | 时间序列变化检测，如灾害监测，城市扩展等 | 植被指数计算，地表物质分类，环境分析 |
图像减法适合检测图像之间的变化，易于操作但对噪声敏感；而图像除法常用于消除光照和地形影响，但计算复杂且可能存在零值问题。
指数推导和监督增强
代数运算的无穷组合可以从基本算术运算和代数函数中推导出来。要设计有意义和有效的组合运算，必须了解目标的光谱特性。根据光谱研究或物理模型组成的用于增强特定目标的公式被称为指数，如 NDVI。 指数可被视为一种有监督的增强。在此，我们简要介绍几种基于 Landsat TM/ETM+ 影像数据的常用指数。 您可以根据光谱分析为特定的图像处理任务设计自己的指数。
植被指数
由于叶绿素的光谱特性，健康植被在近红外有一个高反射峰，在红色有一个吸收谷。 如果我们能看到近红外，植被就会是近红外而不是绿色。红色波段和近红外波段之间的这种显著差异被称为 "红边"，它是一种独特的光谱特性，使植被与所有其他地面物体截然不同。显然，植被的这一光谱特征可以通过差分和比值运算得到有效增强。
氧化铁比率指数
氧化铁是自然环境中最常见、分布最广的矿物之一。它呈现红色或红褐色，是红色高反射率和蓝色高吸收率的结果。 地表典型的红色特征，如红色土壤，与氧化铁密切相关。我们可以利用红色和蓝色光谱带图像之间的比率来增强氧化铁。
地表典型的红色特征，如红色土壤，与氧化铁密切相关。我们可以利用红色和蓝色光谱带图像之间的比率来增强氧化铁。
TM粘土矿物比指数
粘土矿物是蚀变的有效指示物，因此对遥感矿产勘探非常有用。黏土矿物区别于未蚀变岩石的典型光谱特征是，黏土矿物在2.2 μm (TM波段7)附近光谱范围内具有强吸收，而在1.66 μm (TM波段5)附近光谱范围内具有高反射。因此，黏土矿物一般可以通过这两个SWIR波段的比值来增强。
总结
在本章中，我们学习了图像之间的简单算术运算，并讨论了它们在图像光谱增强中的主要应用。关键是要理解所有的图像代数运算都是基于点的，并且在不同图像的对应像素之间进行，而不涉及相邻像素。因此，我们可以把代数运算看作是多图像点运算。
图像代数运算的一个主要应用是对多光谱图像中预期目标的光谱特征进行选择性增强。为此，研究这些目标的谱性质是组成有效代数运算的必要条件，而不是盲目尝试。这个过程，从谱分析到组成代数公式，通常被称为监督增强。如果这样的公式不依赖于图像，并且可以广泛使用，则称为指数图像，例如 NDVI 就是众所周知的植被指数图像。
问题测验 3：
问题
问题回答
- 因为图像的算术运算是针对多图像的每个像素的运算，比如图像的乘法，虽然数字图像是一个二维数组，但它的乘法却不像是矩阵乘法，而是对应像素相乘。因此多图像的点操作也可以称为是图像的代数运算。 。
- 因为图像的噪声是随机分布的，有些像素有噪声的干扰，有些像素没有。将多幅定点图像相加并取均值相当于是将多图像的每个像素相加然后取均值，由于多幅图像在同一个像素点都产生噪声的概率比较小，因此像素点相加取均值后噪声相当于是被均分到了多幅图像中，每幅图像的信噪比就提高了。假设有 n 幅图像，那么信噪比就会提高 倍。
- 图像差分是将两幅图像的每个像素点的 DN 值都相减，可以很直观的看出两幅图像的不同，但是会降低图像信噪比； 图像除法是将两幅图像的每个像素点的 DN 值相除。上课的时候这部分没有太懂，感觉这两种方法是差不多的。 到时候看 gpt 的回答。
- 图像减法中权重可以均衡两幅图像的差分，让两幅图像的相减更加公平，如亮度更高的图像更容易影响亮度更低的图像，因此需要对他们进行权重处理。
- 因为图像的噪声是随机分布的，图像减法会将图像中相同的部分减去，而图像的噪声却很可能保留下来，因此图像减法会降低信噪比。
- 图像的乘法与其他运算的原则是一样的，是将多图像对应像素的 DN 值相乘，图像乘法通常用于图像的遮蔽和图像的色彩调制。
- 比例图像的数值范围是实数而不是整数。两幅互为比例的图像包含的信息是相同的，但他们的线性比例是不同的。
- 就是 图像分割部分 的极坐标图。
- 原理如下图所示：
- NDVI 是 Normalized Difference Vegetation Index 的缩写，指的是归一化植被差异指数。差分和比率的不同之处不知道😳。
- 可以通过代数运算增强氧化铁和粘土指数的观测，具体的设计和功能参见对应部分的内容。
- 🤐。
gpt 回答
根据图像中的问题，结合遥感数字图像处理中的代数运算相关知识，以下是每个问题的简要回答思路：
- 图像代数运算为何也称为多图像点运算？
- 因为它涉及对多幅图像的对应像素进行逐点操作，常见运算包括加法、减法、乘法、除法等。数学定义为：对两个图像A和B，结果图像C的像素为 ，其中 代表运算符。
- 图像加法如何提高图像的信噪比？
- 图像加法相当于多次采样同一场景，能够平均掉随机噪声。拍摄9幅图像后进行加法，信噪比提高的倍数为 ，因此信噪比是单幅图像的3倍。
- 描述图像差分（减法）和比值（除法）操作的区别与应用。
- 差分用于变化检测，突出变化区域；比值常用于消除光照影响，增强特定特征。差分易受噪声影响，而比值能选择性增强图像中特定区域的特征，效率和应用场景各有不同。
- 权重在图像减法中的重要性是什么？
- 权重用于平衡不同波段或不同图像的贡献，确保结果更准确。建议预处理包括辐射校正和几何校正，以确保图像的配准。
- 为什么图像差分会降低信噪比？
- 因为在减法过程中，噪声会叠加或放大，从而导致信号相对于噪声的比例降低。
- 描述图像乘法及其主要应用。
- 图像乘法用于增强特定区域或抑制不需要的信息，如大气校正和阴影处理。
- 解释比值图像的取值范围特点，两幅互为倒数的比值图像是否包含相同信息？
- 比值图像的值范围取决于参与运算的图像像素值，两幅互为倒数的比值图像在视觉上不同，但能包含相同的信息，因其表达相对变化。
- 利用图描述比值图像作为坐标系转换。
- 这是极坐标与直角坐标的转换，如公式 对应于角度变换，用以消除地形效应或光照影响。
- 解释地形抑制原理。
- 通过比值运算减轻由于地形起伏造成的辐射差异，常用来提高植被指数或水体分析的准确性。
- 什么是NDVI？
- NDVI（归一化植被指数）通过比值运算检测植被健康状况，常用公式为 ，利用红外和红光波段的比值反映植被覆盖度和活跃性。
- 描述TM或ETM+铁氧化物和黏土指数的设计与功能。
- 铁氧化物和黏土指数用于探测地表矿物分布，铁氧化物指数结合波段 5 和波段 3，而黏土指数则结合波段 7 和波段 5。
- 尝试类似NDVI的方法来增强铁氧化物和黏土矿物，并比较相应的比值指数。
- 比值指数能更好地提取矿物信息，原因在于比值操作能消除部分环境和辐射效应，从而突出目标物质的特征。
📌 SUMMARIZE
2024.9.26
本节课主要讲解了数字图像中的代数运算，通过这些代数运算可以实现指数图像，即监督增强。每种图像的代数运算都有各自的特点和用途。
过滤和邻域处理（第四章）
💡 Key Words
这里的关键词只是帮助大家看完右侧的笔记后回忆内容，不是跳转链接！！
- 领域处理
- 傅里叶变换 → 滤波器
- 卷积定理 → 图像卷积
- 低通滤波器 → 平滑
- 均值滤波器→模糊
- 高斯滤波器→模糊
(边缘保护)
c. 中值滤波器
d. 自适应中值滤波器
e. 多数滤波器
- 高通滤波器 → 图像增强
- 梯度滤波器
- Prewitt 滤波器
- Sobel 滤波器
- 拉普拉斯运算滤波器（边缘锐化滤波器）
- 中心像素 DN 值对锐化的影响
🔗 Relevant Information
📝 Class Notes
引入
滤波是数字图像处理中一个非常重要的研究领域。所有的滤波算法都涉及所谓的 “邻域处理”，因为滤波是根据邻域像素之间的关系进行的，而不是像点操作那样根据单个像素进行的。数字滤波可用于增强被称为 “线状 ”的地质结构，这些结构可能代表断层、岩脉或岩穴等。它还可以增强图像纹理，用于岩性判别和排水模式分析。在土地利用研究中，滤波可以突出城市区域、道路系统等的纹理。在一般可视化方面，滤波被广泛用于锐化图像。不过，在使用滤波图像时必须谨慎，因为滤波并不能 “诚实 ”地保留原始图像中的信息。建议在使用滤波图像时，参考彩色合成图像或黑白单波段图像进行解释。
由于图像中的像素坐标与点操作无关，因此下标 ij 与处理无关，可以忽略。然而，对于滤波和邻域处理，像素坐标是最相关的，从这个意义上说，我们将图像视为一个二维（2D）函数。因此，在本章介绍滤波的基本数学概念时，我们按照惯例将图像以及图像列 x 和行 y 上的任意一个像素表示为二维函数 f(x,y)。另一方面，为了简便起见，在描述某些滤波和算法时，仍会使用的表达式。数字滤波可以通过基于空间域卷积概念的 “盒式滤波器 ”或频域傅里叶变换（FT）来实现。在遥感的实际应用中，基于卷积的盒式滤波器因其计算效率高、结果可靠而最为有用。傅里叶变换清楚地解释了滤波的物理和数学含义，对于理解卷积原理至关重要。
傅里叶变换：了解图像频率滤波
如下图所示，图像中的信息可被视为像素 DNs 的空间变化或不同频率空间信息的集合。平滑的阶调变化是低频信息，而尖锐的边界则代表高频信息。
给定图像 f(x,y)，其中 x 和 y 是像素位置的空间坐标，第一个镜头执行 FT，将其前焦平面上的 f(x,y) 转换为其后焦平面上的傅里叶变换 F(u,v)，即频率 u 在水平方向和 v 在垂直方向的频率功率谱。然后，第二个镜头进行 IFT 变换，将前焦平面的 F(u,v) 变换回后焦平面的图像，但 f(-x,-y) 要旋转 180°。如果在 FT 镜头的后焦平面上放置一个滤波器（遮罩）H(u,v)，以遮挡 F(u,v) 中特定频率的信号（相当于操作 F(u,v)H(u,v)），则会产生滤波图像 g = f(-x,-y)*h(x,y)（旋转 180°）。
总之，基于傅里叶变换的滤波有三个步骤：
- 傅里叶变换 (FT) 将图像转换到频域；
- 通过滤波器去除或改变特定频率的数据；
- 反傅里叶变换 (IFT) 将滤波后的频谱转回空间域，生成滤波后的图像。
在 FT 频谱中，频率从频谱平面中心的零频率开始上升，向频谱平面边缘的频率越来越高。
FT 和 IFT 的数学定义：
图中的 C2D 指的是 continuous → discrete； D2D 指的是 distcrete → discrete。
假设 f(x, y) 是输入图像，F(u, v) 是 f(x, y) 的 2D 傅里叶变换，它们的 2D FT 和 IFT 是：
FT 和 IFT 的操作基本相同，但一个是从图像域到频域，另一个是从频域到图像域。
卷积运算：
傅里叶变换的一个重要性质被称为卷积定理。它指出，如果 F 和 H 是函数 f 和 h 的傅里叶变换，那么卷积的傅里叶变换 等于 F 和 H 的乘积。
这是基于傅里叶变换的滤波技术的关键概念。F 是图像 f 的空间信息的频率呈现。如果 H 是一个滤波函数，用于改变特定频率的功率或使其为零，那么第二个公式就会执行滤波，改变或去除这些频率，并生成滤波后的图像 。
图像滤波的卷积概念：
卷积核中的每个像素使用像素方格左下角点的坐标表示。
根据卷积定理，使用傅里叶变换进行图像滤波等同于图像 f(x,y) 与函数 h(x,y) 之间的卷积，函数 h(x,y) 通常称为点展函数（PSF）。
PSF 点展函数
点扩散函数（PSF，Point Spread Function）最开始是描述光学系统如何响应于一个点光源的函数。在遥感图像处理中，PSF 用于量化系统的成像质量，影响图像的清晰度和细节。它帮助理解图像模糊的来源，并在图像复原和处理时起着重要作用。
二维卷积的定义如下：
如果 PSF h(x,y) 的非零范围在一个维度上是 (-w，+w)，在另一个维度上是 (-t，+t)，那么：
在数字图像滤波中，w 和 t 是滤波核在水平和垂直方向上的半径。
滤波后的图像像素 g(x,y) 是由输入图像像素 f(x,y) 周围的邻域像素 f(u,v) 相加得出的，加权值为 h(x-u,y-v)。根据卷积定理，滤波器核或 PSF h(x,y) 实际上是频率滤波器 H(u,v) 的 “图像”。滤波器核 h(x,y) 中的数字是对 f(x,y) 邻域求和的权重。对于整个图像，卷积滤波是通过逐个像素移动滤波器内核，将卷积公式应用到被滤波图像的每个像素上。虽然内核大小可以是奇数也可以是偶数，但为了确保滤波过程的对称性，奇数更可取。偶数大小的内核会导致滤波后的图像出现半像素偏移。常用的滤波核大小有 3×3、5×5、7×7 等。也可根据需要使用矩形内核。
卷积是图像域或空间滤波器的理论基础，但许多空间滤波器的设计并不一定基于卷积的数学定义，而是基于邻域关系。
低通滤波器（平滑）
所谓平滑就是让图像的每个像素值与周围像素的差异不会太大。使用卷积核对图像卷积的过程实际上就是滤波的过程，因此卷积核可以相当于是滤波器。
平滑滤波器旨在去除高频信息并保留低频信息，从而以降低图像中的细节（高频部分存放了图像的细节，使得图像边缘更加锐利）为代价来减少噪声。下图显示了一个典型的低通滤波器H(u,v)和相应的 PSF H(x, y)。大多数用于平滑的卷积核滤波器都涉及核内像素的加权平均。核值越大，保留的低频信息越少。
“核值”指的是卷积核中每个像素的权重。这些权重决定了在进行卷积操作时，输入图像中对应像素对输出结果的影响。核值越大，意味着该像素在滤波时对结果的贡献越大，从而减少低频信息的保留，导致图像变得更平滑。
均值滤波器（Mean Filter）：
如图所示，图像的平滑处理使图像变得更加模糊，因此后面会介绍其他的滤波器改善这个问题。
均值滤波器指的就是卷积核中所有的核值均为 1 的滤波器，之所以是均值滤波，是因为这种滤波器施加在图像上做卷积相当于是把图像中的每个像素与周围的像素值相加后取平均。
图中的 3x3 mean filter 和 9x9 mean filter 指的是 3x3 的均值滤波器和 9x9 的均值滤波器，对于3x3 mean filter ，核矩阵的所有值都是 1，总和是 9，所以前面的系数是 。9x9 的总和是 81，所以前面的系数是 。
卷积和前面的系数是用于归一化的，归一化的目的是在滤波后保持图像的亮度平衡。这样，滤波后的图像不会变得更亮或更暗，而是仅仅平滑了图像细节。
将卷积核应用于图像的过程，就相当于是对图像中的每个像素与像素周围九宫格范围内（依据卷积核而定）的像素的 DN 值加权求和后取平均，使得图像中每个像素都与周围的像素值更接近，也就是图像变得平滑了。
高斯滤波器（Gaussian Filter）：
图中的 x 和 y 都是以卷积核中心为原点表示的相对坐标，但不知道为什么，我计算 的核值，结果是 0.798，上面卷积核中所有的核值的总和接近于 1.
边缘保护的低通滤波器：
图中 3x3 的卷积核的典型值是 5，选取 4 个最接近的。 
基于平均值的平滑处理可以有效地消除噪声像素，因为噪声像素与其周围像素的 DN 值往往截然不同，但这一过程会去除高频信息，从而使图像变得模糊。因此，"边缘保留平滑 "技术成为滤波的一个重要研究课题。
K Neraest Mean Filter：
这个滤波器是一个非线性滤波器，它的主要特点是对一个像素的值进行更新时，并不是简单地取卷积核窗口内所有像素值的平均，而是只选取与该像素值最接近的 K 个像素，然后计算这 K 个像素的平均值，作为新像素的值。对于 3x3 的卷积核，k 一般取 5.
这里需要注意：
K Nearest Mean Filter 在上面的描述中就已经和传统的滤波器是不一样的了，传统的滤波器是需要事先设置卷积核的大小，同时设置卷积核中核值的大小；而 K Nearest Mean Filter 只需要设置卷积核的大小，不需要填充核值，它的计算不是简单的核值与像素值相乘后加权求和，而是直接让像素值与周围像素值作差后求和平均。
滤波器的工作步骤如下：
- 选择卷积核窗口：通常是一个 3x3 或者 5x5 的窗口。比如说对于 3x3 的窗口，中心像素是当前需要更新的像素，窗口包含该像素及其周围的 8 个邻域像素。
- 计算距离：对于当前窗口内的每一个像素，计算它与中心像素的 DN 值之差。
- 选取 K 个最接近的像素：根据差值的大小，选择与中心像素差值最小的 K 个像素。这里的“最接近”指的是这些像素的值与中心像素的值最接近。
- 计算平均值：将选取的 K 个像素值求平均，并将该平均值赋给中心像素。
下图是两个使用均值滤波器的示例：
图中中心像素值 0 与 54、55、57、58 最接近，因此是这 4 个像素值与 0 求和后平均。
中值滤波器（Median filter）：
上图还显示了一种的替换卷积核中间值的方法，就是将卷积核中的 9 个进行排序后，取大小位于中间的像素值替换原来位于卷积核中心的像素值。
在内核窗口(例如3x3)中，将图像 X 的像素 重新分配给其相邻像素(包括其本身)的中值 DN。
自适应中值滤波器（Adaptive median filter:）：
自适应中值滤波器是根据中值滤波器的基本原理设计的，方法如下:
首先，对于卷积核窗口内的图像像素值，按照上面三个取值方法取出像素值，第三个取值方法就是取出中心像素值本身。
将第一种取值方法下的五个像素值取出从小到大排序后，取出其中位数作为第一种取值方法下的像素值 M1；
第二种取值方法与第一种相同，仍然是将五个像素值取出排序后，将其中的中位数作为第二种取值方法下的像素值 M2；
第三种取值方法取出的像素值记为 M3;
将三种取值方法得出的像素值 M1、M2、M3 按从小到达排列后，取出其中的中位数替换卷积核窗口中心像素的 DN 值。
上图显示了自适应中值滤波器的两个示例。
模式(多数)过滤器（Mode (majority) filter）：
这是一个相当民主的过滤器。一个像素被重新赋值为邻近像素中数量最多的 DN 值。该滤波器基于内核中像素的计数而不是数值计算来执行平滑。因此，它适用于平滑非顺序数据(符号)的图像，如分类图像。对于3x3内核，建议多数的数量定义为 5。如果在内核窗口中没有发现多数，则窗口中的中心像素保持不变。
上图是一个简单的例子，图中有 6 个 DN=6 的像素，因此中心 DN 值 2 被替换为6。对于分类图像，该窗口中的数字是类号，其含义与类符号A、B和C没有区别。如果我们使用均值滤波器，则窗口中DN的平均值为5.3。类 5.3 在分类图像中没有意义！因为分类图像中的每个类都是离散的整数值，不会是连续的值。
高通滤波器（图像增强）
图像中的边缘和纹理是典型的高频信息。高通滤波器去除低频图像信息，从而增强边缘等高频信息。下图说明了典型的高通滤波器 H(u, v) 和相应的 PSF h(s, v)。
梯度和拉普拉斯运算的定义：
梯度和拉普拉斯运算的公式 
一阶和二阶导数的几何意义。
最常用的边缘增强滤波器基于一阶和二阶导数或梯度和拉普拉斯算子。
这两种类型的高通滤波器以不同的方式工作。梯度是像素 f(x, y) 处的一阶导数，并且作为 DN 变化率的度量，它是表征像素周围的 DN 斜率的最大幅度和方向的向量。拉普拉斯算子作为 f(x, y) 的二阶导数，是度量梯度的变化率的标量。简单地说，拉普拉斯算子描述了斜率的曲率，但不描述其大小和方向。
如下图所示，平坦的 DN 斜率具有恒定的梯度，但拉普拉斯值为零，因为平坦斜率的变化率为零。
对于曲率恒定的斜率（圆弧），梯度是一个变量，而拉普拉斯算子是一个常数。
只有对于曲率变化的斜率，梯度和拉普拉斯算子都是变量。
这就是为什么拉普拉斯算子抑制了除尖锐边缘之外的所有图像特征，其中 DN 梯度急剧变化，而梯度保留边缘以及斜率信息。
梯度滤波器：
梯度滤波器总是成对产生 x 分量（gx）和 y 分量（gy）或对角线方向的分量。
梯度的大小 和方向 可由 gx 和 gy 计算得出：
如果将 应用于数字高程模型 (DEM)，则在生成梯度图的同时，还能生成地形的高宽比图。
上图中的 表示的是水平梯度滤波器的卷积核，
0, -1, 1 意味着在水平方向上，该滤波器会对相邻的像素进行加权求和。在水平方向上当前像素值 I(x,y) 的权重是 0 ，左侧像素 I(x−1,y) 的权重是 1。右侧像素 I(x+1,y) 的权重是 1。（至于为什么是这样反人类的表示，而不是 好像是学术上的习惯？）这个操作等价于计算图像在水平方向上的差值（一阶差分），即 。
也是同理，只不过是垂直方向上的一阶差分，等价于 。
将 和 的值都表示出来后，就可以通过公式 公式来计算中心像素点的取值了。
计算出来后， 的值也可以进行计算，但是它在原来的图像中不会表现出来，只是用于我们对图像进行分析， 的存在可以帮助我们判断图像边缘的变化方向，有利于后期绘制图像的梯度图或是用于图像的边缘增强，即抑制非边缘方向的噪声，增强清晰度。
上图是经过梯度处理的图像，可以看到图像中低频成分都被消除了，只留下了原图中的边缘部分和纹理。
该图像中还介绍了 Prewitt filter 和 Sobel filter，它们的原理都是一样的，图中滤波器的卷积核中的值是核值，不是图像像素值，核值是事先就确定好了的。可以看到，Prewitt 滤波器 和 Sobel 滤波器 的卷积核都有四种形式，分别表示水平方向上的差值、“右下-左上”（135度）对角线方向的差值、垂直方向的差值以及“右上-左下”（45度）对角线（也叫反对角线）方向的差值。
通过四个方向上的差分来综合判断中心像素值的取值，中心像素的值是通过 来计算的。
拉普拉斯运算滤波器：
作为二阶导数，我们可以将拉普拉斯算子视为梯度的差。
Laplacian由两部分组成：x 方向和 y 方向的二次偏导数。
虽然操作叫做拉普拉斯运算，但其实公式却是非常的简单的，就是中间的像素值减去两侧的像素值而已，最终的 就是将前面的两个差值相加。
一般来说，我们可以将栅格图像数据的拉普拉斯滤波视为一个像素 f(x, y) 与其相邻像素 之间所有差值的求和。
上图的公式拿第一个滤波器举例就是
将拉普拉斯滤波器的中心权重增加k相当于将原始图像的k倍加回拉普拉斯滤波图像。得到的图像与原始图像相似，但具有锐化的边缘，这种滤波器称为边缘锐化滤波器。
总结
图像滤波是去除特定频率的图像信息的过程，它是通过傅里叶变换在频域中进行的信号处理，基于卷积定理，基于傅里叶变换的滤波可以在图像域中进行，它是通过核滤波器的邻域处理来实现的，具有简单和处理效率高的优点。
低通滤波器主要用于平滑图像特征和去除噪声，但通常以降低图像的空间分辨率（模糊）为代价，为了在去除随机噪声的同时使分辨率的降低最小，已经开发了各种边缘保持滤波器，例如自适应中值滤波器。
有两种不同类型的高通滤波器：梯度滤波器和拉普拉斯滤波器。
梯度给出了DN斜率的测量值，是一个向量，梯度滤波器以正交对的形式定向呈现，用于方向增强。
拉普拉斯作为二阶导数，是衡量DN斜率变化率的标量。图像边缘特征的特征是显著的DN斜率变化，因此拉普拉斯算子对于边缘增强和提取非常有效。
问题测验 4
问题
问题回答
- 4f 图像滤波器会先将图像从时域映射到频域且图像内容翻转，再将图像从频域映射回时域且图像内容翻转；以傅里叶变换为基础的图像滤波利用的是卷积定理来实现的，对图像进行卷积相当于是对图像和滤波器都进行傅里叶变换后在频域的相乘。
- 卷积定理就是图像在时域的卷积等同于图像在频域的相乘，数字图像滤波是通过卷积核与图像像素进行卷积完成的，将卷积核中的每个元素与图像像素相乘后加权求和的过程就是图像在频域中通过滤波器滤波。
- 卷积核的中心像素会从图像域中的每个像素点上移动，每次移动时都会做一次加权求和的操作。
- ;
- 数字图像中的低通滤波就是平滑图像的像素值，去除图像中的高频成分，只留下低频成分。如均值滤波器中核值都是 1 ，高斯滤波器中的核值是通过高斯函数计算出来的。
- 均值滤波器会让图像变得模糊，而边缘保护的滤波器会让图像在平滑滤波的同时保留较高的分辨率。
- 计算的结果如下：
- 多数滤波器，因为多数滤波器的原理就是分类。比如色彩图像的滤波？色彩图像的每个像素值是用字母表示的。
- 高通滤波器就是消除高频分量，保留低频分量的一种滤波器。
- 这个不想写了，在上面的笔记中有。
- 梯度滤波器处理的更多的是方向的边缘性增强，而拉普拉斯滤波器更多的是边缘的锐化。
- 可以使用 Sobel 滤波器，坡度大小就是 ，坡度方向就是 .
- 这个不知道。
- 边缘锐化的滤波器就是中心值权重很大的拉普拉斯滤波器。可以提取图像的地形图？
gpt
1. 使用图解说明 4f 光学图像滤波系统并解释基于傅里叶变换的图像滤波原理
在 4f 系统中，图像经过两个透镜，透镜之间的距离为焦距 f 。输入图像通过第一个透镜进行傅里叶变换，得到频率域表示。中间的空间滤波器用于修改傅里叶域中的频率成分（高频或低频过滤）。然后，经过第二个透镜反向傅里叶变换，恢复到空间域，生成处理后的图像。滤波原理基于通过傅里叶变换将图像转化为频率域，在频域中操作滤波后，再逆变换回到空间域。
2. 卷积定理及其在数字图像滤波中的重要性
卷积定理表明，空间域中的卷积等同于频率域中的乘积。这意味着我们可以通过快速傅里叶变换 (FFT) 在频域中进行卷积操作，提高计算效率。此定理在图像处理中的重要性在于它允许我们利用傅里叶变换来处理大规模卷积操作，从而实现快速图像滤波。
3. 频域滤波函数 H(u, v) 与空间域概率密度函数 h(x, y) 的关系
频率域的滤波函数 H(u, v) 是空间域点扩散函数 (PSF) h(x, y) 的傅里叶变换。图像滤波可以在空间域通过卷积实现，也可以在频域通过乘积实现。 H(u, v) 控制图像中频率成分的保留或抑制，反映了空间域中的 h(x, y) 如何影响像素邻域的权重分布。
4. 在 PSF 非零范围内写出卷积形式
假设点扩散函数 h(x, y) 在 (-w, w) 和 (-t, t) 范围内非零，那么卷积形式为：
这表示图像 f(x, y) 的每个像素与 h(x, y) 进行加权平均。
5. 什么是低通滤波器？其效果与示例
低通滤波器用于抑制图像中的高频成分，保留低频分量，从而实现图像的平滑或去噪效果。常见的低通滤波器包括均值滤波器、高斯滤波器，它们用于模糊图像或减少噪声。
6. 均值滤波器的主要缺点与边缘保留滤波器的重要性
均值滤波器的主要缺点是它会导致边缘模糊，因为它在计算时不区分边缘与平滑区域。边缘保留滤波器（如双边滤波器、引导滤波器）能够在平滑噪声的同时保留图像中的边缘信息，这在高质量图像分析中至关重要。
7. K 最近均值滤波、 中值滤波和自适应中值滤波的优缺点
- K 最近均值滤波：计算像素周围 K 个最近邻像素的均值，能够减少噪声，但不擅长保留边缘。
- 中值滤波：将像素值替换为其邻域内像素值的中值，效果较好地去除椒盐噪声，且能部分保留边缘。
- 自适应中值滤波：根据噪声密度调整滤波窗口大小，在去除噪声的同时能更好地保留图像结构。
8. 平滑分类图像的滤波器
平滑分类图像时，可以使用多数滤波器，因为它保留了分类的离散性。在分类图像中，数值具有离散的类含义，因此均值滤波会引入无意义的类别，使用多数滤波可以保留原有分类信息。
9. 什么是高通滤波？
高通滤波用于检测图像中的高频信息，通常用于边缘检测和图像锐化。高通滤波器会增强图像中的细节信息，如边缘和噪声。
10. 梯度滤波器和拉普拉斯滤波器的定义与示例
- 梯度滤波器：用来检测图像中的边缘，通过计算图像中像素强度变化的方向和幅值。常见的梯度滤波器有Sobel和Prewitt滤波器。
- 拉普拉斯滤波器：用于二阶导数计算，通过对图像进行二阶微分，拉普拉斯滤波器能够检测到图像中的高频成分，如边缘。常用的拉普拉斯滤波器有：
11. 图解解释梯度和拉普拉斯滤波器的功能
梯度滤波器用于检测图像的方向性边缘，而拉普拉斯滤波器则检测边缘的位置和轮廓。它们分别关注边缘的存在与方向、细节和轮廓。
12. 利用 DEM 计算坡度和坡向
通过对数字高程模型 (DEM) 应用梯度滤波器，可以计算坡度和坡向。梯度的大小代表坡度，梯度方向代表坡向。这些信息用于分析地形变化。
13. 为什么拉普拉斯滤波图像的直方图呈现对称性？
拉普拉斯滤波器检测二阶导数变化，图像中的边缘点可能导致正或负的强度变化。由于图像中高频分量对称分布，拉普拉斯滤波后的图像直方图呈现对称性，中心为零，两侧为正负值。
14. 什么是边缘锐化滤波器？其主要应用
边缘锐化滤波器用于增强图像的边缘细节。它通过强调图像中的高频分量，改善图像的清晰度。主要应用包括医学成像、卫星遥感图像中的细节增强等。
📌 SUMMARIZE
2024.9.26
这节课主要讲解了图像的滤波操作（领域处理），滤波操作中需要通过滤波器遮挡住特定频率的信号，这个操作需要在频域中通过图像与滤波器函数相乘完成，而频域中的相乘相当于是时域中的卷积，因此介绍了图像卷积的操作。图像卷积是通过一个卷积核（一般是奇数内核，如 3x3）在原始图像上的每个像素点加权求和，将值填入卷积核中心点所对应的图像的坐标位置实现的。
2024.10.8
本节课主要讲解了低通滤波器和高滤波器。低通滤波器主要用于图像的平滑处理，而高通滤波器用于图像的锐化和边缘增强。
低通滤波器又称为平滑滤波器，最基本的滤波器类型是均值滤波器。均值滤波器的卷积核核值都是 1，可以将图像中的中心像素与周围的像素点加权求和后取平均，减小中心像素与周围像素点的差异。但是均值滤波器有一个缺点就是会让图像变得很模糊。因此引入了边缘保护的滤波器。
边缘保护的滤波器主要有 K nearest filter、中值滤波器、自适应中值滤波器和多数滤波器，可以较好的保护图像的分辨率。
高通滤波器用于图像增强和边缘锐化，主要分为梯度滤波和拉普拉斯滤波两种，梯度滤波包含梯度滤波器、perwitt 滤波器和 Sobel 滤波器，对于方向性的边缘增强比较有利；拉普拉斯滤波主要有标准拉普拉斯滤波和边缘锐化滤波器，中心像素值越大，边缘锐化程度越高。