撸陆知识小课堂，每周都有干货内容等着大家！
5.3 全脸重建和对辐照度漂移的鲁棒性
组装和处理 MLP 训练数据集的目的是训练 MLP 尽可能地抵抗辐照度漂移。本研究中使用的高光谱相机依靠黑白参考图块来校准获取的信号并获得皮肤光谱反射率。然而，当皮肤表面不平坦时，此校准步骤不会产生光谱反射率，而是光谱反射率乘以由表面方向决定的因子。此因子在整个光谱范围内是恒定的，但根据表面形状，每个像素之间可能会有所不同，这种现象我们称之为辐照度漂移。如果皮肤分析方法对辐照度漂移不具有鲁棒性，则表面形状的变化可能会被错误地解释为发色团浓度的变化。获取的图像上较暗的区域（例如鼻子侧面）可能会被错误地解释为含有更多黑色素，因为它们接收的光线较少或向相机反射的光线较少。 MLP 对光照漂移的稳健性对于全脸高光谱图像的分析尤其重要，因为复杂的面部形状使得光照漂移不可避免。对于这些全脸图像（最多可达 4 百万像素），使用基于优化的算法的计算时间特别长（大约 5 小时）。因此，能够在短时间内进行皮肤分析的 MLP 方法具有巨大的优势。
然而，本研究中实施的 MLP 仅针对代表皮肤平坦区域的数据进行训练，与全脸观察到的相比，其辐照度变化非常小。训练数据集已通过人为添加辐照度漂移的数据进行补充，但这并不能保证 MLP 能够从全脸图像中正确预测皮肤参数图。下面给出的结果可以在一定程度上说明 MLP 预测在全脸图像上是否令人满意，以及该方法可以在哪些情况下应用。
本节使用的全脸图像是使用 高光谱相机获得的，包含 1548 × 1948 像素。使用 MLP 分析图像（使用 GPU）需要 2 秒，使用 CPU（Intel (R) CoreTM i7-6700 CPU 3.40 Ghz）需要 8 秒，与基于优化的算法分析相比，这节省了相当多的时间。
图 13显示了使用 MLP 和地面实况获得的皮肤参数图的比较。从视觉上看，MLP 预测的皮肤参数图与地面实况图非常相似，但显示表皮厚度的图除外。值得注意的是，脸部中部没有突然变化，这表明 MLP 没有错误处理辐照度漂移的发生。作为比较，图 14（顶部）显示了使用另一个 MLP 网络获得的皮肤参数图，该网络在初始数据库上训练，未补充因辐照度漂移而人为改变的数据：与面部形状相关的突然变化在血容量分数和黑色素浓度图上清晰可见。图 13（或图 14底部）中显示的地图中没有此类伪影，这促使我们认为在增强数据集数据上训练 MLP 确实提高了 MLP 对辐照度漂移的鲁棒性。
图 13
在全脸图像上，使用基于优化的算法（Ground truth）和 MLP 获得的皮肤参数图进行比较，以假色显示两个结果之间的偏差
图 14
对于在未受辐照度漂移影响的数据增强的数据集上训练的 MLP（顶部），从全脸高光谱图像估计的皮肤参数图，与已执行辐照度漂移数据增强的当前 MLP（底部）相比
我们还可以在黑色素浓度和表皮厚度偏差图上观察到，脸部两侧的偏差较大。仔细观察真实情况图可以发现，脸部两侧的这两个量有所减少，而 MLP 结果中并不存在这种情况。由于这些变化与皮肤特性的任何潜在变化都不对应，因此它们很可能是伪影。这表明，被认为是真实情况的基于优化的算法在脸部两侧的表现不如 MLP 方法那么真实。这种现象的一个可能解释是，受强辐照度漂移影响的像素的信噪比较低，而基于优化的算法对噪声的鲁棒性不如 MLP。如果是这样的话，MLP 方法将比基于优化的方法具有额外的优势。
我们选择了三个区域来评估相对偏差，如图15所示 ：前额中部（区域 A）、脸颊下部（区域 B）和下巴中部（区域 C）。表 5中显示的这些区域计算出的平均偏差并不比表4中显示的一小块区域的偏差高很多 ，因为它们的最大值约为 10%，考虑到全脸图像上存在辐照度漂移，这是令人鼓舞的。MLP 预测甚至接近血容量分数的真实值，相对偏差低于 2%，与测试数据集相同。
图 15
前额 (A)、脸颊 (B) 和下巴 (C) 上选定的区域
表 5. MLP 结果对应于前额（A）、脸颊（B）和下巴（C）的三个选定区域（见图 15）：平均偏差值、平均地面真实值和相对平均偏差
第 5 节中给出的结果使我们能够验证 MLP 方法在预可视化方面的应用。考虑到该数据集的简单性，在训练数据集之外的图像上计算出的相对偏差百分比相当有希望，这当然不能代表不同人身上的皮肤光谱反射率的多样性。然而，与美容研究中有时观察到的皮肤参数变化百分比相比，偏差百分比不容小觑。5因此，当需要准确性时，当前的 MLP 无法取代基于优化的算法。
结论
采用神经网络方法估算皮肤参数图可以大大缩短计算时间，从而可以在采集后立即将结果可视化。使用此方法获得的皮肤参数图与使用基于模型的皮肤分析方法计算出的皮肤参数图非常接近，可以用于预览 I 至 III 型皮肤光型的结果。但是，实施的 MLP 的准确性尚不能满足美容研究图像分析的需求。数据集的选择对于确保神经网络预测的准确性似乎至关重要。该方法的一个潜在改进是使用从大量不同年龄、肤色和生活条件的患者那里获取的数据来训练网络。
在这项工作中，我们证明了在处理全脸图像时考虑辐照度漂移的重要性，并通过用人为改变辐照度漂移的数据扩充训练数据集提供了解决方案。扩展的训练数据集可能更能代表高光谱相机在整个脸上测量的光谱反射率。另一种解决方案可能是将光谱反射率标准化为预处理，这将消除辐照度漂移的影响。
在我们的方法中，神经网络不是经过训练来模拟光与皮肤的相互作用，而只是训练它比使用基于优化的算法更快地解决反演问题。可以研究图 1 A 中所示的方法 ，使用基于蒙特卡洛方法 的训练数据集和比我们的双层模型更详细的皮肤模型。在这种情况下，神经网络将提供皮肤光谱反射模型并解决逆问题。但是，我们不能保证这种替代方法会在与真实皮肤相对应的嘈杂光谱反射上产生令人满意的结果。相反，我们当前的方法的优势在于考虑了使用真实光学系统获取的真实数据，而真实光学系统也会在数据中引入一些噪声。
本文介绍的工作为未来高光谱成像用于皮肤分析的发展铺平了道路。进一步开发采集系统的一种可能性是降低测量数据的复杂性，使用神经网络代替基于优化的分析。目前，皮肤分析方法需要高分辨率皮肤光谱反射率测量作为输入，因为皮肤参数是使用光谱形状来估计的。因此需要高光谱分辨率来区分光谱形状的微小变化，这些变化对应于皮肤光学特性的微小变化。然而，并非所有获取的波长都包含有用的信息，就像两种不同的波长可能相关一样，因此测量两者是多余的。如果是这样的话，可以通过忽略某些波长来减少获取的数据量，并且分析方法可以用神经网络代替。这将使我们能够减少采集时间，甚至可以考虑使用多光谱相机而不是高光谱相机。后者有很多优势，因为多光谱相机通常比高光谱相机更轻、更不易碎、更便宜。这种简化需要仔细选择获取的波长，保留那些携带最相关信息的波长，以确保神经网络方法的良好性能。
信撸陆 不迷路