撸陆知识小课堂，每周都有干货内容等着大家！
摘要
背景
高光谱成像在人体活体皮肤研究中显示出巨大的潜力，因为它可以提供非侵入性测量，从而揭示人眼通常看不见的信息。具体来说，可以使用光学模型和优化算法从高光谱图像中估算出皮肤参数图，包括氧含量、血容量分数和黑色素浓度。这些应用依赖于使用专门用于皮肤测量的高分辨率相机获取的高光谱图像，并取得了令人鼓舞的结果。然而，数据分析过程在计算成本方面相对较高，对于 3 兆像素的高光谱图像，计算全脸皮肤属性图需要长达 5 个小时。这样的计算时间妨碍了在获取后立即及时预览和评估地图的质量。
方法
为了解决这个问题，我们实施了一个神经网络来模拟基于优化的分析算法。该神经网络已在一组从 204 名患者处获取的高光谱图像及其相应的皮肤参数图上进行了训练，这些参数图是通过优化计算得出的。
结果
与基于优化的算法相比，神经网络能够以更快的速度生成与参考图非常相似的皮肤参数图，对于代表全脸的 300 万像素图像，计算时间短至 2 秒，而对于代表较小皮肤区域的 100 万像素图像，计算时间短至 0.5 秒。在选定区域计算的平均偏差表明，即使在宽视野全脸图像上，网络也具有良好的泛化能力。
结论
目前，该网络足以用于预览目的，并在几秒钟内提供相对准确的结果。
引言
皮肤是人体与周围环境之间的一道屏障，研究皮肤这一器官具有重大的社会意义。皮肤病变的研究和诊断在医学和皮肤病学领域至关重要，例如皮肤癌等病变的死亡率很高，早期发现可以增加治愈的机会。美容师对皮肤的研究也非常感兴趣，因为皮肤的外观在人们对美丽、年龄和健康的感知中起着重要作用。近年来，光学方法在皮肤分析中的应用显著增加，因为它们可以进行无创的体内测量，不会给患者带来不适。在新兴的光学方法中，成像方法可以提供大面积高分辨率的空间信息测量，在研究皮肤异质性方面尤其有前景。
高光谱成像可收集图像中每个像素的多个窄波段的光谱信息，已显示出作为皮肤分析工具的巨大潜力。它能够高分辨率测量皮肤光谱反射率，其形状或“光谱特征”可使用光学模型与皮肤结构和成分相关联。具体而言，可使用基于光学的模型从高光谱图像生成显示皮肤吸收特性（如氧气率、血容量分数或黑色素浓度）的图谱。这种分析方法可产生定量信息，有助于客观评估皮肤特性。
在我们之前的研究3 - 5中，我们使用了两个高光谱系统来获取皮肤光谱反射率。这些系统专为皮肤测量而设计，可以在大约 2 秒内捕捉可见光谱中 31 个波长的高光谱图像。然后使用光学模型分析获取的图像。我们选择了双通量光传输模型和双层材料皮肤模型，应用逆方法从高光谱测量中检索皮肤特性。鉴于逆问题的复杂性，它已通过优化得到解决，这是一个迭代过程，需要大量的计算时间：通常，一张 3 百万像素的全脸图像需要大约 5 个小时。在美容研究中，这是一个很大的限制，因为它阻止用户在捕获高光谱图像后立即评估分析结果的质量。
机器学习应用于回归问题为耗时的优化算法提供了一种有趣的替代方案，迄今为止，优化算法已在组织光学领域的许多工作中使用。如今，许多机器学习工具都是开源的，并得到大量用户的支持，这简化了它们在许多领域的使用，尽管创建足够的数据集来训练神经网络可能具有挑战性。在我们的研究过程中，我们设法收集了足够数量的数据，包括高光谱图像及其相应的属性图，以训练神经网络，以取代用于皮肤分析的经典优化算法，从而可以在几秒钟而不是几个小时内获得结果。
该领域的许多研究人员已经使用神经网络来建模皮肤光谱反射率，将其作为皮肤特性的函数（见图 1 A）。使用详细的皮肤模型和蒙特卡罗方法来建模光在皮肤中的传输，可以直接模拟“合成”数据集。该合成数据集包含皮肤参数及其相关的光谱反射率，用于训练能够根据光谱反射率估计皮肤参数的神经网络。相比之下，在这项工作中，光-皮肤相互作用模型已经定义，并且神经网络经过训练以取代优化算法（见图 1 B）。这使我们能够在训练集中使用真实世界的噪声数据，而不是合成数据。通过这种方式，我们旨在在包含与训练集类似噪声的真实输入数据上获得更好的结果。
图1利用神经网络估计皮肤参数的两种可能方法流程图。方法(A)依赖于通常使用蒙特卡罗方法模拟的合成训练数据集。本文提出的方法(B)依赖于第3节中详细介绍的基于优化的算法对真实世界测量的分析
我们选择了一种相对简单的人工神经网络，即多层感知器 (MLP)，并将其应用于我们特定的高光谱图像皮肤分析问题。我们的目标是了解经典优化算法在多大程度上可以被更快且结果准确的方法所取代。皮肤分析是一项挑战，因为它是一种复杂的材料，其光谱反射率会根据身体位置、年龄、肤色、遗传特征、生活条件和皮肤病理等多个参数而发生显著变化。因此，选择用于训练神经网络的数据必须尽可能多样化，以忠实地代表可以测量的广泛皮肤光谱反射率范围。由于这样的数据集不可能详尽无遗，网络在训练集之外的数据上表现良好的能力取决于网络泛化能力。第二个挑战在于实施一种方法来考虑发生在身体弯曲部位的辐照度漂移。如果不考虑辐照度漂移，神经网络模型就无法正确预测全脸图像中的发色团浓度。我们建议通过数据增强来解决这个问题，将因辐照度漂移而人为改变的数据添加到训练数据集中。
本文的其余部分组织如下：第 2 节详细介绍了高光谱采集设置；第 3 节描述了经典皮肤分析方法中使用的光学模型和优化；第 4 节描述了用于替代经典分析方法的人工神经网络；第 5 节给出了结果；最后，在第 6 节得出结论。
皮肤高光谱成像
高光谱成像是获取每个像素都包含光谱信息的二维图像，从而生成通常称为“超立方体”的三维数据。高光谱相机可测量连续覆盖部分辐射光谱的许多窄带和非重叠带宽上的光谱辐射度，从而提供高光谱分辨率数据。
高光谱相机捕获的信号取决于除皮肤表面反射率之外的多种参数，包括入射辐照度、传感器光谱响应和光学透射率。在应用依赖于黑白漫射板采集的校准步骤后，皮肤光谱反射率独立于采集参数获得。此校准不考虑非平面样本（例如面部）上发生的照明变化。在这些情况下，测量受到我们所谓的辐照度漂移的影响：校准步骤产生的反射率乘以取决于表面局部形状的常数。
图3中的图片 是超立方体获取的三种不同波长的图像示例。它们显示了皮肤特性如何随波长而变化，在蓝色波长（420 nm）下黑色素斑容易识别，在 490 nm 下血管清晰可见，在红色波长（700 nm）下皮肤看起来非常均匀，红色波长是可见光谱中皮肤最透明的部分。
多种波长的高光谱图像和相应的彩色图像。全脸图像（顶部），右眼细节（底部）
预知后事 请看下回
信撸陆 不迷路