从JVM的角度看Map和Reduce

Map阶段包括：

第一读数据：从HDFS读取数据

1、问题:读取数据产生多少个Mapper？？

Mapper数据过大的话，会产生大量的小文件，由于Mapper是基于虚拟机的，过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件资源；

Mapper数太小，并发度过小，Job执行时间过长，无法充分利用分布式硬件资源；

2、Mapper数量由什么决定？？

1. Squeeze-and-Excitation Network

SENet 是 Squeeze-and-Excitation Networks 的简称，拿到了 ImageNet2017 分类比赛冠军，其效果得到了认可，其提出的 SE 模块思想简单，易于实现，并且很容易可以加载到现有的网络模型框架中。SENet 主要是学习了 channel 之间的相关性，筛选出了针对通道的注意力，稍微增加了一点计算量，但是效果比较好。

Image generated by AI

TMTPOST -- China is closing in on the U.S. in the AI industry-academia-research race, with new data shedding light on evolving talent flows, publication output, and shifting research focus across the globe’s top innovation hubs.