BERT是一个著名的、强大的预先训练的“编码器”模型。让我们看看如何使用它作为“解码器”来形成编码器-解码器架构。

Transformer 架构由两个主要构建块组成——编码器和解码器——我们将它们堆叠在一起形成一个 seq2seq 模型。 从头开始训练基于Transformer 的模型通常很困难，因为它需要大型数据集和高 GPU 内存。我们可以使许多具有不同目标的预训练模型。

首先，编码器模型（例如，BERT、RoBERTa、FNet 等）学习如何从他们阅读的文本中创建固定大小的特征表示。这种表示可用于训练网络进行分类、翻译、摘要等。具有生成能力的基于解码器的模型（如 GPT 系列）。可以通过在顶部添加一个线性层（也称为“语言模型头”）来预测下一个标记。编码器-解码器模型（BART、Pegasus、MASS、...）能够根据编码器的表示来调节解码器的输出。它可用于摘要和翻译等任务。它是通过从编码器到解码器的交叉注意力连接来完成的。

概述

java中的序列化可能大家像我一样都停留在实现Serializable接口上，对于它里面的一些核心机制没有深入了解过。直到最近在项目中踩了一个坑，就是序列化对象添加一个字段以后，使用方系统报了反序列化失败，原因是我们双方的序列化对象没有加上serialVersionUID，那你们知道下面几个问题吗：

对于HashMap想必大家都不陌生，无论是平时code还是面试都经常和它打交道。今天我们通过源码的层面来分析一下它的实现原理，注意本文基于的是JDK1.8。

问题是从哪边开始聊起呢？我觉得不妨先从一段熟悉的代码开始。

数据结构作为每一个开发者不可回避的问题，而 Java 对于不同的数据结构提供了非常成熟的实现，这一个又一个实现既是面试中的难点，也是工作中必不可少的工具，在此，笔者经历漫长的剖析，将其抽丝剥茧的呈现出来，在此仅作抛砖引玉，望得诸君高见，若君能有所获则在下甚是不亦乐乎，若有疑惑亦愿与诸君共求之！ 本文一共 3.5 W字，25 张图，预计阅读 2h。可以收藏这篇文章，用的时候防止找不到，这可能是你能看到的最详细的一篇文章了。

遇到这个 Java Serializable 序列化这个接口，我们可能会有如下的问题

• 什么叫序列化和反序列化
• 作用，为啥要实现这个 Serializable 接口，也就是为啥要序列化
• serialVersionUID 这个的值到底是在怎么设置的，有什么用。有的是1L，有的是一长串数字，迷惑ing。

我刚刚见到这个关键字 Serializable 的时候，就有如上的这么些问题。

目录

• 1. Hello World
• 2. Java基础语法
• 2.1 注释
• 2.2 字面量
• 2.3 数据类型
• 2.4 变量使用
• 2.4.1 变量定义
• 2.4.2 变量命名

小七整理了 最近几年最新、最全的 Java 面试题，题目涉及 Java 基础、集合、多线程、IO、分布式、Spring全家桶、MyBatis、Dubbo、缓存、消息队列、Linux…等等。

语法糖是大厂 Java 面试常问的一个知识点。

本文从 Java 编译原理角度，深入字节码及 class 文件，抽丝剥茧，了解 Java 中的语法糖原理及用法，帮助大家在学会如何使用 Java 语法糖的同时，了解这些语法糖背后的原理。

前言

本文主要是我之前复习Java基础原理过程中写的Java基础学习总结。Java的知识点其实非常多，并且有些知识点比较难以理解，有时候我们自以为理解了某些内容，其实可能只是停留在表面上，没有理解其底层实现原理。

纸上得来终觉浅，绝知此事要躬行。笔者之前对每部分的内容对做了比较深入的学习以及代码实现，基本上比较全面地讲述了每一个Java基础知识点，当然可能有些遗漏和错误，欢迎读者指正。

尽人事，听天命。

HashMap、HashTable、ConcurrentHashMap 这一套感觉今年面试都不怎么问了，场景题越来越多，求职的门槛越来越高，这种常见的面试题问出来大概率就是要送波分了。