Zihao Li

选择合适的优化器以及理解其背后的参数，往往决定了模型是能够快速收敛到最佳状态，还是在训练过程中产生“梯度爆炸”甚至完全无法收敛。本文将通俗地解释这些概念，并深入剖析 PyTorch 中常用优化器的关键参数。

本文主要介绍实模式（Real Mode）的基本概念、主要特性，以及其在x86架构启动流程中的作用。通过理解实模式，可以帮助大家更好地理解现代操作系统为何要经历“实模式→保护模式→长模式”等阶段，以及16位、20位寻址等历史遗留问题的成因。

本文梳理 VPN、TUN 模式等代理相关技术的原理，解释网络数据在其中的转发过程。

从按下电源键到操作系统接管之间有一段“黑屏时间”，本文梳理这段时间里 BIOS 做了什么。

在计算机科学领域，有一个悬赏一百万美元的世纪难题，它就是“P=NP?”问题。这个问题非常重要，它关系到计算机的算力极限，也和我们生活中的很多问题（如密码学、物流规划、人工智能等）息息相关。

我们熟悉的 Transformer 等模型采用“自回归”方式逐词生成文本，这限制了生成速度且不易保证长文本连贯。受图像生成领域成功的 扩散模型 (Diffusion Model) 启发，研究者将其引入文本生成，扩散语言模型 (Diffusion Language Model) 应运而生。

在咖啡馆、酒店等有网络的地方操作家里的电脑，是远程办公的常见需求。传统做法（公网 IP + 端口转发）配置复杂且有安全风险，本文介绍 Tailscale + Windows 远程桌面 的组合方案。

当下，大模型（Large Model）无疑是科技领域最炙手可热的话题。从 ChatGPT 的惊艳亮相到各类 AIGC 应用的层出不穷，我们每天都会接触到海量的新名词和新概念。为了帮助大家更好地理解这个日新月异的领域，本文梳理了一系列核心术语，希望能为你构建一个清晰的知识地图。

在之前的文章中我们了解到，RNN（及其变体如 LSTM、GRU）在处理序列数据时，必须按照时间步顺序计算，这导致其无法进行大规模并行计算。同时，它也难以解决长距离依赖的问题。

为了解决这两个核心痛点，一种全新的、不依赖于循环结构的模型——Transformer 横空出世。

卷积神经网络适合处理图片信息，那文字信息怎么办呢？首先要明白，对于计算机，或者说神经网络来说，文字都是要转换为数字之后再进行处理的。那么我们要面对的第一个问题就是：如何将文字转换为数字？