在大语言模型（LLM）蓬勃发展的背景下，传统机器学习在数据建模与分析方面展现出独特的优势，其灵活的数据处理机制和高效的运算性能，使其在特征工程构建、模式识别及数据分类等核心环节表现突出。以随机森林、SVM和K-means为代表的经典算法，能够针对不同数据特征进行参数调优和模型适配，从而在特定应用场景中实现精准的预测与分析效果。LLM与传统ML（Machine Learning）的关系更像是"显微镜"与"手术刀"的关系——前者擅长发现隐藏的深层威胁，后者精于快速精准的定点清除。在行业领导者的技术实践中，“LLM预警+传统ML拦截”的协同架构正成为新一代防御体系的重要演进方向。

本文阐述一种基于LightGBM（Light Gradient Boosting Machine）的Web请求异常检测方法。LightGBM作为一种高效的梯度提升决策树（GBDT）实现，在本方案中被用作核心分类器，专门用于识别和分类Web应用中的恶意请求流量。该算法通过以下技术特性显著提升了检测性能。

训练数据集的清洗

将已经打好分类标签的训练数据集做数据清洗处理，每个HTTP请求数据包含以下几个关键部分：

1) method：对请求方法做进行标签编码。

2) URL：对URL中的参数名称和值做编码解码处理。

3) Headers： Headers头中的字段值提取，分别对字段值做编码解码处理，还原真实数据。

4) Body：对body参数做编码解码处理。

（http请求包数据清洗）

训练数据集特征提取

1

TF-IDF特征提取

在HTTP请求包分析中，使用TF-IDF（Term Frequency-Inverse Document Frequency）技术来提取请求中的关键词或短语，帮助识别恶意请求的特征。将文本数据转换为稀疏的数值特征向量。TF-IDF通过计算文本中每个词语的重要性来确定其权重，进而构建每个文本的特征向量。然后使用PCA降维将TF-IDF输出的稀疏矩阵转换为密集矩阵。

（TF-IDF特征提取）

2

FastText特征提取

利用FastText模型，对文本进行词嵌入（word embedding），将每个文本表示为一个稠密的特征向量。FastText能够捕捉词语的语义信息和上下文关系，提高了文本特征的表达能力。FastText可以用来学习HTTP请求包的特征向量表示，将请求内容转化为密集的向量表示，有助于进行更高效的模型训练和预测。

（FastText特征提取）

3

特征融合

将基于TF-IDF和FastText生成的特征向量进行融合，得到更加丰富和全面的文本特征表示。融合可采用简单的拼接方式或者更复杂的加权平均策略，以提高分类模型的精确度和泛化能力。

模型训练

「READING」

使用LightGBM机器学习框架作为分类模型的训练器，能够处理大规模数据和高维特征。

1) 将融合后的带有分类标签的特征向量作为模型训练数据集进行模型训练。

2) 对训练数据集进行分层交叉验证，有助于确保每个训练折中的目标变量类别分布与整体数据集中的类别分布相似，从而提高模型训练的准确性和泛化能力。在每个折叠中，将数据集根据索引拆分为训练集和验证集。

3) 调优模型的超参数，设置学习率，使用交叉验证的技术，将数据集划分为多个折，采用多分类。

4) 模型保存，将训练好的模型对象保存为文件。

模型预测

1) 对需要预测的http请求数据做数据清洗。

2) 预测数据的特征特征提取。

3) 预测数据的特征维度融合，输入给训练好的LightGBM模型。

4) 模型输出预测的攻击分类结果（如SQL注入、跨站脚本攻击等）。

（模型训练及预测）

在数字化浪潮中，网络安全已进入“AI智防”时代。传统机器学习凭借其精准、高效的特性，依然是抵御已知威胁的坚实盾牌；而大语言模型则以强大的语义理解能力，成为发现新型攻击的探照灯。二者的融合不是简单的技术叠加，而是构建了"实时检测+深度研判+自主进化"的智能防御体系。

未来已来——当ML的闪电研判遇上LLM的威胁洞察，当规则引擎的严谨碰撞生成式AI的智慧，我们正在见证网络安全从“被动防御”到“主动免疫”的范式变革。这场AI与安全的双向奔赴，终将让网络空间成为更安全、更智能的数字世界。