摘要：数据向量化是将非数值型数据或复杂结构数据转换为数值型向量的过程，以便机器学习模型处理。以下是常见方法及其应用：
Python数据向量化方法及应用
数据向量化是将非数值型数据或复杂结构数据转换为数值型向量的过程，以便机器学习模型处理。以下是常见方法及其应用：
一、分类变量向量化
独热编码（One-Hot Encoding）Ø 方法：将每个类别映射为二进制向量（如“颜色”类别变为 [1,0,0], [0,1,0]）。
Ø 工具：sklearn.preprocessing.OneHotEncoder、pandas.get_dummies。
Ø 应用：处理名义变量（如性别、城市）。
Ø 示例：
python
from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder
encoded_data = encoder.fit_transform(data[['category_column']])
标签编码（Label Encoding）Ø 方法：将类别转换为整数（如“红、蓝、绿” → 0,1,2）。
Ø 工具：sklearn.preprocessing.LabelEncoder。
Ø 应用：树模型（如随机森林）处理有序变量。
目标编码（Target Encoding）Ø 方法：用目标变量的均值替换类别（如按城市统计房价均值）。
Ø 适用场景：高基数类别，需防止过拟合。
二进制编码（Binary Encoding）Ø 方法：将整数标签转换为二进制位拆分（减少维度）。
Ø 库：category_encoders。
二、文本向量化
词袋模型（Bag of Words, BoW）Ø 方法：统计词频生成向量。
Ø 工具：sklearn.feature_extraction.text.CountVectorizer。
Ø 示例：
python
vectorizer = CountVectorizer
X = vectorizer.fit_transform(texts)
TF-IDFØ 方法：词频-逆文档频率，突出重要词。
Ø 工具：sklearn.feature_extraction.text.TfidfVectorizer。
词嵌入（Word Embedding）Ø 方法：将词映射到低维稠密向量（如Word2Vec、GloVe）。
Ø 工具：gensim、spaCy、预训练模型（如glove-wiki-gigaword-300）。
Ø 应用：语义分析、文本相似度。
句子/文档嵌入Ø 方法：使用BERT、Doc2Vec生成上下文感知向量。
Ø 工具：transformers库（Hugging Face）。
三、图像向量化
像素展开Ø 方法：将图像像素矩阵展平为一维向量。
Ø 局限：忽略空间信息，适用于简单任务。
CNN特征提取Ø 方法：用预训练模型（如ResNet、VGG）提取高层特征。
Ø 工具：torchvision.models、keras.applications。
Ø 示例：
python
from keras.applications.resnet50 import ResNet50, preprocess_input
model = ResNet50(weights='imagenet', include_top=False)
features = model.predict(preprocess_input(image))
四、时间序列向量化
统计特征：提取均值、方差、峰值等。滑动窗口：生成序列片段作为输入。RNN/LSTM编码：用循环网络隐藏状态作为向量。五、数值特征处理
标准化（Z-Score）：sklearn.preprocessing.StandardScaler归一化（Min-Max）：sklearn.preprocessing.MinMaxScaler应用场景
分类/回归：结构化数据（如房价预测）。自然语言处理：情感分析、文本分类。推荐系统：用户/物品向量化（协同过滤）。图像识别：特征提取用于分类/检测。聚类分析：如K-Means处理向量化数据。注意事项
维度灾难：高维数据需降维（PCA、t-SNE）。稀疏性：使用稀疏矩阵节省内存。计算效率：选择适合的编码方式（如哈希处理高基数类别）。通过合理选择向量化方法，可显著提升模型性能。实际应用中需结合数据特点和任务需求灵活调整。
来源：老客数据一点号
