音乐表示方法详解：MIDI、波形与谱图分析
(3) feilong.org 修订于2026-08-08 09:56:16 AI音乐音乐表示方法详解：MIDI、波形与谱图分析
在人工智能音乐领域，音乐数据的表示形式直接影响模型训练效果和生成质量。本文将深入解析三种核心音乐表示方法：MIDI格式、音频波形以及频谱图（Spectrogram），探讨其原理、优缺点及应用场景。
---
一、MIDI格式：事件驱动的符号化表达
MIDI（Musical Instrument Digital Interface）是一种基于时间序列的数字音乐标准，通过记录音符、力度、时长等控制事件实现音乐描述。其核心优势在于轻量级存储和对乐器细节的精确控制。
技术原理：
MIDI文件由一系列"事件"组成，每个事件包含时间戳（Time）、类型（Note On/Off）及参数（音高、力度）。例如：
|
1 2 3 4 5 |
MIDI事件示例（使用mido库） from mido import Message, MidiFile, MetaMessage note_on = Message('note_on', note=60, velocity=100, time=0) note_off = Message('note_off', note=60, velocity=127, time=480) |
应用场景：
- 音乐生成模型（如NSynth）的输入数据
- 乐器音色合成与MIDI编曲
局限性：
- 缺乏音频细节（如泛音、动态变化）
- 对复杂音乐表现力有限
---
二、波形表示：时域信号的直接记录
音频波形是声音在时间维度上的采样值，通常以PCM格式存储。其核心优势在于保留完整的物理特性，但数据量较大。
技术原理：
数字音频通过采样率（如44.1kHz）和位深（如16bit）将模拟信号转换为离散数值。例如：
|
1 2 3 4 5 6 7 8 9 10 11 12 |
波形绘制示例（使用matplotlib） import matplotlib.pyplot as plt import numpy as np sample_rate = 44100 t = np.linspace(0, 1, sample_rate, endpoint=False) waveform = np.sin(2 * np.pi * 440 * t) 440Hz正弦波 plt.plot(t, waveform) plt.xlabel('时间（秒）') plt.ylabel('振幅') plt.title('音频波形示例') plt.show() |
应用场景：
- 声学模型训练（如语音合成、音色迁移）
- 音频增强与噪声抑制
局限性：
- 数据量大，存储和计算成本高
- 无法直接反映频率成分
---
三、谱图分析：频域信息的可视化表达
频谱图通过短时傅里叶变换（STFT）将音频转换为时间-频率二维表示，能够直观展现音乐的音调分布。
技术原理：
频谱图由多个频带能量值构成，常用梅尔频率倒谱系数（MFCC）提取特征。例如：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
频谱图生成示例（使用librosa库） import librosa import matplotlib.pyplot as plt audio_path = 'example.wav' y, sr = librosa.load(audio_path) stft = librosa.stft(y) spectrogram = np.abs(stft) plt.figure(figsize=(10, 4)) librosa.display.specshow(spectrogram, x_axis='time', y_axis='linear') plt.colorbar() plt.title('频谱图（线性频率轴）') plt.show() |
应用场景：
- 音乐分类与情感分析
- 节奏检测与音调识别
局限性：
- 对瞬态信号捕捉能力较弱
- 参数选择影响特征提取效果
---
四、方法选型建议与趋势
| 场景 | 推荐表示方式 | 原因 |
|------|--------------|------|
| 音乐生成 | MIDI + 波形混合 | 平衡符号控制与物理特性 |
| 音色迁移 | 波形 + 谱图结合 | 捕获时域和频域特征 |
| 情感分析 | 谱图（MFCC） | 有效提取音调变化模式 |
当前研究趋势表明，多模态融合（如MIDI+波形+谱图联合训练）正在成为提升模型表现的关键方向。同时，基于Transformer的架构对序列数据的建模能力，为音乐表示方法提供了新的优化空间。
---
通过理解不同音乐表示方法的特性与适用场景，开发者能够更高效地构建AI音乐系统。未来随着计算能力的提升和算法创新，这些技术将继续推动音乐创作与分析的边界扩展。
更新网址：https://feilong.org/music-representation-analysis
最初发布：20260808 09:56:16 feilong.org 于广州
加入收藏夹，查看更方便。