当前位置: 首页 > news >正文

Ubuntu实时读取音乐软件的音频流

文章目录

  • 一. 前言
  • 二. 开发环境
  • 三. 具体操作
  • 四. 实际效果

一. 前言

起因是这样的,我需要在Ubuntu中,实时读取正在播放音乐的音频流,然后对音频进行相关的处理。本来打算使用的Pipewire+Helvum的方式实现,好处是可以直接利用Helvum图形化工具对软件输出的音频进行重定向,但是由于使用的是Ubuntu20.04,默认的音频服务器使用的是PulseAudio,替换为Pipewire后,播放的音频会出现卡顿不流畅,最终还是使用原生的PulseAudio+pavucontrol来实现实时播放的音频的处理。

二. 开发环境

Ubuntu: Ubuntu 20.04.6 LTS

虚拟机: VMware Workstation 17 Pro

音频服务器: PluseAudio

音频IO库: Portaudio

音频驱动: Alsa

开发语言: C/C++

三. 具体操作

举个例子,我们需要在Ubuntu中实时获取QQ音乐目前正在播放的音频流,我们需要按如下步骤进行操作:

1. 创建虚拟设备:

pactl load-module module-null-sink sink_name=music sink_properties=device.description="Virtual_Music_Sink"  

终端输入指令,通过加载module-null-sink模块,PulseAudio 创建了一个虚拟的音频输出设备,其名称为 “music”。该虚拟设备不会直接输出声音,但它会自动生成一个监控源,记录所有发送到该虚拟设备的音频数据。

指令部分作用
pactlPulseAudio 控制工具(PulseAudio Control)
load-module加载一个 PulseAudio 模块
module-null-sink加载 Null Sink 模块,创建一个虚拟音频输出设备
sink_name=music指定新创建的虚拟设备名称为 music
sink_properties=device.description=“Virtual_Music_Sink”设置设备的描述信息,在pavucontrol中显示为 “Virtual_Music_Sink”

2. 设置 QQ 音乐的音频输出:


pavucontrol

终端输入指令,pavucontrol打开(PulseAudio 音量控制工具),在 “Playback” 选项卡中将 QQ 音乐的输出设备改为你刚创建的 “music” 虚拟设备。

3. 将虚拟设备输出到扬声器中:

为了保证你能听到音频,还需要把虚拟设备"music" 的音频输出送到物理扬声器。这可以通过加载module-loopback环回模块实现:

pactl load-module module-loopback source=music.monitor sink=alsa_output.pci-0000_02_02.0.analog-stereo
部分作用
pactlPulseAudio 控制工具(PulseAudio Control)
load-module加载一个 PulseAudio 模块
module-loopback加载 Loopback 模块,用于将音频流从一个设备转发到另一个设备
source=music.monitor指定 音频来源 为 music.monitor(虚拟设备 music 的监控源)
sink=alsa_output.pci-0000_02_02.0.analog-stereo指定音频目标为 alsa_output.pci-0000_02_02.0.analog-stereo(物理扬声器)

需要注意的是:sink后面的物理扬声器信息需要根据自己的电脑来定。

4. 在 PortAudio 中捕捉音频:


// PortAudio回调函数
static int paCallback(const void* inputBuffer, void* outputBuffer,unsigned long framesPerBuffer,const PaStreamCallbackTimeInfo* timeInfo,PaStreamCallbackFlags statusFlags,void* userData)
{return paContinue;
}int main()
{PaStreamParameters inputParameters;inputParameters.device = Pa_GetDefaultInputDevice();inputParameters.channelCount = 1;            inputParameters.sampleFormat = paFloat32;    const PaDeviceInfo* deviceInfo = Pa_GetDeviceInfo(inputParameters.device);inputParameters.suggestedLatency = deviceInfo->defaultLowInputLatency;inputParameters.hostApiSpecificStreamInfo = nullptr;PaStream* stream = nullptr;Pa_OpenStream(&stream,&inputParameters,nullptr,              // 不使用输出流SAMPLE_RATE,FRAMES_PER_BUFFER,paNoFlag,paCallback,nullptr);Pa_StartStream(stream);while(1){}
}

5. pavucontrol修改程序音频入口:


打开pavucontrol后,在Recording中,把启动的应用程序的输入入口修改为Virtual_Music_Sink,这样就把程序的录音入口修改为我们的虚拟设备,由于前面我们使用load-module环回模块,已将QQ音乐中的输出重定向至Virtual_Music_Sink虚拟设备中,那么此时,Portaudio收到的input设备获得的音频流便是QQ音乐输出的音频流。

四. 实际效果

通过上述操作,我们可以采集到的QQ音乐中播放的音频,我们实时去捕捉音频中的节奏点,再通过Implot画出实时的歌曲的音频曲线和节奏信息,效果如下:


如果希望捕获的音频流的延时更低,可以将Ubuntu的内核版本替换为lowlatency低延时版本(默认是Generic Kernel),具体的操作可以参考这篇文章:Ubuntu切换lowlatency内核教程。


http://www.mrgr.cn/news/95534.html

相关文章:

  • ‘闭包‘, ‘装饰器‘及其应用场景
  • (四)---四元数的基础知识-(定义)-(乘法)-(逆)-(退化到二维复平面)-(四元数乘法的导数)
  • 链表题型-链表操作-JS
  • ffmpeg介绍(一)——解封装
  • pycharm快捷键汇总(持续更新)
  • ROS melodic 安装 python3 cv_bridge
  • JVM垃圾回收笔记01-垃圾回收算法
  • 【Vue3入门1】02- Vue3的基本操作(上)
  • 第16届蓝桥杯单片机4T模拟赛三
  • Androidstudio实现引导页文字动画
  • 用 pytorch 从零开始创建大语言模型(六):对分类进行微调
  • C语言入门教程100讲(2)变量与常量
  • 1、正点原子ZYNQ最小系统--GPIO之MIO控制LED笔记
  • Spring6: 2 入门
  • 【和春笋一起学C++】文本文件I/O
  • 蓝桥杯高频考点——并查集(心血之作)
  • 《AI大模型趣味实战》第6集:基于大模型和RSS聚合打造个人新闻电台(桌面版)
  • Centos6配置yum源
  • 【ES】Elasticsearch学习
  • 最大异或对 The XOR Largest Pair