Android 系统整体架构:
我们先看一下多媒体框架在整个Android系统所处的位置
从框架图可以看出Media Framework处于Libraries这一层,这层的Library不是用Java实现,一般是C/C++实现,它们通过Java的JNI方式调用。
多媒体架构:
基于第三方PacketVideo 公司的OpenCORE platform来实现
支持所有通用的音频,视频,静态图像格式
CODEC(编解码器)使用OpenMAX 1L interface 接口进行扩展,可以方便得支持hardware / software codec plug-ins
支持的格式包括:MPEG4、H.264、MP3、AAC、AMR、JPG、PNG、GIF等。
l Open Core多媒体框架有一套通用可扩展的接口针对第三方的多媒体遍解码器,输入,输出设备等等 。
l 多媒体文件的播放,下载,包括3GPP, MPEG-4,AAC and MP3 containers
l 流媒体文件的下载,实时播放,包括:3GPP, HTTP and RTSP/RTP
l 动态视频和静态图像的编码,解码,例如:MPEG-4, H.263 and AVC (H.264), JPEG
l 语音编码格式: AMR-NB and AMR-WB
l 音乐编码格式: MP3, AAC, AAC+
l 视频和图像格式: 3GPP, MPEG-4 and JPEG
l 视频会议:基于H324-M standard
图中用黄线圈出的是Media Framework
Open Core介绍:
Open Core是Android 多媒体框架的核心,所有Android平台的音视频采集,播放的操作都是通过它来实现。它也被称为PV(Packet Video), Packet Video是一家专门提供多媒体解决方案的公司。
通过Open Core程序员可以方便快速的开发出想要的多媒体应用程序,例如:音视频的采集,回放,视频会议,实时的流媒体播放等等应用。
代码结构:
Open Core的代码在Android代码的External/Opencore目录中。这个目录是OpenCore的根目录,其中包含的子目录如下所示:
- android:这里面是一个上层的库,它实现了一个为Android使用的音视频采集,播放的接口,和DRM数字版权管理的接口实现。
- baselibs:包含数据结构和线程安全等内容的底层库
- codecs_v2:音视频的编解码器,基于OpenMAX实现
- engines:核心部分,多媒体引擎的实现
- extern_libs_v2:包含了khronos的OpenMAX的头文件
- fileformats:文件格式的解析(parser)工具
- nodes:提供一些PVMF的NODE,主要是编解码和文件解析方面的。
- oscl:操作系统兼容库
- pvmi: 输入输出控制的抽象接口
- protocols:主要是与网络相关的RTSP、RTP、HTTP等协议的相关内容
- pvcommon:pvcommon库文件的Android.mk文件,没有源文件。
- pvplayer:pvplayer库文件的Android.mk文件,没有源文件。
- pvauthor:pvauthor库文件的Android.mk文件,没有源文件。
- tools_v2:编译工具以及一些可注册的模块。
Open Core 上层代码结构
在实际开发中我们并不会过多的研究Open Core的实现,Android提供了上层的Media API给开发人员使用,MediaPlayer和MediaRecorder
Android Media APIs
l The Android platform is capable of playing both audio and video media. It is also capable of playing media contained in the resources for an application, or a standalone file in the filesystem, or even streaming media over a data connection. Playback is achieved through the
android.media.MediaPlayer class.
l The Android platform can also record audio. Video recording capabilities are coming in the future. This is achieved through the
android.media.MediaRecorder class.
Media Player
提供的基本接口如下:
Public Methods
Convenience method to create a MediaPlayer for a given Uri.
Gets the current playback position.
Gets the duration of the file.
Returns the height of the video.
Returns the width of the video.
Checks whether the MediaPlayer is playing.
Pauses playback.
Prepares the player for playback, synchronously.
Prepares the player for playback, asynchronously.
Releases resources associated with this MediaPlayer object.
Resets the MediaPlayer to its uninitialized state.
Seeks to specified time position.
Sets the audio stream type for this MediaPlayer.
Sets the data source (file-path or http/rtsp URL) to use.
Sets the SurfaceHolder to use for displaying the video portion of the media.
void
setVolume(float leftVolume, float rightVolume)
Sets the volume on this player.
Starts or resumes playback.
Stops playback after playback has been stopped or paused.
我们可以看出MediaPlayer类提供了一个多媒体播放器的基本操作,播放,暂停,停止,设置音量等等。
简单的例子:
Playing a File
MediaPlayer mp = new MediaPlayer();
mp.setDataSource(PATH_TO_FILE);
mp.prepare();
mp.start();
Playing a Raw Resource
MediaPlayer mp = MediaPlayer.create(context, R.raw.sound_file_1);
mp.start();
Media Recorder
提供的基本接口如下:
Public Method:
Prepares the recorder to begin capturing and encoding data.
Releases resources associated with this MediaRecorder object.
Restarts the MediaRecorder to its idle state.
Sets the audio encoder to be used for recording.
Sets the audio source to be used for recording.
Sets the path of the output file to be produced.
Sets the format of the output file produced during recording.
Sets a Surface to show a preview of recorded media (video).
Begins capturing and encoding data to the file specified with setOutputFile().
Stops recording.
简单的例子:
Example:
MediaRecorder recorder = new MediaRecorder();
recorder.setAudioSource(MediaRecorder.AudioSource.MIC);
recorder.setOutputFormat(MediaRecorder.OutputFormat.THREE_GPP);
recorder.setAudioEncoder(MediaRecorder.AudioEncoder.AMR_NB);
recorder.setOutputFile(PATH_NAME);
recorder.prepare();
recorder.start(); // Recording is now started ... recorder.stop();
recorder.reset(); // You can reuse the object by going back to
setAudioSource() step
recorder.release(); // Now the object cannot be reused
整体的结构如下图所示:
l MediaPlayer JNI
代码位置 /frameworks/base/media/jni
l MediaPlayer (Native)
代码位置 /frameworks/base/media/libmedia
l MediaPlayerService (Server)
代码位置 /frameworks/base/media/libmediaplayerservice
l MediaPlayerService Host Process
代码位置 /frameworks/base/media/mediaserver/main_mediaserver.cpp
l PVPlayer
代码位置 /external/opencore/android/
实际调用过程如下图所示:
实际调用过程如下图所示:
<!--modify time--><!--end modify time--><!--if is reply--><!--if hava present--><!--end hava present--><!--if hava reward--><!--end hava reward--><!--BEGIN ATTACHMENT--><!--END ATTACHMENT-->
相关推荐
B3850 [GESP202306 四级] 幸运数2
python模块onnxruntime版本
3063 - Heartlake Flying Club
AUTOSAR_SWS_SAEJ1939DiagnosticCommunicationManager.pdf
AUTOSAR_SWS_MemoryAbstractionInterface.pdf
lrs
B3850 [GESP202306 四级] 幸运数
【硬件开发】说明:485硬件开发时对485硬件模块参考硬件特性 【硬件开发】说明:485硬件开发时对485硬件模块参考硬件特性
Java毕业设计-ssm基于微信平台的校园汉服租赁系统的设计与实现演示录像(高分期末大作业)
别墅图纸编号D068-两层-13.50&14.10米- 施工图-施工说明.dwg
491A111E-B58E-48F4-8342-995B397B4D37-289-00000201845230F5.mov
python模块onnxruntime版本
提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域,每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写,确保了在对应环境下能够无缝运行。同时,源码中配备了详细的注释和文档,帮助用户快速理解代码结构和实现逻辑。 适用人群: 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生,还是对其他领域编程感兴趣的学生,这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码,你可以掌握各平台开发的基础知识,提升编程能力和项目实战经验。 使用场景及目标: 在学习阶段,你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码,你将深入了解各平台开发的技术细节和最佳实践,逐步培养起自己的项目开发和问题解决能力。此外,在求职或创业过程中,具备跨平台开发能力的大学生将更具竞争力。 其他说明: 为了确保源码资源的可运行性和易用性,特别注意了以下几点:首先,每份源码都提供了详细的运行环境和依赖说明,确保用户能够轻松搭建起开发环境;其次,源码中的注释和文档都非常完善,方便用户快速上手和理解代码;最后,我会定期更新这些源码资源,以适应各平台技术的最新发展和市场需求。
整数方阵外围数字的和
4837 - Mini Trains - Steam Train
计算机网络试卷资源及解析
onnxruntime-1.7.1-cp38-cp38-linux_armv7l.whl.zip
B2030 计算线段长度
本智能物流管理系统有管理员,顾客,员工,店主。功能有个人中心,顾客管理,员工管理,店主管理,门店信息管理,门店员工管理,部门分类管理,订单信息管理,工作日志管理。因而具有一定的实用性。 本站是一个B/S模式系统,采用SSM框架,MYSQL数据库设计开发,充分保证系统的稳定性。系统具有界面清晰、操作简单,功能齐全的特点,使得智能物流管理系统管理工作系统化、规范化。本系统的使用使管理人员从繁重的工作中解脱出来,实现无纸化办公,能够有效的提高智能物流管理系统管理效率。 关键词:智能物流管理系统;SSM框架;MYSQL数据库;Spring Boot 管理员模块的实现: 顾客信息管理:智能物流管理系统的系统管理员可以管理顾客信息,可以对顾客信息信息添加修改删除以及查询操作 员工信息管理:系统管理员可以查看对员工信息信息进行添加,修改,删除以及查询操作。 店主模块的实现: 员工信息管理:店主可以对员工信息信息进行修改,删除以及查询操作 门店信息管理:店主可以对门店信息信息进行修改操作,还可以对门店信息信息进行查询。 员工模块的实现: 门店信息管理:员工登录可以查看门店信息 订单信息管理
7140 - X-Wing Fighter.mpd