一、mongodb自带的就有监控,根据这些监控信息,可以做为优化的依据。
mongodb把要输出的慢语句,存在于db.system.profile。与mysql的slowlog配置相似,需要进行参数设置,mongo才会输出慢语句到profile。有两个参数来控制profile的输出
db.setProfilingLevel(level,slowms); 默认为0 不输出 1按第二个参数时间阀值(单位为毫秒)输出 2全部输出。通常我们在调优的时候都在测试环境打开参数。在生产环境下一般不输出profile。
比如
> db.system.profile.find({millis:{$gt:1000}})
就可以输出,查询时间大于1秒的慢语句。
ts:命令执行时间
info:命令的内容
query:代表查询
order.order: 代表查询的库与集合
reslen:返回的结果集大小,byte数
nscanned:扫描记录数量
nquery:后面是查询条件
nreturned:返回记录数及用时
millis:所花时间
如果发现时间比较长,那么就需要作优化。
比如nscanned数很大,或者接近记录总数,那么可能没有用到索引查询。
reslen很大,有可能返回没必要的字段。
nreturned很大,那么有可能查询的时候没有加限制。
mongo可以通过db.serverStatus()查看mongod的运行状态
Js代码
> db.serverStatus()
{
"host" : "baobao-laptop",#主机名
"version" : "1.8.2",#版本号
"process" : "mongod",#进程名
"uptime" : 15549,#运行时间
"uptimeEstimate" : 15351,
"localTime" : ISODate("2011-07-23T06:07:31.220Z"),当前时间
"globalLock" : {
"totalTime" : 15548525410,#总运行时间(ns)
"lockTime" : 89206633, #总的锁时间(ns)
"ratio" : 0.005737305027178137,#锁比值
"currentQueue" : {
"total" : 0,#当前需要执行的队列
"readers" : 0,#读队列
"writers" : 0#写队列
},
"activeClients" : {
"total" : 0,#当前客户端执行的链接数
"readers" : 0,#读链接数
"writers" : 0#写链接数
}
},
"mem" : {#内存情况
"bits" : 32,#32位系统
"resident" : 337,#占有物理内存数
"virtual" : 599,#占有虚拟内存
"supported" : true,#是否支持扩展内存
"mapped" : 512
},
"connections" : {
"current" : 2,#当前链接数
"available" : 817#可用链接数
},
"extra_info" : {
"note" : "fields vary by platform",
"heap_usage_bytes" : 159008,#堆使用情况字节
"page_faults" : 907 #页面故作
},
"indexCounters" : {
"btree" : {
"accesses" : 59963, #索引被访问数
"hits" : 59963, #所以命中数
"misses" : 0,#索引偏差数
"resets" : 0,#复位数
"missRatio" : 0#未命中率
}
},
"backgroundFlushing" : {
"flushes" : 259, #刷新次数
"total_ms" : 3395, #刷新总花费时长
"average_ms" : 13.108108108108109, #平均时长
"last_ms" : 1, #最后一次时长
"last_finished" : ISODate("2011-07-23T06:07:22.725Z")#最后刷新时间
},
"cursors" : {
"totalOpen" : 0,#打开游标数
"clientCursors_size" : 0,#客户端游标大小
"timedOut" : 16#超时时间
},
"network" : {
"bytesIn" : 285676177,#输入数据(byte)
"bytesOut" : 286564,#输出数据(byte)
"numRequests" : 2012348#请求数
},
"opcounters" : {
"insert" : 2010000, #插入操作数
"query" : 51,#查询操作数
"update" : 5,#更新操作数
"delete" : 0,#删除操作数
"getmore" : 0,#获取更多的操作数
"command" : 148#其他命令操作数
},
"asserts" : {#各个断言的数量
"regular" : 0,
"warning" : 0,
"msg" : 0,
"user" : 2131,
"rollovers" : 0
},
"writeBacksQueued" : false,
"ok" : 1
}
db.stats()查看某一个库的原先状况
Java代码
> db.stats()
{
"db" : "order",#库名
"collections" : 4,#集合数
"objects" : 2011622,#记录数
"avgObjSize" : 111.92214441878245,#每条记录的平均值
"dataSize" : 225145048,#记录的总大小
"storageSize" : 307323392,#预分配的存储空间
"numExtents" : 21,#事件数
"indexes" : 1,#索引数
"indexSize" : 74187744,#所以大小
"fileSize" : 1056702464,#文件大小
"ok" : 1
}
查看集合记录用
Java代码
> db.order.stats()
{
"ns" : "order.order",#命名空间
"count" : 2010000,#记录数
"size" : 225039600,#大小
"avgObjSize" : 111.96,
"storageSize" : 307186944,
"numExtents" : 18,
"nindexes" : 1,
"lastExtentSize" : 56089856,
"paddingFactor" : 1,
"flags" : 1,
"totalIndexSize" : 74187744,
"indexSizes" : {
"_id_" : 74187744#索引为_id_的索引大小
},
"ok" : 1
}
mongostat命令查看运行中的实时统计,表示每秒实时执行的次数
mongodb还提供了一个http的监控页面,可以访问http://ip:28017来查看,这个页面基本上是对上面的这些命令做了一下综合,所以这里不细述了。
使用explain对mongodb的索引优化
根据上面这些监控手段,找到问题后,我们可以进行优化
上面找到了某一下慢的命令,现在我们可以通过执行计划跟踪一下,如
Java代码
> db.order.find({ "status": 1.0, "user.uid": { $gt: 2663199.0 } }).explain()
{
"cursor" : "BasicCursor",#游标类型
"nscanned" : 2010000,#扫描数量
"nscannedObjects" : 2010000,#扫描对象
"n" : 337800,#返回数据
"millis" : 2838,#耗时
"nYields" : 0,
"nChunkSkips" : 0,
"isMultiKey" : false,
"indexOnly" : false,
"indexBounds" : {#使用索引(这里没有)
}
}
对于这样的,我们可以创建索引
可以通过 db.collection.ensureIndex({"字段名":1}) 来创建索引,1为升序,-1为降序,在已经有多数据的情况下,可用后台来执行,语句db.collection.ensureIndex({"字段名":1} , {backgroud:true})
获取索引用db.collection.getIndexes() 查看
这里我们创建一个user.uid的索引 >db.order.ensureIndex({"user.uid":1})
创建后重新执行
Java代码
db.order.find({ "status": 1.0, "user.uid": { $gt: 2663199.0 } }).explain()
{
"cursor" : "BtreeCursor user.uid_1",
"nscanned" : 337800,
"nscannedObjects" : 337800,
"n" : 337800,
"millis" : 1371,
"nYields" : 0,
"nChunkSkips" : 0,
"isMultiKey" : false,
"indexOnly" : false,
"indexBounds" : {
"user.uid" : [
[
2663199,
1.7976931348623157e+308
]
]
}
}
扫描数量减少,速度提高。mongodb的索引设计类似与关系数据库,按索引查找加快书读,但是多了会对写有压力,所以这里就不再叙述了。
二、dex安装与使用
dex会对慢语句进行分析,并提供建议的建索引语句。但是在安装和使用需要注意一些限制
1)只适用于 2.0.4 or later版本,一开始是1.8.3的版本,一直没有成功。
2)不能直接用于replSet
以上是两个前提,由于在centos6.3上安装dex还是碰到诸多问题,这里就按照已解决问题的顺序来做安装。大家在安装的时候,最好以下顺序,否则需要来回好几趟才能安装成功
1)yum install zlib*
2)yum install openssl*
3)download python2.7 or later version、download setuptools-0.6c11-py2.7.egg、donwoad pip1.4
4)tar zxvf python2.7.tar.bz2; chmod +x setuptools-0.6c11-py2.7.egg; tar zxvf pip1.4.tar.gz
5)vi /Python2.7/Moduels/Setup.dist
zlib zilibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz
SSL=/usr/local/ssl
_ssl _ssl.c \
-DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
-L$(SSL)/lib -lssl -lcrypto
以上语句原文都是注释掉的,把注释去掉。
./configure
./setup
./setup install
6)python -V
查看python是否为2.7,如果不是cp /usr/local/bin/python2.7 /usr/bin/python
这时打开yum,发现yum坏掉了,因为yum使用的是python2.4版本,解决办法
vi /usr/bin/yum把这一句改成这样
#!/usr/bin/python2.4
保存后,yum就好了
7)sh setuptools-0.6c11-py2.7.egg
8)安装pip,转到pip解压后的目录下 python setup.py install
9)安装dex
pip dex install
依赖的libraries:
pyyaml
pymongo
dargparse
在安装的过程中,还会报pyyaml出错
可以直接下载pyyaml最新版本,通过python setup.py install方式来单独安装
pip dex uninstall
重新再安装一次dex
pip dex install
以上步骤,安装dex完成。在进入dex之前,需要正确设置profilinglevel、mongodb版本是否高于2.0.4,profilinglevel是基于每一个database来设置的,如果
针对多个database那就要切换到不同的database下,分别进行设置。另外dex如果要指定某个database查看,必须指定user:pwd,不能为空。这时就不能采用
没有用户的方式,必须加上用户安全校验。
dex -p monodb://user:pwd@localhost:test
分析出一段比如下面的代码片段
'results': [ { 'queryMask': '{"$query":{"schoolItemId":"<val>","schoolid":"<val>"}}', 'namespace': 'cmac.educourse', 'recommendation': { 'index': '{"schoolid": 1, "schoolItemId": 1}', 'shellCommand': 'db["educourse"].ensureIndex({"schoolid": 1, "schoolItemId": 1}, {"background": true})' }, 'details': { 'count': 1, 'totalTimeMillis': 0, 'avgTimeMillis': 0 } },
"recommendation"部分给出的建索引优化建议。
dex githup具体查看 https://github.com/mongolab/dex
相关推荐
基于DEX插桩的自动应用质量监控.pdf
apk安装包的中的dex优化,这样做可以加快软件的启动速度,预先提取,减少对RAM的占用,因为没有odex的话,系统要从apk包中提取dex再运行。
配置安卓模拟器dex文件不被优化成odex.docx
【Android 热修复】热修复原理 ( 修复包 Dex 文件准备 | Dex 优化为 Odex | Dex 文件拷贝 | 源码资源 ) https://hanshuliang.blog.csdn.net/article/details/115639313 源码快照
解压下载的dex2jar,将classes.dex复制到dex2jar.bat所在目录。在命令行下定位到dex2jar.bat所在目录 运行 dex2jar.bat classes.dex 生成 classes.dex.dex2jar.jar 打开jd-gui.exe打开classes.dex.dex2jar.jar
dex2jar 反编译apk工具 拿到一个apk,可以直接改名成rar进行解压。可以看到熟悉的AndroidManifest.xml和res文件夹,还有一个classes.dex和resources.arsc的东西。 先来看一下classes.dex,这个其实就是打好包的...
把classes.dex文件,放入dex2jar文件夹,然后打开终端,输入命令进行去壳操作: cd dex2jar文件夹 sh dex2jar.sh classes.dex
dex2jar 2017.12刚看的目前最新的包还是15年出来的2.0
最新版本(V2.2.5 )的smali转dex工具,及dex转smali工具。 Dex 2 Smali: java -jar baksmali-2.2.5.jar -o [输出文件夹] dex文件 Smali 2 Dex: java -jar smali-2.2.5.jar -o 目标dex文件 [smali文件夹]
· 对*.Dex 文件 反编译 及 回编译 或查看详细源代码 · 对*.Apk 文件 批量反编译 及 回编译 · 对*.Apk、*.Zip 文件执行签名 · Windows下直示Apk件自身图标 v2.0.2 正式版 2016.06.05 *.更新,ShakaApktool v...
Android开发过程中,有很多时候需要将dex文件转为jar文件,方便查看代码,dex2jar-2.0 就是一款方便将dex转为jar的工具。 操作步骤:将dex文件(如classes.dex)放到解压后 dex2jar-2.0 目录下,打开终端,切换到dex...
dex2jar 是一个能操作Android的dalvik(.dex)文件格式和Java的(.class)的工具集合,包含以下几个功能 dex-reader/writer: 用于读写 Dalvik Executable (.dex) 文件格式. 包含一个简单的API(与ASM相似) d2j-dex2jar...
实现对dex文件的拆分,用压缩软件打开apk,提取出里面的dex文件,将dex分解拖到下载文件“分解"上面就行
可拖动jar或dex文件至此工具,实现dex与jar的相互转换。dex转jar,jar转dex。
二、合并odex和 少dex的apk 为完整的apk文件 1. 需要odex所在rom中的一些引用类,一般在 /system/framework 目录中 2 . 通过odex生成class文件 java -jar baksmali-1.2.6.jar -x android123.odex 执行完上面...
反编译dex文件 反编译apk解压后生成的class.dex文件 内附使用说明
classes.dex.dex2jar
软件介绍: 最新版本的smali转dex工具以及dex转smali .jar工具包,版本号V2.2.5baksmali-2.2.5.jar smali-2.2.5.jar是APK Android反编译工具,具体使用方法可参照网上相关教程进行。
dex2jar用来反编译android的classes.dex 文件实现源码文件获取,版本为dex2jar-2.0和dex2jar-2.1两个版本
android 反编译 逆向 vdex2dex odex2dex 查看app源代码