public class testcache {
class A{
public int []tagid;
public int []tagvalueid;
}
public A [] tmpA;
public void test(){
// tmpA=new A[20000000];
tmpA=new A[20000000];
for (int i = 0; i < tmpA.length; i++) {
tmpA[i]=new A();
tmpA[i].tagid=new int[10];
for (int j = 0; j < tmpA[i].tagid.length; j++) {
tmpA[i].tagid[j]=j;
}
tmpA[i].tagvalueid=new int [10];
for (int j = 0; j < tmpA[i].tagvalueid.length; j++) {
tmpA[i].tagvalueid[j]=j;
}
}
}
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
System.out.println("freeMemory="+Runtime.getRuntime().freeMemory());
System.out.println("totalMemory="+Runtime.getRuntime().totalMemory());
System.out.println("maxMemory="+Runtime.getRuntime().maxMemory());
System.out.println("--------------------------------");
long start=System.currentTimeMillis();
// int [] tmp=new int[100000000];
// for (int i = 0; i < tmp.length; i++) {
// tmp[i]=i;
// }
// String [] tmp=new String[10000000];
// for (int i = 0; i < tmp.length; i++) {
// tmp[i]=""+i;
// }
BirdBitSet tmpBitSet1=new BirdBitSet();
tmpBitSet1.set(1);
tmpBitSet1.set(1000);
tmpBitSet1.set(99999);
System.out.println("tmpBitSet1.size()="+tmpBitSet1.size());
testcache _testcache=new testcache();
_testcache.test();
System.out.println("time1:"+(System.currentTimeMillis()-start));
BirdBitSet tmpBitSet=new BirdBitSet();
start=System.currentTimeMillis();
int tmpi=0;
for (int i = 0; i < 10000000; i++) {
tmpi=(int) Math.round(Math.random()*20000001);
tmpBitSet.set(tmpi);
}
System.out.println("time2:"+(System.currentTimeMillis()-start));
start=System.currentTimeMillis();
int iranddom=0;
for (int i = tmpBitSet.nextSetBit(0); i >=0; i=tmpBitSet.nextSetBit(i+1)) {
int tmpicount=_testcache.tmpA[i].tagid.length;
for (int j = 0; j < tmpicount; j++) {
int tmp=_testcache.tmpA[i].tagid[j]+100;
}
int tmpicount1=_testcache.tmpA[i].tagvalueid.length;
for (int j = 0; j < tmpicount; j++) {
int tmp=_testcache.tmpA[i].tagvalueid[j]+100;
}
}
System.out.println("iranddom:"+(iranddom));
System.out.println("time3:"+(System.currentTimeMillis()-start));
System.out.println("freeMemory="+Runtime.getRuntime().freeMemory());
System.out.println("totalMemory="+Runtime.getRuntime().totalMemory());
System.out.println("maxMemory="+Runtime.getRuntime().maxMemory());
System.out.println("totalMemory-freeMemory[已经使用的内存]="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())/1024/1024);
}
}
结论
单线程 8核机器
2000w
随机取1000w
freeMemory=8588320
totalMemory=9109504
maxMemory=4727504896
--------------------------------
初始数据
time1:88881
模似数据
time2:1172
iranddom:0
//取值
time3:1324
freeMemory=670798848
totalMemory=4201250816
maxMemory=4727504896
totalMemory-freeMemory[已经使用的内存]=3366 (3.3G)
如果用多线程将取到很好的效果,16个核的机器估计可以支撑1亿记录数据量的聚类
分享到:
相关推荐
论文研究-基于量子进化... 实例运算及统计分析结果表明,和遗传算法相比,本文提出的量子 进化算法优化模型可快速得出优化的探测点布局方案,保证三维激光探测法成功实施,为复杂空区三维激 光探测提供科学决策依据.
将过滤掉标签的内容B进行行块长度统计,根据行块分布找出最密集的区域则为初步得到的正文内容Text。 该正文内容已经基本正确,但是如果该正文区域后方或前方不远处出现小部分无关内容,也会计入正文内容,导致有...
为了降低新一代视频编码系统的复杂度,提出了基于图像相关性和最优模式概率统计的帧内预测优化算法,降低了视频编码的复杂度。首先,介绍了新一代视频编码标准(HEVC)帧内预测算法中的Angular预测模式、Planar预测...
机器学习(ML)是计算机系统为了有效地执行特定任务,不使用明确的指令,而依赖模式和推理使用的算法和统计模型的科学研究。它被视为人工智能的一个子集。机器学习算法构建一个基于样本数据的数学模型,称为“训练...
杨 培 -《非最优化算法初探》 张 辰 -《动态规划的特点及其应用》 张 力 -《类比思想在解题中的应用》 张一飞 -《冗繁削尽留清瘦——浅谈信息的充分利用》 ## 2001 高寒蕊 -《从圆桌问题谈数据结构的综合...
统计学习模型学习笔记 记录统计学习模型学习过程中的笔记,其中包括使用sklearn来测试模型,同时包括自己构建模型来实现模型的训练等等。 统计学系方法概论 感知机 k近邻法 k均值 增加k-means聚类算法。 朴素贝叶斯...
该分析器的核心模块——分词器所使用的分词算法是一种基于词典的中文分词算法,该算法具体实现上采用了基于词前缀哈希技术来进行逐字匹配,采用基于规则统计技术来进行新词识别,通过对分词中衍生词进行回溯分析来...
针对拟合曲线时输入样本的随机性,提出了随机拟合的概念,并给出了相应的自适应算法....对于算法中区间的长度,进行了初步的分析及优化.仿真表明,该算法有较理想的逼近效果,优于一般的最小二乘法.
由此提出了“机器学习”这个概念,它是一个结合了多个学科如概率论,优化理论,统计等,最终在计算机上实现自我获取新知识,学习改善自己的这样一个研究领域。机器学习是人工智能的一个子集,目前已经发展出许多有用...
第八章 矢量算法与场论初步-张量算法与黎曼几何初步 第九章 抽象代数?线性空间?泛函分析 第十章 复变函数 第十一章 傅立叶级数与积分变换 第十二章 特殊函数 第十三章 常微分方程 第十四章 偏微分方程 第十五章 积分...
04函数与优化方法:模型的自我学习(上)。mp4 05前馈网络与反向传播:模型的自我学习(下)。mp4 06线性回归模型:在问题中回顾与了解基础概念。mp4 07卷积神经网络:给你的模型一双可以看到世界的眼睛。mp4 08...
(),一个简化的程序包,可以使优化算法的比较更加透明和可重复。 它是用Python编写的,但可用于许多编程语言。 到目前为止,它已经通过Python,R,Julia和通过C / C ++编写的可通过终端命令获得的编译二进制文件...
本课程的主要教学内容包括多元统计方法初步,非线性优化算法,偏微分方程以及应用泛函方法等四个单元。多元统计方法单元,从统计的角度,对计算机科学中如计算机视觉和模式非线性优化单元称为主流非线性优化方法及其...
本课程的主要教学内容包括多元统计方法初步,非线性优化算法,偏微分方程以及应用泛函方法等四个单元。多元统计方法单元,从统计的角度,对计算机科学中如计算机视觉和模式非线性优化单元称为主流非线性优化方法及其...
词相似度计算词林编码法相似度汉语语义法相似度知网词相似度字面编辑距离法初步相似度计算简单而言相似度句子相似度计算词性和词序结合法编辑距离算法Gregor编辑距离法优化编辑距离法文本相似度计算余弦相似度编辑...
0.8 计算统计学:MATLAB 统计分类初步 . . . . . . . . . . . . . . . . 3 0.9 使用 MATLAB Coder 从 MATLAB 生成 C/C 代码 . . . . . . . . 3 0.10 使用 MATLAB 加速 C/C 算法开发 . . . . . . . . . . . . . . ....
0.8 计算统计学:MATLAB 统计分类初步 . . . . . . . . . . . . . . . . 3 0.9 使用 MATLAB Coder 从 MATLAB 生成 C/C 代码 . . . . . . . . 3 0.10 使用 MATLAB 加速 C/C 算法开发 . . . . . . . . . . . . . . ....
0.8 计算统计学:MATLAB 统计分类初步 . . . . . . . . . . . . . . . . 3 0.9 使用 MATLAB Coder 从 MATLAB 生成 C/C 代码 . . . . . . . . 3 0.10 使用 MATLAB 加速 C/C 算法开发 . . . . . . . . . . . . . . ....
初步/后缀优化 单调毒性优化 曼哈顿距离 矩阵相关 二分搜索 二分答案 差分整数 优先基准 贪心 霍夫曼 区间 状态压缩 树状斑点 链表 等价变换 栈 树 图论 拓扑排序 连通性/并查集 弗洛伊德 迪克斯特拉 数学 冷门问题 ...
1. Encoder类词嵌入模型特征提取能力比fasttext更强,Encoder拥有自带的预训练分词器,相较于基于统计的Jieba分词器会更适配多变的语境。同时预训练模型拥有大量语料库作为底模支撑,在finetune的过程中相对更不容易...