【转载】mongodb慢查询记录
在 MySQL中,慢查询日志是经常作为我们优化数据库的依据,那在MongoDB中是否有类似的功能呢?答案是肯定的,那就是Mongo Database Profiler.不仅有,而且还有一些比MySQL的Slow Query Log更详细的信息。它就是我们这篇文章的主题。 开启 Profiling 功能 有两种方式可以控制 Profiling 的开关和级别,第一种是直接在启动参数里直接进行设置。...
View Articlemysql索引合并:一条sql可以使用多个索引
前言mysql的索引合并并不是什么新特性。早在mysql5.0版本就已经实现。之所以还写这篇博文,是因为好多人还一直保留着一条sql语句只能使用一个索引的错误观念。本文会通过一些示例来说明如何使用索引合并。什么是索引合并下面我们看下mysql文档中对索引合并的说明: The Index Merge method is used to retrieve rows with several range...
View ArticleRightScale:2015年度云计算使用调查报告
1 摘要2015年1月,RightScale调查了930个来自不同行业和组织的专业人员,对他们关于采用云计算的观点作了汇总。 2015年度云计算使用调查报告的关键发现有:Cloud是即成事实,并且混合云是一个用户首选的策略93%调查的组织已经在IaaS上运行应用或者正在评估IaaS相对于2014年74%的比例,82%的企业已经有了混合云的策略...
View ArticleApache Mesos的真实使用场景
【编者的话】文中内容来源于stackoverflow上的一个问题 ,提问者想知道Mesos在实际的使用中都有哪些使用场景,来自Twitter的工程师从容器编排、资源利用率、优先级和资源抢占、以及服务运行等几个角度,对问题进行了回答。 我尝试探究用户使用Mesos的原因究竟有哪些,以下是暂时列出的几个要点,不知道还有没有其他的例子?...
View Articlemap和reduce 个数的设定 (Hive优化)经典
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改); 2. 举例: a)...
View Article[原]LinkedIn Cubert安装指南
最近工作需要,调研了一下LinkedIn开源的用于复杂大数据分析的高性能计算引擎Cubert。自己测了下,感觉比较适合做报表统计中的Cube计算和Join计算,效率往往比Hive高很多倍,节省资源和时间。下面看下这个框架的介绍:Cubert完全用Java开发,并提供一种脚本语言。它是针对报表领域里经常出现的复杂连接和聚合而设计的。Cubert使用MeshJoin算法处理大时间窗口下的大数据集,CPU...
View Article《纽约时报》南丁格尔梦难圆,中国护士绝望辞职
在每年的5月12日,也就是国际护士节,中国的护士都会宣读为纪念英国社会改革家、现代护理创始人而写的《弗洛伦斯·南丁格尔誓言》(Florence Nightingale Pledge)。...
View ArticleJava编程规范
转: http://blog.csdn.net/evankaka/article/details/46538109 一. 编写背景本文档的编写从简,绝大多数内容以条款或者表格形式列出,不做过多的补充说明,代码格式规范遵循eclipse的默认编码规范要求. 二. 适用范围 后台开发人员 总则 规范制定总则 • 简单,易执行 命名总体原则 1. 名字含义要明确,做到见名知义,如:...
View Article从CPT到CPS
一CP*是一种广告的计价方式。从媒体这个立场出发,按照他们钟爱度从高到低的排名,大致是:CPT(按时间)、CPM(按覆盖)、CPC(按点击)、CPA(按行为)、CPS(按销量)。从广告主这个立场出发,正好倒过来。这不奇怪,因为越往后,越符合广告主的企图:按效果付费。但打媒体建立了广告商业模式之后,在非常长一段时间,广告的计价方式是:CPT、CPM。二原因有两个。其一,CPC/A/S,在没有互联网的时...
View Article[转]HCE技术实战分析
Google开始放出HCE的支持后,掀起了巨大的反响。 摆脱了SWP-SIM对运营商的依赖,摆脱了eSE对手机厂商的依赖,其对于产业生态的影响不言而喻。网上基于HCE的前景和应用讨论的不亦乐乎,但技术层面的资料却乏善可陈。现我们就通过一个具体的实现来揭秘HCE,同时给出一个技术层面的理解。 首先,需要的环境: 一个支持Android 4.4.2...
View Article提高WEB用户体验至关重要的几点
一个精通算法经验丰富的后端工程师,也不一定能够完成出色的前端页面,对逻辑经验丰富的程序员来说,html/css显得繁琐低效,即便是SASS、LESS这样的框架也难以让传统程序员理解前端工程师,多数人眼中前端是编程与设计各占一部分的新职业,特别是在众人把用户体验挂在口中时,更让人觉得前端应当对此有独特的理解。其实在我看来,用户体验这东西不管是从哪方面来说都没有一个确切的定义,可能前端可以更多的用经验来...
View Article程序员如何选择编程技术书?
是的,没错!即使是棵枯树也同样可以成为优秀资源,教你学习如何写代码或者磨练你如何成为一名好的开发者。真正的问题是,你如何选择你真正需要的合适你的书?幸运的是,有几个要点可以帮助你将市场上琳琅满目的书进行整理。有一些经典的巨著,我建议凡是任何对计算机编程和软件开发感兴趣的人都可以去看一看的。(译注:比如 Stack Overflow...
View Article一些有用的HTML5 pattern
最近在做手机页面时,遇到数字输入的键盘的问题,之前的做法只是一刀切的使用 type="tel",不过一直觉得九宫格的电话号码键盘上的英文字母太碍事了。于是想要尝试其它的实现方案,最终的结论却令人沮丧。不过也趁机详细了解了下 pattern这个属性。 type="tel" 和 type="number" 的区别这里还是先那么先交代一下最初遇到的问题。其实无论是 tel还是...
View Article性能提升20倍的浏览器要来了!
你还在比对哪款浏览器比较好使吗?像小编一样装了5个浏览器还不知道用哪个好的日子快过去了呢!据外国媒体报道,谷歌、苹果、微软和Mozilla的工程师们正在联合开发一种叫WebAssembly的技术。WebAssembly是一种可用于未来浏览器中的字节码(bytecode),能够使浏览器的性能提升20倍。目前流行的浏览器均使用JavaScript语言来解释代码,提供网站上诸如表格和动态内容等功能。通过a...
View ArticleIPv6普及度近况
未来几周,又有一个地区性IP地址分配机构将面临IPv4地址空间枯竭:2011年初IANA分配掉了最后可用的IPv4地址池,之后我们看到亚太区的IPv4地址空间在2011年4月枯竭,欧洲和中东地区是2012年9月,拉美和加勒比地区是2014年5月,最新一个是负责北美地区的分配机构ARIN。截至2015年6月中旬,ARIN的可用池里只剩下220万个IPv4地址,按照目前的分配速度,大约30天后这些地址将...
View ArticleMySQL 乱码之我见
先着重介绍一下mysql的字符集,这样能对产生mysql的根源有一个了解。 mysql 的字符集支持有两个方面:字符集(Character set)和排序方式(Collation)。另外对于字符集的支持细化到四个层次: 服务器(server),数据库(database),数据表(table)和连接(connection)。连上mysql 后使用status...
View Article小米路由器劫持特定网页插入应用推广广告
陈少举 写道 "2015年06月19日,V2EX社区有用户报告称,访问豆瓣电影时,网页上会出现小米路由手机App的广告信息。虽然小米路由器劫持HTTP404错误页面、HTTP403错误页面,已经遭人诟病,不过事后小米官方推出了关闭HTTP错误劫持功能的开关。...
View Article基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。 搜 索引擎架构在ElasticSearch之上,是一个典型的分布式在线实时交互查询架构,无单点故障,高伸缩、高可用。对大量信息的索引与搜索都可以在近...
View Article提高Hadoop Balancer 迁移block速度的方法
如何提高Hadoop Balancer迁移block的速度?1)增加DataNode用于balancer的bandwidth。 dfs.datanode.balance.bandwidthPerSec...
View Article