转:hive表Join的倾斜问题以及解决方法
写HQL语句的时候常常会遇到表Join的情况,一个简单的Join会被Hive解释成一个MapReduce任务,Map端分别读取两个表的数据,Reduce做真正的Join操作。如果执行的过程中,如果发现有些Reduce任务比其他的Reduce任务慢很多,往往是发生了倾斜问题。问题分析 select a.*, b.cat_name from dim_auction a join dim_category...
View ArticleRedis应用场景(转)
转自: http://blog.csdn.net/hguisu/article/details/8836819#t11 1. MySql+Memcached架构的问题 实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题:...
View Articlesql语句优化
sql语句优化 http://blog.csdn.net/csh624366188/article/details/8457749性能不理想的系统中除了一部分是因为应用程序的负载确实超过了服务器的实际处理能力外,更多的是因为系统存在大量的SQL语句需要优化。 为了获得稳定的执行性能,SQL语句越简单越好。对复杂的SQL语句,要设法对之进行简化。 常见的简化规则如下:...
View Article一种快速估算故事点的方法
英文原文: A Fast Story Point Estimation Process估算故事点是一个令人乏味的过程。正是这样的乏味过程使得一些团队放弃了有助于预测速率的估算点。何不放手这种有效的方式来预测未来的工作,而找一种更快的估算过程?不仅是快,而且...
View ArticlemongoDb的写和读
1. 首先说一下为什么要用mongodb: 数据结构能体现开发者的程序和构想,所以我们始终在寻找方法,让数据结构更有表达力,从而更好地进行应用的建模。所以回到 MongoDB为何流行的话题上,并不是它的扩展性有多好,而是因为数据结构。 同其他的NoSQL数据库技术相比,MongoDB的扩展性并不是最出色...
View Article集成架构:对比 Web API 与面向服务的架构和企业应用程序集成
简介 几乎所有企业都有多个应用程序作为其关键数据的记录系统,而且还拥有它们赖以创业的业务功能。因此,一些组织想要不断向其企业内外更广泛的受众揭示这些操作系统中的宝贵资产,我们对此已司空见惯。但是,这需要时间。在本教程中,我们将介绍这项评估的关键阶段,帮助您评估您的企业在此旅程中的位置,分析您可能想要采取哪些行动来让您的集成架构朝着或超越 API 公开的方向发展。...
View Article留存率是什么?
在网站分析、电商分析、网游分析中,对于留存率的关注度极高,这一浪潮随着APP应用、社交游戏的火爆逐渐成为一个很重要的衡量准则,也甚至有了40-20-10准则。对于这个准则不予评价,今天就是简单说说留存率就是是个什么玩意。...
View ArticleJava为图片生成缩略图
一、引言需要为一张图片生成缩略图。可以通过开源jar包thumbnailator-0.4.8.jar中提供的类来实现。 二、示例代码解压jar包可以看到测试类:ThumbnailatorTest.java,其具体代码如下:package com.wbf.test; import java.awt.image.BufferedImage; import java.io.File; import...
View ArticleJava获取图片EXIF格式的元数据
一、引言 Java中要取得一张图片的exif(Exchangeable Image File, 可交换图像文件)信息。比如:拍摄时间,拍摄设备型号,焦距,曝光时间等。 通过开源Jar包metadata-extractor-2.8.1.jar、xmpcore-5.1.2.jar中提供的类就可以获取到以上信息。 二、示例代码1) 示例1package com.wbf.test; import...
View Articlejava多线程总结五:线程池的原理及实现
1、线程池简介: 多线程技术主要解决处理器单元内多个线程执行的问题,它可以显著减少处理器单元的闲置时间,增加处理器单元的吞吐能力。 假设一个服务器完成一项任务所需时间为:T1 创建线程时间,T2 在线程中执行任务的时间,T3 销毁线程时间。 如果:T1 + T3 远大于 T2,则可以采用线程池,以提高服务器性能。...
View Article如何正确关闭MongoDB(转载)
由于被同事kill -9后导致MongoDB瘫痪 错误:Error: error doing query: failed 首先MongoDB使用mmap方式进行数据文件管理,也就是说写操作基本是在内存中进行,写操作会被每隔60秒(syncdelay设定)的flush到磁盘里。如果在这60秒内flush处于停止事情我们进行kill -9那么从上次flush之后的写入数据将会全部丢失。...
View Articlehadoop常见错误及解决办法!
转: http://p-x1984.iteye.com/blog/989577 1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。 修改办法: 修改2个文件。...
View Articlenginx配置location总结及rewrite规则写法
location正则写法一个示例:location = / { # 精确匹配 / ,主机名后面不能带任何字符串 [ configuration A ] } location / { # 因为所有的地址都以 / 开头,所以这条规则将匹配到所有请求 # 但是正则和最长字符串会优先匹配 [ configuration B ] } location /documents/ { # 匹配任何以...
View ArticleSpring中hibernate配置
属性名用途hibernate.dialect Hibernate方言(Dialect)的类名 - 可以让Hibernate使用某些特定的数据库平台的特性hibernate.default_schema在生成的SQL中,scheml/tablespace的全限定名取值....
View ArticleShadowSocks—有墙不怕,科学上网
除去广为人知、人见人爱的 VPN,其实还有十八般兵器存在于科学上网界,其中ShadowSocks可以说是其中一把功能齐全的瑞士军刀。服务器端提供了各种版本,如Python、Nodejs、Go、C libev等等,安装配置过程极其简单。而用户端则可以在windows、mac、iOS和android上轻松运行,很好很强大。 PS:此程序 开源,感谢作者 @clowwindy为主的所有程序员。...
View ArticleICE应用实例(01):
本文接上篇博文《ICE通信框架》如果你还没有接触过ice请先阅读我的上篇博文 http://blog.csdn.net/liuzhoulong/archive/2011/03/04/6223450.aspx 本文将结合实际项目,做一个基于...
View ArticleIce服务详解及应用_IceGrid(01)IceGrid负载均衡部署
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 【IceGrid负载均衡部署步骤】 1、环境 主机1:IP=192.168.0.239,上面部署注册表服务器registry和节点node1,registry和node1运行在同一进程中;...
View ArticleZEROC ICE 跨平台间程序调用 java版 - 嗨!蜗牛
前言: 本来建博客是为了和大家分享一些前端的开发经验和心得呢,但是阴差阳错,第一篇技术博客确实关于跨平台,跨语言服务端调用的解决方案---ZEROC ICE。...
View ArticleICE安装及使用示例
ICE是什么ZeroC ICE 是指ZeroC公司的ICE(Internet Communications Engine)中间件平台。 Ice 应用适合于异构平台环境中使用:客户和服务器可以采用不同的编程语言,可以运行在不同的操作系统和机器架构上,并且可以使用多种网络技术进行通信。无论部署环境如何,这些应用的源码都是可移植的。 其采用C/S...
View ArticleZEROC Ice 初步认识
1、ICE是什么? ICE是ZEROC的开源通信协议产品,它的全称是:The Internet Communications Engine,翻译为中文是互联网通信引擎,是一个面向对象的中间件,使我们能够以最小的代价构建分布式应用程序。ICE使我们专注于应用逻辑的开发,它来处理所有底层的网络接口编程,这样我们就不用去考虑这样的细节:打开网络连接、网络数据传输的序列化与反序列化、连接失败的尝试次数等。...
View Article