Hive调优(语法与参数层面优化)
一、简介 作为企业Hadoop应用的核心产品,Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计,很多企业里的离线统计甚至全由Hive完成,如我所在的电商。Hive在企业云计算平台发挥的作用和影响愈来愈大,如何优化提速已经显得至关重要。好的架构胜过任何优化,好的Hql同样会效率大增,修改Hive参数,有时也能起到很好的效果。有了瓶颈才需要优化...
View ArticleHTTP 协议中的 Transfer-Encoding
本文作为我的博客「 HTTP 相关」专题新的一篇,主要讨论 HTTP 协议中的 Transfer-Encoding。这个专题我会根据自己的理解,以尽量通俗的讲述,结合代码示例和实际场景来说明问题,欢迎大家关注和留言交流。Transfer-Encoding,是一个 HTTP 头部字段,字面意思是「传输编码」。实际上,HTTP...
View Article手机厂商对第三方应用商店实行“禁限令”:入口之争
手机无法下载第三方应用商店?下载之后无法安装? 这些网易网友反映的问题引起了记者的高度重视:这究竟是概率问题,还是人为因素?网易科技对此展开调查。 在调查中,我们发现不仅出现了众多手机厂商将应用商店运营权收回的情况,甚至还有部分厂商采取了凭借底层系统优势、悄悄对第三方应用商店实行“禁限令”的举措。...
View ArticleAPK反编译去广告大揭秘
APK反编译去广告 具体步骤:1.下载 apktool 下载地址: https://code.google.com/p/android-apktool/downloads/list2.通过apktool 反编译apk。命令行中输入以下命令:apktool.bat d -f aaa.apk(apk路径) 反编译APK文件3.开始修改XML布局文件首先,我们进入反编译后的文件夹,以我的为例进入...
View Article/etc/resolv.conf 档案自动复原问题
主机使用 DHCP 取得 IP ,当我改过 /etc/resolv.conf 之后,隔不多久这个档案又会恢复成原本的样子,这是什么原因?该如何处理?答:因为使用 DHCP 时,系统会主动的使用 DHCP 服务器传来的数据进行系统配置文件的修订。因此,你必须告知系统,不要使用 DHCP 传来的服务器设定值。此时,你得要在...
View Article投诉高涨 中移动游戏基地大面积暂停游戏合作业务
进入4月后,一些开发商陆续收到了中国移动游戏基地(现在的咪咕文化科技有限公司)通知。通知中表示,因为江西分公司的游戏业务累计投诉量占到了排名第一位,影响恶劣,决定对除江西省重点运营的15款游戏以外,全部产品进行分省暂停操作。这次简单的暂停操作背后,影射了中国移动两大服务——中国移动的移动应用市场(Mobile...
View Article谷歌推出全新Android开发框架Sky让App更流畅
据arstechnica 报道,谷歌推出全新Android开发框架Sky,主要目的包括提高运行速度和响应速度,在大部分设备上,应用流畅的标准都是实现60FPS的帧率,Sky希望实现高达120FPS的帧率,用户界面将保持流畅的响应速度。...
View Article企业沟通工具调研报告:82%受访者认为传统企业沟通工具存在问题
随着移动互联网时代以及全民创业时代的到来,用户需求以及市场环境使得“快”字成为互联网公司做产品、做市场的第一要务:快速开发产品、快速投向市场、快速响应用户、快速迭代产品。在对速度有如此高要求的情况下,传统企业沟通工具、工作方式是否海能够满足当前工作需要呢?与此同时,解决企业沟通协作问题SAAS类产品如雨后春笋一样蓬勃发展。这些产品在百度上做搜索推广的就有一大片,具体的发展情况如何我们不得而知。是真的...
View Article微信朋友圈路径为什么这么深?
最近网上流传着一份微信产品经理面试题。几道题看似简单,却十分考验人,尤其是偏技术的第二题,回答的人特别多,由此可见,产品经理不仅是要从宏观上把控产品策略,还要对微观技术有所了解,综合素质要求是相当高啊。鉴于网上已经有比较成型的第二题答案,在此就不赘述了。且就第一题——“微信朋友圈为什么不调整到首屏,为什么路径这么深”发表下浅见。从产品定位角度来看微信究竟是一款即时通讯软件还是一款社交软件?答案众说纷...
View ArticleC/C++编程的现代习惯
相对于汇编语言是一门操作 CPU 寄存器的语言, C/C++ 是一门操作内存的语言, 这是传统的观点. 但现代的程序应用开发, 大多是把 C/C++ 当作一门应用层语言, 所以必须适当地减少对内存的关注. 这也是本文所要讲的 - C/C++ 编程的现代习惯.1. 不要害怕返回结构体和类的实例在一些古董级的编程书里, 你绝对看不到返回结构体或者类的实例, 它们告诉你"不能返回局部变量的内存"....
View Article微软为Win10开发Android和iOS快速移植工具
在今天凌晨的Build 2015开发者大会上,微软宣布所有Android和iOS应用,都可以通过简单的修改代码,直接生成适用于Win10的应用。也就是说,开发者们不需要学习更多内容,就可以将自己的Android或iOS应用在Win10系统中运行。 微软在会上公布了Windows Store获得通用应用的四种方法: 第一,在线获取,用Web网页留下的链接,以webapp的形式轻松开始实现。...
View ArticleSqoop导入关系数据库到Hive
文章来自:http://blog.javachen.com/2014/08/04/import-data-to-hive-with-sqoop/ Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具。本文以 mysql 数据库为例,实现关系数据库导入到 hdfs 和 hive。1. 安装 Sqoop使用 rpm 安装即可。yum install sqoop...
View Articlebeeline 连接SPARK /Hive
hiveclient所在主机的jdk 1.7_51,hive 0.12和hadoop 2.3.0是从服务器端拷贝过来的,环境变量一切OK. 执行连接报了Invalid URL的错误: $ beeline Beeline version 0.12.0 by Apache Hive beeline> !connect jdbc:hive2://cloud011:10000 scan...
View Article女司机为何挨打又挨骂?
比挨打更惨的莫过于,是挨完打又挨骂,一些“女司机”也真是神一样的存在。 昨日,“成都男司机暴打女司机”视频走红网络,引发公愤,男司机很快以“寻衅滋事罪”被刑拘。 在为这名怒男凶悍的拳脚惊叹的同时,网友头脑中也有一个问号:女司机做了啥子将此男激怒至此?——昨日的线索只说是该女连续变道吓着了男子的小孩……然而,无论如何不能放肆暴打,尤其对方还是女性,舆论仍然集中在谴责该男子。...
View Article一种利用ngram模型来消除歧义的中文分词方法
这里的 歧义是指:同样的一句话,可能有两种或者更多的切分方法,这些切分结果,有的正确,有的不正确。消除歧义的目的就是从切分结果中挑选切分正确的。假设我们要切分句子:结婚的和尚未结婚的,使用 逆向最大匹配和 正向最大匹配算法的结果如下:逆向最大匹配:[结婚, 的, 和, 尚未, 结婚, 的] 正向最大匹配:[结婚, 的, 和尚, 未结, 婚, 的]再比如,这几块地面积还真不小:逆向最大匹配:[这,...
View ArticleAPK反编译、修改、重打包、签名
目录1、反编译:2、修改AndroidManifest.xml3、重新打包:4、签名: 1、反编译: java -jar apktool_2.0.0.jar d Demo.apk 默认反编译到Demo文件夹下,附件为apktool_2.0.0.jar 2、修改AndroidManifest.xml<application android:icon="@drawable/icon"...
View Article为Apple Watch简化现有产品的设计思路
英文原文: 4 Ways we Simplified Our App for the Apple Watch By by Michelle Li and Abby Deering“优秀的设计师会对新的设计方式有所预见并做好充分的准备,而不只是被动的响应与跟从。” – David Hoang我们的团队决定在Apple Watch正式发售之前就对我们的Geocaching(...
View ArticleJava线程之FutureTask
FutureTask是Future和Callable的结合体。传统的代码是这样写的Future f = executor.submit(new...
View Article8 个你可能不知道的 Docker 知识
Docker 这个工具已经出现很长一段时间了,但是可能还有很多人对 Docker 的概念不太清楚,因此这次翻译 8 个你可能不知道的 Docker 知识这篇文章,和大家介绍一下生产环境中的 Docker 用例。自从上世纪 90 年代硬件虚拟化被主流的技术广泛普及之后,对数据中心而言,发生的最大的变革莫过于容器和容器管理工具,例如:Docker。在过去的一年内,Docker...
View Article变道被暴打女司机的舆情应对失误
被暴打,舆论从支持到了反对,尤其是在微博微信这样的自媒体空间,女司机被质疑占比非常明显。 先转一个图,这个基本是一个完整的过程还原。 按央视新闻频道《新闻1 1》《今日关注:行车记录仪里的真相?》中白岩松的说法,“女司机是犯了两次错误,男司机当然也是犯了两次错误”(视频地址:http://news.cntv.cn/2015/05/05/VIDE1430839256646450.shtml...
View Article