从未降级的搜索技术
在搜索我经历过全部的双11,12年和13年这2次大促,GN是开发总指挥,我是在礼台上看各种新武器实弹表演。过去6年里,我们的引擎体系每年做到100%的性能提升,以淘系搜索为例,从最初3000台机器翻倍到现在区区6000台,但搜索服务却从6千qps增长了40倍到现在的32万qps,同时还填补了算法欲壑(算法数据占用内存从最初的10%到了现在的50%),转化率持续攀升,目前大搜索GMV已经是全网的主体了...
View Article为了不让孩子输在起步跑线上 你还得买卡西欧E-SU60学习机
现在孩子学习压力有多大,教育市场有多人火爆,到英语培训班、补习班门前一看就知道了,家长们早上六七点已就位排队、领号,堪比新iPhone上线。为了不让孩子输在起步跑线上,现在卡西欧E-SU60学习机来帮家长一把了。今天上海成龙电影艺术馆中,卡西欧发布了为专门为小学生们设计的学习机E-SU60。如果你觉得学习机这名词有点陌生,不妨称它为电子辞典,卡西欧电子辞典在中学、大学如何受欢迎不用多说,几乎就是学习...
View Article飘逸的python - 大数据TopK问题的quick select解法
TopK问题,即寻找最大的K个数,这个问题非常常见,比如从1千万搜索记录中找出最热门的10个关键词.方法一:先排序,然后截取前k个数.时间复杂度:O(n*logn)+O(k)=O(n*logn)。方法二:最小堆.维护容量为k的最小堆.根据最小堆性质,堆顶一定是最小的,如果小于堆顶,则直接pass,如果大于堆顶,则替换掉堆顶,并heapify整理堆,其中heapify的时间复杂度是logk.时间复杂度...
View Article实现ViewPager多页面滑动效果
viewPager实现引导页 ViewPager多页面滑动效果 1.Android的左右滑动在实际编程经常能用到,比如查看多张图片,左右 切换tab页。 2.自android 3.0之后的SDK中提供了android-support-V4包用以实现 版本兼容,让老版本系统下的应用通过加入jar包实现扩展,其中有一...
View Articlejquery实现滚动到页面底部时无限加载内容的代码
由于时间关系没有整理封装,有空的时候再把他做成一个插件。但复制下来修改一下是可以用的。以下为实例:var p="{$other.p}"; if(p=="") p=1; var stop=true;//触发开关,防止多次调用事件 $(window).scroll(function() { //当内容滚动到底部时加载新的内容 100当距离最底部100个像素时开始加载. if...
View Article项目性能优化经验--ZY(二)
1. hibernate 级联问题项目中,用了很多的LAZY级联,在页面用到的时候再去load,这样就使用Open Session In...
View Article工作中关于redis应用的总结
工作中用到的缓存技术有memcache,redis,常用的缓存技术是redis,它和memcache一样,数据都是缓存在内存中的。区别是redis会周期性把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且支持主从同步。提供了五种数据类型:String,hash,list,set及sorted set。 遇到应用场景如下:...
View Article项目性能优化经验--ZY项目
最近负责给公司某个ZY项目进行性能优化的一些经验分析碰到问题:1. 压力测试到100并发,任何一个场景CPU暴高,接近100%查询jstack日志,发现大部分的线程block在tomcat 的 http11.connect 的poll方法上 或者是c3p0连接池的获取上同时发现该项目数据库连接池配置了2000+,仍然不够用,100并发 分析原因:...
View ArticleHive中跑MapReduce Job出现OOM问题分析及解决
一、引子今天在跑一段很复杂而且涉及数据量10多年的N个表join的长SQL时,发生了OOM的异常。由于一个map通常配置只有64MB或者128MB,则在Map阶段出现OOM的情况很少见。所以一般发生在reduce阶段。 但是今天这个异常详细的看后,会发现既不是map阶段,也不是reduce阶段,发现不是执行过程,而是driver提交job阶段就OOM了。...
View ArticleMaven 3 入门 -- 核心概念
坐标例如上篇helloworld的pom.xml配置文件中的 <groupId>com.zhaoyang</groupId><artifactId>HelloWorld</artifactId><version>1.0-SNAPSHOT</version>...
View ArticleSpark和RDD模型研究
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语,使用户不用操心任务分发和错误容忍,非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持,使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景:Ø...
View Article过早优化是万恶之源(转)
Don’t Cut Yourself: Code Optimization as a Double-Edged Sword。中文翻译:过早优化是万恶之源。 代码优化的好处多多,但是这并不意味着所有的代码都需要进行优化,有时过度的优化反而适得其反——费时、费力、不讨好。 “现代计算机科学的鼻祖”Donald Knuth曾说过“过早的优化是万恶之源”,因为: [u]...
View Article一个适合创业企业的薪酬制度
本文地址: FirstRoundReview,本译文首发于创之网(chuang.pro)。Molly Graham 加入 Facebook 的时候,这家公司已经有了 400 名雇员,但却没有一个官方的工作表现和薪酬激励机制。Facebook 曾经尝试过许多做法,但是都没有坚持下去。结果就变成了:透明度低、多种薪酬制度并行,而且还使员工沮丧和困惑。在跟 Sheryl Sandberg 和首席...
View Article高吞吐低延迟Java应用的垃圾回收优化
高性能应用构成了现代网络的支柱。LinkedIn有许多内部高吞吐量服务来满足每秒数千次的用户请求。要优化用户体验,低延迟地响应这些请求非常重要。比如说,用户经常用到的一个功能是了解动态信息——不断更新的专业活动和内容的列表。动态信息在LinkedIn随处可见,包括公司页面,学校页面以及最重要的主页。基础动态信息数据平台为我们的经济图谱(会员,公司,群组等等)中各种实体的更新建立索引,它必须高吞吐低延...
View Article[转][转]列式数据库之infobright以及架构
文章来源:http://www.cnblogs.com/inmanhust/tag/infobright/列式数据库之infobright 年前听过Sybase中国区副总裁的关于列式数据库的讲座之后就一直被列式数据库强大的性能吸引。最近邂逅了infobright,列式数据库的学习展开了。 Sysbase可以说是列式数据库的先驱,Sysbase IQ 15 就是Sybase...
View Article量化用户研究
标签: 用户研究 量化本文摘自《Quantifying the User Experience》第二章,作者:JEFF SAURO和 JAMES R.LEWIS,由北京理工大学研究生侯松岩翻译。什么是用户研究?对于一个如此简单的术语,“用户研究”对于不同的人意义也是不同的。对于用户研究中的“用户”,Edward...
View Article从一家电子商务网站学到的经验教训[转载]
摘要:Tindie是一家专门做DIY硬件特卖的网站,自成立以来,两年多的时间里积累了极高的人气,上线超过2000个独立硬件产品。有人评价Tindie对于硬件设计和制造的作用,就如同开源对于软件开发行业的作用一样,意义非凡。 【编者按】Tindie是一家DIY电子设备跳蚤市场,其创始人Emile...
View Article