Clik here to view.
apache 工作模式
prefork 工作模式 如果httpd -l列出prefork.c。则表示是 prefork 工作方式。 如下面所示： Compiled in modules: core.c prefork.c http_core.c mod_so.c这表明当前apache2的工作方式是...
View ArticleClik here to view.
HTTP 断点续传
所谓断点续传，也就是要从文件已经下载的地方开始继续下载。在以前版本的 HTTP 协议是不支持断点的，HTTP/1.1 开始就支持了。一般断点下载时才用到 Range 和 Content-Range 实体头。 Range 用于请求头中，指定第一个字节的位置和最后一个字节的位置，一般格式： Range:(unit=first byte pos)-[last byte pos]...
View ArticleClik here to view.
IKAnalyzer中文分词，计算句子相似度
IKAnalyzer中文分词，计算句子相似度一、简介 IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。独立于Lucene项目，同时提供了对Lucene的默认优化实现。（简介来源： 百度百科） 二、准备 项目结构：...
View ArticleClik here to view.
故事点估算，这真的是问题吗？
用户故事的估算总是不准确的，这是估算的第一要义。正因为此，我们才不能在故事估算上耗费太多时间。估算不应该由个人来进行，团队的 Planning Game...
View ArticleClik here to view.
使用Apache Phoenix 实现 SQL 操作HBase
Apache Phoenix 相信大家并不陌生，它是HBase的SQL驱动，Phoenix 使得Hbase 支持通过JDBC的方式进行访问，并将你的SQL查询转换成Hbase的扫描和相应的动作。 兼容性：Phoenix 2.x - HBase 0.94.xPhoenix 3.x - HBase 0.94.xPhoenix 4.x - HBase 0.98.1+...
View ArticleClik here to view.
大型网站架构改进历程：存储的瓶颈（下）
大型网站架构改进历程：存储的瓶颈（上）大型网站架构改进历程：存储的瓶颈（中）存储的瓶颈写到现在就要进入到深水区了，如果我们所做的网站已经到了做数据库垂直拆分和水平拆分的阶段，那么此时我们所面临的技术难度的挑战也会大大增强。这里我们先回顾下数据库的垂直拆分和水平拆分的定义：垂直拆分：把一个数据库中不同业务单元的数据分到不同的数据库里。水平拆分：是根据一定的规则把同一业务单元的数据拆分到多个数据库里。垂...
View ArticleClik here to view.
Coursera数据工程师董飞：硅谷大数据的过去与未来
董飞，Coursera数据工程师。曾先后在创业公司酷迅，百度基础架构组，Amazon 云计算部门，LinkedIn担任高级工程师，负责垂直搜索，百度云计算平台研发和广告系统的架构。董飞本科毕业于南开大学，硕士毕业于杜克大学计算机系。他在知乎上分享过多个引起强烈反响的问答，其中包括 《哪些硅谷创业公司能给拜访者留下深刻印象》、 《美国大数据工程师面试攻略》、 《Coursera...
View ArticleClik here to view.
nginx 配置 https 的双向认证
SSL 的双向认证就是，客户端要获取服务端的证书，检查下服务端是不是我可以信任的主机，否则我就认为那个站点的内容不可信任，不应该去访问你（浏览器会告诉你），同时服务端也要检查客户端的证书，客户端如果不是服务端所信任的，那服务端也会认为，你不是我的合法用户，我拒绝给你提供服务。所以，要让 HTTPS...
View ArticleClik here to view.
goaccess分析nginx日志
GoAcces是一款实时日志分析工具. 目前，我们可以通过这款软件查看的统计信息有：统计概况，流量消耗等 访客排名 动态Web请求 静态web请求，如图片、样式表、脚本等。 来路域名 404 错误 操作系统 浏览器和搜索引擎 主机、DNS和IP地址 HTTP 响应代码 引荐网站 键盘布局 自定义显示 支持超大日志（分析速度很快）需要用到的几个库文件有：glib2 GeoIP...
View ArticleClik here to view.
[原]聊聊分布式事务
事务就是一个会话过程中，对上下文的影响是一致的，要么所有的更改都做了，要么所有的更变都撤销掉。就要么生，要么死。没有半死不死的中间不可预期状态。 参考下薛定谔的猫。 事务是为了保障业务数据的完整性和准确性的。分布式事务，常见的两个处理办法就是两段式提交和补偿。 两段式提交典型的就是XA，有个事务协调器，告诉大家，来都准备好提交，大家回复，都准备好了，然后协调器告诉大家，一起提交，大家都提交了。...
View ArticleClik here to view.
eclipse从数据库逆向生成Hibernate实体类
做项目必然要先进行数据库表设计，然后根据数据库设计建立实体类(VO)，这是理所当然的，但是到公司里做项目后，让我认识到，没有说既进行完数据库设计后还要再“自己”建立一变VO。意思是，在项目设计时，要么根据需求分析建立实体类，由正向生成数据库表；要么就先进行数据库表设计，再逆向生成实体类。没有说进行完任意一方的设计后再去花时间去自己匹配建立另一方的设计。原因是：1....
View ArticleClik here to view.
阿里开源Mysql分布式中间件：Cobar
Cobar是阿里巴巴研发的关系型数据的分布式处理系统（Amoeba的升级版，该产品成功替代了原先基于Oracle的数据存储方案，目前已经接管了3000+个MySQL数据库的schema，平均每天处理近50亿次的SQL执行请求。）（github上面的是源码，大家下来需要自己用maven2编译后运行、者放Eclipse里面运行，一开始我用maven3没有执行成功。） 首先，使用Cobar的核心功能如下：...
View ArticleClik here to view.
Oracle中varchar2字段的不可见字符处理
在以前的项目中，曾经出现加密后的字符串数据丢失，加密内容无法正常解密的情况，经查找原因，发现是数据库表的varchar2字段中有chr(0)的不可见字符（即我们通常所说的\0），当出现这种情况时，由于java和c++中对字符串处理的不同，将会导致所取得的字符串长度不同。在java中，字符串的长度可以通过取字符串的字节数组来获得，这样得到的字符串长度为字符串实际的大小（汉字2个字节，其他1个字节）；在...
View ArticleClik here to view.
MYSQL JDBC的批处理操作三种方式
SQL批处理是JDBC性能优化的重要武器，经本人研究总结，批处理的用法有三种。 package lavasoft.jdbctest; import lavasoft.common.DBToolkit; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.SQLException;...
View ArticleClik here to view.
深入浅出谈数据挖掘——数据挖掘主要解决的四类问题
数据挖掘主要侧重解决四类问题：分类、聚类、关联、预测（关于这四类问题后文会详细阐述），而常规数据分析则侧重于解决除此之外的其他数据分析问题：如描述性统计、交叉报表、假设检验等。数据挖掘非常清晰的界定了它所能解决的几类问题。这是一个高度的归纳，数据挖掘的应用就是把这几类问题演绎的一个过程。下面让我们来看看它所解决的四类问题是如何界定的：1、分类问题分类问题属于预测性的问题，但是它跟普通预测问题的区别在...
View ArticleClik here to view.
oozie定时循环调度sqoop job 增量导数入hive
假设oracle里面有一个student表每10分钟有一批新增的数据，现在想要把数据同步到hive，实现思路是用oozie的coordinator定义一个job，job里面调度workflow用sqoop从oracle里增量导数入hive。具体过程如下：...
View ArticleClik here to view.
没有想到speex还在持续的更新 - c6000
听说微信改用了speex, 于是今天访问了speex网站：http://www.speex.org/发现从08年的Speex...
View ArticleClik here to view.
看高级产品设计师一般是怎么搜集产品不好用之处的？
产品使用过程中总会遇到一些不好的地方，比如某一次交互不合理，对于用户来也许不太会向产品方反馈，那么对于产品经理来说又能如何收集这类的不好用之处？收集产品的需求和可优化功能点，这对产品经理来说是日常工作中非常重要的一环，这工作看似简单、枯燥，实际跟进过程中可展开成很多“不同”的事情。结合我这几年产品工作中使用、接触到的方法，总结些产品经验供参考，回答如下：一、...
View ArticleClik here to view.
使用 Docker 搭建 Java Web 运行环境
Docker 是 2014 年最为火爆的技术之一，几乎所有的程序员都听说过它。Docker 是一种“轻量级”容器技术，它几乎动摇了传统虚拟化技术的地位，现在国内外已经有越来越多的公司开始逐步使用 Docker 来替换现有的虚拟化平台了。作为一名 Java 程序员，我们是时候一起把 Docker 学起来了！本文会对虚拟化技术与 Docker 容器技术做一个对比，然后引出一些 Docker...
View ArticleClik here to view.
使用React和Flask开发一个留言板
近期要在生产环境上使用react，所以，自己学习了一下，写了一个简单的留言板小程序。完整的代码可以到这里下载： message-boardUse前端使用React，然后还有Bootstrap和jQuery，React负责前端展现，jQuery主要是向服务器发送ajax请求。 后端使用Flask和MongoDB，为前端提供数据。这里主要关注前端，对于后端不做过多说明。...
View Article