Clik here to view.
Nginx 归纳整理
选择Nginx的理由 高并发连接： 官方测试Nginx能够支撑5万并发连接，在实际生产环境中可支撑2--4万并发连接数。这得益于Nginx使用了最新的epool(Linux2.6内核)和kqueue（freebsd）网络I/O模型，而Apache使用的则是传统的select模型 内存消耗少： 开启10个Nginx进程消耗150MB内存(15MB X 10=150MB)...
View ArticleClik here to view.
Hive几种导出数据方式
Hive几种导出数据方式 1.拷贝文件 如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。hadoop fs –cp source_path target_path 2.导出到本地文件系统 --不能使用insert into local directory来导出数据，会报错--只能使用insert overwrite local directory来导出数据...
View ArticleClik here to view.
Clik here to view.
电子商务文件存储及读取服务的设计和开发思路
商品图片，平均200－500K，说大不大，说小不小，但量大且细碎，通常通过页面上传，全部保存在文件里，管理和索引都很慢，几乎无法备份，读取也很慢。传统的基于磁盘存储的缺陷： 1、 图片存储和应用程序在一个服务器上，图片的读取占用大量的磁盘IO，在访问量高的时候，图片读取和应用程序相互影响。特别互联网环境下的文件多以几K，几十K的小文件为主，磁盘寻址和读取，缓存命中率都比较低。 2、...
View ArticleClik here to view.
[原]【原创】Linux 大规模请求服务器连接数相关设置
【原创】Linux 大规模请求服务器连接数相关设置作者：heiyeluren一般一个大规模Linux服务器请求数可能是几十万上百万的情况，需要足够的连接数来使用，所以务必进行相应的设置。默认的Linux服务器文件描述符等打开最大是1024，用ulimit -a 查看：[viewuser@~]$ ulimit -a core file size (blocks, -c) 0...
View ArticleClik here to view.
java中的线程通信
原文链接 作者：Jakob Jenkov 译者：杜建雄 校对：方腾飞 java中线程通信的目标是使线程间能够互相发送信号。另一方面，线程通信使线程能够等待其他线程的信号。 例如，线程B可以等待线程A的一个信号，这个信号会通知线程B数据已经准备好了。 1、通过共享对象通信...
View ArticleClik here to view.
Facebook是如何存储每天20亿张照片的——Cold Storage系统揭秘
Facebook的庞大帝国需要存储的数据时刻都在不断爆炸。比方说，现在它每天要分享20亿张照片，而且需求还在不断增加，唯有靠不断建设扩充存储和数据中心才能满足。 此前我们曾多次介绍过Facebook的数据中心（见 Facebook新数据中心揭秘、再探Facebook数据中心），包括俄勒冈的Prineville、北卡罗来纳州的Forest和瑞典的吕勒奥以及爱荷华州的...
View ArticleClik here to view.
Zookeeper常见问题整理
ZK选举过程当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的Server都恢复到一个正确的状态。Zk的选举算法使用ZAB协议：选举线程由当前Server发起选举的线程担任，其主要功能是对投票结果进行统计，并选出推荐的Server；选举线程首先向所有Server发起一次询问(包括自己)；选举线程收到回复后，验证...
View ArticleClik here to view.
Clik here to view.
Clik here to view.
解析微服务架构（一）单块架构系统以及其面临的挑战
概述 多年来，我们一直在技术的浪潮中乘风破浪，扬帆奋进，寻找更优秀的方法来构建IT系统，也一直在积极的学习并观察先进的公司如何以不同的架构方式构建或者优化其IT系统，来积极应对市场的变化，迅速做出响应，从而为客户提供更多的价值。 微服务架构模式（Microservice Architect...
View ArticleClik here to view.
linux系统下分割大文件的方法
本文介绍下在linux系统中，分割大文件的方法，比如一个5gb日志文件切割为很多小块.在linux中分割大文件，比如一个5gb日志文件，需要把它分成多个小文件，分割后以利于普通的文本编辑器读取。 有时，需要传输20gb的大文件到另一台服务器，也需要把它分割成多个文件，这样便于传输数据。以下通过五个不同的例子，来讲解Linux下分割大文件的方法，供大家参考。例1、以每个文件1000行分割...
View ArticleClik here to view.
第三方支付过程中session失效问题
问题产行于公司p2c交易平台的一个用户充值模块。 平台简介：该平台通过第三方支付(以下使用“支付宝”代替)完成与各大银行的交易(充值、投资、转帐、提现等操作)，并将数据保存在我司的服务器数据库中，服务器使用tomcat，数据库Mysql...
View ArticleClik here to view.
solr数据导入及集成
1、安装 下载，解压 java -jar start.jar访问 http://localhost:8983/solr/2、数据导入 solr有多种数据导入方式，此处我们直接从数据库导入 solr-4.6.1\solr-4.6.1\example\solr\collection1\conf\db-data-config.xml<dataConfig><dataSource...
View ArticleClik here to view.
java学习避免死锁
原文链接 作者：Jakob Jenkov 译者：申章 校对：丁一 在java中有些情况下死锁是可以避免的。本文将展示三种用于避免死锁的技术： 加锁顺序 当多个线程需要相同的一些锁，但是按照不同的顺序加锁，死锁就很容易发生。 如果能确保所有的线程都是按照相同的顺序获得锁，那么死锁就不会发生。看下面这个例子： Thread 1: lock A lock BThread 2:...
View ArticleClik here to view.
ngrok原理浅析
之前在进行 微信Demo开发时曾用到过 ngrok这个强大的tunnel(隧道)工具，ngrok在其github官方页面上的自我诠释是 “introspected tunnels to localhost"，这个诠释有两层含义： 1、可以用来建立public到localhost的tunnel，让居于内网主机上的服务可以暴露给public，俗称内网穿透。...
View ArticleClik here to view.
Apache Traffic Server 5.3.0 发布
Apache Traffic Server 5.3.0 发布，这是 5.3.x LTS 分支的第一个稳定版本，现已提供下载：http://trafficserver.apache.org/downloads 此版本可以从之前的 3.2.0 以上的版本无缝升级。升级请看：https://cwiki.apache.org/confluence/display/TS/Upgrading+to+v5.0...
View ArticleClik here to view.
使用Scrapy来爬取自己的CSDN文章
前言爬虫作为一中数据搜集获取手段，在大数据的背景下，更加得到应用。我在这里只是记录学习的简单的例子。大牛可以直接使用python的url2模块直接抓下来页面，然后自己使用正则来处理，我这个技术屌丝只能依赖于框架，在这里我使用的是Scrapy。install首先是python的安装和pip的安装。 sudo apt-get install python python-pip python-dev...
View ArticleClik here to view.
W项目资料汇总
quick注：以下资料在实际写代码过程中都不如看quick源代码来得直接有效！quick官网，主要用于下载，教程有一定参考价值： http://cn.cocos2d-x.org/?v=CNquick-cocos2d-x 文档，很全面，配置环境时需要参考： http://quick.cocoachina.com/wiki/doku.php?id=zh_cnquick-cocos2d-x API...
View ArticleClik here to view.
redis超时问题分析
Redis在分布式应用中占据着越来越重要的地位，短短的几万行代码，实现了一个高性能的数据存储服务。最近dump中心的cm8集群出现过几次redis超时的情况，但是查看redis机器的相关内存都没有发现内存不够，或者内存发生交换的情况，查看redis源码之后，发现在某些情况下redis会出现超时的状况，相关细节如下。1....
View Article