Clik here to view.
教您使用DynamicGecco抓取JD全部商品信息
关于gecco爬虫框架如果对gecco还没有了解可以参看一下gecco的 github首页。gecco爬虫十分的简单易用。之前有一篇文章《...
View ArticleClik here to view.
jvm调优
top -Hp pid printf "%x\n" 21742 找到耗时最长的进程 jstack pid | grep 54ee 定位某个类的方法 jstack 10535|grep -A 10 2a1d (最后十行) jmap 查询pid 内存线程 附：TOP命令中需要关注的值： （1）load...
View ArticleClik here to view.
linux查找日志技巧
1.先必须了解两个最基本的命令: tail -n 10 test.log; 查询日志尾部最后10行的日志 tail -n +10 test.log; 查询10行之后的所有日志; head -n 10 test.log; 查询日志文件中的头10行日志; head -n -10 test.log; 查询日志文件除了最后10行的其他所有日志; 2. 场景1:...
View ArticleClik here to view.
Java中的纤程库 - Quasar
最近遇到的一个问题大概是微服务架构中经常会遇到的一个问题：服务 A是我们开发的系统，它的业务需要调用 B、 C、 D等多个服务，这些服务是通过http的访问提供的。 问题是 B、 C、...
View ArticleClik here to view.
Dubbo超时和重连机制
[color=violet][/color]dubbo启动时默认有重试机制和超时机制。 超时机制的规则是如果在一定的时间内，provider没有返回，则认为本次调用失败， 重试机制在出现调用失败时，会再次调用。如果在配置的调用次数内都失败，则认为此次请求异常，抛出异常。 如果出现超时，通常是业务处理太慢，可在服务提供方执行：jstack PID > jstack.log...
View ArticleClik here to view.
Uber宣布使用量超20亿人：1/3订单来自中国
7月18日晚间消息，路透社报道，打车应用Uber CEO特拉维斯·卡兰尼克(Travis Kalanick)周一宣布，Uber已完成20多亿次打车服务。这一里程碑距离Uber近期再次完成47亿美元融资仅仅过去几周时间。6年来，Uber从投资者手中获得了超过130亿美元的投资用于招募司机和乘客。Kalanick表示，...
View ArticleClik here to view.
帮你大致定位到现场导致LOAD飙升的JVM线程
帮你大致定位到现场导致LOAD飙升的JVM线程 大家都有过遇到线上程序LOAD突然狂飙的场景，要排查到为何狂飙，我们当务之急就是要找到导致CPU飙升的原因。如果是进程级的应用，如Nginx、Apache等都还比较容易排查，但如果是JVM中的某个线程导致的，估计有人就要开始抓瞎了。 很多人都或多或少的知道有这么一个脚本，能帮你大致定位到现场导致LOAD飙升的JVM线程，脚本大概如下。...
View ArticleClik here to view.
Nielsen：62%的中国广告商表示数据管理平台“非常重要”
199IT原创编译 根据2015年的调查，数据管理平台对中国营销人员来说已经成为关键。 ZenithOptimedia和Nielsen调查了中国广告商利用数据管理平台的情况。1/4受访者表示数据管理平台是优先考虑事项，还有62%的广告商表示数据管理平台“非常重要”，只有15%的受访者认为数据管理平台是次重要的。...
View ArticleClik here to view.
java中JVM的原理
一、java虚拟机的生命周期： Java虚拟机的生命周期 一个运行中的Java虚拟机有着一个清晰的任务：执行Java程序。程序开始执行时他才运行，程序结束时他就停止。你在同一台机器上运行三个程序，就会有三个运行中的Java虚拟机。...
View ArticleClik here to view.
Clik here to view.
CyclicBarrier的用法
本例介绍第三个同步装置：CyclicBarrier，它维护一个计数器，与CountDownLatch不同的是，等待这个CyclicBarrier的线程必须等到计数器到达某个值时，才可以继续。CyclicBarrier就像它名字的意思一样，可看成是个障碍，所有的线程必须到齐后才能一起通过这个障碍。本例实现一个数组相邻元素的加法，一个线程给数组的第一个元素赋值，然后等待其他线程给数组第二个元素赋值，然后...
View ArticleClik here to view.
得“量化”者得天下：要致富先学好数学和计算机
今年5月，《机构投资者》旗下出版物 《阿尔法》公布的“2016年全球收入最高的对冲基金经理”排行榜显示，前十位收入最高的对冲基金经理中，有八位被归为量化基金经理，前25位有一半属于量化分析。榜上有名的企业包括文艺复兴科技（Renaissance Technologies）， 德劭基金（D.E. Shaw），西格玛（Two Sigma），千禧年基金（Millennium）,...
View ArticleClik here to view.
基于DDD的微服务架构设计
DDD领域驱动设计(DDD:Domain-Driven Design)架构背景： 现有的架构设计实在受不了，业务的反反复复地变化，导致代码圈复杂度之深让人恐惧。之前的微服务架构经验让我更加彻底点，采用DDD领域驱动设计进行整个改变。 随着经过几个月的努力，确实慢慢地体会到ddd的架构设计的优势，聚合根设计能够协助我们整个服务改造，开发起来越来越迅速。 CQRS访问方式：...
View ArticleClik here to view.
浅谈我为什么选择用Retrofit作为我的网络请求框架
比较AsyncTask、Volley、Retrofit三者的请求时间 使用 单次请求 7个请求 25个请求 AsyncTask 941ms 4539ms 13957ms Volley 560ms 2202ms 4275ms Retrofit2.0 312ms 889ms 1059ms Retrofit2.0 完胜 使用 添加依赖 build.gradle compile...
View ArticleClik here to view.
怎么和老板说话，才会显得自己很靠谱？
文：化之之|微信公众号：可乐之之（ID：kelezhizhi）无论有钱没钱能力高低，“靠谱”在当今社会绝对是对一个人的很高评价。同样身在职场，如果能给领导留下一个“靠谱”的印象，也更有可能被委以重任升职加薪。总之，无论是职场发展，还是人际交往，“靠谱”都是一项价值千金的人格背书。我们都知道，除了言出必行切切实实的行动外，一个人如何说话，也直接影响到别人对我们“是否靠谱”的判断。如果一个人一见面就满嘴...
View ArticleClik here to view.
一篇文章看懂中国无人驾驶历史进程
1925 年 8 月，来自美国陆军的电子工程师弗朗西斯·霍迪尼坐在一辆用无线电操控着前车的汽车上。这辆组合式的汽车通过后车发射无线电波来控制前车的方向盘、离合器、制动器等部件。虽然这种驾驶方式并不安全，也不完美，经常会把无线电波发送到其他接收器上，但它却是真正意义上的第一辆“无人驾驶汽车”。在 1980 年左右，美国在无人驾驶技术方面得到快速发展。而在我国，虽然落后于美英德等西方国家，但也在上世纪...
View ArticleClik here to view.
大型网站应用中MySQL的架构演变史
本文来自： xttblog没有什么东西是一成不变的，包含我们的理想和生活！MySQL作为一个免费的开源的关系型数据库，深受大家喜爱，从最初的无人问津到当下的去IOE，都体现出了MySQL举足轻重的作用。今天我们就从淘宝的发展来阐述MySQL在大型网站下的架构演变史！...
View ArticleClik here to view.
dnsmasq搭建简易DNS服务器
今天我们来介绍一个比较简单的DNS服务器dnsmasq。这款软件，已经被我成功使用到公司的所有虚拟机中，目前公司有虚拟机80台左右，而且所在的服务器运行正常。现在看来dnsnasq还是能支持这么多的机器的，服务器的性能还是可以承担的。一、dnsmasq简介dnsmasq是一款小巧且方便地用于配置DNS服务器和DHCP服务器的工具，适用于小型网络，它提供了DNS解析功能和可选择的DHCP功能。dnsm...
View ArticleClik here to view.
利用hadoop mapreduce 做数据排序
我们的需求是想统计一个文件中用IK分词后每个词出现的次数，然后按照出现的次数降序排列。也就是高频词统计。 由于hadoop在reduce之后就不能对结果做什么了，所以只能分为两个job完成，第一个job统计次数，第二个job对第一个job的结果排序。 第一个job的就是hadoop最简单的例子countwords，我要说的是用hadoop对结果排序。...
View ArticleClik here to view.
国家邮政局：2016上半年快递业务量132.5亿件 同比增长56.7%
从国家邮政局获悉， 上半年，全国快递服务企业业务量累计完成132.5亿件，同比增长56.7%；业务收入累计完成1714.6亿元，同比增长43.4%。据国家统计局公布 的数据计算，上半年邮政行业业务收入占GDP比重达0.73%。其中，同城业务收入累计完成244亿元，同比增长43.3%；异地业务收入累计完成 925.8亿元，同比增长41.1%；国际及港澳台业务收入累计完成197亿元，同比增...
View Article