Clik here to view.
浅析淘宝分布式调用跟踪系统
分布式系统为什么需要分布式跟踪？电商平台由数以百计的分布式服务构成，每一个请求路由过来后，会经过多个业务系统并留下足迹，并产生对各种Cache或DB的访问，但是这些分散的数据对于问题排查，或是流程优化都帮助有限。对于这么一个跨进程/跨线程的场景，汇总收集并分析海量日志就显得尤为重要。要能做到追踪每个请求的完整调用链路，收集调用链路上每个服务的性能数据，计算性能数据和比对性能指标（SLA），甚至在更远...
View ArticleClik here to view.
Apache Flink：特性、概念、组件栈、架构及原理分析
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时（Flink...
View ArticleClik here to view.
让网页加载快1秒的深远影响
全球内容交付网络（CDN）服务领头羊 Akamai 近日公布的《互联网状况》指出，2015 年第 4 季度全球平均网速为 5.6Mbps，同比增长 23% 环比增长 8.6%。宽带发展联盟发布的第 11 期《中国宽带速率状况报告》显示，2016 年第 1 季度我国固定宽带网络下载速率达到 9.46 Mbit/s，环比提升 13.4%，而且工信部表示将继续提速年底之前希望平均接入速度达到...
View ArticleClik here to view.
利用编辑距离(Edit Distance)计算两个字符串的相似度
利用编辑距离(Edit Distance)计算两个字符串的相似度 编辑距离(Edit Distance)，又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。 例如将kitten一字转成sitting:...
View ArticleClik here to view.
工具推荐：Raptor WAF，轻量级WEB应用防火墙
Raptor是一款采用C语言编写的WEB应用防火墙，使用DFA来阻止SQL注入、Xss目录遍历等攻击。编译&安装$ git clone https://github.com/CoolerVoid/raptor_waf $ cd raptor_waf; make; bin/raptor 使用示例在80端口开启httpd服务并上传一些东西： $ bin/Raptor -h localhost...
View ArticleClik here to view.
没有优秀的家长，很难期待产生优秀的子女
没有优秀的家长，很难期待产生优秀的子女 刘长铭 北京四中校长 第一，教育始于家庭，孩子从家庭学校“毕业”后才进入传统意义上的学校——小学和中学 在家庭这所学校中，最重要的教师是父母，最重要的课程是培养习惯和态度，最重要的教材是父母的言行。...
View ArticleClik here to view.
推荐系统的学习笔记
一直以来对推荐系统的学习和理解来自一些机器学习书中简单介绍（如《集体智慧编程》和《机器学习实战》）和自己网上搜的一些资料。而当被问及对推荐系统的改进和理解，发现自己对推荐系统所知甚少，除了知道几个常用的算法外，根本没有更深入的理解，更别提改进了。本篇博客为学习《推荐系统》一书的读书笔记，记录了常见的推荐算法和其思想。ps：推荐系统入门学习可以看蒋凡先生翻译的《推荐系统》和项量的《推荐系统实践》。1协...
View ArticleClik here to view.
分布式开放消息系统(RocketMQ)的原理与实践
备注：1.如果您此前未接触过RocketMQ，请先阅读附录部分，以便了解RocketMQ的整体架构和相关术语2.文中的MQServer与Broker表示同一概念 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题： 1消息的顺序问题 2消息的重复问题...
View ArticleClik here to view.
java中多种方式解析xml
第一种：DOM。 DOM的全称是Document Object Model，也即文档对象模型。在应用程序中，基于DOM的XML分析器将一个XML文档转换成一个对象模型的集合（通常称DOM树），应用程序正是通过对这个对象模型的操作，来实现对XML文档数据的操作。通过DOM接口，应用程序可以在任何时候访问XML文档中的任何一部分数据，因此，这种利用DOM接口的机制也被称作随机访问机制。...
View ArticleClik here to view.
Clik here to view.
[转][转]开源数据仓库解决方案GreenPlum
GreenPlum简介 Greenplum DB 号称是世界上第一个开源的大规模并行数据仓库，最初是基于 PostgreSQL，现在已经添加了大量数据库方面的创新。Greenplum 提供 PD 级别数据量的强大和快速分析能力，特别是面向大数据方面的分析能力，支持大数据的超高性能分析查询。GreenPlum 主要特性：大规模并行处理架构高性能加载，使用 MPP 技术，提供 Petabyte...
View ArticleClik here to view.
Elasticsearch 合理内存分配
Elasticsearch默认安装后设置的内存是1GB，对于任何一个业务部署来说，这个都太小了。如果你正在使用这些默认堆内存配置，你的集群配置可能有点问题。这里有两种方式修改Elasticsearch的堆内存（下面就说内存好了），最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。举例，你可以用下面的命令设置它export...
View ArticleClik here to view.
分布式系统中的一致性协议之两阶段提交协议(2PC)
两阶段提交协议是很常见的解决分布式事务的方式，他可以保证分布式事务中，要么所有参与的进程都提交事务成功，要么都取消事务，这样做可以在分布式环境中保持ACID中A(原子性)。 在两阶段提交协议中，包含了两种角色：协调者与参与者。参与者就是实际处理事务的机器，而协调者就是其中一台单独的处理分布式事务的机器。 该算法分为两个阶段： 1.投票阶段 2.提交阶段...
View ArticleClik here to view.
Redis实战：如何构建类微博的亿级社交平台
微博及 Twitter 这两大社交平台都重度依赖 Redis 来承载海量用户访问。本文介绍如何使用 Redis 来设计一个社交系统，以及如何扩展 Redis 让其能够承载上亿用户的访问规模。 虽然单台 Redis 具备极佳的性能，但随着系统规模增大，单台服务器不能存储所有数据、以及没办法处理所有读写请求的问题迟早都会出现，这时我们就需要对 Redis 进行扩展，让它能够满足需求。...
View ArticleClik here to view.
分布式大数据多维分析（OLAP）引擎：Apache Kylin 在百度地图的实践
1. 前言百度地图开放平台业务部数据智能组主要负责百度地图内部相关业务的大数据计算分析，处理日常百亿级规模数据，为不同业务提供单条SQL毫秒级响应的OLAP多维分析查询服务。对于Apache Kylin在实际生产环境中的应用，在国内，百度地图数据智能组是最早的一批实践者之一。Apache...
View ArticleClik here to view.
Android直播，音视频播放那些事儿
前言随着音视频领域的火热，在很多领域（教育，游戏，娱乐，体育，跑步，餐饮，音乐等）尝试做音视频直播/点播功能，那么作为开发一个小白，如何快速学习音视频基础知识，了解音视频编解码的传输协议，编解码方式，以及如何技术选型，如何解决遇到的坑，本文抛砖引玉，欢迎大咖交流。一. 音视频的基础知识1.1...
View ArticleClik here to view.
elasticsearch集群监控工具bigdesk
bigdesk是elasticsearch的一个集群监控工具，可以通过它来查看es集群的各种状态，如：cpu、内存使用情况，索引数据、搜索情况，http连接数等。项目git地址： https://github.com/lukas-vlcek/bigdesk。和head一样，它也是个独立的网页程序，使用方式和head一样。 插件安装运行：方法1：1.bin/plugin -install...
View ArticleClik here to view.
被动式Web扫描器的技术实现
本文原创作者：q6e79d使用场景在特定的情况下对单个页面进行SQL注入,XSS等漏洞进行渗透检测。例如,需要验证 http://www.example.com/query.php?id=1&uname=7ym0n,中的GET参数和POST表单。HTML代码如下：<html><head><meta...
View ArticleClik here to view.
[转][转]杂谈如何绕过WAF（Web应用防火墙）
技术分享：杂谈如何绕过WAF（Web应用防火墙）Black-Hole2014-12-23 共200694人围观，发现21个不明物体...
View ArticleClik here to view.
方兴东：中国互联网或将被世界淘汰 ！
方兴东：中国互联网或将被世界淘汰 ！2016-05-05 方东兴 CEOworld图为Facebook“十年计划路线图”Facebook十年路线图直击中国互联网三大软肋：1、目前的成功都不是基于前瞻性创新，而是借助互联网大势，精巧地追逐游戏、影视和网红等浮钱为核心的收入模式；...
View Article