互联网创业中的日志系统选型
对于一个互联网创业公司来说,其生存所依赖的业务系统每天都会产生大量的日志,比如系统日志、业务流水日志、程序异常日志、访问日志、审计日志等等。通过收集业务日志数据,供离线和在线的分析系统使用,以支持线上业务或运营分析等使用。日志除了供分析系统使用以外,更多的时候开发同学会依赖日志排查问题。当我们需要使用到日志排查问题时,它们往往是我们手上唯一可以用来查明当时的发生状况和问题的根本原因的有用信息,并且在...
View Article优雅地实现 TCP 压缩传输
集群式、负载均衡的RPC框架 rpcx支持多种的序列化库,可以有效的减少消息体的大小,但是对于字符串或者图片的字节slice,明显还可以进一步的压缩,正如fasthttp作者valyala在他的新的开源项目 httpteleport中描述的: 通过1G的带宽传输10G的数据 (夸张)。为了在RPC的传输中减少传输的数据大小,我在不影响rpcx整体框架的基础上,参考了httpteleport的实现,对...
View Article服务监控脚本
#!/bin/bash export JAVA_HOME=/usr/local/java/jdk1.8.0_25export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jarexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH if ! curl...
View ArticleMySQL主从复制几个重要的启动选项
MySQL主从复制几个重要的启动选项 (1) log-slave-updates log-slave-updates这个参数用来配置从服务器的更新是否写入二进制日志,这个选项默认是不打开的,但是,如果这个从服务器B是服务器A的从服务器,同时还作为服务器C的主服务器,那么就需要开发这个选项,这样它的从服务器C才能获得它的二进制日志进行同步操作 (2) master-connect-retry...
View Article数据分析平台系统架构
一、数据分析平台系统1.1 数据分析平台 大数据技术是近几年发展比较繁荣的技术方向,出了很多优秀的开源项目,也有越来越多的公司投入大量人力在其中。认识到数据的重要性,数据分析平台系统也成为数据平台重点建设的项目,数据分析被广泛应用到电商、金融、教育、医疗领域。 开源的OLAP数据分析引擎:① kylin② Presto③ Druid④ Mondrian 1.2 wedata系统架构图...
View Article企业应谨慎对待微服务架构
对于微服务架构我在前面很多文章里面已经都谈到过了。 微服务架构本质是 单个业务系统彻底的组件化(前端,逻辑层,数据库)解耦,同时相互之间通过轻量的服务接口和协议进行协同。这和很早就谈到的组件化架构思想是一致的,实现微服务架构后,你会看到没有传统业务系统的概念了,有的只是微服务模块或小应用。...
View Article一帖读懂:个人如何入股实体企业
by 静气(码字不易,转载、复制请注明作者) 因为孩子,开始关注教育,因为教育,开始接触培训机构。今天和一家培训机构的上海区老总聊天,我无意间聊到个人入股的事宜。不曾想,该机构还真在制定融资入股的方案。于是,两人就行业前景、企业发展规划、经营实际、业务模式等方面一顿神侃,并约定抽空再次详谈。...
View Article史上最详尽Shadowsocks从零开始一站式FQ教程
本文转载自 http://shadowsocks.blogspot.com/ 由于是谷歌家的东西,所以无法访问,遂搬运过来。并手动过滤部分关键字,希望能长存吧。正文:原创声明 本教程由本人( Anonymous V)原创,于2014年11月7日在...
View Article从 MVC 到微服务,技术演变的必经之路
编者按:近两年很火的微服务是什么?它的发展经历了什么?为什么微服务突然变得很火?本文将为大家介绍微服务的来龙去脉。一、架构模式演进CGI 模式 图 1 CGI 出现于 1993 年,图 1 是 CGI 模式比较简单的结构图。MVC 模式开源电商软件等都是采用 MVC 模式,MVC 模式是做软件开发必学和必经历的一个阶段。 图 21970 年提出了 MVC...
View ArticleChrome的占有率达到55%
Google Chrome 浏览器的市场占有率已两倍于微软的 IE 和 Edge 之和,6个月前恐怕没人能想到这一趋势。6个月前,Chrome的市场占有率达到41.66%,首次超过了IE的41.36%, 如今它达到 54.99%,而 IE 和 Edge 则萎缩到了 28.39%,Firefox 仍然停留在11%左右。Chrome 的占有率在一年内飙升了31.12%,微软虽然试图用 Edge 取代...
View ArticleJVM调优总结
堆大小设置 JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。 典型设置: java -Xmx3550m -Xms3550m...
View Article不同于北斗、GPS,解析室内定位背后的微惯导技术
雷锋网按:作者大格子GZ,格纳微科技技术总监,西安电子科技大学硕士,就读控制理论与控制工程专业。曾作为骨干参与国家惯导产品重要课题,所研成果已经成功运用于军工产业。目前负责团队技术路线和产品技术研发,对于空间定位的惯导、超宽带、激光、视觉SLAM都略有涉及。在本文中,作者结合自己的工作经验谈了谈微惯导定位方案,以及为什么选择这个方案背后的缘由。提起定位导航,大家首先想到的是GPS,中国也推出了自己的...
View Article虚拟现实技术的十大用途
程序员专用 编程水杯美国企业家杂志官网Entrepreneur近日撰文阐述了虚拟现实技术的10个惊人的用途。下面是文章的主要内容。 虚拟现实技术拥有巨大的潜力,它将改变未来的许多领域,包括医药、商业和建筑设计等等。心理学家和其他医疗专业人员正在尝试使用虚拟现实技术来提升传统的...
View Article看电影学英语 ‖ 十部经典电影中的十句经典台词
1.《教父》“Never hate your enemies. It affects your judgement.”永远不要恨你的敌人,那会影响你的判断力。2.《肖申克的救赎》"You know some birds are not meant to be caged, their feathers are just too...
View Article产品的三种流程图,你都知道吗?
关于流程设计,有三种流程图……了解了业务、确定了需求,会梳理出产品的信息架构。刚入行的时候,我会火急火燎地画原型图,因为画原型图的时候成就感最大,这毕竟是真正意义上的输出物啊!终于画完美美的原型图了,拿给评审或和开发沟通,才发现存在很多逻辑漏洞,不是缺少分支流程,就是没考虑异常状态,就这样来来回回修改原型图,被开发同学鄙视和效率低下不说,自己都开始怀疑自己了。随着项目经验的增加和方法论的逐步完善,终...
View ArticleElasticSearch 2 的节点调优(ElasticSearch性能)
摘要一个ElasticSearch集群需要多少个节点很难用一种明确的方式回答,但是,我们可以将问题细化成一下几个,以便帮助我们更好的了解,如何去设计ElasticSearch节点的数目:打算处理多少数据?打算处理多少搜索请求?请求的复杂度是怎样?每个节点有多少资源数?打算建立多少索引,支持多少应用?版本elasticsearch版本:...
View Article用了这个短视频 App ,上厕所也想看新闻
「Mind 周榜」是爱范儿旗下的创业者社区 MindStore.io推出的线上榜单评选栏目。每周我们将从新鲜、有趣和精致三大原则出发,评选出 Mind 周榜 Top 10。Top 1梨视频 | Android、iOS 、Web 从纸媒、资讯 App 转战视频赛道,原澎湃新闻 CEO...
View Article使用R进行统计分析——回归分析
准备工作首先导入数据并创建名为lr_data的数据表。 #读取并创建数据表 lr_data=data.frame(read.csv('lr_data.csv',header = 1))查看导入数据表的维度,结果显示456行,4列。 #查看数据表维度 dim(lr_data) [1] 456 4 查看数据表中各字段的名称,结果显示共有4个字段,三个变量和一个目标。 #查看数据表的字段名称...
View Article