高并发高负载情况下常见的3种性能问题
这篇blog是基于处理oracle数据库性能问题的经验写就,它是对常见的性能问题做的总结,它的适用范围: 高并发高负载的系统. 需要先申明的是: 对于所有的调优的方法,都是有适用范围的; 所以下面提到的所有的内容,请” 批判性”阅读. 1. OS swapping/paging 引发的数据库concurrency方面的性能问题 Oracle数据库在工作的时候,...
View Articleoracle定时备份-增量备份
在进行数据库维护的过程中经常会遇到数据库备份的问题。先介绍一种常用的数据备份操作 系统执行计划+批处理命令; 在win的系统中存在 任务计划程序 选项;新建任务选中你写好的程序,设定好时间,就可以按照设定的时间执行程序了。 在备份oracle时写一个导入命令,例如 exp jccf_crm/jccf_crm@fapdb...
View Articlemysql监控工具:zabbix+MPM(Performance Monitor for MySQL)
MPM主要用于监控mysql的各种参数性能指标,下面简单说一下他与zabbix的配置:下面是它的配置文件关系图 主要包含两部分:1、zabbix 模板: Template_FromDual.MySQL.*.xml2、MPM agent perl 模块: FromDualMySQL*.pm安装方法:一、先安装MPM下面是在linux 6.4下安装,先安装如下包:yum install...
View Article自定义 Hibernate 的 HQL 函数
有时候我们使用一些数据库特有的SQL语法跟HQL有冲突怎么办,看看这个标签: HQL Dialect MySQL Hibernate [1].[代码] MySQLExtendDialect.java 跳至 [1]? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25/** *...
View Article查找Google稀有可用IP的基本方法
所谓『稀有』是指尚未被在网上公开传播过的Google可用IP,这些IP大多比较稳定,有些速度也很犀利。查找原理很简单,利用代理远程解析 google.com域名即可。我在较早前的博文中也曾有所提及。准备个多路代理或VPN,免费的VPNGate是不错的选择,链接到你要查找IP的地区,推荐日、韩、港台等亚太地区,其他地区很难有高速可用IP。命令行解析 google.com域名,查看结果。nslookup...
View Article如何在中国推进大数据服务?英特尔和Cloudera是这样合作的
大数据究竟是什么?在英特尔看来,这是继上一波云计算热潮之后的新热点,而依据在大数据方面有相当杰出表现的企业Cloudera看来,随着计算生活的进一步深入,“人类渴求测量任何可以量度的东西”,让这些数据为未来的生活工作服务,这是大数据的着眼点。这话讲的还是有些概念化了。小到一家淘宝店主通过大数据分析,可以全盘掌握客流情况,甚至根据时间点、季节性、节庆等差异来调整店内产品布局,达到收益最大化;大到城市生...
View ArticleWeb性能优化之图片优化
HTTP Archieve有个统计,图片内容已经占到了互联网内容总量的62%,也就是说超过一半的流量和时间都用来下载图片。从性能优化的角度看,图片也绝对是优化的热点和重点之一,Google PageSpeed或者Yahoo的14条性能优化规则无不把图片优化作为重要的优化手段,本文覆盖了Web图片优化的方方面面,从基本的图片格式选择、到尚未被广泛支持的响应式图片均有所提及。Google Web...
View Article开发中统计代码量
开发中我们想知道到底有多少代码?能够除掉空格和注释等import java.io.BufferedReader; import java.io.File; import java.io.FileNotFoundException; import java.io.FileReader; import java.io.IOException; public class Service { public...
View Article互联网公司福利哪家强?
年底了,作为互联网圈儿的“耳朵”,IT耳朵有责任也有义务为大家整理一下互联网公司的福利情况,不过原来我们的好伙伴拉勾网已经整理过了,朵仔就在这里重新编辑、配图然后分享给大家,看看有没有你家公司呢?No.10...
View Article张小龙对微信开放平台的8个系统观点
在微信公众平台里面我们有一个口号:大家在网上可以看到,就是再小的个体也有自己的品牌。很多人对这句话有不同的理解。这句话是来自于我们最早的在设计这个公众平台的时候。我们在想我们的目标是什么,我们想要做一个什么样的事情,最终我们把我们所有的想法提炼出来这样一句话。来源:...
View Article自动化网络扫描探测工具 – AutoScan-Network
AutoScan-Network是一个网络扫描工具,无须任何配置即可对连接的网络进行扫描,可发现网络中的设备信息。系统要求• Mac OS X 10.5 或更高版本 • Microsoft Windows (XP, Vista) • GNU/Linux • Maemo 4 • Sun OpenSolaris功能特性• 快速的网络扫描 • 自动化的发现能力 • TCP/IP扫描 • 多线程 •...
View ArticleHibernate对与Oracle中Clob类型的使用
Hibernate对与Oracle中Clob类型的使用 一.理解和分析:1.为何实用Clob: oracle数据库当需要存入大数据量(大于4000)时,varchar2不够用,可以使用clob,本文描述clob怎么和Hibernate一起使用。 2.Clob类型的属性的赋值方式—— String转Clob: String content =...
View Article如何开始编程语言?给初学者的几个小贴士
在美国,计算机科学是一个蓬勃发展的行业,并且它的薪资待遇是极好的。对于顶尖的、有才华的工程师需求从没间断过,这就是为什么学习代码看起来是一个有吸引力的选择。但是和任何新的技术一样,很难知道从何处开始。这里有一些你应该在早期采用的步骤,适合...
View Article互联网产品研发改进之路
互联网产品研发改进之路(淘宝-liyu) (一)产品开创期 抢夺免费资源、占领新市场;短迭代,快上线,尽快让业务看到结果。关键词:效率策略一:敏捷开发策略二:开发运维,缺陷容忍 (二)产品拓展期 获得产品竞争优势。关键词:规模化策略三:动态分配资源策略四:PM细分,大PM/细PM策略五:架构师细分,形成独立的团队策略六:关键分离,自动编译,持续集成 (三)稳定创新期...
View Article互联网公司研发RD如何撰写总体设计与详细设计文档
研发工程师(RD)需要撰写的设计文档主要分为: 总体设计文档 + 详细设计文档,后简称为“总设”+“详设”。总设和详设都应该包含的部分: (1) 需求:一般以产品的语言描述,这一块可以拷贝产品需求文档中的story list部分; (2) 名词解释(可选):非相关领域内的同学需要看到文档需要提前了解的一些概念性质的东西; (3)...
View Article基于Hadoop SLA认证机制实现权限控制
Hadoop集群上存储数据,同时基于MapReduce计算框架可以实现计算任务,那么无论是从数据保护的角度,还是从提交计算任务占用资源的角度来看,都需要存在一种权限管理与分配机制,能够很好地限制哪些人可以在HDFS上存储数据,哪些人可以利用集群的资源来处理特定的计算任务。当然,如果能够非常完美地解决这些问题是最好的。当前Hadoop本身提供的权限管理功能还不能满足普遍的需要,或者我们从Hadoop已...
View ArticleFeed消息队列架构分析
最近一两年,大部分系统的数据流由基于日志的离线处理方式转变成实时的流式处理方式,并逐渐形成几种通用的使用方式,以下介绍微博的消息队列体系。 当前的主要消息队列分成如图3部分1、feed信息流主流程处理,图中中间的流程,通过相关MQ worker将数据写入cache、Redis及MySQL,以便用户浏览信息流。 2、流式计算,图中左边的流程,主要进行大数据相关实时处理。...
View Article