Clik here to view.
电子商务网站基础架构 nginx + memcached + tomcat + squid 集群
本文中 包含 nginx memcached tomcat 集群 的安装和配置 wget url 为下载所需的资源文件方式，也可以通过 VMware Tools 工具载入， 如何安装 VMwareTools 参考本博客或者其他资料 后面最后一章节是安装配置squid 在项目第一期不作要求。 第一章 安装配置nginx 1 安装nginx 1 下载解压nginx ①: wget...
View ArticleClik here to view.
Oracle零碎笔记之数据同步
需求：实现Oracle数据库表记录变更后的准实时同步。 可选方案：1、基于时间戳来检测变更要求： a、需同步的表均需要添加时间戳字段，并在更改数据后，同步更新时间戳 b、对于删除操作，需要额外处理。或通过触发器记录，或者不真实删除记录，仅仅设置删除标记。 c、业务层编码实现同步缺点： 对系统增加了额外约束 同步的实时性取决于轮训的时间间隔 2、基于触发器来记录变更要求：...
View ArticleClik here to view.
六年后最重要的 10 项工作技能
挖掘机技术哪里强？我不知道，但是根据凤凰城大学研究中心未来学会的研究，到 2020 年的时候，最需要的工作技能并不是挖掘机技术。研究人员分析了未来的 6 大变革驱动力，并在此基础上分析出届时最重要的 10 项工作技能。6大变革驱动力 1、老龄化根据预测，到 2020 年的时候，中国的人均寿命将达 77 岁，到 2025 时，美国 70% 的人寿命将超过 60...
View ArticleClik here to view.
数据挖掘典型应用：如何做好关联分析
在电商数据运营中，对于客户而言，有两个很重要的指标对于扩大销售规模是很重要的：第一，提高顾客重复购买次数；第二，提高客户订单中的Basket size（即购物篮件数）。而第二个指标提高Basket...
View ArticleClik here to view.
Clik here to view.
Twitter增强推文搜索功能：可查询8年来近5000亿推文
Twitter增强推文搜索功能：可查询8年来近5000亿推文【TechWeb报道】11月19日消息，据国外媒体报道，Twitter公司近日宣布将增强其推文搜索功能，允许用户搜索过去8年间在该平台上发布的5000亿推文中的任何一条。此前，推文搜索功能只能覆盖一周内的推文信息。Twitter在博客中发表声明称：“在过去的8年时间内，Twitter为数以亿计的推文建立了搜索索引，利用此服务用户可以搜寻到与...
View ArticleClik here to view.
Clik here to view.
Sqlmap联合Nginx实现“地毯式”检测网站SQL注入漏洞
以安全防御方的角度来看，防御的广度比深度更具优先级，这也是信息安全中木桶原理的体现。 Sqlmap是一个开源的SQL注入漏洞检测工具，Nginx是高性能的WEB服务器。今天我们将二者结合起来，对网站的SQL注入漏洞实现“地毯式”的检测！思路sqlmap可以批量导入http代理的日志，根据日志中的每一个请求进行分析和探测。（可参考sqlmap帮助文档）...
View ArticleClik here to view.
跨平台移动框架iMAG开发入门
标签： iMAGiMAG是一个非常简洁高效的移动跨平台开发框架，开发一次可以同时兼容Android和iOS平台，有点儿Web开发基础就能很快上手。当前移动端跨平台开发的框架有很多，但用iMAG还有一个好处，就是用iMAG开发出的App是原生的。iMAG采用XML + JavaScript(配置 +...
View ArticleClik here to view.
[转][转]数据分析与处理之一：大规模数据分析架构
随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对海量数据的分析已经成为一个非常重要且紧迫的需求。大数据分析的分类按照数据分析的实时性，分为实时数据分析和离线数据分析两种。实时分析...
View ArticleClik here to view.
Clik here to view.
Google收购iOS原型设计工具开发团队RelativeWave，旗下工具Form将免费
iOS应用设计工具开发商RelativeWave刚刚被谷歌收购，而原先售价80美元的Form for Mac设计工具也将免费对用户开放。RelativeWave在官网声明中表示 他们将继续在Google内部开发Form，可能会推出Android版——目前它只支持iOS系统，并且会在Google的帮助下“专注提升设计开发工具的性能。”Form是一款配合了 iOS预览应用的Mac...
View ArticleClik here to view.
11种方式让城市变智能：从下水道机器鼠到说话垃圾箱
在智能家居不断发展的现在，市政部门似乎与之相背，不太重视科技。不过随着经济的发展，以及市民要求的不断提升，未来的城市也许会像不少家庭一样提供多种传感器，更加智能。以下的11种方式也许就会为我们带来智能城市，注意，这些技术至少还没完全实现。1、打击涂鸦的无人机仅2012年一年时间，涂鸦艺术家给德国的火车带来的损失就达到了900万美元，为此德国国家铁路公司正在对一种无人机进行测试，看它是否能检测到涂鸦者...
View ArticleClik here to view.
中国Android开发者可以向全球用户提供付费应用
Google Play官方应用商店以前不支持来自中国的付费应用，而中国地区用户在Google Play上也看不到付费应用。情况现在终于发生了改变，Google官方博客宣布中国开发者能将应用程序出售给130个国家的 Google...
View ArticleClik here to view.
(CentOS)hadoop环境搭建，及期间遇到的问题
(一)hadoop集群搭建准备，准备3台机器192.168.80.100 hadoop192.168.80.101 datanode1 192.168.80.102 datanode2首先安装jdk 到/usr/local/jdk（具体就不说了）,然后配置文件/etc/profile，添加如下export JAVA_HOME=/usr/local/jdk export...
View ArticleClik here to view.
hadoop多文件输出
现实环境中，常常遇到一个问题就是想使用多个Reduce，但是迫于setup和cleanup在每一个Reduce中会调用一次，只能设置一个Reduce，无法是实现负载均衡。问题，如果要在reduce中输出两种文件，一种是标志，另一种是正常业务数据，实现方案有三种：（1）设置一个reduce，在reduce中将数据封装到一个集合中，在cleanup中将数据写入到hdfs中，但是如果数据量巨大，一个red...
View ArticleClik here to view.
jms双系统应用
==============发送方配置（与接受方配置差别在于不要配置服务器）======= http://hellohank.iteye.com/blog/1341290<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"...
View ArticleClik here to view.
HttpClient 模拟登录Web版新浪微博
public static Cookie[] getWCookies(String username,String password) throws HttpException, IOException{ HttpClient client =null; PostMethod post = null; GetMethod get = null; try{ client = new...
View ArticleClik here to view.
HttpClient 模拟登录手机版新浪微博
我们要做的就是获取服务器需要的数据，然后用HttpClient模拟浏览器提交。有几点需要说明一下：go标签内的href是我们第二次请求的地址，通过这个地址来获取cookie。用户密码那个field的name属性是随机变化的，需要先获取它然后提交。下面是整个源代码。思路：先获取表单的值，然后用POST方法提交。注意添加RequestHeader信息，否则会被服务器拒绝（403）。/** *...
View ArticleClik here to view.
科技创业公司的效率工具箱
如何保持效率，不仅仅是个人的挑战，这对一个组织或公司而言也至关重要，这也与公司的信息流动和沟通交流密切相关。在科技型创业公司，效率会变得更致命，因为这些公司通常都运作得非常快，而且还常常面临着巨大的压力（例如产品发布日期，资金的运转等）。所以，这就需要在创业公司所有成员之间要保持高度的一致性，去确保产品适应市场，后期的平稳运行，和公司的整体透明度。在 Worktile...
View Article