Clik here to view.
如何知道该不该接受创业公司的工作？
编者按：詹姆斯·阿图彻（James Altucher）是一名投资者、程序员、作家以及多次 创业者。他的最新著作是《 Choose Yourself Guide To...
View ArticleClik here to view.
高性能服务端漫谈
一、背景进入多核时代已经很久了，大数据概念也吵得沸沸扬扬，不管你喜欢不喜欢，不管你遇到没遇到，big-data或bigger-data都必须正视. 处理大数据，基本都离不开分布式计算和分布式存储，这其中以hadoop最为使用广泛和经典。 分布式系统，就离不开计算系统、网络系统、文件系统和数据库系统。 这么多系统，之间又是如何协作的呢？ 通讯过程又是如何保障高性能的呢？...
View ArticleClik here to view.
解读百度搜索引擎工作原理
【文章摘要】以下便是百度搜索引擎决定搜索结果排序时考虑的六大原则，那么六大原则的侧重点是怎样的呢？哪个原则在实际应用时占比最大呢？其实在这里没有一个确切的答案。在百度搜索引擎早期，这些阈值的确是相对固定的，比如“相关性”在整体排序中的重量可以占到七成。但随着互联网的不断发展，检索技术的进步，网页数量的爆发式增长，相关性已经不是难题。于是百度搜索引擎引入了机器学习机制，让程序自动产出计算公式，推进排序...
View ArticleClik here to view.
[原]FFmpeg续篇：截取视频片段转成GIF动画
前段时间写过 一篇文章，介绍了FFmpeg的几个常用的命令行。最近，项目里需要做一个把视频片段转成GIF动画的功能，便于用户分享到微博。惊奇地发现，原来强大的FFmpeg是支持的！可以简单地执行下面的命令行：ffmpeg -ss 25 -t 10 -i D:\Media\bear.wmv -f gif...
View ArticleClik here to view.
ETL工具Pentaho Kettle的transformation和job集成
1. Kettle 1.1. 简介Kettle是一款国外开源的etl工具，纯java编写，数据抽取高效稳定（数据迁移工具）。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。2. 集成开发 2.1. transformation实现解析//...
View ArticleClik here to view.
关于海量数据处理分析的经验总结
笔者在实际工作中，有幸接触到海量的数据处理问题，对其进行处理是一项艰巨而复杂的任务。原因有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，...
View ArticleClik here to view.
轻松入门React和Webpack
小广告：更多内容可以看 我的博客和 读书笔记最近在学习React.js，之前都是直接用最原生的方式去写React代码，发现组织起来特别麻烦，之前听人说用Webpack组织React组件得心应手，就花了点时间学习了一下，收获颇丰说说React一个组件，有自己的结构，有自己的逻辑，有自己的样式，会依赖一些资源，会依赖某些其他组件。比如日常写一个组件，比较常规的方式：－ 通过前端模板引擎定义结构 －...
View ArticleClik here to view.
某物流系统数据库故障诊断
故障现象：某物流公司新上一套软件系统，数据库CPU占用率基本维持在80%以上，业务高峰期数据库宕机。 知识预览：LGWR什么时候开始工作的,触发他的动作? A. 重做日志缓冲区的已使用的空间达到三分之一时 B. 当dbwn进程向磁盘写入已修改的缓冲区的时候 C. 每隔3秒钟 D....
View ArticleClik here to view.
Maker入門：開發平台怎麼選？包括樹莓派，5大開發板選擇指南
電子產品愈做愈小是不爭的事實，同樣的，電子工程所用的系統開發板（Development Board）也有愈做愈小的趨勢，例如2012年9月的樹莓派（Raspberry Pi）就只有信用卡大小，而Intel在2013年9月發表只有SD記憶卡大小的系統愛迪生（Edison），其開發板Galileo也只有7×10公 分。 類似的，相關的系統與開發板、開發平台還有聯發科提出的LinkIt（也稱LinkIt...
View ArticleClik here to view.
結合Raspberry Pi與Arduino又可以跑Android的多功能開發板UDOO Neo
受到Raspberry Pi與Arduino等開發板的刺激，許多想要自己打造各種智慧型設備的玩家，都能使用者種輕巧便宜的開發板將構想化為實際作品，UDOO Neo不但結合了兩者的特色，還內建了更多感應器與通訊模組，此外還能夠執行Android作業系統，讓開發板有更多可能。 內建功能包山包海由Raspberry Pi基金會推廣的Raspberry...
View ArticleClik here to view.
OSBean Air，一块只有硬币大小的带 WiFi的Arduino
接触过计算机的男生大概都有一股自己鼓捣智能设备的冲动，那种杜邦线和螺丝刀带来的乐趣或许并不亚于摩托车和其他机械带来的快感。在模块化开源硬件体系Arduino出现之后，这种鼓捣成为了可能。这个目前全世界最有影响力的开源硬件社区已经有Uno，...
View ArticleClik here to view.
Raspberry Pi 2 发布，Windows 10 免费支持！
“世界上最便宜的电脑” —— Raspberry Pi （树莓派）宣布开售（ element14、 RS Components）二代版本。售价与前代 Model B+ 一样为 35 美金，性能和板载接口都有明显提升。目前为止，通过开发者社区的共同努力，Raspberry Pi 电脑已经可以运行...
View ArticleClik here to view.
Spark-1.3.1与Hive整合实现查询分析
在大数据应用场景下，使用过Hive做查询统计分析的应该知道，计算的延迟性非常大，可能一个非常复杂的统计分析需求，需要运行1个小时以上，但是比之于使用MySQL之类关系数据库做分析，执行速度快很多很多。使用HiveQL写类似SQL的查询分析语句，最终经过Hive查询解析器，翻译成Hadoop平台上的MapReduce程序进行运行，这也是MapReduce计算引擎的特点带来的延迟问题：Map中间结果写文...
View ArticleClik here to view.
正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java hea
昨天在项目中需要对日志的查询结果进行导出功能。 日志导出功能的实现是这样的，输入查询条件，然后对查询结果进行导出。由于日志数据量比较大。多的时候，有上亿条记录。 之前的解决方案都是多次查询，然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。 那么能不能一次查询就把所有结果倒出来了？于是我就使用一次查询，不使用limit分页。结果出现...
View ArticleClik here to view.
安装树莓派 Raspberry PI
安装树莓派树莓派终于到货了，是这个样子的上面有一行日期是 Raspberry PI (c) 2011.12下载镜像，写入SD卡http://www.raspberrypi.org/downloads/选择这个镜像： RASPBIAN Debian 2014-01-07780M的压缩包，很大的样子似乎还有个NOOBS的安装方式，完全无感顺便展示一下SD卡，通过查阅可用SD卡列表，似乎是支持个别的64G...
View ArticleClik here to view.
【Window 10 IoT - 1】Window 10系统安装（树莓派 Pi2） - 叶帆
一、硬件准备（1）、树莓派Pi2（2）、8G 10速Micro SD卡（3）、LCD显示器（如果是VGA接口，需要加一个HDMI转VGA模块）（4）、鼠标（5）、安装Windows 10的PC（需要物理直接安装，不能虚机机方式，本篇文章不是必须）二、软件准备（1）、Windows 10 IoT...
View ArticleClik here to view.
跑在树莓派上智能家居雏形
跑在树莓派上智能家居雏形简介 一个以微信为终端的好玩的小东西可以实现的功能可以实现以手机微信端对树莓派终端进行实时监控、摄像头云台操纵、闯入报警、温度检测、灯光控制、自动光线控制等功能设备图片运行截图需要用到的所有硬件路由器树莓派主板树莓派电源（5V 2A）至少 8g tf卡 （推荐class 10，8g足矣）支持ouv的摄像头（罗技C170）花生棒及电源（或用...
View ArticleClik here to view.
关于面向对象编程的一点思考
面向对象编程的 对象有两种，第一种是 现实世界中的对象在软件中的表示（暗含了类间的一部分关系，如包含等），另一种是 为了表示现实世界中对象之间相互作用而虚构起来的类（暗含了类间的另一部分关系，如协作等）。面向对象的思维有 两种突出表现形式，第一种是...
View ArticleClik here to view.
jsearch的索引文件结构
jsearch是一个高性能的全文检索工具包，基于倒排索引，基于java8，类似于lucene，但更轻量级。jsearch的索引文件结构定义如下： 1、一个词的索引由 =分割的三部分组成： 第一部分是词 第二部分是这个词在多少个文档中出现过（上限 1000） 第三部分是倒排表 2、倒排表由多个倒排表项目组成，倒排表项目之间使用 |分割...
View ArticleClik here to view.