如何使用Spark ALS实现协同过滤
转载自 JavaChen Blog,作者: Junez本文主要记录最近一段时间学习和实现Spark MLlib中的协同过滤的一些总结,希望对大家熟悉Spark ALS算法有所帮助。更新: 【2016.06.12】Spark1.4.0中MatrixFactorizationModel提供了recommendForAll方法实现离线批量推荐,见...
View ArticleQunit初探
前言2008年5月, Qunit随JQuery的核心库一起发布,在2009年重构之后,Qunit独立出来,可以用于测试各种Javascript应用和框架,其提供的断言方法遵循了CommonJS维护规范。尽管Qunit能再服务端和命令行运行,但是其主要还是用于测试浏览器端的Javascript。先看一个简单地测试demo:<!DOCTYPE html>...
View Article产品经理跨行业分析的一般思路
东东导读:产品经理跨行业如何快速从零到一熟悉新领域、积累新领域的经验。现在,对于这个问题,好像有些自己的小想法了。索性就整理记录下来,之后可以验证一下自己摸索出来的方法论是否正确。上上上上周开始调研新领域,花2个小时出了小报告。在这次了解新领域的过程中,突然意识到自己不再像几个月前一样,下一堆竞品随便看看功能,而是先整理了一下分析的框架、维度与思路,才着手分析。想到这份工作入职之前纠结的一个问题——...
View Article监控Postgres数据库
官方文档中有关监控的章节:http://www.postgresql.org/docs/9.3/static/monitoring.html 监控软件的罗列文档:https://wiki.postgresql.org/wiki/Monitoring 其中选择安装了powa。这个可以实时监控数据库,但是没有系统cpu和内存图表。大多数带有系统监控的,都是通过插件实现的,要多安装和配置一些东西。...
View ArticleSpring read-only="true" 只读事务的一些概念
概念:从这一点设置的时间点开始(时间点a)到这个事务结束的过程中,其他事务所提交的数据,该事务将看不见!(查询中不会出现别人在时间点a之后提交的数据) 应用场合:如果你一次执行单条查询语句,则没有必要启用事务支持,数据库默认支持SQL执行期间的读一致性;...
View ArticleMYSQL 调优和使用必读
MYSQL 应该是最流行了 WEB 后端数据库。WEB 开发语言最近发展很快,PHP, Ruby, Python, Java各有特点,虽然 NOSQL 最近越來越多的被提到,但是相信大部分架构师还是会选择 MYSQL 来做数据存储。 MYSQL 如此方便和稳定,以至于我们在开发 WEB 程序的时候很少想到它。即使想到优化也是程序级别的,比如,不要写过于消耗资源的 SQL...
View Article比较全面的MySQL优化参考
本文整理了一些MySQL的通用优化方法,做个简单的总结分享,旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作,至于具体的SQL优化,大部分通过加适当的索引即可达到效果,更复杂的就需要具体分析了,1、硬件层相关优化1.1、CPU相关在服务器的BIOS设置中,可调整下面的几个配置,目的是发挥CPU最大性能,或者避免经典的NUMA问题:1、选择Performance Per Watt...
View ArticleCMS gc实践总结
http://blog.csdn.net/turkeyzhou/article/details/5998869声明:原文转自http://www.blogjava.net/killme2008/archive/2009/09/22/295931.html,该文所有合法权益归原作者所有,仅在此做技术分享使用。...
View Article浅谈Android数据库版本升级及数据的迁移
概述Android开发涉及到的数据库采用的是轻量级的SQLite3,而在实际开发中,在存储一些简单的数据,使用SharedPreferences就足够了,只有在存储数据结构稍微复杂的时候,才会使用数据库来存储。而数据库表的设计往往不是一开始就非常完美,可能在应用版本开发迭代中,表的结构也需要调整,这时候就涉及到数据库升级的问题了。数据库升级数据库升级,主要有以下这几种情况:增加表删除表修改表...
View ArticlePython安全编码与代码审计
1 前言现在一般的web开发框架安全已经做的挺好的了,比如大家常用的django,但是一些不规范的开发方式还是会导致一些常用的安全问题,下面就针对这些常用问题做一些总结。代码审计准备部分见《php代码审计》,这篇文档主要讲述各种常用错误场景,基本上都是咱们自己的开发人员犯的错误,敏感信息已经去除。2 XSS未对输入和输出做过滤,场景:def xss_test(request): name =...
View Article前沿技术是否前沿?爱奇艺首席科学家揭秘视链技术
“云视链”CEO 金证济苍近日一则围绕“ 22岁、6亿估值、秒杀Google”等关键词进行宣传的创业圈新闻在业内引起了广泛讨论。众多互联网媒体瞬间化身“八卦小报”,对话题主角金证济苍,展开了360度无死角的人肉搜索,并爆出Venvy Inc...
View Articlehttp api服务网关
http服务网关系统是一个对http服务进行治理的系统,通过该系统可以对调用方进行身份认证、服务授权许可(许可调用方使用某个http服务)、服务鉴权(是否能调用http服务)、请求流控、失败恢复、调用度量数据统计分析、服务依赖视图等。整个系统架构如下图,分为三大部分:api网关、网关控制台、度量数据采集分析(这个未在图中体现)。 1.api服务网关 api服务网关是一个java...
View Article10种常见的Java不规范代码
1、在Eclipse中格式化源代码并管理import语句:Eclipse提供了自动格式化源代码和管理import语句的功能(并移除未使用的语句)。你可以使用下面的快捷键来使用这些功能。Ctrl + Shift + F – 格式化源代码。Ctrl + Shift + O –...
View Article架构-伸缩性-扩展性-高可用的学习
高可用系统: 1 利用负载均衡做集群并且利用负载均衡进行无状态服务的转移 2 session管理:1 session复制 2Session绑定 3 Cookie记录Session 4 Session服务器 3、数据备份:数据冷备,数据热备(异步热备和同步热备)。关系型数据库通常热备机制为设置主从数据库 4、失效转移:失效确认、访问转移、数据恢复 (当数据库不可用时,保证数据库的可用性)...
View Article移动端Hybrid应用与响应式
前端是一个非常庞大和复杂的领域。如果说多年前的前端只是需要学习几个 HTML 标签,看到别的网站用了狂拽酷炫的特效就 copy 下来,稍微懂点 jQuery 做日常使用,再了解几个 Prototype 和 MooTools(貌似都不再维护了)等高冷脱俗的库做装X用就能显得很“专家”了。那么现在要还是持这样的想法,就不适合搞前端。且不说 JavaScript 在与时俱进,更新出了...
View Article为了减少内存占用,Chrome将引入新机制
以快速著称的 Chrome 浏览器,也是内存等资源占用大户。两者当真是鱼和熊掌不可兼得吗?Chromium 团队正对此做出改进。得益于标签页独立进程的内存设计,Chrome 会为每个已经加载完毕的标签页建立一个独立的进程,一方面加载和相应速度变快,另一方面即便页面崩溃对其它页面也基本不会造成影响。这样一来,4GB 以下内存的机器就很难承受,Chrome...
View ArticleJBoss_053:使用JDG外部缓存HTTP Session
环境:JBoss EAP 6.4.0 + JBoss Data Grid 6.5.0 JBoss Data Grid 6.5.0 有个新特性:可以把JDG 作为外部缓存来存储HTTP Session,这样做的好处是: (1)减轻了应用服务器的内存压力以及集群节点间的 Session 复制。 (2)利用JDG的横向扩展能力,可以容纳更多的 Session 对象。...
View Article如何用 Hadoop/Spark 构建七牛数据平台
数据平台在大部分公司都属于支撑性平台,做的不好立刻会被吐槽,这点和运维部门很像。所以在技术选型上优先考虑现成的工具,快速出成果,没必要去担心有技术负担。早期,我们走过弯路,认为没多少工作量,收集存储和计算都自己研发,发现是吃力不讨好。去年上半年开始,我们全面拥抱开源工具,搭建自己的数据平台。1、数据平台设计理念公司的主要数据来源是散落在各个业务服务器上的半结构化日志,比如系统日志、程序日志、访问日志...
View Article带你认识 MySQL 之 MySQL 体系结构
序最近一直在忙项目,各种加班加点,项目上线,渐渐的没有了学习的时间。这不,刚这几天才能抽出点时间,忙里偷闲,正在看一本数据库的书籍,相信很多小伙伴们也都看过 — — 《MySQL 技术内幕:InnoDB 存储引擎》。这本书很详细的讲述了 MySQL...
View Article