ITeye博客

clq9761的博客

clq9761 · 共 93 篇文章

决战大数据摘录

第一部分 从数据化运营到运营数据 1、大数据,为什么很多人只会谈,不会做 (1)大数据的经典定义4V:海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、 多样的数据类型(Variety)和巨大的数据价值(Value)。 (2) 断层是大数据所面临的严重问题,收集数据的人不知道将来的人怎么使用数据,创建模型的人也不 知道自己所采用的数据在未来是否稳定,使用模型的人也不知道整个数据的来路或加工过程。 2、大数据的本质是还原用户的真实需求 (1)识别,让似是而非的行为数据串联起来,企业有多大的能力去识别一个“碎片化了的个人”,是否 知道用户是谁,决定了企业数据收集…

2016-02-16 10:06 · 大数据 · 评论(0)

数据库设计规则技巧

一、 数据库设计的一些总体规则 1、 弄清楚要开发的应用程序是事务处理型(OLTP)还是分析型(OLAP), 如果用户更关注数据的增删改,也就是事务处理,那就设计一个规范化的表。 否则如果最终用户更关注数据分析、报表、趋势预测等等功能,也就是事务分析,那 就设计一个扁平的、不规范化的数据库结构。 2、 把重复、不统一的数据当成你最大的敌人来对待,重复数据可能会带来混乱而不仅仅是它们占用了多 少磁盘空间。解决方法之一是将这些数据完整地移到另外一个主表,然后通过外键引用过来。 3、 如果性能是关键,不要固执地去避免冗余,要把 “避免冗余” 当作是一条绝对的规则去遵循。 如果对性能有迫切的需求,考…

2014-04-17 15:28 · Oracle · 评论(0)

大道至简

一、编程的精义 所谓编程实际上就是把一件事情交给计算机去做,你认为这件事该如何做,就用“程序语言”的形式描述给计算机。程序=算法+结构,在这个公式里,代码是不存在的,存在的只是思想。 二、懒人造就了方法 人的精力终归是有极限的,提出新的“方法”,解决的将是影响做事成效的根本问题。 三、团队缺乏的不只是管理 1、从管理的角度来看,项目失败与否与项目经理的经验直接相关。 项目的成功主要由两个方面来评估的:项目完成质量和项目完成时间。 2、体制的内涵是分两个方面的,其一是“体”,即“体系”,其二是“制”,即“制度”。“ISO质量体系”所产生的那份手册只是“制度”,在这份制度的背后,所要求的是对旧有…

2014-01-03 09:36 · 项目管理 · 评论(0)

Oracle分区表及分区索引

一、分区表 分区表的几种分类: 1、Range(范围)分区 是应用范围比较广的表分区方式,它是以列的值的范围来做为分区的划分条件,将记录存放到列值所在的 range分区中。比如按照时间划分,2012 年1 季度的数据放到a 分区,12年2 季度的数据放到b分区, 因此在创建的时候呢,需要你指定基于的列,以及分区的范围值,如果某些记录暂无法预测范围, 可以创建maxvalue 分区,所有不在指定范围内的记录都会被存储到maxvalue 所在分区中, 并且支持指定多列做为依赖列。 创建RANGE分区事例 需要我们指定的有: column:分区依赖列(如果是多个,以逗号分隔); partition…

2013-12-06 16:54 · Oracle · 评论(0)

Hadoop安装配置

一、初始环境准备 1、 安装虚拟机(Vmware8.0) 2、 在虚拟机上安装Linux系统(CentOS 6.0) 建议安装桌面版,配置服务较完整。安装二台服务器,一台Master,一台Slave。 3、 卸载系统自带的OpenJDK,安装Sun公司的JDK (1)查看jdk信息 rpm -qa | grep java 显示如下信息: java-1.4.2-gcj-compat-1.4.2.0-40jpp.115 java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5 (2) 卸载openJDK(根据显示的信息逐一卸载) rpm -e --nodeps java-1.…

2013-06-18 16:47 · 大数据 · 评论(0)

PowerDesigner设计实践

一、数据模型 1、概念数据模型(CDM) (1)CDM表现数据库的全部逻辑的结构,与任何的软件或数据储藏结构无关。一个概念模型经常包括在物理数据库中仍然不实现的数据对象。它给运行计划或业务活动的数据一个正式表现方式。不考虑物理实现细节,只考虑实体之间的关系。 (2)概念数据模型的内容包括重要的实体及实体之间的关系。在概念数据模型中不包括实体的属性,也不用定义实体的主键。这是概念数据模型和逻辑数据模型的主要区别。 (3)概念数据模型的目标是统一业务概念,作为业务人员和技术人员之间沟通的桥梁,确定不同实体之间的最高层次的关系。 2、逻辑数据模型(LDM) (1)逻辑数据模型反映的是系统分析设计人…

2013-05-30 17:01 · 分析设计 · 评论(0)

软件项目成功之道

一. 绪论 1、 习惯性优秀,如果我们坚持不懈,那么优秀就不再是一种行为,而成为一个习惯。 2、 采石工人信条:尽管我们只是采石头,但脑海中必须想象着最终建造出的宏伟教堂。 3、 如果一棵树在森林里倒了,却没有人在场听到,那么它发出的声响又算什么。要充分利用系统自动 发送Email来了解自动构建系统过程的相关通知。 4、 要尽量主动完成技术领导人的更多职责,不要干等着这个职位落到你头上,而要展示出你在努力谋求 这个职位,而且确实可以处理得很好。 二. 工具和基础设施 1、 在沙箱中开发,只需记住一个基本原则,在你准备好之前,要与其他人隔离,使他们不会受到你的工作的影响。 把这个原则描述为“隔…

2013-05-30 16:24 · 项目管理 · 评论(0)

JAVA多线程事例参考(二)

一、JAVA多线程之Lock import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.Future; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReadWriteLock; import java.util.concurrent.locks.ReentrantLock; import java.util.concurren…

2013-05-10 16:15 · Java综合 · 评论(0)

JAVA多线程事例参考(一)

一. Java多线程安全问题,模拟银行存款 /** * *银行账户对象,存取款操作 * */ public class Account { String name; float amount; public Account(String name, float amount) { this.name = name; this.amount = amount; } // 存款 public void deposit(float amt) { float tmp = amount; tmp += amt; try { Thread.sleep(100);//模拟其它处理所需要的时间,比如刷新数据…

2013-05-10 16:07 · Java综合 · 评论(0)

项目管理培训整理

一、 项目准备 1、 接手一个全新项目的准备 (1) 收集合同及附件 (2) 与销售、售前沟通 (3) 确定项目目标 (4) 讨论项目定位 (5) 分析技术可行性 (6) 分析里程碑要求 (7) 项目性质(外包、开发) (8) 确立干系人管理 (9) 分析项目范围 (10) 查找组织过程资产 (11) 讨论是否要产品化 (12) 分析项目主要风险点 2、 项目整体策划的重要性 (1) 项目成败98%在起点(赢在起点策略) (2) 项目成功98%靠推动(推动力) (3) 项目目标达成98%取决于后期(No-Surprise) 3、 定义清晰的项目目标 项目目标策划的原则:SMART a) Sp…

2013-03-20 16:40 · 项目管理 · 评论(0)

EnterPrize组织

一、 EnterPrize组织概述 EnterPrize组织是组织软件项目的一种方法,它恰当地推动与平衡项目成员之间的责任、个人责任感与权力。 EnterPrize组织定义了组成项目的8种职位的角色与责任: 1、产品经理:一般是高管或者高级经理。该角色对产品的成功负完全的责任,包括利润与损失。 2、项目经理:指挥项目的计划与执行,是为项目成功与否负责的个人,就像船长或战场上的将军。 3、业务架构师:是客户的代表,负责保证正确的需求被写入文档并得到理解,它关注要解决的问题而不是 这些问题的解决方案。 4、产品架构师:负责客户问题的技术解决方案,产品的规格说明和产品的整体设计(架构)。产品架构师…

2013-03-20 16:21 · 项目管理 · 评论(0)

程序开发心理学

程序开发心理学(温伯格著)摘抄整理如下: 1、程序开发也是一种艺术创造的过程,同写作、作画并没有质的差别。是在特定的环境下,特定的程序员在特定的心理状况下的艺术品,其中任何一个因素的变化都可能导致艺术品的结果不同。 2、程序被写成什么样子,取决于众多的因素;一旦我们真的阅读了程序,就会发现无论是否必要,其中这些代码之所以如此编写,有的是由于计算机的局限,有的是由于程序语言的局限,有的是由于程序员的局限,有的是因为历史的偶然,而有的则可能是因为规范。 3、优秀程序的要素: (1)技术规范 (2)日程计划 (3)适应性 (4)效率 效率和适应性犹如鱼和熊掌不可兼得。因而往往只能取其一,至少这比哪…

2013-01-30 16:20 · 项目管理 · 评论(0)

JAVA之 IO流

一、IO流 流就是字节序列的抽象概念,能被连续读取数据的数据源和能被连续写入数据的接收端就是流,流机制是Java及 C++中的一个重要机制,通过流我们可以自由地控制文件、内存、IO设备等数据的流向。而IO流就是用于处理 设备上的数据,如:硬盘、内存、键盘录入等。 IO流根据处理类型的不同可分为字节流和字符流,根据流向的不同可分为输入流和输出流。 二、字节流和字符流 字符流,因为文件编码的不同,就有了对字符进行高效操作的字符流对象,它的原理就是基于字节流读取字节时 去查了指定的码表。它和字节流的区别有两点:1.在读取数据的时候,字节流读到一个字节就返回一个字节, 字符流使用了字节流读到一个或多…

2013-01-16 13:57 · Java综合 · 评论(0)

软件架构师应该知道的97件事

软件架构师是IT 行业里独一无二的职业,既要精通软件开发技术,又要掌握业务知识,还要周旋于公司不同部门 之间,协调各种予盾。 1.客户需求重于个人简历 ( Nitin Borwankar ) 客户需求至上。为了自己的简历更炫而采用新技术是沽名钓誉,往往事与愿违。 2. 简化根本复杂性 ,消除偶发复杂性 ( Neal Ford ) 根本复杂性指的是问题与生俱来的、无法避免的困难。偶发复杂性是人们解决根本复杂性的过程中衍生的。 分析问题好比拨云见月、水落石出。架构师的责任在于解决问题的根本复杂性,同时避免引入偶发复杂性。 3. 关键问题可能不是出在技术上 ( Mark Ramm ) 大多数项目是…

2013-01-11 13:26 · 项目管理 · 评论(0)

CXF创建WebService实例

一、概述 1、ApacheCXF项目是由ObjectWeb Celtix和CodeHaus XFire合并成立。ObjectWeb Celtix是 由IONA公司赞助,于2005年成立的开源Java ESB产品,XFire则是业界知名的SOAP堆栈。 合并后的ApacheCXF融合该两个开源项目的功能精华,提供了实现SOA所需要的核心ESB功能框架, 包括SOA服务创建,服务路由,及一系列企业级QoS功能。 2.支持标准 (1)JAX-WS, JSR-181, SAAJ, JAX-RS (2)SOAP 1.1, 1.2, WS-I BasicProfile, WS-Security, WS-…

2013-01-07 20:33 · Java综合 · 评论(3)