完整项目地址：homework3 · main · 垃圾桶 / Data-Intergration · GitLab

一 数据收集与盘点

1. 初选合适字段

​ 一共有23张原始数据表，从中初选出的合适字段有以下：

完整项目链接：homework2 · main · 垃圾桶 / Data-Intergration · GitLab

实时数据部分

一 环境配置

​ 操作系统使用ubuntu20.04

1. jdk 1.8

​ 官网下载openjdk1.8，解压至本地，添加环境变量，使用java -version检查。

2. kafka 2.11-2.1.0

​ 官网下载Kafka包后，解压至本地，然后修改kafka/config/下的zookeeper.properties文件，将zookeeper端口设置为2291，并修改zookeeper日志存放地址，再修改server.properties文件，设置连接zookeeper地址为localhost:2291，并修改kafka日志地址。

作业一 大众点评应用系统集成

引言

大众点评是中国领先的本地生活信息及交易平台，也是全球最早建立的独立第三方消费点评网站。大众点评不仅为用户提供商户信息、消费点评及消费优惠等信息服务，同时亦提供团购、餐厅预订、外卖及电子会员卡等O2O(线上到线下)交易服务。本文试从大众点评推荐业务出发，分析大众点评推荐业务是如何将抽象的统计学数据以及非结构化的原始数据转化成了规范化的、特征化的系统推荐需要的数据。

电子商务

1. 狭义电子商务 EC：通过包括互联网在内的计算机网络，实现商品买卖、交换、配送、服务信息的过程

2. 广义电子商务 EB：不仅仅指商品、服务的买卖，也包括客户服务、与商业伙伴的协调合作、利用网络开展学习活动、组织内部的电子信息交换

3. 不同：EC主要指售前、售中、售后活动中的售中活动，EB包括售前、售中、售后的全部活动

4. 电子商务=电子+商务，是商务的电子化，是以电子的形式实现新的商业模式，是对商业模式的创新；商务是源、业务、目的，电子是技术、手段、工具

5. 电子商务涉及商品、参与者、交易三个过程，三个维度都数字化的称为完全电子商务，有一个维度不是数字化，但也有维度数字化的叫不完全电子商务

Linux基础

1. Linux是根据GNU通用公共许可证开发的一种免费Unix类型的操作系统

2. 1991年Linus Torvalds编写了第一个版本的Linux内核

3. 安装、开机、硬件、BIOS、LILO、软件

4. linux分区

作业一

task1

a)将当前目录下所有文件备份并压缩成 tar.gz，如果成功再将备份拷贝到 /backup 目录下。

1
2

tar czf backup.tar.gz *
cp backup.tar.gz /backup

b) 将上述备份压缩后的文件解压到原来的目录。

1

tar xzf /backup/backup.tar.gz ./ 

c) 将当前目录下所有后缀为.html的文件的后缀改为.htm。

1

rename .html .htm *.html

d) 将当前目录下所有子目录下以a开头的.cpp文件改名为以b开头的.c文件。

1

find . -type f -name "a*.cpp" -exec rename "s/^a(.*)\.cpp$/b\$1\.c/" {} \;

作业要求

https://jinqiqing-bucket.oss-cn-nanjing.aliyuncs.com/pdf/assignment-3.pdf

https://jinqiqing-bucket.oss-cn-nanjing.aliyuncs.com/pdf/assignment-3-reading-c4.pdf

你需要负责为以下系统设计一个软件体系结构。你应该使用属性驱动设计（Attribute Driven Design，ADD）方法，并以多个视图来记录最终的体系结构。在这个作业中，三到四名学生需要组成一个小组共同完成作业。每个学生在这个作业上的得分将根据小组的表现来确定，包括个人对工作的贡献和反思。

本作业的补充阅读材料是“呼叫中心客户服务（C4）案例研究”，该案例介绍了一个大型电信公司使用的系统的初始（“一级”）架构分解。该系统包括五个主要子系统，如阅读材料中所述。一级架构在阅读材料中的图1中显示。

作业要求

https://jinqiqing-bucket.oss-cn-nanjing.aliyuncs.com/pdf/assignment-2.pdf

Task 1: Architecture Pattern Analysis

一 Broker Pattern（代理模式）

1. Availability 可用性

通过将请求路由到多个服务器和服务实例，可以避免单个服务器或服务实例出现故障而导致整个系统不可用的情况。当一个服务器或服务实例不可用时，broker可以将请求转发到其他可用的服务器或服务实例上，从而实现系统的高可用性。

但另一方面，一个broker可能会服务于大量的客户端与服务端，这种情况下broker本身容易出现故障，整个系统也会受到影响。

**举例：**在一个电子商务网站中，订单管理系统和商品管理系统之间需要进行信息的交互。如果采用代理者模式，将交互过程交给broker，当其中一个系统出现故障时，不会影响到另一个系统的正常运行，不过broker如果故障，则都会受到影响。

**候选策略：**实现多个服务节点的负载均衡和自动故障转移，使用可靠的消息传递机制，对异常情况进行监控和处理，确保服务的可用性。采用备用broker，当原来的broker故障时自动投入。

作业要求

https://jinqiqing-bucket.oss-cn-nanjing.aliyuncs.com/pdf/assignment-1.pdf

Task1: Quality Attribute Scenarios

Extensibility（可扩展性） vs. Maintainability（可维护性）

1. Extensibility 可扩展性通用方案与具体方案

设计原则

1. 单一职责原则：一个对象应该只包含单一的职责，并且该职责被完整地封装在一个类中；或就一个类而言，应该仅有一个引起他变化的原因。是实现高内聚、低耦合的指导方针 。
2. 开闭原则：一个软件实体应当对扩展开放，对修改关闭。
3. 里氏替换原则：软件中如果能够使用基类对象，那么一定能够使用其子类对象。
4. 依赖倒转原则：高层模块不应该依赖低层模块，它们都应该依赖抽象。抽象不应该 依赖于细节，细节应该依赖于抽象；或针对接口或抽象类编程，而不是针对实现或具体类编程。
5. 接口隔离原则：客户端不应该依赖那些它不需要的接口。一旦一个接口太大，则需要将它分割成一些更细小的接口， 使用该接口的客户端仅需知道与之相关的方法即可。
6. 合成复用原则：要尽量使用组合/聚合关系，少用继承。
7. 迪米特法则/最小知识原则：每一个软件单位对其他的单位都只有最少的知识，而 且局限于那些与本单位密切相关的软件单位；一个软件实体应当 尽可能少的与其他实体发生相互作用。