在线教育-微服务项目总结

Marlowe

发布于：Aug 2, 2021

次浏览

3.9k words

14 min

简单总结一下在线教育项目…

一、项目描述

在线教育系统，分为前台网站系统和后台运营平台，B2C模式。

前台用户系统包括首页、课程、讲师、订单四大部分，使用了微服务技术架构，前后端分离开发。

后端的主要技术架构是：SpringBoot + SpringCloud + Shiro + MyBatis-Plus + MySQL + Maven + EasyExcel

前端的架构是：Node.js + Vue.js +element-ui+NUXT+ECharts

其他涉及到的中间件包括Redis、阿里云OSS、阿里云视频点播，业务中使用了ECharts做图表展示，使用EasyExcel完成分类批量添加、注册分布式单点登录使用了Jwt。

项目前后端分离开发，后端采用SpringCloud微服务架构，持久层用的是MyBatis-Plus，使用Swagger生成接口文档，接入了阿里云视频点播、阿里云OSS。

系统分为前台用户系统和后台管理系统两部分。

前台用户系统包括：首页、课程、名师、订单。

后台管理系统包括：讲师管理、课程分类管理、课程管理、统计分析、Banner管理、订单管理、权限管理等功能。

二、后台管理系统功能

1、登录功能

Shiro + Jwt

2、权限管理模块

菜单管理

列表，添加，删除，修改

角色管理

列表，添加，删除，修改，批量删除
为角色分配菜单

用户管理

列表，添加，删除，修改，批量删除
为用户分配角色

权限管理表和关系

使用最基础的RBAC五张表结构：用户表、角色表、权限表、用户角色表、角色权限表

3、讲师管理模块

条件查询分页列表、添加、修改、删除

4、课程分类模块

添加课程分类
- 读取Excel里面课程分类数据，添加到数据库中
课程分类列表
- 使用树形结构显示课程分类列表

5、课程管理模块

课程列表功能

添加课程

课程发布流程
- 填写课程基本信息
- 添加课程大纲（章节和小节）
- 课程信息确认
如何判断课程是否发布？
使用一个status字段，Draft-> 未发布，Normal->已发布。
课程添加过程中，中途把课程停止添加，重新去添加另外的课程，如何找到之前没有发布的课程，继续进行发布？
到课程列表中，根据课程状态找到未发布的课程，点击编辑按钮，可以选择编辑课程基本信息和课程大纲信息，编辑完成后，可以选择对课程是否发布。

添加小节上传课程视频

阿里云视频点播服务，调用SDK，new 一个文件上传对象，传入id，secret，和视频的基本信息，然后调用上传方法，得到response。

业务代码入下：

/**
     * 上传视频到阿里云
     *
     * @param file
     * @return
     */
    @Override
    public String uploadVideoAly(MultipartFile file) {

        try {
            String fileName = file.getOriginalFilename();
            String title = fileName.substring(0, fileName.lastIndexOf("."));
            InputStream inputStream = file.getInputStream();
            UploadStreamRequest request = new UploadStreamRequest(ConstantVodUtils.ACCESS_KEY_ID, ConstantVodUtils.ACCESS_KEY_SECRET, title, fileName, inputStream);
            UploadVideoImpl uploader = new UploadVideoImpl();
            UploadStreamResponse response = uploader.uploadStream(request);

            String videoId = null;
            if (response.isSuccess()) {
                videoId = response.getVideoId();
            } else {
                videoId = response.getVideoId();
            }
            return videoId;
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }

视频播放功能

调用阿里云的SDK，此处采用直接通过视频id获取视频链接的方式，不安全，视频可以直接被别人下载到本地，应该采用授权的方式，并整合阿里云的播放器

/**
     * 根据视频id获取视频url
     *
     * @param id
     * @return
     */
    @ApiOperation("根据视频id获取视频url")
    @GetMapping("getPlayUrl/{id}")
    public R getPlayAuth(@PathVariable String id) {

        try {
            // 创建初始化对象
            DefaultAcsClient client = InitVodClient.initVodClient(ConstantVodUtils.ACCESS_KEY_ID, ConstantVodUtils.ACCESS_KEY_SECRET);
            // 创建获取在线url的request和response对象
            GetPlayInfoRequest request = new GetPlayInfoRequest();
            // 向request设置视频id
            request.setVideoId(id);
            // 调用方法得到url
            GetPlayInfoResponse response = client.getAcsResponse(request);
            List<GetPlayInfoResponse.PlayInfo> playInfoList = response.getPlayInfoList();
            List<String> playUrl = new ArrayList<>();
            for (GetPlayInfoResponse.PlayInfo playInfo : playInfoList) {
                playUrl.add(playInfo.getPlayURL());
            }
            return R.ok().data("playUrl", playUrl);
        } catch (Exception e) {
            throw new GuliException(20001, "获取视频Url失败");
        }
    }

6、统计分析模块

生成统计数据

通过定时任务，每天凌晨12点采集前一天的数据，数据通过远程调用采集，获取前一天用户模块中的注册数，视频播放次数，课程数量，并插入到统计表中

统计数据图表显示

根据数据类型和时间段条件查询统计表，前台展示数据

三、前台用户系统功能

1、前台数据显示

由于主页数据不经常改变，但又是用户高频访问的地方，为了减少数据库查询压力，将首页数据放入redis中，每次返回首页，从redis中获取数据。

显示轮播图

显示热门课程

根据观看次数选出前8个课程

显示名师

根据等级选出前4为名师

2、注册

获取手机验证码

用户填写完个人信息后，点击注册按钮，将手机号和验证码发送给kafka，直接返回，短信模块从kafka里面消费消息，给指定手机号发送短信验证码，验证码验证成功，将用户数据存入数据库。
阿里云短信服务，首先直接从redis中根据电话号码拿验证码，如果拿到了，直接返回，提示验证码已存在，请稍后再发送，如果redis中没有验证码，生成4位随机短信验证码，放入redis中，5分钟后过期。
注册时，对用户输入的数据进行校验，然后从redis中拿取验证码，和用户输入的验证码对比，看是否相等，相等则执行后续操作，接着，查询该手机号是否注册过，如果已经注册，则提示直接登录，没有注册，执行后续操作，将密码按照MD5加密后，放到数据库中保存。

3、登录

普通登录

SSO(Single sign-on：单点登录)

登录实现流程： 登录调用登录接口返回token字符串，把返回的token字符串放到cookie里面，创建前端拦截器进行判断，如果cookie里面包含token字符串，把token字符串放到header里面。调用接口，根据token获取用户信息，把用户信息放到cookie里面，进行显示。

微信扫码登录

OAuth2：是针对特定问题的解决方案
主要有两个问题：1、开放系统间授权 2、分布式访问
如何获取扫描人信息过程？
- 扫描之后，微信接口返回code(临时票据)，拿着code值请求微信固定地址，得到两个值：access_token(访问凭证)和openid(微信唯一标识)，你拿着这两个值再去请求微信固定的地址，得到微信扫描人信息(比如昵称、头像等等)

4、名师列表功能

5、名师详情功能

6、课程列表功能

条件查询分页列表功能
- 根据一级分类，再根据二级分类查询课程
- 根据销量查询
- 根据课程发布时间查询
- 根据课程价格查询

7、课程详情页

课程信息显示（包含课程基本信息、分类、讲师、课程大纲）
判断课程是否需要购买

8、课程视频在线播放

9、课程支付功能(微信支付)

订单流程

生成课程订单
- 通过远程调用，根据用户id获取用户信息
- 通过远程调用，根据课程id获取课程信息
- 将订单信息传给kafka，直接返回给用户，让用户创建订单是无感知的。
- 从kafka里面获取订单信息，存入订单表
根据订单号生成微信支付二维码，并在前端设置定时器，隔3s查询一次支付状态
微信最终支付

微信支付实现流程

如果课程是收费课程，点击立即购买，生成课程订单
点击订单页面去支付，生成微信支付二维码
使用微信扫描二维码实现支付
支付之后，每隔3s查询支付状态(是否支付成功)，如果没有成功，等待支付，如果支付成功，更新订单状态(已经支付状态)，向支付记录表添加支付成功记录。

四、项目后端技术点总结

1、微服务架构

2、SpringBoot

(1) SpringBoot本质就是Spring，只是快速构建Spring工程的脚手架

(2) 细节：

启动类包扫描机制
设置扫描规则@ComponentScan(“packagePath”)
配置类

(3) SpringBoot配置文件

配置文件类型：yml，properties
配置文件加载顺序：
- bootstrap->application->application-dev

3、SpringCloud

(1) 是很多框架总称，使用这些框架实现微服务架构，基于SpringBoot实现

(2) 组成框架有哪些？

服务发现–Netflix Eureka (Nacos)
服务调用–Netflix Feign
熔断器–Netflix Hystrix
服务网关–SpringCloud Gateway
分布式配置–SpringCloud Config (Nacos)
消息总线–SpringCloud Bus (Nacos)

(3) 项目中，使用阿里巴巴Nacos，替代SpringCloud的一些组件

(4) Nacos

使用Nacos作为注册中心
使用Nacos作为配置中心

(5) Feign

服务调用，一个微服务调用另外一个微服务，实现远程调用

(6) 熔断器

服务调用失败或者超时，有一个兜底的方法（在调用接口上添加注解：@FeignClient(name = “service-vod”, fallback = VodFileDegradeFeignClient.class)，然后用fallback中的类实现调用接口）

(7) Gateway网关

SpringCloud之前用Zuul网关，目前用GateWay网关

(8) 版本对应
SpringBoot 2.2.1.RELEASE
SpringCloud Hoxton.RELEASE

4、MyBatisPlus

(1) MyBatisPlus就是对MyBatis的增强
(2) 自动填充
(3) 乐观锁
(4) 逻辑删除
(5) 代码生成器

5、EasyExcel

(1) 阿里巴巴提供操作Excel工具，代码简洁，效率很高。
(2) EasyExcel对poi进行封装，采用SAX方式解析
(3) 项目应用在添加课程分类，读取excel数据

EasyExcel简介
Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如07版Excel解压缩以及解压后存储都是在内存中完成的，内存消耗依然很大。easyexcel重写了poi对07版Excel的解析，能够原本一个3M的excel用POI sax依然需要100M左右内存降低到几M，并且再大的excel不会出现内存溢出，03版依赖POI的sax模式。在上层做了模型转换的封装，让使用者更加简单方便.
EasyExcel项目地址:EasyExcel

6、Spring Security

7、Redis

(1) 首页数据通过Redis进行缓存
(2) Redis数据类型
(3) 使用Redis作为缓存，不太重要获取不经常改变的数据适合放到Redis作为缓存

8、Nginx

(1) 反向代理服务器
(2) 请求转发，负载均衡，动静分离

9、OAuth2 + Jwt

(1) OAuth2针对特定问题的解决方案
(2) Jwt包含三部分

10、HttpClient

(1) 发送请求返回响应的工具，不需要浏览器完成请求和响应的过程
(2) 应用场景，微信登陆获取扫描人信息，微信支付查询支付状态

(1) Cookie特点

客户端技术
每次发送请求带着cookie值进行发送
cookie有默认会话级别，关闭浏览器cookie默认不存在了，但是可以设置cookie有效时长：setMaxAge

12、微信登录

13、微信支付

14、阿里云OSS

(1) 文件存储服务器

(2) 添加讲师时候上传讲师头像

15、阿里云视频点播服务

(1) 视频上传、删除、播放

(2) 整合阿里云视频播放器进行视频播放

使用视频播放凭证

16、阿里云短信服务

(1) 用户注册时，发送手机验证码

17、Git

18、Docker

五、问题总结

1、MyBatis生成19位id值

分布式系统中分布式id生成器生成的id 长度过大（19个字符长度的整数），js无法解析（js只能解析16个长度：2的53次幂）

id策略改成 ID_WORKER_STR,把id的类型在程序中设置成了字符串

2、跨域问题

(1) 访问协议、ip地址、端口号，这三个有任何一个不一样，都会产生跨域。

(2) 跨域解决：

在Controller上加@CrossOrigin注解
通过网关，编写配置文件，编写配置类

3、413问题

(1) 上传视频的时候，因为Nginx有上传文件大小限制，如果超过Nginx大小，会出现413

(2) 413错误:请求体过大

解决方案：在Nginx配置客户端大小

4、Maven加载问题

(1) maven加载项目的时候，默认不会加载src-java文件夹里面xml类型的文件

解决方案：
- 直接复制xml文件到target目录
- 通过配置pom实现

5、分布式系统CAP原理

CAP定理

指的是在一个分布式系统中，Consistency（一致性）、Availability（可用性）、Partition tolerance（分区容错性），三者不可同时获得。

一致性（C）： 在分布式系统中的所有数据备份，在同一时刻是否同样的值。（所有节点在同一时间的数据完全一致，越多节点，数据同步越耗时）

可用性（A）： 负载过大后，集群整体是否还能响应客户端的读写请求。（服务一直可用，而且是正常响应时间）

分区容错性（P）： 分区容错性，就是高可用性，一个节点崩了，并不影响其它的节点（100个节点，挂了几个，不影响服务，越多机器越好）

CA 满足的情况下，P不能满足的原因：

数据同步(C)需要时间，也要正常的时间内响应(A)，那么机器数量就要少，所以P就不满足

CP 满足的情况下，A不能满足的原因：

数据同步(C)需要时间, 机器数量也多(P)，但是同步数据需要时间，所以不能再正常时间内响应，所以A就不满足

AP 满足的情况下，C不能满足的原因：

机器数量也多(P)，正常的时间内响应(A)，那么数据就不能及时同步到其他节点，所以C不满足

注册中心选择的原则

Zookeeper：CP设计，保证了一致性，集群搭建的时候，某个节点失效，则会进行选举行的leader，或者半数以上节点不可用，则无法提供服务，因此可用性没法满足。

Eureka：AP原则，无主从节点，一个节点挂了，自动切换其他节点可以使用，去中心化。

结论

分布式系统中P,肯定要满足，所以我们只能在一致性和可用性之间进行权衡

如果要求一致性，则选择zookeeper，如金融行业

如果要求可用性，则Eureka，如教育、电商系统

没有最好的选择，最好的选择是根据业务场景来进行架构设计

6、前端渲染和后端渲染有什么区别

前端渲染是返回json给前端，通过javascript将数据绑定到页面上

后端渲染是在服务器端将页面生成直接发送给服务器，有利于SEO的优化

7、系统架构图

项目地址

onlineEducation