Fork me on GitHub

发表于
字数统计: 1,251 | 阅读时长 ≈ 5

简单配置 PM2 环境 和发布脚本

1
2
3
HTTP 请求  Nginx -> 静态资源 location    dist/html js css
                   动态数据请求   proxy    Nodejs API Server

我们上服务器配置好一堆线上发布的东西:

  • 安装moongod
  • 安装node
  • 安装pm2
  • 安装nginx

然后在本地配置好发布的脚本:

阅读全文 »

发表于
字数统计: 1,362 | 阅读时长 ≈ 5

函数的定义和使用

  • Linux Shell 中的函数和大多数编程语言中的函数都是一样的
  • 相同功能封装在函数里面方便调用

语法格式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
name()
{
  command1
  command2
  ......
  commandn
}
function name
{
  command1
  command2
  ......
  commandn
}

阅读全文 »

发表于
字数统计: 88 | 阅读时长 ≈ 1

notes

这篇博客由于里面有一些符号可能会导致出现一个 Hexo 框架自带的bug(涉及到框架底层的一些东西)

可以参考这篇 文章 ，和github issue区

因而这篇文章我把它放置在我的 github 的issue区里面了，可以去里面看:

shell脚本1-基本语法

发表于
字数统计: 1,503 | 阅读时长 ≈ 7

PS: 本节几乎都是前端内容，熟悉前端的可以不用看。

构建基本前端目录

现在根目录下新建一个src 文件夹，里面用来放前端的源代码。

这里由于主要介绍 koa2 是怎么使用起来的，所以这里重点还是放在koa2上面，前端就只是粗略的介绍。

src 目录下分别放有assets,components,layouts,lib,views

然后目录下放两个文件:index.html 和 index.js

因为是个单页应用，所以只需要一个html文件即可。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <meta http-equiv="X-UA-Compatible" content="ie=edge">
  <title>预告片网站</title>
</head>
<body>
  <div id="app"></div>
  <script src='./index.js'></script>
</body>
</html>

阅读全文 »

发表于
字数统计: 3,476 | 阅读时长 ≈ 15

实现一个最小统计的 API 服务器

之前我们已经将整个网站的数据库写完了之后，现在我们需要构建一些API层面的东
西，来写一些http请求的东西.

koa-learnning

这一节我们来做一下关于网站路由的东西。

1
npm install koa-router -S

先从一个最简单的做起，我们在上面引用了 koa-router,然后我们在server下面新建一个文件夹routes来专门存放我们的路由文件.

在routes里面新建一个index.js，然后在里面做一个很简单的操作;

阅读全文 »

发表于
字数统计: 2,961 | 阅读时长 ≈ 14

向数据库中导入爬去到的数据

在上面所有的数据的schema模型都已经建立完成之后，接下面我们需要将之前爬去到的数据导入我们的数据里面去。

在首先在启动文件里面调用一下爬虫脚本来抓取一波数据.

1
2
3
4
5
6
7
8
9
10
// somde codes...
(async () => {
   await connect();
   initSchemas();
   // 把爬虫程序 require 进来，它就会自动去启动子进程去爬取数据    
   require('./tasks/movie');
})();
// some codes...
阅读全文 »

发表于
字数统计: 2,991 | 阅读时长 ≈ 12

安装mongodb

之前其实我已经有写过关于怎么在ubuntu上安装mongodb了，这个可以去看一下之前的博客文章，然后这一次的话，主要是想试试在服务器上面安装MongoDB。

首先登录一下服务器，我的是:

1
ssh zoomdong@zoomdong.xin

当然如果想免密码登录服务器的话，可以参考一下 这篇文章

进入服务器里面之后的话，可以使用 lsb_release -a 来查看关于服务器的一系列有用的信息。

关于centOS的安装过程直接参考mongodb官网上面关于 Red Hat 的介绍来进行安装。

在第一段进行repo的复制的时候我们可以将 mongodb 的官方下载源切换成阿里的下载源。即修改一下baseURL即可，baseURL的地址如下:

阿里源mongodb 下载地址

由于我安装的是3.6版本的mongodb，所以这里就选择了3.6。

阅读全文 »

发表于
字数统计: 3,587 | 阅读时长 ≈ 14

NodeJS的进程模型

关于进程模型首先需要理解的有大概这么几个问题:

  1. 什么是同步异步？
  2. 什么是异步IO？
  3. 什么是阻塞非阻塞？
  4. 什么是事件循环和事件驱动？
  5. 什么是单线程？
  6. 什么是进程
  7. 什么是子进程
  8. 怎么样来启动子进程
  9. 进程间如何来通信
阅读全文 »

发表于
字数统计: 2,682 | 阅读时长 ≈ 12

利用 Puppeteer 对数据爬取

puppeteer是使用无头浏览器来模拟人工登录一个网站来对数据进行一个抓取，然后抓取之后注入一些人工的脚本来对数据进行一个处理。

关于 puppeteer 可以去github上看看官方文档

我们这里利用puppeteer来完成一个豆瓣爬虫的开发.

首先我们要爬取的网站是:https://movie.douban.com/tag/#/?sort=U&range=6,10&tags=, 我需要得到电影记录篇的海报图片的url，以及电影的名称，电影的豆瓣ID和电影的评分

阅读全文 »