设为首页 - 加入收藏 鹤岗站长网 (http://www.0468zz.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: 数据 数据中心 小米 测试
当前位置: 首页 > 运营中心 > 建站资源 > 优化 > 正文

使用Shell构建多进程的CommandlineFu爬虫

发布时间:2019-03-14 01:15 所属栏目:[优化] 来源:Linux中国 Lujun9972
导读:CommandlineFu是一个记录脚本片段的网站,每个片段都有对应的功能说明和对应的标签。我想要做的就是尝试用 shell 写一个多进程的爬虫把这些代码片段记录在一个 org 文件中。 参数定义 这个脚本需要能够通过 -n 参数指定并发的爬虫数(默认为 CPU 核的数量

使用Shell构建多进程的CommandlineFu爬虫

CommandlineFu?是一个记录脚本片段的网站,每个片段都有对应的功能说明和对应的标签。我想要做的就是尝试用 shell 写一个多进程的爬虫把这些代码片段记录在一个 org 文件中。

参数定义

这个脚本需要能够通过?-n?参数指定并发的爬虫数(默认为 CPU 核的数量),还要能通过?-f?指定保存的 org 文件路径(默认输出到 stdout)。

  1. #!/usr/bin/env bash
  2. ?
  3. proc_num=$(nproc)
  4. store_file=/dev/stdout
  5. while getopts :n:f: OPT; do
  6. case $OPT in
  7. n|+n)
  8. proc_num="$OPTARG"
  9. ;;
  10. f|+f)
  11. store_file="$OPTARG"
  12. ;;
  13. *)
  14. echo "usage: ${0##*,

    【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章