北冥有鱼


  • 首页

  • 分类

  • 归档

  • 标签

  • 搜索

Spark on YARN 部署案例

发表于 2016-12-24 | 分类于 Spark , Examples |

环境准备

1. 服务器角色分配

ip hostname role
10.8.26.197 server1 主名字节点 (NodeManager)
10.8.26.196 server2 备名字节点 (SecondaryNameNode)
10.8.26.196 server2 数据字节点 (DataNode)
阅读全文 »

Linux 基础之文本分析 awk

发表于 2016-10-28 | 分类于 Linux |

awk 是一种模式扫描和处理语言,在对数据进行分析处理时,是十分强大的工具。

1
awk [options] 'pattern {action}' file...

awk 的工作过程是这样的:按行读取输入 (标准输入或文件),对于符合模式 pattern 的行,执行 action。当 pattern 省略时表示匹配任何字符串;当 action 省略时表示执行'{print}';它们不可以同时省略。

每一行输入,对 awk 来说都是一条记录 (record),awk 使用 $0 来引用当前记录:

阅读全文 »

Linux 基础之磁盘与文件系统

发表于 2016-10-28 | 分类于 Linux |

本篇讲述磁盘管理相关的命令。计算机中需要持久化存储的数据一般是保存在硬盘等辅助存储器中。硬盘一般容量较大,为了便于管理和使用,可以将硬盘分成一到多个逻辑磁盘,称为分区;为使分区中的文件组织成操作系统能够处理的形式,需要对分区进行格式化 (创建文件系统);在 linux 中,对于格式化后的分区,还必须经过挂载(可简单理解为将分区关联至 linux 目录树中某个已知目录) 之后才能使用。

1、df 显示文件系统磁盘空间使用量

1
2
3
4
5
6
7
8
9
10
[root@centos7 temp]# df -h
文件系统 容量 已用 可用 已用 % 挂载点
/dev/mapper/centos-root 49G 18G 31G 36% /
devtmpfs 3.9G 0 3.9G 0% /dev
tmpfs 3.9G 0 3.9G 0% /dev/shm
tmpfs 3.9G 367M 3.5G 10% /run
tmpfs 3.9G 0 3.9G 0% /sys/fs/cgroup
/dev/sda1 497M 125M 373M 26% /boot
/dev/mapper/centos-home 24G 4.0G 20G 17% /home
tmpfs 783M 0 783M 0% /run/user/0
阅读全文 »

Linux 基础之启动流程

发表于 2016-10-28 | 分类于 Linux |

固件 (firmware) 是指设备最底层的,让设备得以运行的程序代码。简单理解就是:固定在硬件上的软件。计算机中的许多设备都拥有固件(如硬盘、鼠标、光驱、U 盘等),在计算机启动过程中,最先读取的就是位于主板上的固件,这个固件当前有两种类型:传统的 BIOS 和新的通用性更强的 UEFI。

在上一篇中,我们提到另一种磁盘分区格式 GTP 也是 UEFI 标准的一部分。于是,当前计算机启动中,出现了两种不同的方式:BIOS/MBR 和 UEFI/GTP。

在 linux 操作系统的世界中,同样在经历着变革,系统初始化软件 sysvinit 正逐渐被 systemd 取代。
本文将主要讲述传统的 BIOS/MBR–>sysvinit 启动方式,同时,作为补充,也将简述 UEFI/GTP–>systemd 的启动方式。

阅读全文 »

CGroup 介绍、应用实例及原理描述

发表于 2016-10-28 | 分类于 Linux |

CGroup 技术被广泛用于 Linux 操作系统环境下的物理分割,是 Linux Container 技术的底层基础技术,是虚拟化技术的基础。本文首先介绍了 Cgroup 技术,然后通过在 CentOS 操作系统上部署、配置、运行一个实际多线程示例的方式让读者对物理限制 CPU 核的使用有一个大概的了解,接着通过讲解 CGroup 内部的设计原理来让读者有进一步的深入了解 CGroup 技术。

阅读全文 »
1…789…17
IAN

IAN

啊~ 五环

85 日志
21 分类
18 标签
GitHub Twitter 微博
© 2016 - 2017 IAN
由 Hexo 强力驱动
主题 - NexT.Mist
本站访问数人次 本站访问总量次