spark安装与运行模式
1、运行该模式非常简单，只需要把Spark的安装包解压后，改一些常用的配置即可使用，而不用启动Spark的Master、Worker守护进程( 只有集群的Standalone方式时，才需要这两个角色)，也不用启动Hadoop的各服务（除非你要用到HDFS）。
2、）运行安装程序，选择install from internet。2）选择网络最好的下载源进行下载。3）进入Select Packages界面（见图2-2），然后进入Net，选择openssl及openssh。因为之后还是会用到ssh无密钥登录的。
3、Spark的安装分为几种模式，其中一种是本地运行模式，只需要在单节点上解压即可运行，这种模式不需要依赖Hadoop 环境。
4、project/plugins.sbt文件是给项目添加所需的插件；project/Build.scala文件是对项目进行些复杂的高级配置；详细的sbt安装配置实用参见博文：到相应目录下编写程序，spark程序必须要创建一个SparkContext实例。
5、方法一：手动运行Standalone模式。前提：Spark各个文件都不做任何修改。在master机器上运行./sbin/start-master/sh运行完之后，会打印出url：spark：//HOST：PORT，这个就是当前master的SparkURL。
6、有以下四个步骤。构建SparkApplication的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源。
k8s为啥不建议用docker了?
1、因为社区认为Containerd 作为 Kubernetes 的容器运行时目前已经足够成熟，无需再通过 dockershim 使用 Docker 作为 Kubernetes 的容器运行时。这也标志着 Docker 为 Kubernetes 提供一个现代化的容器运行时的承诺最终兑现了。
2、这在容器工作流程中增加了不必要的步骤，因为Kubernetes可以直接与containerD或任何其他CRI兼容的运行时交互。使用Dockershim本来是一种临时的解决方案，但它慢慢地变成了一种负担，因此不得不弃用它。
3、大项目不建议用docker了的原因是：性能问题、安全性问题、管理复杂性、持久化存储问题、技术栈限制。性能问题：Docker的虚拟化技术会在一定程度上影响应用程序的性能。
4、在大项目中，不建议使用Docker的原因主要有以下几点： 镜像管理困难：随着应用数量的增加，需要管理的镜像数量也会大量增加，如果没有良好的实践经验，很容易出现版本管理、镜像大小、安全性等问题。
5、资源占用：Docker本质上是一个虚拟化的解决方案，会将宿主机上的资源虚拟化给各个容器使用。在多个容器同时运行时，会带来大量的CPU、内存和磁盘I/O的消耗，这对于资源有限的宿主机来说可能会导致系统负载过重。
6、大项目不建议使用Docker的主要原因是： 问题挑战：对于大型企业级项目来说，其系统规模和架构复杂度远高于中小型项目。这意味着在使用Docker时，需要考虑的问题和挑战更多。
Kubernetes介绍
确切地说，Kubernetes是谷歌严格保密十几年的秘密武器——Borg的一个开源版本。
kubernetes （k8s）是自动化容器操作的开源平台，这些操作包括布署，调度和节点集群间扩展。如果你曾经用docker容器技术布署容器，那么可以将docker看成kubernetes内部使用的低级别组件。
Kubernetes 是一个可移植的，可扩展的开源容器编排平台，用于管理容器化的工作负载和服务，方便了声明式配置和自动化。它拥有一个庞大且快速增长的生态系统。Kubernetes 的服务，支持和工具广泛可用。
Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。
它维护有kubernetesr 的所有对象记录，负责持续管理对象状态并响应集群中各种资源对象的管理操作，以及确保各资源对象的实际状态与所需状态相匹配。
Kubernetes 是一个跨主机集群的开源的容器调度平台，它可以自动化应用容器的部署、扩展和操作 ， 提供以容器为中心的基础架构。谷歌旗下开源软件，江湖人称K8S。
从Docker到Kubernetes
1、crictl 是一个容器运行时命令行接口，适用所有CRI兼容的容器运行时，与Docker cli类似功能，但是docker cli只适用于Docker运行时。
2、在正式开始k8s之前，我们先看看k8s和Docker的关系，分别从虚拟化角度、部署方式角度叙述why use容器，话不多说，开干。
3、Kubernetes（k8s）是Google开源的容器集群管理系统（谷歌内部：Borg），它主要用于 容器编排 启动容器、自动化部署、扩展和管理容器应用和回收容器。
4、技术原理不同 docker是容器化技术，K8S是一套自动化部署工具，可全生命周期管理docker容器。K8S是谷歌开发的容器集群管理系统。
K8S前世今生(1)
在K8s集群中微服务的负载均衡是由Kube-proxy实现的。Kube-proxy是K8s集群内部的负载均衡器。
首先将要执行的命令写成shell脚本的形式。其次将shell脚本作为configmap挂载到pod中。最后使用pod的command参数来执行该脚本，即可让pod启动时执行一个脚本。
首先我们尝试创建一个 1主2从 的集群：初次创建可能会比较慢，因为会从 Docker 仓库拉取最新的 rancher/k3s 镜像。
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。
Mesos优缺点有哪些
提供资源隔离。其次要有扩展性和容错性。最后要 有高资源的利用率和细粒度的资源分配。以提高资源利用率。
通俗讲，Mesos 能够保证集群内的所有用户有平等的机会使用集群内的资源，这里的资源包括 CPU，内存，磁盘等等。
ApacheMesosApacheMesos是一个分布式系统内核，它提供了资源分配和管理的功能。Mesos可以用作分布式数据存储系统，还可以提供计算资源和容器管理功能。它具有高可用性和可扩展性，非常适用于大型应用程序的实时处理和运行。
点优势Mesos其实已经荡然无存，因为Docker容器在资源隔离上已经做的足够好。Yarn和Docker一整合，就互补了。
数据采集与预处理：FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据；Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。