-
docker学习
1.概述1.1.使用docker的好处解决了运行环境和配置问题的软件容器，方便做持续集成并有助于整体发布的容器虚拟化技术。1.2.容器与虚拟机的比较传统虚拟机技术是虚拟出一套硬件后，在其上运行一个完整操作系统，在该系统上再运行所需应用进程；容器内的应用进程直接运行于宿主的内核，容器内没有自己的内核且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便。每个容器之间互相隔离，每个容器有自己的文件系统 ，容器之间进程不会相互影响，能区分计算资源。1.3 Docker会比VM虚拟机快docker有...…
-
nginx
1.概述xx2.nginx安装2.1.解压opt的包到soft目录2.2.安装依赖2.2.1编译编译失败，缺少组件,要安装gcc2.2.2继续编译2.2.3再执行编译2.2.4再执行编译[root@localhost nginx-1.21.6]# ./configure --prefix=/user/local/nginx编译ok2.2.5执行make2.2.6执行make install2.2.7安装成功在编译的目录下生成了nginx目录2.3.nginx启动命令（进入到nginx编译的...…
-
linux常见命令
1.top1.1.第一行13:03:25 表示当前时间 up 23 系统运行时间 格式为时：分 1 users 当前登录用户数 load average: 0.00, 0.01, 0.03 系统负载，即任务队列的平均长度。 三个数值分别为 1分钟、5分钟、15分钟前到现在的平均值。相加/3大于60%，系统负担较重。1.2.第二行进程数1.3.第三行us:用户进程消耗的CPU时间百分比，us值高，用户进程消耗CPU多，长期大于50%需要优化代码。sy:内核进程消耗的CPU时间百分比...…
-
Apache Kylin
1.概述1.1.定义英文名：Analytical Data Warehouse for Big Data。 Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc.开发并贡献至开源社区。它能在亚秒内查询巨大的 Hive 表。1.2.架构1.2.1.Rest Server是一套面向应用程序开发的入口点，旨在实现针对 Kylin 平台的应用开发工作。 此类应用程序可以提供...…
-
shell编程
1.shell的解析器1.1.Linux提供的Shell解析器常用/bin/sh和/bin/bash1.2.sh 和 bash的关系说明使用sh系统实际调用的还是bash1.3.Centos默认解析器/bin/bash2.Shell编程入门以#!/bin/bash开头2.1.举例执行脚本方式./ 和 bash sh 三种./命令需要执行权限，其它两个不需要，因为./实际是自己执行，其它两个是系统内置的shell在执行。2.2.举例2在/opt/study_sh目录下创建文件yang00.t...…
-
mybatis源码
1.jdbc查询mysqlpublic static void main(String[] args)throws ClassNotFoundException, SQLException { String URL = "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf-8"; String USER = "root"; String PASSWOR...…
-
Java 基础
1. java的九种基本数据类型和它们的封装类基本类型 大小(字节) 默认值 封装类byte 1 (byte)0 Byteshort 2 (short)0 Shortint 4 0 Integerlong 8 0L Longfloat 4 0.0f Floa...…
-
rabbit mq
1.入门1.简介RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue)的开源实现。2.应用场景异步处理场景：用户注册后，需要发注册邮件和注册短信。传统方式：将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。 这有一个问题是,邮件,短信并不是必须的,它只是一个通知,而这种做法让客户端等待没有必要等待的东西。引入消息队列后，把发送邮件,短信不是必须的业务逻辑异步处理。应用解耦场景：双11是购物狂节,用户下单后...…
-
MySQL-04-查询性能优化
1.为什么查询速度会慢查询这一任务包含一系列子任务，优化的实质是优化这些子任务，要么消除一些子任务，要么减少任务的执行次数，要么让子任务运行的更快。查询的生命周期包括：客户端到服务器，然后服务器上进行解析，生成执行计划，然后查询，最后返回结果给客户端。其中执行阶段最为重要。完成任务的时候查询需要在不同的地方花费时间，包括网络，CPU计算，生成统计信息和执行计划，锁互斥等操作。优化的目的是减少不必要的额外操作、减少额外的重复操作次数、优化执行慢的操作。2.优化数据访问1.概述查询性能低下的根...…
-
MySQL-03-创建高性能的索引
1.索引基础1.概述索引：是存储引擎用户快速找到记录的一种数据结构。工作原理：现在索引中找到对应的值，然后根据匹配的索引记录找到对应的数据行。select *from student where id = 5;先在索引上按id=5查找，然后返回包含该值的数据行。2.索引的类型在MySQL中索引是在存储引擎层而不是在服务层实现的。不同的存储引擎的索引工作方式不一样。常见的有B-Tree、哈希索引、空间数据索引（R-Tree）、全文索引。3.索引的优点索引可以让服务器快速定位到表的指定位置。1...…
-
MySQL-02-Schema与数据类型优化
1.选择优化的数据类型1.概述选择的原则：更小的通常更好：尽量使用可以正确存储数据的最小数据类型。更小的数据类型通常更快，因为他们占用更少的磁盘、内存和CPU缓存，并且处理时需要的CPU周期也更少，但是注意要确保没有低估需要存储的值的范围。简单就好：简单数据类型的操作通常需要更少的CPU周期。比如：整型比字符操作代价更低。尽量避免NULL：通常情况下最好指定列为NOT NULL，除非真的需要存储NULL值。如果查询中包含有NULL的列，对MySQL来说更难优化，因为可为NULL的列使得做阴...…
-
MySQL-01-架构与历史
1.逻辑架构1.概述1.最上层的服务不是MySQL独有的，大多数基于网络的客户端/服务器的工具或者服务都会有类似的架构。比如连接处理、授权认证、安全等。2.第二层包含大多数的MySQL核心服务功能。包括查询解析、分析、优化、缓存以及所有的内置函数，所有跨存储引擎的功能都在这一层实现：存储过程、触发器、视图等。3.第三层包含了存储引擎，存储引擎负责MySQL中数据的存储和提取。服务器通过API和存储引擎进行通信，存储引擎不解析SQL，不同存储引擎之间不会通信，他们只是简单的响应上级服务器的请...…
-
Hadoop安装
1.hadoop伪分布式的安装1.jdk的安装1.安装jdk2.配置jdk环境变量2.免秘钥登录配置配置目的：避免访问节点时每次都需要输入账号密码。配置成功后会在.ssh目录下多一个公钥的文件。3.hadoop环境变量配置4.hadoop的jdk环境变量修改hadoop-env.sh、mapred-env.sh、yarn-env.sh的jdk配置，不用它默认的。5.配置主节点在core-site.xml配置主节点。6.配置副本数在hdfs-site.xml中配置副本数，因为是伪分布式安装，...…
-
DataX
1.DataX简介DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。2.简单使用1.全量同步将表t_user的数据同步到t_user2，同步代码141_user2.json:{ "job": { "setting": { ...…
-
Hadoop简介
1.Hadoop历史1.Hadoop要解决的问题1.问题：1台内存只有1G的计算机，如何在1个1T的文件查找重复的两行？解决办法：由于计算机内存不能放下全量数据，因此计算机每次处理1行，并求hash值，hash值相同则说明两行相同。求hash半小时，排序半小时。改进1：每次处理1万行（假设1万行的总大小还是小于1G），并求hash。假设每次处理时间为2秒，则总的处理时间为2*(1T/1万行的文件大小)（相比前面减少IO次数）。改进2-大数据的处理方法：使用一个(1T/1万行的文件大小)分布...…
-
申论-文章写作
1.思维导图…
-
申论-单一题
1.思维导图2.问题1.常见问法问题、不足、困境、瓶颈、挑战、难点等。2.答题技巧①寻找负面的标志性词汇：不科学、不合理、不到位、不均衡、不完善、不健全、不足；缺乏、缺少、流失；少、低、差、弱、陈旧、单一等。3.具体解析问题是不好的情况，即寻找负面信息，是宏观的技巧。 （1）与“不”相关：不科学、不合理、不到位、不均衡。 （2）“缺”字辈：缺少、缺乏、缺失。“缺”指该有的东西没有，肯定有问题，如缺钱、缺女朋友、缺心眼。（3）少、低、差、弱、单一，感情色彩消极的词语是问题。（4）“过”字辈：...…
-
申论-公文题
1.思维导图2.整体概述1.解读1.公文题是“穿着马甲”的综合题。2.题干中出现“量词+文种”（一份指导意见、一篇讲话稿），便是公文题。3.公文题中的特殊要求“语言得体，有感染力”：需要在文章结尾进行呼吁号召，运用“啊、吧、吗”来抒发感情，比如“让我们共同利用信息化技术开创养猪新时代吧”“让我们共同利用养猪新技术去发家致富吧”“让我们共同沐浴在信息化养猪时代的春风中吧”。2.阅卷要求格式分：标题、称谓（主送机关）、落款。内容分：问题、危害、意义、对策等。语言分：通俗易懂、表达生动；有感染力...…
-
资料分析-增长相关
1.申论基础1.概述1.申论答题的基本原则是客观的，不要主观认为应该怎么样、想怎么写就怎么写、凭借常识写，申论以材料为根本，因此需要学会处理材料。 2.如果材料中语言规范可以直接摘抄，并占到 70%；如果材料中语言不够规范，可以用规范的语言替换，这个过程是归纳；如果想要的信息材料中没有直接指出来，可以分析推导，得出想要的信息，占比较少，只占 10%左右，大部分在前两个（直接摘抄、归纳概括）。3.通过这三个方法能够找到所有答案，找到要点后，用简明畅达、准确规范的语言将答案表达出来。2.申论考...…
-
资料分析-增长相关
1.申论基础1.概述1.申论答题的基本原则是客观的，不要主观认为应该怎么样、想怎么写就怎么写、凭借常识写，申论以材料为根本，因此需要学会处理材料。 2.如果材料中语言规范可以直接摘抄，并占到 70%；如果材料中语言不够规范，可以用规范的语言替换，这个过程是归纳；如果想要的信息材料中没有直接指出来，可以分析推导，得出想要的信息，占比较少，只占 10%左右，大部分在前两个（直接摘抄、归纳概括）。3.通过这三个方法能够找到所有答案，找到要点后，用简明畅达、准确规范的语言将答案表达出来。2.申论考...…
