最新文章利用Python进行数据分析
第1章 数据分析简介1.1 数据分析当今世界对信息技术的依赖程度日渐加深,每天都会产生和存储海量的数据。数据的来源多种多样-自动检测系统、传感器和科学仪器等。不知你有没有意识到,你每次从银行取钱、买东西、写博客、发微博也会产生新的数据。
什么是数据呢?数据实际上不同于信息,至少在形式上不同。对于没有任何形式可言的字节流,除了其数量、用词和发送的时间外,其他一无所知,一眼看上去,很难理解其本质。信息实际上是对数据集进行处理,从中提炼出可用于其他场合的结论,即它是处理数据后得到的结果。从原始数据中抽取信息的这个过程叫作数据分析。
数据分析的目的正是抽取不易推断的信息,而一旦理解了这些信息,就能对产生数据的系统的运行机制进行研究,从而对系统可能的响应和演变做出预测。
数据分析最初用作数据保护,现已发展成为数据建模的方法论,从而完成了到一门真正学科的蜕变。模型实际上是指将所研究的系统转化为数学形式。一旦建立数学或逻辑模型,对系统的响应能做出不同精度的预测,就可以预测在给定输入的情况下,系统会给出怎样的输出。这样看来,数据分析的目标不止于建模,更重要的是其预测能力。
模型的预测能力不仅取决于建模 ...
Jupyter
Jupyter Notebook介绍什么是Jupyter NotebookJupyter Notebook 是一个基于 Web 的交互式计算环境，支持多种编程语言，包括 Python、R、Julia 等。它的主要功能是将代码、文本、数学方程式、可视化和其他相关元素组合在一起，创建一个动态文档，用于数据分析、机器学习、科学计算和数据可视化等方面。Jupyter Notebook 提供了一个交互式的界面，使用户能够以增量和可视化的方式构建和执行代码，同时支持 Markdown 格式的文本和 LaTeX 数学符号。
Jupyter Notebook安装方法在安装Jupyter Notebook之前，可以选择先安装Anaconda，Anaconda就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项，其中包括了Jupyter Notebook。
当然也可以通过命令行pip来安装（必须确保已安装python）Jupyter Notebook,下文会为大家介绍这两种方法。
情况一：利用Anacond ...
Git
Git-笔记01.Git 初识
概念：一个免费开源，分布式的代码版本控制系统，帮助开发团队维护代码
作用：记录代码内容，切换代码版本，多人开发时高效合并代码内容
如何学：
个人本机使用：Git 基础命令和概念
多人共享使用：团队开发同一个项目的代码版本管理
Windows系统：exe 程序，默认下一步即可
Mac系统：dmg 程序，默认下一步即可
检验成功：
1.打开 bash 终端（git 专用）
2.命令：git -v（查看版本号）
配置：用户名和邮箱，应用在每次提交代码版本时表明自己身份
命令：
123git config --global user.name “itheima”git config --global user.email “itheima@itcast.cn”
查看作者信息 git config –list
为何学习 Git ？
管理代码版本，记录，切换，合并代码
Git 学习：
现在本机自己使用
再学习多人共享使用
如何安装使用？
程序双击安装
在 VSCode 中使用 bash 终端以及 git 命令
02.Git 仓库Git 仓库（ ...
设计模式
设计模式的分类总体来说设计模式分为三大类：
创建型模式，共五种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。
结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。
行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模式。
A、创建模式（5种）工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。
1 工厂模式1.1 简单工厂模式定义：定义了一个创建对象的类，由这个类来封装实例化对象的行为。
举例：（我们举一个pizza工厂的例子）
pizza工厂一共生产三种类型的pizza：chesse,pepper,greak。通过工厂类（SimplePizzaFactory）实例化这三种类型的对象。类图如下：
工厂类的代码：
1public class SimplePizzaFactory { public Pizza CreatePizza(String ordertype) { ...
未读
无题
3.2.2 字符填充的首尾定界符法
3.2.4 违规编码法
3.3 差错控制
3.3.1 检错编码
3.4 流量控制与可靠传输机制3.4.1 滑动窗口机制
发送窗口：在任意时刻，发送方都维持一组连续的允许发送的帧的序号。
发送窗口用来对发送方进行流量控制，而发送窗口的大小WT，代表在还未收到对方确认信息的情况下发送方最多还可以发送多少个数据帧。
接收窗口：接收方也维持一组连续的允许接收帧的序号。
接收窗口是为了控制可以接收哪些数据帧和不可以接收哪些帧。
在接收方，只有收到的数据帧的序号落入接收窗口内时，才允许将该数据帧收下。
若接收到的数据帧落在接收窗口之外，则一律将其丢弃。
滑动窗口特性：
只有接收窗口向前滑动（同时接收方发送了确认帧）时，发送窗口才有可能（只有发送方收到确认帧后才一定）向前滑动。
从滑动窗口的概念看，停止-等待协议、后退N帧协议和选择重传协议只在发送窗口大小与接收窗口大小上有所差别：
停止-等待协议：发送窗口大小=1，接收窗口大小=1。
后退N帧协议：发送窗口大小>1，接收窗口大小=1。
选择重 ...
Redis使用手册
Redis调研及使用文档
引言随着业务的增长和产品的完善，急速增长的数据给Oracle数据库带来了很大的压力，而随着我们对产品服务质量要求的提高，传统的数据查询方式已无法满足我们需求。为此我们需要寻找另外一种模式来提高数据查询效率。NoSQL内存数据库是最近兴起的新型数据库，它的特点就是把数据放在内存中操作，数据处理速度相对于磁盘提高了好几个量级，因此，通过把经常访问的数据转移到内存数据库中，不但可以缓解Oracle的访问压力，而且可以极大提高数据的访问速度，提高用户体验。
概述Redis是一个开源的，先进的key-value持久化产品。它通常被称为数据结构服务器，它的值可以是字符串（String）、哈希（Map）、列表（List）、集合（Sets）和有序集合（Sorted sets）等类型。可以在这些类型上面做一些原子操作，如：字符串追加、增加Hash里面的值、添加元素到列表、计算集合的交集，并集和差集；或者区有序集合中排名最高的成员。为了取得好的性能，Redis是一个内存型数据库。不限于此，Redis也可以把数据持久化到磁盘中，或者把数据操作指令追加了一个日志文件，把它用于持久化。 ...
Redis学习汇总
Redis学习汇总
Windows和Linux下如何安装Redis
Redis（一）入门：五大数据类型的学习和理解①
Redis（一）入门：五大数据类型的学习和理解②
Redis（二）基础：三大特殊数据类型的学习和理解
Redis（三）基础：Redis中的事务和乐观锁如何实现？
Redis（四）整合：Redis在Jedis中如何使用和操作？
Redis（五）整合：SpringBoot如何整合Redis？
Redis（六）进阶：Redis的配置文件详解
Redis（七）进阶：Redis持久化之RDB和AOF
Redis（八）进阶：Redis如何实现发布订阅功能？
Redis（九）进阶：Redis集群之如何配置主从复制模式？
Redis（十）进阶：Redis集群之哨兵模式的学习和理解
Redis（十一）进阶：Redis缓存穿透、击穿和雪崩的理解和学习
Redis（十二）拓展：Redis的面试题整理和解答
路漫漫其修远兮，吾必将上下求索~
Windows和Linux下如何安装Redis
1. 一.Widows下如何安装Redis?*(1) .下载地址: 点击跳转.如下图:*(2) .下载成 ...
HBase教程
文章目录
1. HBase 简介
1.1 HBase 定义
1.2 HBase 背景
1.3 HBase 数据模型
1.3.1 HBase 逻辑结构
1.3.2 HBase 物理存储结构
1.3.3 数据模型
1.4 HBase 基本架构
2. HBase 快速入门
2.1 HBase 官网地址
2.2 HBase 安装流程
2.3 HBase Shell 操作
2.3.1 基本操作
2.3.2 表的操作
2.3.3 命名空间的基本操作
3. HBase 进阶
3.1 架构原理
3.2 读流程
3.3 MemStore Flush
3.4 读流程
3.5 StoreFile Compaction
3.6 Region Split
4. HBase API 操作
4.1 环境准备
4.2 HBase API
4.2.1 Hbase 的连接与断开
6.2.2 判断表是否存在
4.2.3 创建表
4.2.4 删除表
4.2.5 创建命名空间
4.2.6 向表中插入数据
4.2.7 删除多行数据
4.2.8 全表扫描
4.2.9 获取指定 rowKey 的数据 ...
mongodb 图形界面工具 -- Studio 3T
目录
mongodb 图形界面工具 – Studio 3T
下载
安装
第一次使用：注册
添加一个连接（连接 mongodb 数据库）
1、点击【添加新连接】，选择【手动配置我的连接设置】
2、对 Server 设置连接数据
3、连接的用户认证设置（创建数据库和用户）
4、选择默认加密
5、完成连接，打开初始界面
再添加一个连接来对比
新建一个连接
连接【admin】这个mongodb数据库，连接的用户的【admin】这个管理员。
mongodb 图形界面工具 – Studio 3T下载推荐一个 MongoDB 的 GUI 图形界面工具： Robo 3T
直接点击下载。
安装解压压缩包，只有这么一个启动的应用程序。
双击安装
选择安装路径，后面就安装成功了。
第一次使用：注册
下一步到这里，浏览器弹出页面让我们注册
点击注册
填了邮箱，密码，但是手机号码就随便填了。
注册成功。
有 30 天的使用期，后面没买的话，就会自动切换为免费版。
添加一个连接（连接 mongodb 数据库）1、点击【添加新连接】，选择【手动配置我的连接设置】
2、对 Ser ...
MongoDB超详细教程
一、简介1. 简单介绍
MongoDB是一个基于分布式文件存储的数据库
由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。
它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。
Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引
2. 业务应用场景传统的关系型数据库(如MySQL)，在数据操作的三高需求以及应对Web2.0的网站需求面前，显得力不从心，而 MongoDB可应对“三高“需求
High performance：对数据库高并发读写的需求
Huge Storage：对海量数据的高效率存储和访问的需求
High Scalability && High Availability：对数据库的高可扩展性和高可用性的需求
具体应用场景：
社交场景，使用 MongoDB存储存储用户信息，以及 ...
