Tigercoll's Blog

本章介绍pandas层次化索引,索引的堆（stack）,以及多层索引聚合操作,拼接操作

Pandas 是 Python 的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具，其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力，Pandas 离这个目标已经越来越近了。

Pandas 适用于处理以下类型的数据：

• 与 SQL 或 Excel 表类似的，含异构列的表格数据;
• 有序和无序（非固定频率）的时间序列数据;
• 带行列标签的矩阵数据，包括同构或异构型数据;
• 任意其它形式的观测、统计数据集, 数据转入 Pandas 数据结构时不必事先标记。

Pandas 的主要数据结构是 Series（一维数据）与 DataFrame（二维数据），这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例。对于 R 用户，DataFrame 提供了比 R 语言 data.frame 更丰富的功能。Pandas 基于 NumPy 开发，可以与其它第三方科学计算支持库完美集成。

回顾一下4个基本算法:冒泡,选择,插入,快速

NumPy 是一个运行速度非常快的数学库，主要用于数组计算，包含：

• 一个强大的N维数组对象 ndarray
• 广播功能函数
• 整合 C/C++/Fortran 代码的工具
• 线性代数、傅里叶变换、随机数生成等功能

1. Jupyter是基于网页形式的、结合了编写说明文档、数学公式、交互计算和其他富媒体形式的工具等，基本常用的开发工具里面都包含了。
2. Jupyter里面编写的内容都可以以文档形式输出，默认保存的后缀名为.ipynb的JSON格式文件，还可以导出为：HTML、PDF、MarkDown、Python等格式。

有些时候，我们的服务运行时必不可少的会产生一些日志，或是我们需要把容器内的数据进行备份，甚至多个容器之间进行数据共享，这必然涉及容器的数据管理操作。

容器中管理数据主要有两种方式：

数据卷

数据卷容器

什么是Dockerfile?

Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。 Docker通过读取 Dockerfile 中的指令自动生成映像。

Dockerfile 一般分为四部分：

1. 基础镜像信息
2. 维护者信息
3. 镜像操作指令
4. 容器启动时执行指令

# 为 Dockerfile 中的注释。

Docker 以从上到下的顺序运行 Dockerfile 的指令。为了指定基本映像，第一条指令必须是FROM。一个声明以＃ 字符开头则被视为注释。可以在Docker文件中使用 RUN，CMD，FROM，EXPOSE，ENV 等指令。

简介

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows 机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。

Docker是基于Go语言实现的云开源项目

Docker 的核心理念是 Build, Ship, and Run Any App, Anywher，即一次封装，到处运行。

REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。

Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

它通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Hash), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。

有些时候我们需要在不启动django的时候通过ORM操作数据,所以我们就需要配置离线脚本

1
2
3
4
5
6
7
8
9
10
11
12

import os
import sys
import django

# 获取项目的根目录
base_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
# 添加到系统环境变量
sys.path.append(base_dir)
# 加载项目的配置文件
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "项目.settings")
# 启动django
django.setup()