技术存储系统
类型分类:
- 分布式
- 格式: 文件系统,数据库系统(Postgres,MySQL, NoSQL, 列式存储,文档存储,Key-Value存储), 对象存储
- 内存: memcache, Redis.
- EMC相关: Isilion, GemFire, ScaleIO,
- 专门类型的存储系统: ElasticSearch 为了搜索而特殊设计的存储
基本把握角度:
- 数据模型:文件,表(数据库),内存中的数据结构,key:value, JSON, 文档,对象,索引:文档, 列
- 一致性
- Transactiont: Roll Back Support or not.
- 性能 (读IOPS)
- 高可用性
- 容错性
- 集群的支持,shard, partition, 集群拓扑结构
- 读写模型,线程模型
- 应用场景
- 随机写,随机读性能差,要避免;顺序写顺序读,性能好,要利用。
存储系统的基础硬件和技术
硬盘
- 硬盘块的大小, 硬盘的读写过程 http://pclt.sites.yale.edu/disk-block-size (什么系统都有单位,最小单位,最大限制,把握系统的基本角度, 认识系统的基本角度:读写过程或步骤。)
传统存储系统
EMC的产品上的相关技术
- RAID技术
单机的文件系统
对比:
分布式文件系统:HDFS
HDFS 的应用场景是什么?
- 如何做写操作的?性能如何?什么算是写操作成功?
- 如何读操作的?性能如何?
- 如何实现HA的?
- 如何处理失败?
Islion
分布式块系统:
- ScaleIO
列式数据库
- HBase
- Cassandra
Cassandra
Redis
数据库PostgreSQL
- https://www.postgresql.org/docs/9.5/static/storage.html 具体的持久化的数据是如何在文件系统上存储和组织的。
- 写的可靠性: https://www.postgresql.org/docs/9.1/static/wal-reliability.html
- WAL可以提高写的速度:https://www.postgresql.org/docs/9.1/static/wal-intro.html
- Lock?
相关的基本概念和术语:
- https://en.wikipedia.org/wiki/Partition_(database\ Sharding-水平分区