互联网时代各种存储框架层出不穷,眼花缭乱,比如传统的关系型数据库OracleMySQL新兴的NoSQLHBaseCassandraRedis全文检索框架ESSolr等如何为自己的业务选取合适的存储方案,相信大家都思考过这个问题,本文。
NoSQL数据库无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式而在关系数据库里,增删字段是一件非常麻烦的事情如果是非常大数据量的表,增加字段 简直就是一个噩梦Redis的常用使用场景缓存 ,毫无疑问。
2二者的区别RDB持久化是指在指定的时间间隔内将内存中的数据集快照写入磁盘,实际操作过程是fork一个子进程,先将数据集写入临时文件,写入成功后,再替换之前的文件,用二进制压缩存储AOF持久化以日志的形式记录服务器所。
2Huge Storage 对海量数据的高效率存储和访问的需求类似Facebook,twitter,Friendfeed这样的SNS网站,每天用户产生海量的用户动态,以Friendfeed为例,一个月就达到了25亿条用户动态,对于关系数据库来说,在一张25亿。
使用很方便,大数据开发需掌握Redis的安装配置及相关使用方法二大数据存储阶段 大数据存储阶段需掌握的技术有hbasehivesqoop等1HBase HBase是一个分布式的面向列的开源数据库,它不同于一般的关系数据库。
可操作性 丰富的数据表达,索引最类似于关系型数据库,支持丰富的查询语句 数据丰富,较少的IO MongoDB优于Redis 内存及存储 适合大数据量存储,依赖系统虚拟内存,采用镜像文件存储内存占用率比较高,官方建议独立部。
3内存空间的大小和数据量的大小 redis在20版本后增加了自己的VM特性,突破物理内存的限制可以对key value设置过期时间类似memcachememcache可以修改最大可用内存,采用LRU算法 mongoDB适合大数据量的存储,依赖操作系统VM。
4原子操作 Redis的所有操作都是原子性的,这意味着在执行操作时,不会受到其他操作的干扰这有助于确保数据的一致性和并发安全性Redis的存储 1redis使用了两种文件格式全量数据和增量请求2全量数据格式是把内存。
前提 实际上, redis只支持5种数据类型 并没有bitmap 也就是bitmap是基于redis的字符串类型的 而一个字符串类型最多存储512M首先 计算机的单位换算先了解下 8 bit = 1byte 1024 byte = 1kb 1024 kb = 1Mb。
评论列表