Browsed by
分类:NoSQL

Redis MongoDB Hadoop&HBase Cassandra CouchBase Riak LevelDB Neo4j

SSDB:一个高性能的支持丰富数据结构的 NoSQL 数据库

SSDB:一个高性能的支持丰富数据结构的 NoSQL 数据库

SSDB 一个高性能的支持丰富数据结构的 NoSQL 数据库, 用于替代 Redis.   View on GitHub         特性 替代 Redis 数据库, Redis 的 100 倍容量 LevelDB 网络支持, 使用 C/C++ 开发 Redis API 兼容, 支持 Redis 客户端 适合存储集合数据, 如 list, hash, zset… 客户端 API 支持的语言包括: C++, PHP,

MongoDB 2014 大会亮相北京,SegmentFault 给力支持现场吸睛

MongoDB 2014 大会亮相北京,SegmentFault 给力支持现场吸睛

原文  http://segmentfault.com/blog/linda/1190000002361927 11月22日,MongoDB 2014大会在北京拉开帷幕,这是一场程序员,架构师和运维工程师齐聚的技术盛会,会上,MongoDB顶级专家对MongoDB性能调试与扩展、模式设计艺术、集群管理及迁移以及大规模的使用等方面做了详细讲解,有200多开发者参与了此次盛会,Segme

Hadoop集群搭建

Hadoop集群搭建

原文  http://blog.csdn.net/yang_best/article/details/41280553 接下来的几节描述了如何配置Hadoop集群。 配置文件 对Hadoop的配置通过 conf/ 目录下的两个重要配置文件完成: hadoop-default.xml – 只读的默认配置。 hadoop-site.xml – 集群特有的配置。 要了解更多关于这些配置文件如何影响Hadoop框

Hadoop作业调优参数整理及原理

Hadoop作业调优参数整理及原理

原文  http://www.blogjava.net/wangxinsh55/archive/2014/11/19/420297.html http://www.linuxidc.com/Linux/2012-01/51615.htm 1 Map side tuning 参数 1.1 MapTask 运行内部原理 当map task 开始运算,并产生中间数据时,其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂,并且利用到了内存buff

使用Hadoop的MapReduce与HDFS处理数据

使用Hadoop的MapReduce与HDFS处理数据

原文  http://blog.csdn.net/tpkey/article/details/41283561 hadoop是一个分布式的基础架构,利用分布式实现高效的计算与储存,最核心的设计在于HDFS与MapReduce,HDFS提供了大量数据的存储,mapReduce提供了大量数据计算的实现,通过Java项目实现hadoop job处理海量数据解决复杂的需求。 一、基本环境及相关软件的配

MongoDB索引知识点的整理

MongoDB索引知识点的整理

原文地址: http://quentinXXZ.iteye.com/blog/2125433 内容主要来自《 MongoDB The Definitive Guide 2nd Edition》 最基本的建索引命令如下: db.users.ensureIndex({“username” : 1}) 根据username建立索引。1表示升序存储。 MonogDB每个一个collection最多可建64个索引。   利用hint可指定使用哪个索

深入了解MongoDB不可不知的十点

深入了解MongoDB不可不知的十点

原文  http://blog.csdn.net/sxb0841901116/article/details/40683773 一、对象 ID 的生成 每个 mongoDB 文档那个都要求有一个主键,它在每个集合中对所有的文档必须是唯一的,主键存放在文档 _id 字段中。由 12 个字符组成; 4c291856       238d3b   19b2     000001 4 字节时间戳   机器 ID  

如何对10亿数据量级的mongDB作高效的全表扫描

如何对10亿数据量级的mongDB作高效的全表扫描

 原文链接: http://quentinXXZ.iteye.com/blog/2149440 一、正常情况下,不应该有这种需求 首先,大家应该有个概念,标题中的这个问题,在大多情况下是一个伪命题,不应该被提出来。要知道,对于一般较大数据量的数据库,全表查询,这种操作一般情况下是不应该出现的,在做正常查询的时候,如果是范围查询,你至少应该要

如何安全地配置一个生产环境的MongoDB服务器?

如何安全地配置一个生产环境的MongoDB服务器?

安全配置一个生产环境MongoDB服务器 如果MongoDB是一个为你提供选择的文档存储器,那么这篇文章会帮助你,安全妥善地配置一切就绪的生产环境。   MongoDB安装指南包括了如何在一个droplet上安装MongoDB。   请您阅读安全与认证官方文件。   步骤 推荐两个不同的方法,但都可行。第一个是通过一个SSH通道安

Attacking MongoDB

Attacking MongoDB

0x00 背景 本文主要来自于HITB Ezine Issue 010中的《Attacking MongoDB》 MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是

MongoDB安全配置

MongoDB安全配置

0x00 MongoDB权限介绍 1.MongoDB安装时不添加任何参数,默认是没有权限验证的,登录的用户可以对数据库任意操作而且可以远程访问数据库,需以–auth参数启动。 2.在刚安装完毕的时候MongoDB都默认有一个admin数据库,此时admin数据库是空的,没有记录权限相关的信息。当admin.system.users一个用户都没有时,即使mongo

SSDB 发布 1.7.0.0 版本

SSDB 发布 1.7.0.0 版本

原文  http://www.ideawu.net/blog/archives/833.html 高性能 NoSQL 数据库发布了 1.7.0.0 版本. 1. ssdb-cli 性能优化 通过改进 cpy 脚本语言引擎, ssdb-cli 的启动速度更快了. 2. 增加导入导出功能 在 ssdb-cli 里执行 export 和 import 命令, 可以在任意时候将数据库导出到一个文本文件中, 同时可以将这个文本文件

Redis+Django(Session,Cookie)的用户系统

Redis+Django(Session,Cookie)的用户系统

原文  http://www.cnblogs.com/BeginMan/p/3890761.html 一.Django authentication django authentication 提供了一个便利的user api接口,无论在py中 request.user,参见 Request and response objects .还是模板中的 {{user}} 都能随时随地使用,如果从web开发角度来看,其实无非就是cookie与session的运用. 在项目首页

Beanstalkd一个高性能分布式内存队列系统

Beanstalkd一个高性能分布式内存队列系统

之前在微博上调查过大家正在使用的分布式内存队列系统,反馈有Memcacheq,Fqueue, RabbitMQ, Beanstalkd以及linkedin的kafka。RabbitMQ使用比较广泛,Beanstalkd是后起之秀。Beanstalkd之于RabbitMQ,就好比Nginx之于Apache,Varnish之于Squid。后面在项目中使用Beanstalkd的过程中,更发现其简单、轻量级、高性能、易使用

使用HAProxy、PHP、Redis和MySQL支撑10亿请求每周架构细节

使用HAProxy、PHP、Redis和MySQL支撑10亿请求每周架构细节

在公司的发展中,保证服务器的可扩展性对于扩大企业的市场需要具有重要作用,因此,这对架构师提出了一定的要求。Octivi联合创始人兼软件架构师Antoni Orfin将向你介绍一个非常简单的架构,使用HAProxy、PHP、Redis和MySQL就能支撑每周10亿请求。同时,你还能了解项目未来的横向扩展途径及常见的模式。 以下为译文:  

大规模运行MongoDB应该知道的10件事

大规模运行MongoDB应该知道的10件事

MongoDB的首席解决方案架构师Asya Kamsky 最近发表了一篇文章,概括了大规模运行MongoDB需要知道的10件事。 MongoDB也需要DevOps。MongoDB是一个数据库。和任何其他的数据存储一样,它也需要容量计划、调整、监控和维护。不要因为它很容易安装、入门,同时与关系型数据库相比能够更加自然地满足开发人员的范例就认为M

Linux下Redis内存优化

Linux下Redis内存优化

原文:http://mengzhuo.org/blog/linux%E4%B8%8Bredis%E5%86%85%E5%AD%98%E4%BC%98%E5%8C%96.html 最近使用Redis,由于它属于内存数据库,所以调优都集中到了内存上。 根据Redis官方说法: 需要将vm.overcommit设置为1 sysctl vm.overcommit_memory=1 确保设置了一定量的swap,最好和内存一样大,否则内核的OOM(out-o

一网打尽2013最常用的NoSQL数据库

一网打尽2013最常用的NoSQL数据库

在几年内,NoSQL数据库一直以性能、可扩展性、灵活的模式和分析能力聚焦着人们的注意力。尽管关系型数据库对于某些用例来说仍是一个不错的选择,就像结构数据和要求ACID事务的应用,但是NoSQL在以下用例中将更具优势: 存储的数据实质上是半结构化或者松散的。 要求一定的等级的性能和扩展性。 存取该数据的应用与最终的

Instagram:从Redis到Cassandra 成本节省1/4

Instagram:从Redis到Cassandra 成本节省1/4

Rick Branson是Instagram基础架构软件工程师,他在接受DataStax联合创始人Matt Pfeil采访时表示:随着数据量的快速增长,Redis已不再是他们的最佳使用对象,他们正在大量使用Cassandra。 下面是Matt Pfeil对Rick Branson的采访,笔者摘取了与Cassandra有关的核心内容进行编译: Matt:Rick,听说你和伙伴们都在使用Cass

Mongo服务器集群配置学习一——主从复制

Mongo服务器集群配置学习一——主从复制

原文链接: http://www.cnblogs.com/wly923/archive/2013/04/14/3019518.html 主从复制是MongoDB最常用也是最简单的复制操作。常用于数据备份和故障修复等。 下面这个图就是最简单的主从复制的服务器架构     我将以实验的方式来实现MongoDB的主从复制 实验环境:windows操作系统(一台机器启动多个Mongo