Redis—缓存雪崩、缓存击穿、缓存穿透

一、缓存雪崩 很多时候,Redis中的缓存是要设置过期时间的,假如Redis中的数据,过期时间都设置成一样的,那么到了时间之后,全部缓存过期失效,下一秒所有的请求都会访问数据库,那么数据库可能因为访问量过大导致“崩溃”,这就是缓存雪崩。 如果缓存集中在一段时间内失效,发生大量的缓存穿透,所有的查询都 ...

Hbase的Hmaster进程没有启动

启动Hbase 进入在安装目录下的bin目录 start-base.sh 查看进程 使用jps 命令查看启动的进程 发现Hmaster进程并没有启动,并且发现报错 OpenJDK 64-Bit Server VM warning: ignoring option PermSize=128m; sup ...

es~通过ElasticsearchTemplate进行聚合~Nested嵌套聚合

Nested是一种嵌套文档,类似于父子文档,它可以将与主文档有关的数据进行存储,可以把它理解成一张子表,它的查询和聚合性能很好;更新性能一般。 下面是测试使用的数据结构,一个包含Nested属性的实体 @Document(indexName = "esdto", type = "esdto") @D ...

实时数仓在滴滴的实践和落地

**​桔妹导读:**随着滴滴业务的高速发展,业务对于数据时效性的需求越来越高,而伴随着实时技术的不断发展和成熟,滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子,从引擎侧、平台侧和业务侧各个不同方面,来阐述滴滴所做的工作,分享在建设过程中的经验。 #1. 实时数仓建设目的 随着互 ...

SQL Server事务日志备份的一些疑问浅析

这里简单总结一下关于SQL Server事务日志备份的一些疑问,如有其它更多疑问,欢迎你们留言讨论。 事务日志备份频繁有性能影响吗? 关于事务日志备份,如果设置得非常频繁有什么性能影响吗? 这个是不少人的疑惑,频繁的事务日志备份是否影响性能呢?其实这是一个谬论。关于这些问题,我们先来做个假设,假设两... ...

MySQL锁这块石头似乎没有我想的那么重

前言 前言为本人写这篇文章的牢骚,建议跳过不看。 之前好几次都想好好的学习MySQL中的锁,但是找了几篇文章,看了一些锁的类型有那么多种,一时间也没看懂是什么意思,于是跟自己说先放松下自己,便从书桌起来在阳台发呆、做做运动、打扫下公寓,时间就这样过去了,真就印证了那句话:**"当你在学习的时候,无论 ...

PostgreSQL在不同的表空间移动数据文件

一、背景 在工作中,可能会遇到将表从一个表空间移动另一个表空间。例如 * 对数据进行冷处理 * 表空间所在的磁盘空间不足 * 建表时分配错了表空间 以上等等,可能需要你将一个表移动表空间。 二、表空间介绍 PostgreSQL的表空间 三、移动数据文件方法 我们先打造下环境;创建两个表空间 post ...

分布式缓存Memcached

1.Memcached简介 Memcached是一个开源、高性能,将数据分布于内存中并使用key-value存储结构的缓存系统。它通过在内存中缓存数据来减少向数据库的频繁访问连接的次数,可以提高动态、数据库驱动之类网站的运行速度。 Memcached在使用是比较简单的,在操作上基本就类似于操作字典结 ...

MySQL-Explain

Explain 是什么(查看执行计划) 使用EXPLAIN关键字可以模拟优化器执行SQL语句,从而知道MySQL是 如何处理你的SQL语句的。分析你的查询语句或是结构的性能瓶颈 官网介绍 能干嘛 表的读取顺序 数据读取操作的操作类型 哪些索引可以使用 哪些索引被实际使用 表之间的引用 每张表有多少行 ...

es~通过ElasticsearchTemplate进行聚合~嵌套聚合

之前写过《es~通过ElasticsearchTemplate进行聚合操作》的文章,这一次主要写一个嵌套的聚合,例如先对sex集合,再对desc聚合,最后再对age求和,共三层嵌套。 Aggregations的部分特性类似于SQL语言中的group by,avg,sum等函数,Aggregation ...

滴滴Ceph分布式存储系统优化之锁优化

**桔妹导读:**Ceph是国际知名的开源分布式存储系统,在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。Ceph社区得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是国际云计算领域应用最广泛的开源分布式存储系统, ...

centos7安装PostgreSQL12

一.安装源 安装源地址: http://yum.postgresql.org/repopackages.php 根据如下地址确定适用的版本http://yum.postgresql.org/findingdistro.php [root@izm5e2q95pbpe1hh0kkwoiz ~]# c ...

mongo添加索引及索引相关方法

目录 索引的类型和属性 单键索引 普通单键索引 索引子文档字段 唯一索引 复合索引 多键值索引 过期索引 哈希索引 地理位置索引 文本索引 索引操作方法 查看现有索引 列出数据库的所有索引 删除索引 重建索引 创建索引的参数 索引规则 查询优化器 何时查询计划缓存才会变呢 联合索引的优化 聚合管道的 ...

单表千万行数据库 LIKE 搜索优化手记

我们经常在数据库中使用 LIKE 操作符来完成对数据的模糊搜索,LIKE 操作符用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客户表中所有姓氏是“张”的数据,可以使用下面的 SQL 语句: SELECT * FROM Customer WHERE Name LIKE '张%' 如果需要 ...

heidisql新建用户分配数据库权限

一、新建用户 1.使用heidisql连接数据库,会话连接使用root用户。点击数据库,此图标为新建MySQL用户图标。 2.设置用户名称,密码,连接电脑(本机或特定电脑或所有电脑) 二、设置权限 1.添加用户可以访问的数据库 2.访问数据库可进行那些操作,进行相应勾选。不添加对象,默认全局,对所有 ...

滴滴数据仓库指标体系建设实践

**桔妹导读:**指标体系是什么?如何使用OSM模型和AARRR模型搭建指标体系?如何统一流程、规范化、工具化管理指标体系?本文会对建设的方法论结合滴滴数据指标体系建设实践进行解答分析。 #1. 什么是指标体系 ##1.1 指标体系定义 指标体系是将零散单点的具有相互联系的指标,系统化的组织起来,通 ...

MPP (Massively Parallel Processing)大规模并行处理

1、什么是mpp? MPP (Massively Parallel Processing),即大规模并行处理,在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供 ...

<1···789···200>