当前位置：首页 » 开发推广 » lru优化

lru优化

发布时间: 2021-03-17 18:44:54

1. 请教高手：oracle临时表创建优化

http://www.upschool.com.cn/e/1836/2007/16/10264717_1.shtml
关于Oracle临时表数据cache的研究
Global Temporary Table是Oracle 8i中出现的特性，可以用于存储事务或会话中的临时数据。它的出现大大方便了开发人员。但是在使用上面，由于它本身的特性，一直存在一些问题。

简单说一下临时表，它的数据只对调用它的会话可见，一个会话是无法访问其他会话中的临时表的数据。可以在创建时指定它是事务级的还是会话级的。它被创建在用户的默认临时表空间上，在创建时不会分配段，而是在会话中第一次insert的时候从零时表空间分配数据段。DML时，不会产生redo log，但是会产生undo log。并且无法生成临时表或者临时表上索引的统计信息（势必会影响CBO下的查询计划）。

下面研究一下临时表的数据是如何存储，又是如何获得的，如何cache在内存中的：

我们知道，对于普通表(regular tables)，第一对表进行扫描时，会将扫描到的数据放到buffer cache中，以便以后如果有其他事务需要扫描相同数据时，直接从内存中读，而不产生disk read。并且，同时在LUR和MUR链中记录一个点，以决定这些数据什么时候被page out。

那对于临时表呢？以前我是这样认为的，既然临时表的数据只对会话可见，那它的数据就不应该放在公用的buffer cache中，而放在每个会话的PGA里面更合适。那这个观点正确吗？我查了很多资料，并没有明确的指出临时表的数据应该是cache在内存的哪一块。由于这些都是Oracle internal的东东，没有任何公布的资料可查，我们下面来做一些试验来看看Oracle到底怎么管理临时表的数据的。

临时表中的数据到底cache在哪里？

首先，创建测试用的对象：

创建一张普通表：

CREATE TABLE pga_ttt (

A VARCHAR2(100)

);
给表插入测试数据：

INSERT INTO pga_ttt values(1);
创建临时表：

CREATE GLOBAL TEMPORARY TABLE PGA_TEST

(

A VARCHAR2(3000),

B VARCHAR2(2000),
C VARCHAR2(2000)

)

ON COMMIT PRESERVE ROWS;

测试过程：

1. 修改db cache size为一个较小的值：

ALTER SYSTEM SET DB_CACHE_SIZE = 50M;

2. 重起数据库：

STARTUP FORCE
这时的数据库的内存中应该是比较干净的。

3. 先看一下一些什么对象已经cache在buffer cache中了：

SELECT DISTINCT objd FROM v$bh ORDER BY objd;

OBJD
----
2
3
6
7
8
... ...
4294967294
4294967295
这些对象应该都是系统启动时载入的一些系统对象。

4. 另外启动两个会话，分别执行以下语句：

INSERT INTO PGA_TEST VALUES(1, 1, 1);
SELECT * FROM PGA_TEST;

5. 再看下buffer cache中的对象：

SELECT DISTINCT objd FROM v$bh ORDER BY objd;

OBJD
----
2
3
6
7
... ...
6693385
6693513
4294967294
4294967295
这时，可以发现多出两个对象来了。但不能确定和pga_test有什么关系，也许又是两个系统对象。

6. 查一下pga_test的object number

SELECT object_id FROM dba_objects WHERE object_name = 'PGA_TEST';
53513
比较失望L，这个object number和刚才那两个新cache到buffer cache中的object number并不相同。但是这还并不能说明临时表的数据一定没有cache到buffer cache中去。

接下来继续测试，将buffer cache mp出来！

7. Dump出buffer cache

用level 3将整个buffer cache都mp出来，这将会产生一个比较大的trace文件（折就是为什么要把buffer cache设小一些的原因）

oradebug setmypid
oradebug mp buffers 3

8. 打开trace文件

在trace文件中，找到一下两段：

· 第一段：

BH (183EBEEC) file#: 201 rdba: 0x0066220a (1/2499082) class: 1 ba: 18114000
set: 3 blksize: 8192 bsi: 0 set-flg: 2 pwbcnt: 574
dbwrid: 0 obj: 6693385 objn: 53513 tsn: 3 afn: 201
hash: [201d7a88,201d7a88] lru: [183ebff0,183ebe90]
ckptq: [NULL] fileq: [NULL] objq: [1ea81d98,183ec044]
st: XCURRENT md: NULL tch: 2
flags: buffer_dirty temp_data gotten_in_current_mode redo_since_read
LRBA: [0x0.0.0] HSCN: [0xffff.ffffffff] HSUB: [65535]
buffer tsn: 3 rdba: 0x0066220a (1/2499082)
scn: 0x0000.00550a09 seq: 0x00 flg: 0x08 tail: 0x0a090600
frmt: 0x02 chkval: 0x0000 type: 0x06=trans data
Hex mp of block: st=0, typ_found=1
Dump of memory from 0x18114000 to 0x18116000
18114000 0000A206 0066220A 00550A09 08000000 [....."f...U.....]
... ...
... ...
... ...
18115830 20202020 20202020 20202020 20202020 [ ]
Repeat 123 times
18115FF0 20202020 20202020 20202020 0A090600 [ ....]
Block header mp: 0x0066220a
Object id on Block? Y
seg/obj: 0x662209 csc: 0x00.00 itc: 2 flg: O typ: 1 - DATA
fsl: 0 fnx: 0x0 ver: 0x01

Itl Xid Uba Flag Lck Scn/Fsc
0x01 0x0006.01b.00000c9d 0x0080142b.088a.20 ---- 1 fsc 0x0000.00000000
0x02 0x0000.000.00000000 0x00000000.0000.00 ---- 0 fsc 0x0000.00000000

data_block_mp,data header at 0x1811405c
===============
tsiz: 0x1fa0
hsiz: 0x14
pbl: 0x1811405c
bdba: 0x0066220a
76543210
flag=--------
ntab=1
nrow=1
frre=-1
fsbo=0x14
fseo=0x824
avsp=0x810
tosp=0x810
0xe:pti[0] nrow=1 offs=0
0x12:pri[0] offs=0x824
block_row_mp:
tab 0, row 0, @0x824
tl: 6012 fb: --H-FL-- lb: 0x1 cc: 3
col 0: [2000]
31 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
... ...
20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
col 1: [2000]
31 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
... ...
20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
col 2: [2000]
31 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
... ...
20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
end_of_block_mp

· 第二段：

BH (183EC04C) file#: 201 rdba: 0x0066228a (1/2499210) class: 1 ba: 18118000
set: 3 blksize: 8192 bsi: 0 set-flg: 2 pwbcnt: 574
dbwrid: 0 obj: 6693513 objn: 53513 tsn: 3 afn: 201
hash: [201e8d88,183e6a5c] lru: [183ec150,183ebff0]
ckptq: [NULL] fileq: [NULL] objq: [1ea81dd0,183ec1a4]
st: XCURRENT md: NULL tch: 2
flags: buffer_dirty temp_data gotten_in_current_mode redo_since_read
LRBA: [0x0.0.0] HSCN: [0xffff.ffffffff] HSUB: [65535]
buffer tsn: 3 rdba: 0x0066228a (1/2499210)
scn: 0x0000.00550a08 seq: 0x00 flg: 0x08 tail: 0x0a080600
frmt: 0x02 chkval: 0x0000 type: 0x06=trans data
Hex mp of block: st=0, typ_found=1
Dump of memory from 0x18118000 to 0x1811A000
18118000 0000A206 0066228A 00550A08 08000000 [....."f...U.....]
... ...
... ...
... ...
18119830 20202020 20202020 20202020 20202020 [ ]
Repeat 123 times
18119FF0 20202020 20202020 20202020 0A080600 [ ....]
Block header mp: 0x0066228a
Object id on Block? Y
seg/obj: 0x662289 csc: 0x00.00 itc: 2 flg: O typ: 1 - DATA
fsl: 0 fnx: 0x0 ver: 0x01

Itl Xid Uba Flag Lck Scn/Fsc
0x01 0x0005.014.00000c58 0x008044a3.060a.08 ---- 1 fsc 0x0000.00000000
0x02 0x0000.000.00000000 0x00000000.0000.00 ---- 0 fsc 0x0000.00000000

data_block_mp,data header at 0x1811805c
===============
tsiz: 0x1fa0
hsiz: 0x14
pbl: 0x1811805c
bdba: 0x0066228a
76543210
flag=--------
ntab=1
nrow=1
frre=-1
fsbo=0x14
fseo=0x824
avsp=0x810
tosp=0x810
0xe:pti[0] nrow=1 offs=0
0x12:pri[0] offs=0x824
block_row_mp:
tab 0, row 0, @0x824
tl: 6012 fb: --H-FL-- lb: 0x1 cc: 3
col 0: [2000]
31 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
... ...
20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
col 1: [2000]
31 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
... ...
20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
col 2: [2000]
31 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
... ...
20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20 20
end_of_block_mp

这两段都是cache在buffer cache中的数据段。注意他们的基础系统中的以下内容：

obj: 6693385 objn: 53513

obj: 6693513 objn: 53513

object number是53513，这正是pga_test的object number，对比一下后面数据块的内容：

col 0: [2000]

31 20 20 20 ...（即’1 ’）

col 1: [2000]

31 20 20 20 ...（即’1 ’）

col 2: [2000]

31 20 20 20 ...（即’1 ’）

正是从pga_test中的扫描到的数据。

再看objn前面的数字，是不是很眼熟？对了，这就是从v$bh中查到的在扫描临时表后buffer cache中多出两个对象的object number！这因该是为了保持各自会话的数据的独立，Oracle创建了一个系统临时对象（丛v$bh中看，这个临时对象时属于sys用户的，不属于当前用户的），保持了与临时表相同的结构，然后在buffer中开辟了一片区域，以系统临时对象的名义存放各自数据，使之相互不影响。同时我们还可以留意到它们的LRU值是不同的。

另外看下他们的flags:

flags: buffer_dirty temp_data gotten_in_current_mode redo_since_read

buffer_dirty:因为临时表需要先插入数据，所以被置了dirty标志；

temp_data:临时表在第一次INSERT时，才在临时表空间上分配临时段，所以是属于临时数据；

gotten_in_current_mode:显然，当前会话这在获取各自临时表中的数据，因此是当前被获取模式下；

redo_since_read:这个不是十分明白。因为临时表的DML是不会产生redo log的，会产生undo log，同时会产生针对这些undo的redo log（而不是临时表的）。

现在，我们基本上可以得出这样的推论：

推论1：临时表的数据是cache在buffer cache中的。并且，为了保持各自会话的数据独立，在buffer cache中为各个会话开辟一片区域来cache它们各自的数据。

以上推论可以和普通表来做一个对比。

在两个会话中分别查询普通表：

SELECT * FROM pga_ttt;
Dump 出cache buffer：

oradebug setmypid
oradebug mp buffers 3
查询普通表的object number

SELECT object_id FROM dba_objects WHERE object_name = 'PGA_TTT';
53514
看看trace文件中的内容：虽然我们在两个会话中都扫描了这张表，但是buffer cache只有一段它的数据段：

BH (18BE658C) file#: 5 rdba: 0x014097be (5/38846) class: 1 ba: 18810000
set: 3 blksize: 8192 bsi: 0 set-flg: 2 pwbcnt: 64
dbwrid: 0 obj: 53514 objn: 53514 tsn: 5 afn: 5
hash: [202153d8,202153d8] lru: [18be6690,18be6530]
ckptq: [NULL] fileq: [NULL] objq: [18be6584,18be66e4]
st: XCURRENT md: NULL tch: 2
flags: only_sequential_access
LRBA: [0x0.0.0] HSCN: [0xffff.ffffffff] HSUB: [65535]
buffer tsn: 5 rdba: 0x014097be (5/38846)
scn: 0x0000.005513e7 seq: 0x01 flg: 0x06 tail: 0x13e70601
frmt: 0x02 chkval: 0xa15f type: 0x06=trans data
Hex mp of block: st=0, typ_found=1
Dump of memory from 0x18810000 to 0x18812000
18810000 0000A206 014097BE 005513E7 06010000 [[email protected].....]
... ...
... ...
... ...
18810080 00000000 00000000 00000000 00000000 [................]
Repeat 502 times
18811FF0 00000000 2C000000 31010101 13E70601 [.......,...1....]
Block header mp: 0x014097be
Object id on Block? Y
seg/obj: 0xd10a csc: 0x00.5513bd itc: 2 flg: E typ: 1 - DATA
brn: 0 bdba: 0x14097b9 ver: 0x01 opc: 0
inc: 0 exflg: 0

Itl Xid Uba Flag Lck Scn/Fsc
0x01 0x0006.01b.00000c9d 0x0080142b.088a.21 --U- 1 fsc 0x0000.005513e7
0x02 0x0000.000.00000000 0x00000000.0000.00 ---- 0 fsc 0x0000.00000000

data_block_mp,data header at 0x18810064
===============
tsiz: 0x1f98
hsiz: 0x14
pbl: 0x18810064
bdba: 0x014097be
76543210
flag=--------
ntab=1
nrow=1
frre=-1
fsbo=0x14
fseo=0x1f93
avsp=0x1f7b
tosp=0x1f7b
0xe:pti[0] nrow=1 offs=0
0x12:pri[0] offs=0x1f93
block_row_mp:
tab 0, row 0, @0x1f93
tl: 5 fb: --H-FL-- lb: 0x1 cc: 1
col 0: [ 1] 31
end_of_block_mp

另外，检查它的基础信息，这时obj和objn是相同的，都是ojb$表中对应的object#。

会话之间的临时表数据是否可以复用？

以上的问题应该可以告一个段落了。下面我想到另外一个问题：如果各个会话的写入临时表中数据都一样，那么会话之间的数据能不能复用呢（即从其他会话的buffer cache中得到一份数据拷贝，而不需要读写临时表空间）？

其实，这个问题应该可以通过一个比较简单的测试来推断：

1. 在两个不同的会话中分别向临时表插入数据：

INSERT INTO PGA_TEST VALUES(1, 1, 1);

2. 然后刷新buffer cache，将buffer中的数据都写入到磁盘中去：

ALTER SYSTEM FLUSH BUFFER_CACHE;
以上语句之适用于10g，如果是9i，可以用下面的语句：

ALTER SYSTEM SET EVENTS ‘IMMEDIATE TRACE NAME FLUSH_CACHE’;

3. 分别在两个会话中查询临时表：

· SESSION 1:

SQL> SET AUTOT TRACE
SQL> SELECT * FROM PGA_TEST;

Execution Plan
----------------------------------------------------------
Plan hash value: 30787903

--------------------------------------
| Id | Operation | Name |
--------------------------------------
| 0 | SELECT STATEMENT | |
| 1 | TABLE ACCESS FULL| PGA_TEST |
--------------------------------------

Note
-----
- rule based optimizer used (consider using cbo)

Statistics
----------------------------------------------------------
165 recursive calls
0 db block gets
20 consistent gets
7 physical reads
0 redo size
6533 bytes sent via SQL*Net to client
385 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
4 sorts (memory)
0 sorts (disk)
1 rows processed
可以看到第一个会话产生了physical read，显然是从临时数据段上读取了数据。

再在这个会话上查询一次：

SQL> /

Execution Plan
----------------------------------------------------------
Plan hash value: 30787903

--------------------------------------
| Id | Operation | Name |
--------------------------------------
| 0 | SELECT STATEMENT | |
| 1 | TABLE ACCESS FULL| PGA_TEST |
--------------------------------------

Note
-----
- rule based optimizer used (consider using cbo)

Statistics
----------------------------------------------------------
0 recursive calls
0 db block gets
3 consistent gets
0 physical reads
0 redo size
6533 bytes sent via SQL*Net to client
385 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
1 rows processed
可以看到，以及没有physical read了，这时不是动临时段上读取数据了，而是直接读取buffer cache了。

· SESSION 2:

SQL> SET AUTOT TRACE
SQL> SELECT * FROM pga_test;

Execution Plan
----------------------------------------------------------
Plan hash value: 30787903

--------------------------------------
| Id | Operation | Name |
--------------------------------------
| 0 | SELECT STATEMENT | |
| 1 | TABLE ACCESS FULL| PGA_TEST |
--------------------------------------

Note
-----
- rule based optimizer used (consider using cbo)

Statistics
----------------------------------------------------------
1 recursive calls
0 db block gets
3 consistent gets
2 physical reads
0 redo size
6533 bytes sent via SQL*Net to client
385 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
1 rows processed
请注意，尽管SESSION 1已经是从buffer cache中读取数据了，但是SESSION 2还是有physical read，说明它还是从自己所分配到的临时段上读取的数据，而不是其他会话的！

再作一次查询：

SQL> /

Execution Plan
----------------------------------------------------------
Plan hash value: 30787903

--------------------------------------
| Id | Operation | Name |
--------------------------------------
| 0 | SELECT STATEMENT | |
| 1 | TABLE ACCESS FULL| PGA_TEST |
--------------------------------------

Note
-----
- rule based optimizer used (consider using cbo)

Statistics
----------------------------------------------------------
0 recursive calls
0 db block gets
3 consistent gets
0 physical reads
0 redo size
6533 bytes sent via SQL*Net to client
385 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
1 rows processed
这时就是从它自己的buffer cache中读取数据了。

推论2：每个会话在第一次INSERT是分配临时段，他们的数据读写是完全独立的，不会有任何联系，即使他们的数据内容完全一样。

我们再与普通表进行对比：

在第一个SESSION中查询普通表：

SQL> SELECT * FROM pga_ttt;

Execution Plan
----------------------------------------------------------
Plan hash value: 3071005808

-----------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |
-----------------------------------------------------------------------------
| 0 | SELECT STATEMENT | | 1 | 52 | 2 (0)| 00:00:01 |
| 1 | TABLE ACCESS FULL| PGA_TTT | 1 | 52 | 2 (0)| 00:00:01 |
-----------------------------------------------------------------------------

Statistics
----------------------------------------------------------
163 recursive calls
0 db block gets
24 consistent gets
15 physical reads
0 redo size
407 bytes sent via SQL*Net to client
385 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
4 sorts (memory)
0 sorts (disk)
1 rows processed
这时产生了physical read，说明数据是从磁盘读取的。

再在第一个SESSION查询这张表：

SQL> SELECT * FROM pga_test;

Execution Plan
----------------------------------------------------------
Plan hash value: 30787903

--------------------------------------
| Id | Operation | Name |
--------------------------------------
| 0 | SELECT STATEMENT | |
| 1 | TABLE ACCESS FULL| PGA_TEST |
--------------------------------------

Note
-----
- rule based optimizer used (consider using cbo)

Statistics
----------------------------------------------------------
0 recursive calls
0 db block gets
3 consistent gets
0 physical reads
0 redo size
6533 bytes sent via SQL*Net to client
385 bytes received via SQL*Net from client
2 SQL*Net roundtrips to/from client
0 sorts (memory)
0 sorts (disk)
1 rows processed

希望对你有帮助。

2. MySQL怎么禁止使用缓存以及复杂多表查询的索引优化问题

1、query_cache_size=0 已经禁用了查询缓存，但表数据可能缓存了，flush tables试试，不过操作系统还有一个硬盘缓存，想跟第一次查询之前的状态一致恐怕只能每次重启
2、group by与order by不会用索引的，索引最大的用处就是减小磁盘IO，也就是where时尽量少磁盘IO并读出所有满足条件的记录

3. linux luks 影响速度吗

一、CPU
首先从CPU说起。
你仔细检查的话，有些服务器上会有的一个有趣的现象：你cat /proc/cpuinfo时，会发现CPU的频率竟然跟它标称的频率不一样：
#cat /proc/cpuinfo
processor : 5
model name : Intel(R) Xeon(R) CPU E5-2620 0 @2.00GHz
cpu MHz : 1200.000
这个是Intel E5-2620的CPU，他是2.00G * 24的CPU，但是，我们发现第5颗CPU的频率为1.2G。
这是什么原因呢?
这些其实都源于CPU最新的技术：节能模式。操作系统和CPU硬件配合，系统不繁忙的时候，为了节约电能和降低温度，它会将CPU降频。这对环保人士和抵制地球变暖来说是一个福音，但是对MySQL来说，可能是一个灾难。
为了保证MySQL能够充分利用CPU的资源，建议设置CPU为最大性能模式。这个设置可以在BIOS和操作系统中设置，当然，在BIOS中设置该选项更好，更彻底。由于各种BIOS类型的区别，设置为CPU为最大性能模式千差万别，我们这里就不具体展示怎么设置了。
然后我们看看内存方面，我们有哪些可以优化的。
i) 我们先看看numa
非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) 也是最新的内存管理技术。它和对称多处理器结构 (SMP ： Symmetric Multi-Processor) 是对应的。简单的队别如下：
如图所示，详细的NUMA信息我们这里不介绍了。但是我们可以直观的看到：SMP访问内存的都是代价都是一样的;但是在NUMA架构下，本地内存的访问和非本地内存的访问代价是不一样的。对应的根据这个特性，操作系统上，我们可以设置进程的内存分配方式。目前支持的方式包括：
--interleave=nodes
--membind=nodes
--cpunodebind=nodes
--physcpubind=cpus
--localalloc
--preferred=node
简而言之，就是说，你可以指定内存在本地分配，在某几个CPU节点分配或者轮询分配。除非是设置为--interleave=nodes轮询分配方式，即内存可以在任意NUMA节点上分配这种方式以外。其他的方式就算其他NUMA节点上还有内存剩余，Linux也不会把剩余的内存分配给这个进程，而是采用SWAP的方式来获得内存。有经验的系统管理员或者DBA都知道SWAP导致的数据库性能下降有多么坑爹。
所以最简单的方法，还是关闭掉这个特性。
关闭特性的方法，分别有：可以从BIOS，操作系统，启动进程时临时关闭这个特性。
a) 由于各种BIOS类型的区别，如何关闭NUMA千差万别，我们这里就不具体展示怎么设置了。
b) 在操作系统中关闭，可以直接在/etc/grub.conf的kernel行最后添加numa=off，如下所示：
kernel /vmlinuz-2.6.32-220.el6.x86_64 ro root=/dev/mapper/VolGroup-root rd_NO_LUKS LANG=en_US.UTF-8 rd_LVM_LV=VolGroup/root rd_NO_MD quiet SYSFONT=latarcyrheb-sun16 rhgb crashkernel=auto rd_LVM_LV=VolGroup/swap rhgb crashkernel=auto quiet KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM numa=off
另外可以设置 vm.zone_reclaim_mode=0尽量回收内存。
c) 启动MySQL的时候，关闭NUMA特性：
numactl --interleave=all mysqld
当然，最好的方式是在BIOS中关闭。
ii) 我们再看看vm.swappiness。
vm.swappiness是操作系统控制物理内存交换出去的策略。它允许的值是一个百分比的值，最小为0，最大运行100，该值默认为60。vm.swappiness设置为0表示尽量少swap，100表示尽量将inactive的内存页交换出去。
具体的说：当内存基本用满的时候，系统会根据这个参数来判断是把内存中很少用到的inactive 内存交换出去，还是释放数据的cache。cache中缓存着从磁盘读出来的数据，根据程序的局部性原理，这些数据有可能在接下来又要被读取;inactive 内存顾名思义，就是那些被应用程序映射着，但是长时间不用的内存。
我们可以利用vmstat看到inactive的内存的数量：
#vmstat -an 1
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r b swpd free inact active si so bi bo in cs us sy id wa st
1 0 0 27522384 326928 1704644 0 0 0 153 11 10 0 0 100 0 0
0 0 0 27523300 326936 1704164 0 0 0 74 784 590 0 0 100 0 0
0 0 0 27523656 326936 1704692 0 0 8 8 439 1686 0 0 100 0 0
0 0 0 27524300 326916 1703412 0 0 4 52 198 262 0 0 100 0 0
通过/proc/meminfo 你可以看到更详细的信息：
#cat /proc/meminfo | grep -i inact
Inactive: 326972 kB
Inactive(anon): 248 kB
Inactive(file): 326724 kB
这里我们对不活跃inactive内存进一步深入讨论。 Linux中，内存可能处于三种状态：free，active和inactive。众所周知，Linux Kernel在内部维护了很多LRU列表用来管理内存，比如LRU_INACTIVE_ANON, LRU_ACTIVE_ANON, LRU_INACTIVE_FILE , LRU_ACTIVE_FILE, LRU_UNEVICTABLE。其中LRU_INACTIVE_ANON, LRU_ACTIVE_ANON用来管理匿名页，LRU_INACTIVE_FILE , LRU_ACTIVE_FILE用来管理page caches页缓存。系统内核会根据内存页的访问情况，不定时的将活跃active内存被移到inactive列表中，这些inactive的内存可以被交换到swap中去。
一般来说，MySQL，特别是InnoDB管理内存缓存，它占用的内存比较多，不经常访问的内存也会不少，这些内存如果被Linux错误的交换出去了，将浪费很多CPU和IO资源。 InnoDB自己管理缓存，cache的文件数据来说占用了内存，对InnoDB几乎没有任何好处。
所以，我们在MySQL的服务器上最好设置vm.swappiness=0。
我们可以通过在sysctl.conf中添加一行：
echo vm.swappiness = 0 /etc/sysctl.conf
并使用sysctl -p来使得该参数生效。
三、文件系统
最后，我们看一下文件系统的优化
i) 我们建议在文件系统的mount参数上加上noatime，nobarrier两个选项。
用noatime mount的话，文件系统在程序访问对应的文件或者文件夹时，不会更新对应的access time。一般来说，Linux会给文件记录了三个时间，change time, modify time和access time。
我们可以通过stat来查看文件的三个时间：
stat libnids-1.16.tar.gz
File: `libnids-1.16.tar.gz'
Size: 72309 Blocks: 152 IO Block: 4096 regular file
Device: 302h/770d Inode: 4113144 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)
Access : 2008-05-27 15:13:03.000000000 +0800
Modify: 2004-03-10 12:25:09.000000000 +0800
Change: 2008-05-27 14:18:18.000000000 +0800
其中access time指文件最后一次被读取的时间，modify time指的是文件的文本内容最后发生变化的时间，change time指的是文件的inode最后发生变化(比如位置、用户属性、组属性等)的时间。一般来说，文件都是读多写少，而且我们也很少关心某一个文件最近什么时间被访问了。
所以，我们建议采用noatime选项，这样文件系统不记录access time，避免浪费资源。
现在的很多文件系统会在数据提交时强制底层设备刷新cache，避免数据丢失，称之为write barriers。但是，其实我们数据库服务器底层存储设备要么采用RAID卡，RAID卡本身的电池可以掉电保护;要么采用Flash卡，它也有自我保护机制，保证数据不会丢失。所以我们可以安全的使用nobarrier挂载文件系统。设置方法如下：
对于ext3, ext4和 reiserfs文件系统可以在mount时指定barrier=0;对于xfs可以指定nobarrier选项。
ii) 文件系统上还有一个提高IO的优化万能钥匙，那就是deadline。
在 Flash技术之前，我们都是使用机械磁盘存储数据的，机械磁盘的寻道时间是影响它速度的最重要因素，直接导致它的每秒可做的IO(IOPS)非常有限，为了尽量排序和合并多个请求，以达到一次寻道能够满足多次IO请求的目的，Linux文件系统设计了多种IO调度策略，已适用各种场景和存储设备。
Linux的IO调度策略包括：Deadline scheler，Anticipatory scheler，Completely Fair Queuing(CFQ)，NOOP。每种调度策略的详细调度方式我们这里不详细描述，这里我们主要介绍CFQ和Deadline，CFQ是Linux内核2.6.18之后的默认调度策略，它声称对每一个 IO 请求都是公平的，这种调度策略对大部分应用都是适用的。但是如果数据库有两个请求，一个请求3次IO，一个请求10000次IO，由于绝对公平，3次IO 的这个请求都需要跟其他10000个IO请求竞争，可能要等待上千个IO完成才能返回，导致它的响应时间非常慢。并且如果在处理的过程中，又有很多IO请求陆续发送过来，部分IO请求甚至可能一直无法得到调度被饿死。而deadline兼顾到一个请求不会在队列中等待太久导致饿死，对数据库这种应用来说更加适用。
实时设置，我们可以通过
echo deadline /sys/block/sda/queue/scheler
来将sda的调度策略设置为deadline。
我们也可以直接在/etc/grub.conf的kernel行最后添加elevator=deadline来永久生效。
CPU方面：
关闭电源保护模式
内存：
vm.swappiness = 0
关闭numa
文件系统：
用noatime，nobarrier挂载系统

4. activity背景图占用内存太大怎么优化

使用图片缓存技术
在你应用程序的UI界面加载一张图片是一件很简单的事情，但是当你需要在界面上加载一大堆图片的时候，情况就变得复杂起来。在很多情况下，（比如使用ListView, GridView 或者 ViewPager 这样的组件），屏幕上显示的图片可以通过滑动屏幕等事件不断地增加，最终导致OOM。
为了保证内存的使用始终维持在一个合理的范围，通常会把被移除屏幕的图片进行回收处理。此时垃圾回收器也会认为你不再持有这些图片的引用，从而对这些图片进行GC操作。用这种思路来解决问题是非常好的，可是为了能让程序快速运行，在界面上迅速地加载图片，你又必须要考虑到某些图片被回收之后，用户又将它重新滑入屏幕这种情况。这时重新去加载一遍刚刚加载过的图片无疑是性能的瓶颈，你需要想办法去避免这个情况的发生。
这个时候，使用内存缓存技术可以很好的解决这个问题，它可以让组件快速地重新加载和处理图片。下面我们就来看一看如何使用内存缓存技术来对图片进行缓存，从而让你的应用程序在加载很多图片的时候可以提高响应速度和流畅性。
内存缓存技术对那些大量占用应用程序宝贵内存的图片提供了快速访问的方法。其中最核心的类是LruCache (此类在android-support-v4的包中提供) 。这个类非常适合用来缓存图片，它的主要算法原理是把最近使用的对象用强引用存储在 LinkedHashMap 中，并且把最近最少使用的对象在缓存值达到预设定值之前从内存中移除。
在过去，我们经常会使用一种非常流行的内存缓存技术的实现，即软引用或弱引用 (SoftReference or WeakReference)。但是现在已经不再推荐使用这种方式了，因为从 Android 2.3 (API Level 9)开始，垃圾回收器会更倾向于回收持有软引用或弱引用的对象，这让软引用和弱引用变得不再可靠。另外，Android 3.0 (API Level 11)中，图片的数据会存储在本地的内存当中，因而无法用一种可预见的方式将其释放，这就有潜在的风险造成应用程序的内存溢出并崩溃。

5. 游戏服务端大访问量大并发的优化解决方案

所有的对象都放在内存，20万用户以下无压力。
如果游戏的用户很多，例如超过50万，内存就会不够，可使用算法来淘汰一些数据。
流程：收到用户请求 - 在内存查找用户对象 - 如果不存在就从数据库中加载- 放入内存cache-如果cache中的用户超过20万 - 用LRU算法淘汰最古老的用户数据。
避免同步的IO操作，所有会发生写数据库的操作：例如角色获得了经验，要更新数据库；这类和游戏逻辑相关、安全性要求不高的保存操作，一律用异步操作，由后台的数据库保存线程定期保存。
流程：如果要保存到数据库 - 检查该对象是否已有标志为在保存队列中 - 如果为假 - 将对象放入保存队列。后台保存线程的流程：从队列中获取要保存的对象 - 保存 - 置保存标志位为假。

内存cache + 异步保存模式，并发每秒1000+ 不会有任何压力，而且正常情况下每个请求的处理时间不会超过50毫秒。

邮件操作一定产生大量IO操作，而且都是同步操作，可用上面的cache机制处理，或者专门的邮件服务器。

如果是DNF之类的格斗类游戏，因为对系统响应的时间要求特别高，50毫秒都嫌慢，这种情况下，瓶颈是在网络上，可用UDP包来解决。搜索UDP，有大量文档。

如果用户数是海量的，例如超过500万，或者对并发的要求更高，例如每秒5000+次请求，这种指标明显超过了单机的处理能力，这个时候就必须采用分布式结构，使用多台服务器。可参照EJB二次远程调用的原理实现多机分布式结构，搜索EJB，也有大量文档。

没事不要用c或者c++写游戏服务器端，c#和java这类历史悠久、有大量工具包、程序员一抓一大把的语言最好。性能不是问题，少BUG、稳定、开发周期短才是最重要的。

6. 如何对Android客户端性能优化

为什么我们的App需要优化，最显而易见的时刻：用户say，什么狗屎，刷这么久都没反应，取关卸载算了。
这跟什么有关，我们先苍白的反驳下，尼玛用户设备老旧网又烂，关我屁事，根本不用优化。可是，老板拍板了，施压给CTO，然后CTO又来找你：Y的今天必须给我想办法优化了，不然不准回家。
好吧，为什么从UI的表象上看，App又卡又慢而且还错乱。我们试着来剖析下吧。
题外话：把minSDK改到4.0＋，去特么的low用户，连手机都不愿意换，还能指望它能给你带来多少营收么，直接pass掉吧。4.0前的系统bug不少，不能为了弥补这些bug而降低了整体的高性能。
好了，让我们先从UI说起：
首先要明白的是UI的绘制流程：measure-layout-draw，measure与layout都需要for loop所有的子控件，汇集起来才能完成绘制，布局。所以子控件越多，所消耗的时间越长(inflate，layout_weight，relative，多层嵌套等)，减少不必要的子控件或层级，是相当有必要的。你可以通过merge,viewstub这些标签来减少层级嵌套。如果你的空间观念没那么好，可以用HierarchyViewer工具来检查。
对于Listview或者GridView这种多item的组件来说，复用item可以减少inflate次数，通过setTag，getTag的ViewHolder方式实现复用，这里要注意的是，holder中的控件最好reset后再赋值，避免图片，文字错乱。
对于ViewPager第一次显示时卡顿以及左右滑动卡顿，有以下几种优化方式：

ViewPager同时缓存page数最好为最小值3，如果过多，那么第一次显示时，ViewPager所初始化的pager就会很多，这样pager累积渲染耗时就会增多，看起来就卡。
每个pager应该只在显示时才加载网络或数据库(UserVisibleHint=true)，最好不要预加载数据，以免造成浪费
图片显示不出来或者加载时间太长，怎么办？分两部分，下载速度，加载速度。

对于下载，要控制好同时下载的最大任务数(平均速度慢)，同时给InputStream再包一层缓冲流会更快(如BufferedInputStream)。
对于加载速度，我们要知道一点，虽然下载的图片可能只有几百K，但是decode成bitmap所占用的内存可是成倍的，尽可能的减小图片size是根本因素，让服务端提供不同分辨率的图片才是最好的解决方案，内存总有耗尽的时刻，别老想着大分辨率会更清晰，实际就只有150*150的空间，非给弄张1000*1000的图片是不恰当的。另外论加载速度：内存>硬盘>网络，合理的使用内存缓存也是关键。假如自己写不好，没关系，有那么多开源的图片缓存框架，不用自己操心。
再说缓存
有很多种缓存方式，也不用Stay列举了，我们要说的是搭配使用。

比方说，以前我们一直在用强引用，HashMap，后来我们发现占内存，我们就用软引用，弱引用来及时回收，再后来因为回收机制不可控，所以又有了lrucache，disklrucache通过算法来平衡内存与硬盘缓存。随着android版本的推进与演化，我们也应该拥抱变化。如果你的App里还有软引用，弱引用的地方，不妨再check下。
比方说网络＋数据库。网络我们一般都是去主动获取，而非被动接受。那如果说数据是重复的或者未更改的呢？那我们去取一次网络数据有什么意义呢？我的解决方案是给每个activity或fragment或每个组件设置一个最大请求间隔，比如一个listview，第一次请求数据时，保存一份到数据库，并记下时间戳，当下次重新初始化时，判断是否超过最大时间间隔(如5分钟)，如果没有，只加载数据库数据，不需要再做网络请求。当然，还有一些隐式的http请求框架会缓存服务器数据，在一定时间内不再请求网络，或者当服务器返回304时将之前缓存的数据直接返回。
反正也说到网络了，那我们也来说说

现在有很多现成HTTP框架供我们使用，我们几乎只用写配置就可以搞定一个url请求，但是这里有很多需要服务端配合的，比如：json数据格式，WebP代替jpg，支持断点续传，多个请求合并成一个，尽量不做重定向，服务器缓存以及负载均衡等。
对客户端本身，除了上述的实现，我们还需要合理的缓存，控制最大请求并发量，及时取消已失效的请求，过滤重复请求，timeout时间设置，请求优先级设置等。
优化可不是一个人的事，实现一个功能简单，但是想优化重构，那是很不容易的事。需要多方面的预判与联调。合理的假设与实践是优化最重要的手段。
说完这些具体的点，我们再来说说一些常识，或者称之为代码规范。

你要知道for loop中不要声明临时变量，不到万不得已不要在里面写try catch。
明白垃圾回收机制，避免频繁GC，内存泄漏，OOM(有机会专门说)
合理使用数据类型，比如StringBuilder代替String，(笔试题最常见的是str+="str"中有几个对象) ，少用枚举enum，少用父类声明(List,Map)
如果你有频繁的new线程，那最好通过线程池去execute它们，减少线程创建开销。
你要知道单例的好处，并正确的使用它。
多用常量，少用显式的"action_key"，并维护一个常量类，别重复声明这些常量。
如果可以，至少要弄懂设计模式中的策略模式，组合模式，装饰模式，工厂模式，观察者模式，这些能帮助你合理的解耦，即使需求频繁变更，你也不用害怕牵一发而动全身。需求变更不可怕，可怕的是没有在写代码之前做合理的设计。
当然还有很多很多，Stay所说的也只是一个大的轮廓，还是需要自己不断的尝试。会开发写代码跟会做产品的区别还是蛮大的，仅仅是态度就能刷死80%的码农了。当你碰到一些需要优化的地方，耐心的去分析，时间的累积会让你成为真正的工程师。
另外优化也没有绝对的完美，每一次优化都是基于当前的环境来做的，要明白沟通是最好的优化，不盲从，不随便，三思而后行。
Android上如何做性能优化的？大概写三年代码就能差不多知道了。

7. 那个redis的lru是仅仅内存中被排除还是包括持久化的也被删除了

首先花一些较少的篇幅介绍Redis的基本安装和使用，然后将深入Redis所支持的数据结构主要讲解Redis底层设计对这些数据结构的支撑，接下来会介绍Redis的主要配置优化事项，最后介绍Redis的集群搭建方式（基于3.X版本）和实施案例。

8. mysql有基于LRU缓冲池，其它辅助缓存如memcached和redis的意义应该就不需要了，还是有其它需要的理由

1、首先明确是不是一定要上缓存，当前架构的瓶颈在哪里，若瓶颈真是数据库操作上，再继续往下看。
2、明确memcached和redis的区别，到底要使用哪个。前者终究是个缓存，不可能永久保存数据（LRU机制），支持分布式，后者除了缓存的同时也支持把数据持久化到磁盘等，redis要自己去实现分布式缓存（貌似最新版本的已集成），自己去实现一致性hash。因为不知道应用场景，不好说一定要用memcache还是redis，说不定用mongodb会更好，比如在存储日志方面。
3、缓存量大但又不常变化的数据，比如评论。
4、思路是对的，清晰明了，读DB前，先读缓存，如果有直接返回，如果没有再读DB，然后写入缓存层并返回。
5、考虑是否需要主从，读写分离，考虑是否分布式部署，考虑是否后续水平伸缩。
6、想要一劳永逸，后续维护和扩展方便，那就将现有的代码架构优化，按你说的替换数据库组件需要改动大量代码，说明当前架构存在问题。可以利用现有的一些框架，比如SpringMVC，将应用层和业务层和数据库层解耦。再上缓存之前把这些做好。
7、把读取缓存等操作做成服务组件，对业务层提供服务，业务层对应用层提供服务。
8、保留原始数据库组件，优化成服务组件，方便后续业务层灵活调用缓存或者是数据库。
9、不建议一次性全量上缓存，最开始不动核心业务，可以将边缘业务先换成缓存组件，一步步换至核心业务。
10、刷新内存，以memcached为例，新增，修改和删除操作，一般采用lazy load的策略，即新增时只写入数据库，并不会马上更新Memcached，而是等到再次读取时才会加载到Memcached中，修改和删除操作也是更新数据库，然后将Memcached中的数据标记为失效，等待下次读取时再加载。
大方向两种方案：
1、脚本同步：自己写脚本将数据库数据写入到redis/memcached。这就涉及到实时数据变更的问题（mysql row binlog的实时分析），binlog增量订阅Alibaba 的canal ，以及缓存层数据丢失/失效后的数据同步恢复问题。
2、业务层实现：先读取nosql缓存层，没有数据再读取mysql层，并写入数据到nosql。nosql层做好多节点分布式（一致性hash），以及节点失效后替代方案（多层hash寻找相邻替代节点），和数据震荡恢复了。

9. Linux上MySQL优化提升性能哪些可以优化的关闭NUMA特性

10. 在Android开发中，有哪些好的内存优化方式

可以考虑使用ArrayMap/SparseArray而不是HashMap等传统数据结构。通常的HashMap的实现方式更加消耗内存，因为它需要一个额外的实例对象来记录Mapping操作。另外，SparseArray更加高效，在于他们避免了对key与value的自动装箱（autoboxing），并且避免了装箱后的解箱。
2. 避免在Android里面使用Enum
Android官方培训课程提到过“Enums often require more than twice as much memory as static constants. You should strictly avoid using enums on Android.”，具体原理请参考《Android性能优化典范（三）》，所以请避免在Android里面使用到枚举。
3. 减小Bitmap对象的内存占用
Bitmap是一个极容易消耗内存的大胖子，减小创建出来的Bitmap的内存占用可谓是重中之重，，通常来说有以下2个措施：
inSampleSize：缩放比例，在把图片载入内存之前，我们需要先计算出一个合适的缩放比例，避免不必要的大图载入。
decode format：解码格式，选择ARGB_8888/RBG_565/ARGB_4444/ALPHA_8，存在很大差异
4.Bitmap对象的复用
缩小Bitmap的同时，也需要提高BitMap对象的复用率，避免频繁创建BitMap对象，复用的方法有以下2个措施
LRUCache : “最近最少使用算法”在Android中有极其普遍的应用。ListView与GridView等显示大量图片的控件里，就是使用LRU的机制来缓存处理好的Bitmap，把近期最少使用的数据从缓存中移除，保留使用最频繁的数据，
inBitMap高级特性:利用inBitmap的高级特性提高Android系统在Bitmap分配与释放执行效率。使用inBitmap属性可以告知Bitmap解码器去尝试使用已经存在的内存区域，新解码的Bitmap会尝试去使用之前那张Bitmap在Heap中所占据的pixel data内存区域，而不是去问内存重新申请一块区域来存放Bitmap。利用这种特性，即使是上千张的图片，也只会仅仅只需要占用屏幕所能够显示的图片数量的内存大小
4. 使用更小的图片
在涉及给到资源图片时，我们需要特别留意这张图片是否存在可以压缩的空间，是否可以使用更小的图片。尽量使用更小的图片不仅可以减少内存的使用，还能避免出现大量的InflationException。假设有一张很大的图片被XML文件直接引用，很有可能在初始化视图时会因为内存不足而发生InflationException，这个问题的根本原因其实是发生了OOM。

5.StringBuilder
在有些时候，代码中会需要使用到大量的字符串拼接的操作，这种时候有必要考虑使用StringBuilder来替代频繁的“+”。
6.避免在onDraw方法里面执行对象的创建
类似onDraw等频繁调用的方法，一定需要注意避免在这里做创建对象的操作，因为他会迅速增加内存的使用，而且很容易引起频繁的gc，甚至是内存抖动。
7. 避免对象的内存泄露
类的静态变量持有大数据对象
静态变量长期维持到大数据对象的引用，阻止垃圾回收。
非静态内部类存在静态实例
非静态内部类会维持一个到外部类实例的引用，如果非静态内部类的实例是静态的，就会间接长期维持着外部类的引用，阻止被回收掉。
资源对象未关闭
资源性对象比如（Cursor，File文件等）往往都用了一些缓冲，我们在不使用的时候，应该及时关闭它们，以便它们的缓冲及时回收内存。它们的缓冲不仅存在于java虚拟机内，还存在于java虚拟机外。如果我们仅仅是把它的引用设置为null,而不关闭它们，往往会造成内存泄露。
解决办法：比如SQLiteCursor（在析构函数finalize（）,如果我们没有关闭它，它自己会调close()关闭），如果我们没有关闭它，系统在回收它时也会关闭它，但是这样的效率太低了。因此对于资源性对象在不使用的时候，应该调用它的close()函数，将其关闭掉，然后才置为null. 在我们的程序退出时一定要确保我们的资源性对象已经关闭。程序中经常会进行查询数据库的操作，但是经常会有使用完毕Cursor后没有关闭的情况。如果我们的查询结果集比较小，对内存的消耗不容易被发现，只有在常时间大量操作的情况下才会复现内存问题，这样就会给以后的测试和问题排查带来困难和风险，记得try catch后，在finally方法中关闭连接
Handler内存泄漏
Handler作为内部类存在于Activity中，但是Handler生命周期与Activity生命周期往往并不是相同的，比如当Handler对象有Message在排队，则无法释放，进而导致本该释放的Acitivity也没有办法进行回收。

阅读全文

lru优化

与lru优化相关的阅读推荐