CPU性能优化的手段-缓存
为了提供程序运行的性能,现代CPU在很多方面对程序进行了优化。
例如CPU高速缓存。尽可能避免处理器访问主内存的时间开销,处理器大多数会利用缓存以提高性能。
CPU缓存分为3级缓存,L1,L2,L3,L1的访问速度最快,然后递减。
如果机器是多核,则每个CPU对应相对的L1,L2, 而L3一般是多核共享一个。
CPU在读取数据时候是按照L1,L2,L3,主内存,外部存储器的顺序查找的。
多个CPU下存在多个高级缓存(L1,L2)的情况下,要写入主内存,以哪个为准?
缓存一致性协议(MESI):
修改态(modified)-此cache行已被修改过(脏行),内容不同于主存,为此cache专有。
专有态(exclusive)-此cache行内容同于主存,但不出现于其他cache中。
共享态(shared)-此cache行内容同于主存,但也出现于其他cache中。
无效态(invalid)-此cache行内容无效。
多处理器时,单个CPU对缓存中的数据做了修改,还要通知其他CPU。也就意味着,CPU处理要控制自己的读写操作,还要监听其他CPU发出的通知,从而保证最终一致。
CPU性能优化手段-运行时指令重排
指令排查的场景: 当CPU写缓存时发现缓存区块正被其他CPU占用,为了提高CPU处理性能,可能将后面的读缓存命令优先执行
指令并非随便重排,需要遵循as-if-serial语义
不管怎么重排序(编译器和处理器为了提高并行度),(单线程)程序的执行结果不能被改变。编译器,runtime和处理器都必须遵守as-if-serial语义
也就是说:编译器和处理器不会对存在数据依赖关系的操作进行重排序。
出现的两个问题:
1.多个CPU的时候,在同一时间点通过高速缓存查看同一个内存地址的数据有可能是不一致的。
虽然遵守MESI协议,但是并不是实时的,所以会出现数据不一致性。
2.指令重排序,遵守as-if-serial协议,这个是相对于是单线程执行不影响执行结果,但是在多线程场景下就会对结果有影响,很可能是乱序执行。
解决方法:
处理器提供了两个内存屏障指令(Memory Barrier)用于解决上述两个问题
写内存屏障(Store Memory Barrier):在指令后插入store barrier,能让写入缓存中的最新数据更新至主内存,让其他线程可见。
强制写入主内存,这种显示调用,CPU就不会因为性能考虑而去对指令重排序了。
读内存屏障(Load Memory Barrier):在指令前插入load barrier,可以让高速缓存的数据失效,强制重新从主内存加载数据。
强制读取主内存的内容,让CPU缓存与主内存保持一致,避免了缓存导致的一致性问题。