caché de la CPU

Los datos se transfieren entre la memoria y la caché en bloques de tamaño fijo, denominados líneas o bloques de caché . Cuando una línea de caché se copia de la memoria a la caché, se crea una entrada de caché. Esta entrada incluirá los datos copiados, así como la ubicación de memoria solicitada (denominada etiqueta).

Cuando el procesador necesita leer o escribir en una ubicación de memoria, primero busca una entrada correspondiente en la caché. La caché busca el contenido de la ubicación solicitada en cualquier línea de caché que pueda contener esa dirección. Si el procesador encuentra la ubicación en la caché, se produce un acierto . Sin embargo, si no la encuentra, se produce un fallo . En caso de acierto, el procesador lee o escribe inmediatamente los datos en la línea de caché. En caso de fallo, la caché asigna una nueva entrada y copia los datos de la memoria principal; luego, la solicitud se satisface con el contenido de la caché.

La medición del rendimiento de la caché se ha vuelto crucial en los últimos tiempos, dado que la diferencia de velocidad entre la memoria y el procesador aumenta exponencialmente. La caché se introdujo para reducir esta diferencia. Por lo tanto, es fundamental conocer la capacidad de la caché para compensar esta brecha, especialmente en sistemas de alto rendimiento. La tasa de aciertos y la tasa de fallos de la caché desempeñan un papel importante en la determinación de este rendimiento. Para mejorar el rendimiento de la caché, reducir la tasa de fallos es uno de los pasos necesarios. Disminuir el tiempo de acceso a la caché también mejora su rendimiento y facilita la optimización.

En esta organización de caché, cada ubicación en la memoria principal puede ir en una sola entrada en la caché. Por lo tanto, una caché de mapeo directo también puede llamarse caché "asociativa de conjunto unidireccional". No tiene una política de ubicación como tal, ya que no hay elección de qué contenido de entrada de caché desalojar. Esto significa que si dos ubicaciones se mapean a la misma entrada, pueden continuamente desplazarse mutuamente. Aunque más simple, una caché de mapeo directo necesita ser mucho más grande que una asociativa para brindar un rendimiento comparable, y es más impredecible. Sea x el número de bloque en la caché, y el número de bloque de memoria y n el número de bloques en la caché, entonces el mapeo se realiza con la ayuda de la ecuación x = y mod n .

Si cada ubicación de la memoria principal puede almacenarse en cualquiera de las dos ubicaciones de la caché, surge la pregunta lógica: ¿ en cuál de las dos? El esquema más simple y común, mostrado en el diagrama de la derecha, consiste en usar los bits menos significativos del índice de la ubicación de memoria como índice para la memoria caché, y tener dos entradas para cada índice. Una ventaja de este esquema es que las etiquetas almacenadas en la caché no tienen que incluir la parte de la dirección de la memoria principal que se deduce del índice de la memoria caché. Dado que las etiquetas de la caché tienen menos bits, requieren menos transistores, ocupan menos espacio en la placa de circuito del procesador o en el chip del microprocesador, y se pueden leer y comparar más rápidamente. Además, el algoritmo LRU es especialmente simple, ya que solo se necesita almacenar un bit para cada par.

Una de las ventajas de una caché de mapeo directo es que permite una especulación sencilla y rápida . Una vez calculada la dirección, se conoce el índice de caché que podría contener una copia de esa ubicación en memoria. Se puede leer esa entrada de caché y el procesador puede seguir trabajando con esos datos antes de finalizar la comprobación de que la etiqueta coincide con la dirección solicitada.

La idea de que el procesador utilice los datos almacenados en caché antes de que se complete la coincidencia de etiquetas también se puede aplicar a las cachés asociativas. Un subconjunto de la etiqueta, denominado pista , se puede usar para seleccionar solo una de las posibles entradas de caché que se corresponden con la dirección solicitada. La entrada seleccionada por la pista se puede usar en paralelo con la comprobación de la etiqueta completa. La técnica de la pista funciona mejor en el contexto de la traducción de direcciones, como se explica a continuación.

Se han sugerido otros esquemas, como la caché sesgada , ^{[ 15 ]} donde el índice para la vía 0 es directo, como se indicó anteriormente, pero el índice para la vía 1 se forma con una función hash . Una buena función hash tiene la propiedad de que las direcciones que entran en conflicto con el mapeo directo tienden a no entrar en conflicto cuando se mapean con la función hash, por lo que es menos probable que un programa sufra una cantidad inesperadamente grande de fallos de conflicto debido a un patrón de acceso patológico. La desventaja es la latencia adicional derivada del cálculo de la función hash. ^{[ 16 ]} Además, cuando llega el momento de cargar una nueva línea y desalojar una antigua, puede ser difícil determinar qué línea existente fue la menos utilizada recientemente, porque la nueva línea entra en conflicto con datos en diferentes índices en cada vía; el seguimiento LRU para cachés no sesgadas generalmente se realiza por conjunto. Sin embargo, las cachés asociativas sesgadas tienen ventajas importantes sobre las asociativas de conjuntos convencionales. ^{[ 17 ]}

Una caché asociativa verdadera prueba todas las posibles combinaciones simultáneamente, utilizando algo similar a una memoria direccionable por contenido . Una caché pseudoasociativa prueba cada combinación posible de forma individual. Una caché hash-rehash y una caché asociativa por columnas son ejemplos de una caché pseudoasociativa.

En el caso común de encontrar un acierto en la primera forma probada, una caché pseudoasociativa es tan rápida como una caché de mapeo directo, pero tiene una tasa de fallos por conflicto mucho menor que una caché de mapeo directo, más cercana a la tasa de fallos de una caché totalmente asociativa. ^{[ 16 ]}

En comparación con una caché de mapeo directo, una caché asociativa de conjuntos tiene un número reducido de bits para su índice de conjunto de caché que se mapea a un conjunto de caché, donde permanecen múltiples vías o bloques, como 2 bloques para una caché asociativa de conjuntos de 2 vías y 4 bloques para una caché asociativa de conjuntos de 4 vías. En comparación con una caché de mapeo directo, los bits de índice de caché no utilizados pasan a formar parte de los bits de etiqueta. Por ejemplo, una caché asociativa de conjuntos de 2 vías contribuye con 1 bit a la etiqueta y una caché asociativa de conjuntos de 4 vías contribuye con 2 bits a la etiqueta. La idea básica de la caché de múltiples columnas ^{[ 18 ]} es usar el índice de conjunto para mapear a un conjunto de caché como lo hace una caché asociativa de conjuntos convencional, y usar los bits de etiqueta añadidos para indexar una vía en el conjunto. Por ejemplo, en una caché asociativa de conjuntos de 4 vías, los dos bits se usan para indexar la vía 00, la vía 01, la vía 10 y la vía 11, respectivamente. Esta doble indexación de caché se denomina "mapeo de ubicación principal" y su latencia es equivalente a un acceso de mapeo directo. Experimentos exhaustivos en el diseño de caché de múltiples columnas ^{[ 18 ]} muestran que la tasa de aciertos en las ubicaciones principales alcanza el 90%. Si el mapeo de caché entra en conflicto con un bloque de caché en la ubicación principal, el bloque existente se moverá a otra ruta de caché en el mismo conjunto, denominada "ubicación seleccionada". Dado que el bloque de caché recién indexado es el más usado recientemente (MRU), se coloca en la ubicación principal en la caché de múltiples columnas, considerando la localidad temporal. Como la caché de múltiples columnas está diseñada para una caché con alta asociatividad, el número de rutas en cada conjunto es elevado; por lo tanto, es fácil encontrar una ubicación seleccionada en el conjunto. Se mantiene un índice de ubicación seleccionada mediante hardware adicional para la ubicación principal en un bloque de caché.

La caché de múltiples columnas mantiene una alta tasa de aciertos debido a su alta asociatividad y tiene una latencia baja comparable a la de una caché de mapeo directo debido a su alto porcentaje de aciertos en ubicaciones principales. Los conceptos de ubicaciones principales y ubicaciones seleccionadas en la caché de múltiples columnas se han utilizado en varios diseños de caché en el chip ARM Cortex R, ^{[ 19 ]} la memoria caché predictiva de vías de Intel, ^{[ 20 ]} la memoria caché asociativa multi-vía reconfigurable de IBM ^{[ 21 ]} y la selección de vías de reemplazo de caché dinámica de Oracle basada en bits de tabulación de direcciones. ^{[ 22 ]}

El procesador Pentium 4 original tenía una caché de datos L1 asociativa de cuatro vías de 8 KiB , con bloques de caché de 64 bytes. Por lo tanto, hay 8 KiB / 64 = 128 bloques de caché. El número de conjuntos es igual al número de bloques de caché dividido por el número de vías de asociatividad, lo que da como resultado 128 / 4 = 32 conjuntos, y por lo tanto 2⁵ ⁼ 32 índices diferentes. Hay ^2⁶ = 64 desplazamientos posibles. Dado que la dirección de la CPU tiene 32 bits de ancho, esto implica 32 − 5 − 6 = 21 bits para el campo de etiqueta.                    

El procesador Pentium 4 original  también tenía una caché L2 integrada asociativa de ocho vías de 256  KiB de tamaño, con bloques de caché de 128 bytes. Esto implica 32 − 8 − 7 = 17 bits para el campo de etiqueta. ^{[ 25 ]}      

Una caché de instrucciones requiere solo un bit de indicador por cada entrada de fila de caché: un bit de validez. Este bit indica si un bloque de caché se ha cargado con datos válidos o no.

Al encenderse, el hardware establece todos los bits válidos en todas las cachés como "inválidos". Algunos sistemas también establecen un bit válido como "inválido" en otros momentos, como cuando el hardware de inspección de bus multi-maestro en la caché de un procesador detecta una transmisión de dirección de otro procesador y se da cuenta de que ciertos bloques de datos en la caché local están obsoletos y deben marcarse como inválidos.

Normalmente, una caché de datos requiere dos bits de indicador por línea de caché : un bit de validez y un bit de modificación . Si el bit de modificación está activado, significa que la línea de caché asociada ha cambiado desde que se leyó de la memoria principal ("modificada"), lo que implica que el procesador ha escrito datos en esa línea y el nuevo valor aún no se ha propagado completamente a la memoria principal. 

Una caché que se basa en la indexación y el etiquetado virtuales se vuelve inconsistente cuando la misma dirección virtual se asigna a diferentes direcciones físicas ( homónimos ), lo cual se puede solucionar utilizando la dirección física para el etiquetado o almacenando el identificador del espacio de direcciones en la línea de caché. Sin embargo, este último enfoque no resuelve el problema de los sinónimos , en el que varias líneas de caché terminan almacenando datos para la misma dirección física. Escribir en dichas ubicaciones puede actualizar solo una ubicación en la caché, dejando las demás con datos inconsistentes. Este problema se puede solucionar utilizando diseños de memoria que no se superpongan para diferentes espacios de direcciones, o bien, vaciando la caché (o parte de ella) cuando cambia la asignación. ^{[ 34 ]}

La gran ventaja de las etiquetas virtuales es que, para las cachés asociativas, permiten que la coincidencia de etiquetas se realice antes de que se complete la traducción de virtual a física. Sin embargo, las sondas de coherencia y las desalojas presentan una dirección física para su procesamiento. El hardware debe contar con algún mecanismo para convertir las direcciones físicas en un índice de caché, generalmente almacenando tanto etiquetas físicas como virtuales. En comparación, una caché con etiquetas físicas no necesita conservar etiquetas virtuales, lo que resulta más sencillo. Cuando se elimina una asignación de virtual a física de la TLB, las entradas de caché con esas direcciones virtuales deberán vaciarse de alguna manera. Alternativamente, si se permiten entradas de caché en páginas no mapeadas por la TLB, dichas entradas deberán vaciarse cuando se modifiquen los derechos de acceso a esas páginas en la tabla de páginas.

El sistema operativo también puede garantizar que no haya alias virtuales residiendo simultáneamente en la caché. Para ello, aplica la coloración de páginas, que se describe a continuación. Algunos procesadores RISC antiguos (SPARC, RS/6000) utilizaban este método. Sin embargo, su uso ha disminuido recientemente, dado que la complejidad del hardware para detectar y eliminar alias virtuales ha aumentado, mientras que la complejidad del software y la penalización en el rendimiento que implica una coloración de páginas perfecta han aumentado.

Puede resultar útil distinguir las dos funciones de las etiquetas en una caché asociativa: se utilizan para determinar qué entrada del conjunto seleccionar y para determinar si la caché acertó o no. La segunda función siempre debe ser correcta, pero es admisible que la primera intente adivinar y, ocasionalmente, obtenga una respuesta incorrecta.

Algunos procesadores (por ejemplo, los primeros SPARC) cuentan con cachés con etiquetas virtuales y físicas. Las etiquetas virtuales se utilizan para la selección de la ruta, y las físicas para determinar si se ha producido un acierto o un fallo. Este tipo de caché ofrece la ventaja de latencia de una caché con etiquetas virtuales y la interfaz de software sencilla de una caché con etiquetas físicas. Sin embargo, conlleva el inconveniente de las etiquetas duplicadas. Además, durante el procesamiento de fallos, es necesario comprobar las rutas alternativas de la línea de caché indexada en busca de alias virtuales y eliminar cualquier coincidencia.

El área adicional (y cierta latencia) se puede mitigar manteniendo sugerencias virtuales con cada entrada de caché en lugar de etiquetas virtuales. Estas sugerencias son un subconjunto o hash de la etiqueta virtual y se utilizan para seleccionar la ruta de la caché desde la que obtener los datos y una etiqueta física. Al igual que en una caché con etiquetas virtuales, puede haber una coincidencia de sugerencia virtual pero una discrepancia de etiqueta física; en ese caso, la entrada de caché con la sugerencia coincidente debe eliminarse para que los accesos a la caché posteriores al llenado en esa dirección tengan solo una coincidencia de sugerencia. Dado que las sugerencias virtuales tienen menos bits que las etiquetas virtuales para distinguirlas entre sí, una caché con sugerencias virtuales sufre más fallos de conflicto que una caché con etiquetas virtuales.

Quizás la máxima reducción de sugerencias virtuales se encuentre en el Pentium  4 (núcleos Willamette y Northwood). En estos procesadores, la sugerencia virtual es de dos bits y la caché es asociativa de cuatro vías. En la práctica, el hardware mantiene una permutación simple entre la dirección virtual y el índice de caché, de modo que no se necesita memoria direccionable por contenido (CAM) para seleccionar la opción correcta entre las cuatro disponibles.

Las cachés indexadas físicamente de gran tamaño (generalmente cachés secundarias) presentan un problema: el sistema operativo, y no la aplicación, controla qué páginas colisionan entre sí en la caché. Las diferencias en la asignación de páginas entre distintas ejecuciones del programa generan variaciones en los patrones de colisión de la caché, lo que puede provocar grandes diferencias en el rendimiento del programa. Estas diferencias pueden dificultar enormemente la obtención de una medición de tiempo consistente y repetible en una prueba de rendimiento.

Para comprender el problema, consideremos una CPU con una  caché de nivel 2 de mapeo directo e indexada físicamente de 1 MiB y  páginas de memoria virtual de 4 KiB. Las páginas físicas se asignan secuencialmente a ubicaciones secuenciales en la caché hasta que, después de 256 páginas, el patrón se repite. Podemos etiquetar cada página física con un color del 0 al 255 para indicar su ubicación en la caché. Las ubicaciones dentro de las páginas físicas con colores diferentes no pueden entrar en conflicto en la caché.

Los programadores que buscan aprovechar al máximo la caché pueden organizar los patrones de acceso de sus programas de manera que solo  se necesite almacenar en caché 1 MiB de datos en un momento dado, evitando así fallos de capacidad. Sin embargo, también deben asegurarse de que los patrones de acceso no presenten conflictos. Una forma de abordar este problema es dividir las páginas virtuales que utiliza el programa y asignarles colores virtuales, del mismo modo que antes se asignaban colores físicos a las páginas físicas. De esta manera, los programadores pueden organizar los patrones de acceso de su código para que no se utilicen simultáneamente dos páginas con el mismo color virtual. Existe una amplia bibliografía sobre este tipo de optimizaciones (por ejemplo, la optimización de anidamiento de bucles ), proveniente principalmente de la comunidad de computación de alto rendimiento (HPC) .

El problema radica en que, si bien todas las páginas en uso en un momento dado pueden tener colores virtuales diferentes, algunas pueden tener los mismos colores físicos. De hecho, si el sistema operativo asigna páginas físicas a páginas virtuales de forma aleatoria y uniforme, es extremadamente probable que algunas páginas tengan el mismo color físico, y entonces las ubicaciones de esas páginas colisionarán en la caché (esta es la paradoja del cumpleaños ).

La solución consiste en que el sistema operativo intente asignar diferentes colores físicos a diferentes colores virtuales en las páginas, una técnica denominada coloración de página . Si bien la correspondencia real entre el color virtual y el físico es irrelevante para el rendimiento del sistema, las correspondencias extrañas son difíciles de controlar y ofrecen pocos beneficios, por lo que la mayoría de los métodos de coloración de página simplemente intentan mantener iguales los colores físicos y virtuales.

Si el sistema operativo garantiza que cada página física se asigna a un único color virtual, no existen alias virtuales y el procesador puede utilizar cachés indexadas virtualmente sin necesidad de sondeos adicionales de alias virtuales durante el manejo de errores. Como alternativa, el sistema operativo puede vaciar la caché de una página cada vez que cambia de un color virtual a otro. Como se mencionó anteriormente, este enfoque se utilizó en algunos diseños iniciales de SPARC y RS/6000.

La técnica de coloración de páginas de software se ha utilizado para particionar eficazmente la caché de último nivel (LLC) compartida en procesadores multinúcleo. ^{[ 35 ]} Intel ha adoptado esta gestión de LLC basada en el sistema operativo en procesadores multinúcleo. ^{[ 36 ]}

Las CPU segmentadas acceden a la memoria desde múltiples puntos de la segmentación : búsqueda de instrucciones, traducción de direcciones virtuales a físicas y búsqueda de datos (véase la segmentación RISC clásica ). El diseño natural consiste en utilizar distintas cachés físicas para cada uno de estos puntos, de modo que ningún recurso físico tenga que ser asignado a dos puntos de la segmentación. Por lo tanto, la segmentación termina teniendo al menos tres cachés separadas (de instrucciones, TLB y de datos), cada una especializada en su función particular.

Otro problema radica en la disyuntiva fundamental entre la latencia de la caché y la tasa de aciertos. Las cachés más grandes ofrecen mejores tasas de aciertos, pero mayor latencia. Para solucionar este problema, muchos ordenadores utilizan múltiples niveles de caché, con cachés pequeñas y rápidas respaldadas por cachés más grandes y lentas. Generalmente, las cachés multinivel funcionan comprobando primero la caché más rápida pero más pequeña, la de nivel 1 ( L1 ); si encuentra el resultado, el procesador continúa a alta velocidad. Si no encuentra el resultado, se comprueba la caché de nivel 2 ( L2 ), más lenta pero de mayor tamaño , y así sucesivamente, antes de acceder a la memoria externa.

A medida que la diferencia de latencia entre la memoria principal y la caché más rápida se ha vuelto mayor, algunos procesadores han comenzado a utilizar hasta tres niveles de caché en el chip. Los diseños sensibles al precio usaron esto para llevar toda la jerarquía de caché al chip, pero en la década de 2010 algunos de los diseños de más alto rendimiento volvieron a tener grandes cachés fuera del chip, que a menudo se implementan en eDRAM y se montan en un módulo multichip , como un cuarto nivel de caché. En casos raros, como en la CPU de mainframe IBM z15 (2019), todos los niveles hasta L1 están implementados por eDRAM, reemplazando por completo a SRAM (para caché, SRAM todavía se usa para registros ). La serie de silicio de Apple basada en ARM , comenzando con el A14 y M1 , tiene una caché L1i de 192 KiB para cada uno de los núcleos de alto rendimiento, una cantidad inusualmente grande; sin embargo, los núcleos de alta eficiencia solo tienen 128 KiB. Desde entonces, otros procesadores como Lunar Lake de Intel y Oryon de Qualcomm también han implementado tamaños de caché L1i similares.  

Las ventajas de las cachés L3 y L4 dependen de los patrones de acceso de la aplicación. Algunos ejemplos de productos que incorporan cachés L3 y L4 son los siguientes:

• El Alpha 21164 (1995) tenía  una caché L3 externa de 1 a 64 MiB.
• El procesador AMD K6-III (1999) tenía una caché L3 integrada en la placa base.
• El IBM POWER4 (2001) disponía de cachés L3 externas de 32  MiB por procesador, compartidas entre varios procesadores.
• El Itanium 2 (2003) tenía una caché unificada  de nivel 3 (L3) de 6 MiB integrada en el chip; el módulo MX 2 del Itanium 2 (2003) incorporaba dos procesadores Itanium 2 junto con una caché L4 compartida de 64 MiB en un módulo multichip que era compatible a nivel de pines con un procesador Madison.   
• El producto Xeon MP de Intel, cuyo nombre en clave era "Tulsa" (2006), cuenta con 16  MiB de caché L3 integrada, compartida entre dos núcleos del procesador.
• AMD Phenom (2007) con 2  MiB de caché L3.
• El AMD Phenom II (2008) cuenta con hasta 6  MiB de caché L3 unificada integrada en el chip.
• El procesador Intel Core i7 (2008) cuenta con una  caché L3 unificada integrada de 8 MiB que es inclusiva y compartida por todos los núcleos.
• Las CPU Intel Haswell con gráficos integrados Intel Iris Pro tienen 128  MiB de eDRAM que actúan esencialmente como una caché L4. ^{[ 52 ]}

Finalmente, en el otro extremo de la jerarquía de memoria, el archivo de registros de la CPU puede considerarse la caché más pequeña y rápida del sistema, con la particularidad de que su programación se realiza mediante software, normalmente por un compilador, que asigna registros para almacenar valores recuperados de la memoria principal, por ejemplo, para la optimización de bucles anidados . Sin embargo, gracias al cambio de nombre de registros , la mayoría de las asignaciones de registros del compilador se reasignan dinámicamente por hardware en tiempo de ejecución a un banco de registros, lo que permite a la CPU romper dependencias de datos falsas y, por lo tanto, mitigar los riesgos de la segmentación.

Los archivos de registro a veces también tienen jerarquía: la Cray-1 (alrededor de 1976) tenía ocho registros de direcciones "A" y ocho registros de datos escalares "S" que generalmente eran utilizables. También había un conjunto de 64 registros de direcciones "B" y 64 registros de datos escalares "T" cuyo acceso era más lento, pero más rápido que la memoria principal. Los registros "B" y "T" se incluyeron porque la Cray-1 no tenía caché de datos. (Sin embargo, la Cray-1 sí tenía caché de instrucciones).

La memoria de acceso rápido (SPM, por sus siglas en inglés), también conocida como memoria de acceso rápido, RAM de acceso rápido o almacenamiento local en la terminología informática, es una memoria interna de alta velocidad que se utiliza para el almacenamiento temporal de cálculos, datos y otros trabajos en curso.

Para ilustrar tanto la especialización como el almacenamiento en caché multinivel, aquí está la jerarquía de caché del núcleo K8 en la CPU AMD Athlon 64. ^{[ 60 ]}

El K8 tiene cuatro cachés especializadas: una caché de instrucciones, una TLB de instrucciones , una TLB de datos y una caché de datos. Cada una de estas cachés está especializada:

• La caché de instrucciones guarda copias de líneas de memoria de 64 bytes y recupera 16 bytes en cada ciclo. Cada byte en esta caché se almacena en diez bits en lugar de ocho, y los bits adicionales marcan los límites de las instrucciones (esto es un ejemplo de predecodificación). La caché solo cuenta con protección de paridad en lugar de ECC , ya que la paridad es menor y cualquier dato dañado puede reemplazarse con datos nuevos recuperados de la memoria (que siempre tiene una copia actualizada de las instrucciones).
• La TLB de instrucciones almacena copias de las entradas de la tabla de páginas (PTE). La dirección virtual de cada instrucción, traducida a una dirección física a través de esta TLB, se encuentra en memoria en cuatro u ocho bytes. Debido a que el procesador K8 tiene un tamaño de página variable, cada TLB se divide en dos secciones: una para almacenar PTE que asignan  páginas de 4 KiB y otra para almacenar PTE que asignan páginas de 4  MiB o 2  MiB. Esta división simplifica el circuito de coincidencia totalmente asociativo en cada sección. El sistema operativo asigna diferentes secciones del espacio de direcciones virtuales con PTE de distinto tamaño.
• La TLB de datos tiene dos copias que almacenan entradas idénticas. Estas dos copias permiten dos accesos a datos por ciclo para traducir direcciones virtuales a direcciones físicas. Al igual que la TLB de instrucciones, esta TLB se divide en dos tipos de entradas.
• La caché de datos almacena copias de líneas de memoria de 64 bytes. Está dividida en 8 bancos (cada uno con capacidad para 8  KiB de datos) y puede recuperar dos datos de 8 bytes por ciclo, siempre que se encuentren en bancos diferentes. Existen dos copias de las etiquetas, ya que cada línea de 64 bytes se distribuye entre los ocho bancos. Cada copia de la etiqueta gestiona uno de los dos accesos por ciclo.

El K8 también cuenta con cachés de varios niveles. Dispone de TLB de instrucciones y datos de segundo nivel, que almacenan únicamente PTE que mapean 4  KiB. Tanto las cachés de instrucciones y datos como las distintas TLB pueden llenarse desde la gran caché L2 unificada . Esta caché es exclusiva de las cachés L1 de instrucciones y datos, lo que significa que cualquier línea de 8 bytes solo puede estar en una de ellas: la caché de instrucciones L1, la caché de datos L1 o la caché L2. Sin embargo, es posible que una línea en la caché de datos tenga un PTE que también se encuentre en una de las TLB; el sistema operativo se encarga de mantener la coherencia de las TLB vaciando partes de ellas cuando se actualizan las tablas de páginas en memoria.

El K8 también almacena en caché información que nunca se guarda en la memoria: información de predicción. Estas cachés no se muestran en el diagrama anterior. Como es habitual en este tipo de CPU, el K8 cuenta con una predicción de bifurcaciones bastante compleja , con tablas que ayudan a predecir si se toman las bifurcaciones y otras que predicen los destinos de las bifurcaciones y los saltos. Parte de esta información está asociada a las instrucciones, tanto en la caché de instrucciones de nivel 1 como en la caché secundaria unificada.

El K8 utiliza un ingenioso método para almacenar información de predicción junto con las instrucciones en la caché secundaria. Las líneas de la caché secundaria están protegidas contra la corrupción accidental de datos (por ejemplo, por el impacto de una partícula alfa ) mediante ECC o paridad , según si dichas líneas fueron expulsadas de las cachés primarias de datos o de instrucciones. Dado que el código de paridad requiere menos bits que el código ECC, las líneas de la caché de instrucciones disponen de algunos bits libres. Estos bits se utilizan para almacenar en caché la información de predicción de bifurcaciones asociada a dichas instrucciones. El resultado es que el predictor de bifurcaciones dispone de una tabla de historial efectiva mayor y, por lo tanto, ofrece una mayor precisión.

Otros procesadores tienen otros tipos de predictores (por ejemplo, el predictor de derivación de almacenamiento a carga en el DEC Alpha 21264 ).

Estos predictores funcionan como cachés, ya que almacenan información cuyo cálculo es costoso. Parte de la terminología utilizada al hablar de predictores es la misma que la de las cachés (se habla de un acierto en un predictor de bifurcación), pero generalmente no se considera que los predictores formen parte de la jerarquía de cachés.

El K8 mantiene la coherencia de las cachés de instrucciones y datos a nivel de hardware, lo que significa que una instrucción que se almacena inmediatamente después de la instrucción de almacenamiento modificará dicha instrucción. Otros procesadores, como los de las familias Alpha y MIPS, han dependido del software para mantener la coherencia de la caché de instrucciones. No se garantiza que las instrucciones de almacenamiento aparezcan en el flujo de instrucciones hasta que un programa llame a una función del sistema operativo para asegurar la coherencia.

En ingeniería informática, una etiqueta RAM se utiliza para especificar cuál de las posibles ubicaciones de memoria está actualmente almacenada en una caché de CPU. ^{[ 61 ] [ 62 ]} Para un diseño simple de mapeo directo, se puede utilizar SRAM rápida. Las cachés asociativas superiores suelen emplear memoria direccionable por contenido .

La historia temprana de la tecnología de caché está estrechamente ligada a la invención y el uso de la memoria virtual. Debido a la escasez y el costo de las memorias semiconductoras, las primeras computadoras centrales de la década de 1960 utilizaban una jerarquía compleja de memoria física, mapeada en un espacio de memoria virtual plano utilizado por los programas. Las tecnologías de memoria abarcaban semiconductores, núcleos magnéticos, tambores y discos. La memoria virtual vista y utilizada por los programas era plana, y el almacenamiento en caché se utilizaba para obtener datos e instrucciones en la memoria más rápida antes del acceso del procesador. Se realizaron estudios exhaustivos para optimizar los tamaños de caché. Se descubrió que los valores óptimos dependían en gran medida del lenguaje de programación utilizado: Algol requería el tamaño de caché más pequeño, mientras que Fortran y Cobol requerían el más grande.

En los inicios de la tecnología de microcomputadoras, el acceso a la memoria era solo ligeramente más lento que el acceso a los registros . Pero desde la década de 1980 ^{[ 63 ]} la brecha de rendimiento entre el procesador y la memoria ha ido en aumento. Los microprocesadores han avanzado mucho más rápido que la memoria, especialmente en términos de su frecuencia de operación , por lo que la memoria se convirtió en un cuello de botella de rendimiento. Si bien era técnicamente posible tener toda la memoria principal tan rápida como la CPU, se ha optado por una vía más viable económicamente: usar mucha memoria de baja velocidad, pero también introducir una pequeña memoria caché de alta velocidad para mitigar la brecha de rendimiento. Esto proporcionó un orden de magnitud más de capacidad —por el mismo precio— con solo una ligera reducción del rendimiento combinado.

En microprocesadores x86

Cuando los microprocesadores x86 alcanzaron frecuencias de reloj de 20  MHz o más en el 386 , se empezó a incorporar una pequeña cantidad de memoria caché rápida en los sistemas para mejorar el rendimiento. Esto se debía a que la DRAM utilizada para la memoria principal tenía una latencia significativa, de hasta 120  ns, así como ciclos de actualización. La caché se construyó con celdas de memoria SRAM , más caras pero mucho más rápidas , que en aquel entonces tenían latencias de entre 10 y 25 ns. Las primeras cachés eran externas al procesador y normalmente se ubicaban en la placa base en forma de ocho o nueve dispositivos DIP colocados en zócalos para habilitar la caché como una característica opcional o de actualización. 

Algunas versiones del procesador Intel 386 podían admitir entre 16 y 256  KiB de caché externa.

Con el procesador 486  , se integró una caché de 8 KiB directamente en el chip de la CPU. Esta caché se denominó caché de nivel 1 o L1 para diferenciarla de la caché de nivel 2 (L2) en la placa base, que era más lenta. Estas cachés en la placa base eran mucho más grandes, siendo el tamaño más común de 256  KiB. Algunas placas base contenían zócalos para la tarjeta hija Intel 485 Turbocache , que tenía 64 o 128 Kbytes de memoria caché. ^{[ 68 ] [ 69 ]} La popularidad de la caché en la placa base continuó durante la era del Pentium MMX , pero quedó obsoleta con la introducción de la SDRAM y la creciente disparidad entre las frecuencias de reloj del bus y las de la CPU, lo que provocó que la caché en la placa base fuera solo ligeramente más rápida que la memoria principal.

El siguiente avance en la implementación de la caché en los microprocesadores x86 comenzó con el Pentium Pro , que integró la caché secundaria en el mismo encapsulado que el microprocesador, funcionando a la misma frecuencia que este.

Las cachés integradas en la placa base gozaron de gran popularidad gracias a los procesadores AMD K6-2 y AMD K6-III , que aún utilizaban el Socket 7 , empleado anteriormente por Intel con cachés integradas. El K6-III incluía  una caché L2 integrada de 256 KiB y aprovechaba la caché integrada como caché de tercer nivel, denominada L3 (  se fabricaron placas base con hasta 2 MiB de caché integrada). Tras la  obsolescencia del Socket 7, las cachés integradas en la placa base desaparecieron de los sistemas x86.

Las cachés de tres niveles se volvieron a utilizar por primera vez con la introducción del Intel Xeon MP "Foster Core" ^{[ 70 ]} , donde la caché L3 se añadió al chip de la CPU. Se hizo común que el tamaño total de la caché fuera cada vez mayor en las nuevas generaciones de procesadores, y recientemente (a partir de 2011) no es raro encontrar tamaños de caché de nivel 3 de decenas de megabytes. ^{[ 71 ]}

Intel introdujo una caché de nivel 4 en el paquete con la microarquitectura Haswell . Las CPU Crystalwell ^{[ 38 ]} Haswell, equipadas con la variante GT3e de los gráficos integrados Iris Pro de Intel, cuentan efectivamente con 128 MiB de DRAM integrada ( eDRAM ) en el mismo paquete. Esta caché L4 se comparte dinámicamente entre la GPU en el chip y la CPU, y sirve como caché víctima para la caché L3 de la CPU. ^{[ 39 ]} 

Una caché multipuerto es aquella que puede atender varias solicitudes simultáneamente. Al acceder a una caché tradicional, normalmente se utiliza una única dirección de memoria, mientras que en una caché multipuerto se pueden solicitar N direcciones a la vez , donde N es el número de puertos conectados entre el procesador y la caché. La ventaja de esto es que un procesador segmentado puede acceder a la memoria desde diferentes fases de su segmentación. Otra ventaja es que permite el concepto de procesadores superescalares mediante distintos niveles de caché.