Memoria distribuida

En informática , la memoria distribuida se refiere a un sistema informático multiprocesador en el que cada procesador tiene su propia memoria privada . ^{[ 1 ]} Las tareas computacionales solo pueden operar con datos locales, y si se requieren datos remotos, la tarea computacional debe comunicarse con uno o más procesadores remotos. En cambio, un multiprocesador de memoria compartida ofrece un único espacio de memoria utilizado por todos los procesadores. Los procesadores no necesitan saber dónde residen los datos, salvo que esto puede tener consecuencias negativas para el rendimiento y que se deben evitar las condiciones de carrera.

En un sistema de memoria distribuida, normalmente hay un procesador, una memoria y algún tipo de interconexión que permite que los programas de cada procesador interactúen entre sí. La interconexión puede organizarse mediante enlaces punto a punto o bien mediante hardware independiente que proporciona una red de conmutación. La topología de red es un factor clave para determinar cómo escala la máquina multiprocesador . Los enlaces entre nodos pueden implementarse utilizando algún protocolo de red estándar (por ejemplo, Ethernet ), enlaces de red personalizados (utilizados, por ejemplo, en el transputer ) o memorias de doble puerto .

La clave para programar sistemas de memoria distribuida reside en cómo distribuir los datos entre las memorias. Dependiendo del problema a resolver, los datos pueden distribuirse de forma estática o moverse entre los nodos. También pueden moverse bajo demanda o enviarse a los nuevos nodos con antelación.

Por ejemplo, si un problema se puede describir como una secuencia donde los datos x se procesan sucesivamente a través de las funciones f , g , h , etc. (el resultado es h ( g ( f ( x )))), entonces esto se puede expresar como un problema de memoria distribuida donde los datos se transmiten primero al nodo que ejecuta f , que pasa el resultado al segundo nodo que calcula g , y finalmente al tercer nodo que calcula h . Esto también se conoce como computación sistólica .

Los datos pueden almacenarse de forma estática en los nodos si la mayoría de los cálculos se realizan localmente y solo es necesario informar a otros nodos sobre los cambios en las aristas. Un ejemplo de esto es la simulación, donde los datos se modelan mediante una cuadrícula y cada nodo simula una pequeña parte de la cuadrícula principal. En cada iteración, los nodos informan a todos los nodos vecinos sobre los nuevos datos de las aristas.

De manera similar, en la memoria compartida distribuida , cada nodo de un clúster tiene acceso a una gran memoria compartida, además de la memoria privada no compartida limitada de cada nodo.

• La ventaja de la memoria compartida (distribuida) es que ofrece un espacio de direcciones unificado en el que se pueden encontrar todos los datos.
• La ventaja de la memoria distribuida es que excluye las condiciones de carrera y que obliga al programador a pensar en la distribución de los datos.
• La ventaja de la memoria distribuida (compartida) es que resulta más fácil diseñar una máquina que se adapte al algoritmo.

La memoria compartida distribuida oculta el mecanismo de comunicación, pero no la latencia de la misma.

• Virtualización de memoria
• Caché distribuida