1.2.1 并行计算和并发计算

并发计算是将一个大任务分解成许多小任务分发到各个计算节点去计算。并行计算也是将许多小任务分发到各个计算单元运行，不同的是这些任务在运行期间需要同步通信和数据交互，通信密度和数据量都很大。这些通信可以通过共享内存来实现（后来把这种共享拓展到计算节点间，通过连接的高速网络来实现）。所以，并行计算可以看作分布式计算的一种紧密耦合形式，并发计算可以看作分布式计算的松散耦合形式。

并发计算和并行计算的概念落实到具体的计算机体系结构，就有了并行系统和并发系统。

❑在并行系统中，所有处理器通过访问共享内存实现在共享内存间交换信息。

❑在并发系统中，每个处理器都有自己的私有内存（分布式内存），通过在处理器之间的消息传递来交换信息。

图1.4说明了并发系统和并行系统的区别。图1.4a是典型的并发系统的网络拓扑结构，其中每个节点是一台计算机，连接这些节点的每一条线是一条通信链路。图1.4b为同构分布式系统，其中每台计算机都有自己的本地存储器，通过使用通信链路将消息从一个节点传递到另一个节点，从而进行信息交换。图1.4c显示了一个并行系统，其中每个处理器都可以直接访问共享内存。

图1.4 并发系统和并行系统