第３１卷第１期 ２０１４年１月 计算机应用与软件 Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ Ｖｏ１．３１ Ｎｏ．１ Ｊａｎ．２０１４ 三维声波方程正演多级异构并行算法设计与实现 何 香 周明忠 刘 鑫 （江南计算技术研究所江苏无锡２１４０８３） 摘要 在石油勘探过程中，地震波正演为反演方法提供理论基础及理论数据，能测试反演方法的有效性，在整个反射地震学中 占有很重要的地位。通过对三维声波方程正演算法的分析，结合某众核平台的特性，完成了该算法两级ＭＰＩ并行＋众核级并行的 设计，并进行了相关优化。实验结果表明，三维声波方程正演多级异构并行算法在该平台具有较好的众核并行加速效果和良好的 ＭＰＩ扩展性能。 关键词 中图分类号三维声波方程 多级异构并行ＴＦ３０ 文献标识码优化 Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００—３８６ｘ．２０１４．０１．０７１ ． ＤＥＳＩＧＮ ＡＮＤ ＩＭＰＬＥＭＥＮＴＡＴＩｏＮ ＯＦ ＭＵＬＴＩ．ＬＥＶＥＬ ＨＥＴＥＲＯＧＥＮＥｏＵＳ ＰＡＲＡＬＬＥＬ ＡＬＧｏＲＩＴＨＭ ｏＦ ３Ｄ ＡＣｏＵＳＴＩＣ ＷＡＶＥ ＥＱＵＡＴＩｏＮ ＦｏＲＷＡＲＤＥＤ Ｈｅ Ｘｉａｎｇ Ｚｈｏｕ Ｍｉｎｇｚｈｏｎｇ Ｌｉｕ Ｘｉｎ （Ｊｉａｎｇｎａｎ Ｉｎｓｔｉｔｕｔｅ ｏｆＣｏｍｐｕｔｅｒ Ｔｅｃｈｎｏｌｏｇｙ，Ｗｕｘｉ ２１４０８３，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｓｅｉｓｍｉｃ ｗａｖｅ ｆｏｒｗａｒｄ ｐｒｏｖｉｄｅｓ ｔｈｅｏｒｙ ｂａｓｉｓ ａｎｄ ｔｈｅｏｒｅｔｉｃａｌ ｄａｔａ ｆｏｒ ｉｎｖｅｒｓｉｏｎ ｍｅｔｈｏｄ ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｏｉｌ ｅｘｐｌｏｒａｔｉｏｎ，ａｎｄ ｃａｎ ｔｅｓｔ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｉｎｖｅｒｓｉｏｎ ｍｅｔｈｏｄ，ｉｔ ｉｓ ｖｅｒｙ ｉｍｐｏｒｔａｎｔ ｔｏ ｒｅｆｌｅｃｔｉｏｎ ｓｅｉｓｍｏｌｏｇｙ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｗｅ ｃｏｍｐｌｅｔｅ ｔｈｅ ｄｅｓｉｇｎ ｏｆ ２－ｌｅｖｅｌ ＭＰＩ ｐａｒａｌｌｅｌ ａｎｄ ｍｕｌｔｉ—ｃｏｒｅ ｔｈｒｅａｄ ｐａｒａｌｌｅｌ ｏｆ ３Ｄ ａｃｏｕｓｔｉｃ ｗａｖｅ ｅｑｕａｔｉｏｎ ｆｏｒｗａｒｄ ａｌｇｏｒｉｔｈｍ ｔｈｒｏｕｇｈ ａｎａｌｙｓｉｎｇ ｉｔ ａｎｄ ｉｎ ｃｏｍｂｉｎａｔｉｏｎ ｗｉｔｈ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ａ ｍｕｌｔｉ－ｃｏｒｅ ｐｌａｔｆｏｒｍ，ａｎｄ ｍａｋｅ ｔｈｅ ｃｏｒｒｅｌａｔｅｄ ｏｐｔｉｍｉｓａｔｉｏｎ ａｓ ｗｅｌ１．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｍｕｌｔｉ－ｌｅｖｅｌ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｐａｒａｌｌｅｌ ｍｅｔｈｏｄ ｏｆ ３Ｄ ａｃｏｕｓｔｉｃ ｗａｖｅ ｅｑｕａｔｉｏｎ ｆｏｒｗａｒｄ ｈａｓ ｐｒｅｆｅｒａｂｌｅ ｍｕｈｉ－ｃｏｒｅ ｐａｒａｌｌｅｌ ａｃｃｅｌｅｒａｔｉｏｎ ｅｆｆｅｃｔ ａｎｄ ｇｏｏｄ ＭＰＩ ｓｃａｌａｂｌｅ ｐｅｒｆｏｒｍａｎｃｅ． Ｋｅｙｗｏｒｄｓ ３ Ｄ ａｃｏｕｓｔｉｃ ｗａｖｅ ｅｑｕａｔｉｏｎ Ｍｕｌｔｉ－ｌｅｖｅｌ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｐａｒａｌｌｅｌ Ｏｐｔｉｍｉｓａｔｉｏｎ ０引 言 地震勘探是石油勘探过程中最主要的手段，目的是利用地 １地震波正演算法概述 用声波方程或弹性波方程进行有限差分法正演模拟时，如 表接收的人工震源的反射波，反演地下介质的地质构造及岩性 分布，进而推测探区的地质演化历史，确定可能的含油气情况， 指导钻井位置的布设。地震波正演在整个反射地震学中占有举 足轻重的位置，它可以仿真模拟野外地震观测过程，为野外观测 参数的选择提供指导；也可以模拟零偏移距地震记录，检验地质 解释的正确性；它可以使我们更深入地认识波在复杂介质中的 果使用二阶差分格式，为保证频散较小及递推过程稳定，网格间 距必须取得很小，才能保证计算精度及稳定性。当对具有实际 生产规模的地质模型进行模拟时，需要巨量的计算机内存及很 长的计算时间。为此人们尝试利用高阶差分方程来解决这个问题。 在三维或二维正演模拟及逆时深度偏移中，当利用截断误 差为０（Ａｘ ，Ａｙ ， ，Ａｔ ）的差分格式时，为保证频散较小及递 推过程稳定，差分网格要求取得非常小，这样计算需要的计算机 传播过程；它可以为各种反演方法提供理论基础，也可以为反演 （包括成像）方法提供理论数据，更好地测试这些方法的有 效性。 内存及运算时间会大大增加。Ｄａｂｌａｉｎ（１９８６）和Ｍｕｆｔｉ（１９９０， １９９６）提出利用高阶差分方程来进行上述模拟和偏移过程。利 用高阶差分方程时，网格值可以取得大些，而计算精度并不降 低。在此，我们称截断误差高于四阶的差分方程为高阶差分方 地震波正演是反射地震学的基础，但是三维声波动方程地 震波正演需要超强的计算能力。ＳＥＧ／ＥＡＧＥ三维岩丘模型是上 世纪九十年代中美国勘探地球物理学家协会牵头动用很多国家 实验室的超大型计算机化费几个月的时间算出来的。鉴于高昂 的计算代价，他们采用的计算网格比较大，计算结果的频散比较 厉害，需要巨大的计算资源。 本文对三维声波方程的算法进行了分析，然后在一种新的 众核处理器平台上对核心算法进行众核并行适应性设计，在实 验众核处理器平台上进行实验测试，并对得到的结果进行分析。 程。三维声波方程的高阶差分方程可以用统一的方式推导出 来。三维声波方程为： ０２ｕｕＯｘ：＋＿‘ ａ旁＋ ‘ Ｏｚ＝ Ｙ矿（ ， ｏ，ｚ） ｔ 。 （１） 收稿日期：２０１２—０９—２４。何香，硕士，主研领域：高性能并行计算 软件应用。周明忠，高工。刘鑫，高工。 第１期 何香等：三维声波方程正演多级异构并行算法设计与实现 ２６５ 其中，ｕ（ｘ，ｙ，ｚ，ｔ）为地表记录的压力波场； （ ，ｙ，ｚ）为纵横向可 变的介质速度。 量占整个课题计算量的９５％以上，因此本文中的众核并行化主 要针对这个部分来进行。 （１）众核并行方案１ 为导出方程式（１）的离散差分格式，需把观测对应的地下 介质分布区域或要对其进行地震波模拟的模型区域离散化，即 把它们剖分成一个个的小方块。令 ｎ ． ＝ （ｉＡｘ，ｊＡｙ，ｋＡｚ， ｎＡｔ），对方程进行推导可得如下结论： 截断误差为０（Ａｘ ，Ａｙ ，Ａｚ ，Ａｔ ）的统一的三维逆时深 度偏移高阶差分方程为： 采用加速编程模型对每个核心计算部分的循环结构重新进 行众核编程，具体方案如下：以最外层Ｋ循环变量来进行众核 并行，从核执行部分可分为两部分，一部分是从核的计算部分； 另外一部分则是从核向主核发起通信请求并读入或写回数据的 部分，即众核数据通信部分。众核并行后整个３层循环构成一 ｎ Ｉ ｎ＋ｌ＝Ｊ２ｕ ｎＪ， 一 ，Ｊ＾＋ ，ｒ，ｉ １１（、ｖ Ａｔ￣ ｎ ＋薹 ｎ～ ］＋ ｒ，ｌ ，１（、ｖ Ａｔ￣ ｎ ＋ ｎ ｎ ）］＋ 舸 ’ ｌ（ｖ Ａｔ、，￣ ＋ ｎ ）］（２） 下面列出几种常用截断误差的高阶差分方程中的系数： 当Ｍ＝４时，ｃｃ，０＝一５．０， １＝２．６６６６６７， ２＝－０．１６６６６６７； 当Ｍ＝６时，（－Ｏ０＝一５．４４４４４４， １＝３．００００００，∞２＝ 一０．３０００００３， ３＝０．０２２２２２５； 当Ｍ：８时， ０＝一２．８４７２２２０５４， ｌ＝３．２０００００００， ２＝ 一０．４０００００２，∞３＝０．０５０７９３６９， ４＝一０．００３５７１４３６； 当Ｍ＝１０时， ０＝一５．８５４ ５，∞１＝３．３３３３３３， ２＝ 一０．４７６１９０１， ３＝０．０７９３６５１３，∞４＝一０．００９９２０６２１， ５ ＝０．０００６３４９１８５ ２多级异构算法实现 ２．１众核算法实现 该课题属于典型的区域分解类应用课题，原有程序基于 ＭＰＩ消息传递编程模型实现了单炮数据区域分解并行的粗粒度 算法设计。 如图１所示，首先把每炮的计算区域进行三维分解，各进程 根据各自的逻辑进程号得到计算范围，并读取其相应速度场数 据，最后再把各自计算结果存盘。 图１ 三维地震波正演算法流程图 迭代计算过程主要由初始化工作数组、读取该区域速度场、 正演模拟和保存模拟数据四个部分组成。其中正演模拟的计算 个单位，具体实现框图参见图２。 图２众核并行编程模型图 其中ｓｊＤ是各从核逻辑编号（逻辑编号从０开始），ＣＯＲＥ— ＮＵＭ为从核总数。 该众核并行方案针对每个核心计算循环进行加速，属于循 环级细粒度并行，因该课题边界处理的特殊性（存在ｌ２种边界 条件类型），若针对每种边界条件都进行细粒度并行，由于计算 范围不固定，实际众核实现效果不佳。 因此我们考虑使用介于ＭＰＩ级区域分解粗粒度并行与循环 级细粒度并行之间的众核并行方式，具体参见众核并行方案２。 （２）众核并行方案２ 众核并行方案２采用介于ＭＰＩ级区域分解粗粒度并行与 循环级细粒度并行之间的众核并行方式对正演模拟计算部分重 新进行编程，基于程序本身的特点，各边界区域没有重叠，因此 可以将多个ＤＯ循环结构进行合并，这样可以从整体上减小众 核通信开销，该并行方式类似于基于共享变量编程模型的区域 分解类并行，采用的并行方案如下： 步骤ｌ将三维计算区域按从核ＬＤＭ空间大小平均分配给 每个从核，考虑到数据相关性问题，为提高ＤＭＡ效率，我们采用 仅对ｋ维进行分解的形式将计算区域平均分解到每个从核上； 步骤２从核得到自己计算区域内的各物理量值以后，首 先根据计算区域的范围判断边界条件类型，进行相应边界条件 处理，同时完成该边界条件的计算以及后续的物理量计算； 步骤３各从核物理量计算完成后，根据计算区域的范围 （Ｋ循环值）将计算结果写回主存中相应位置。 该方案避免了针对每种边界条件类型构造相应的众核并行 实现，大大减少了众核通信次数，并行粒度相对于循环级众核并 行的粒度更粗，编程实现简单，同时更容易实现统一的性能优化。 ２．２多级并行实现 原始程序并行规模大于１６时，ＭＰＩ扩展性能明显降低，同 时，考虑在实际课题中，需要处理的网格会更大，炮数更多，本文 采用了三级并行模型完成极大规模的并行计算。 如图３所示，炮间并行＋炮内粗粒度区域分解并行＋细粒 ２６６ 计算机应用与软件 ２０１４互 度区域分解并行，其中前两级并行采用ＭＰＩ实现进程级并行， 信开销加上１次计算开销。实验证明优化之后的程序在性能上 后一级采用加速线程库实现线程级并行。 图３三级并行模型不意图 由于实际应用中炮与炮之间没有相关性，在炮与炮之间对 ＣＰＵ进行分组，这样多个ＣＰＵ可以同时处理不同位置的炮，实 现第一级并行；在各炮ＣＰＵ组内进行区域分解，协同完成单炮 的迭代过程，实现第二级并行；各进程对各自的网格区域进行众 核分解，实现第三级并行。 ３ 多级异构算法实现 对四个分量模式并行优化的主要思路是通过计算与通信的 重叠、集合通信代替点对点通信以避免网络热点的方法。 主要介绍算法众核实现过程中使用的主要优化方法。程序 众核化之后，计算开销会平均地分配给各个从核，访存开销会减 少一部分，但是各从核会增加通信开销，如何能够将通信开销最 大程度地减少，那么，众核化之后的性能才能有理想的提升。 ３．１ ＤＭＡ通信数据的合并 减少数据通信部分的开销，最直接的办法是减少通信次数， 以及减少单次通信的数据的长度。一般情况下通信数据长度是 按照计算需要确定，因此设法将需要通信的数据进行适当的合 并能达到减少通信次数的目的、提高通信带宽利用率成为减少 数据通信部分开销的最直接的方法。 在地震波正演算法众核并行的过程中，观察到一些变量为 一维数组，ｍｐ（ｉ），ｎｐ（ｉ），ｏｐ（ｉ），如果从核访问主核时单独读取 各数组，需要３次通信。我们可以将３个数组合并为一个数组 ｊｏｉｎｐ（ｉ，３），通信次数就减少１／３，由于通信次数大量减少，既充 分利用了带宽，也减少了多次通信相互之间的竞争。经过优化 之后的程序通信开销大大减小。 ３．２ ＤＭＡ通信与计算的互相隐藏 对于众核处理器，最大限度的隐藏从核对其他核外存储空 间的访问延迟是获得良好性能加速的关键。这里采用了双缓冲 机制实现计算和通信最大限度的相互隐藏并取得较好加速效 果。所谓双缓冲是指从核在进行通信的同时可以对上一次读取 的数据进行计算。 如图４所示，优化前对于单个从核，在Ｊ层循环（图２）应该 遵循通信、计算、通信的先后顺序，这样总开销就是３次通信开 销加上３次计算开销。由于在Ｋ方向（图２中Ｋ循环）没有自 相关性，通信１完成之后，计算１进行的同时进行通信２，如果 计算１和通信２的开销一样，那么单从核的总开销就是３次通 有很大的提高。 图４众核并行编程模型图 ４实验结果 ４．１众核加速测实验结果 本文中的三维地震波正演模拟众核算法在实验性众核处理 器计算平台上完成性能测试实验。实验网格规模为５１ Ｘ ６４１× ６７０。测试的对象包括核心计算单炮正演模拟过程和课题整体 性能的众核程序的加速效果。其中，单炮正演模拟过程的众核 并行效率为表１所示。 表１ 三维地震波正演模拟核心函数众核并行效率 核心函数加速比 众核并行效率（％） ＳＩＮＧＬＥ＿ＳＨＯＴＭＯＤ ２９．６２ Ｄｉｓｐｌ １２．１３ Ｄｉｓｐ２ 、 ｌ２．Ｏ７ 整体加速比 ２７．６Ｏ 因为程序核心计算中涉及到Ｉ，Ｊ，Ｋ三个方向上的计算，数 据离散，ＤＭＡ跨步多导致ＤＭＡ开销较大，同时程序计算内容几 乎都是乘加运算，众核并行之后计算拍数相对ＤＭＡ拍数较少， 因此被隐藏的计算拍数不多。最后加速比没有达到理想加速比。 ４．２众核并行小规模实验结果 原始的三维地震波正演模拟算法属于计算密集型课题，具 有良好的ＭＰＩ并行扩展性，基于同样ＭＰＩ并行规模和数据规模 条件下，本文在实验性众核处理器计算平台上对三维地震波正 演模拟众核并行算法的ＭＰＩ并行扩展性进行了初步的测试。 如表２所示，测试时采用测试网格规模为５１×６４１×６７０，炮 数为３２，测试过程中，暂不考虑Ｉ／０过程。表２中给出了并行 规模为１—１２８的核心计算迭代５００步的计算时间、加速比和并 行效率测试结果。测试结果表明，ＭＰＩ并行规模在１～１６时，能 够保持较为理想的并行效率；但随着并行规模的扩大（大于 １６），各进程数据量较小，且计算开销在众核中被隐藏，计算开 销与ＭＰＩ通信开销比明显变小，并行效率下降。 表２ 三维地震波正演模拟众核并行算法ＭＰＩ扩展性实验结果 进程 运行时间（Ｓ） 加速比 并行效率（％） １ ４ ９９６．７０８ １ １００ ４ １ ４０２．９３２６４ ３．５６ ８９ １６ ４１５．１３７９２ １２．０４ ７５．２５ ６４ ２０４．５８０３２ ２４．４２ ３８．１６ ｌ２８ １６４．ｏｏ５４４ ３０．４７ ２３．８０ 第１期 何香等：三维声波方程正演多级异构并行算法设计与实现 ２６７ ４．３ 多级异构并行实验结果 并行模式经过优化之后，在实验性平台上进行了测试。测 试时采用网格规模为５１×６４１×６７０，炮数为３２，测试过程中，暂 不考虑Ｉ／０过程。表３给出了３级并行模式并行规模为１～１２８ 的核心计算迭代５００步的计算时问、加速比和并行效率测试 结果。 平台，以提高课题的实际应用性能为目的，实现了两级ＭＰＩ并 行和第３级众核并行的设计和优化，并取得了较为理想的加速 效果。本文还完成了在某实验性众核平台上多级异构算法的测 试，对课题的实际应用具有一定的意义。 参考文献 表３中的测试结果表明，采用了三级并行方式的算法在 ＭＰＩ并行规模大于１６时，能够保持较为理想且基本稳定的并行 效率，这是因为各炮之间数据不相关，ＣＰＵ组间没有通信，因 ［１］方伍宝，孙建国，赵改善，等．波动方程叠前深度偏移成像软件系统 的研制及应用［Ｊ］．石油勘探，２００５，４４（５）：４８６—４９０． ［２］陈左宁，李宏亮，胡苏太．异构成为高效能计算机体系结构的新趋 此，计算通信开销比例基本保持不变。 表３ 多级异构并行算法实验结果 进程 运行时间（Ｓ） 加速比 并行效率（％） ｌ ９ ９９３．４１６ ｌ １００ ４ ２ ８０５．８６５２８ ３．５６ ８９ １６ ７４７．２６４３２ ｌ３．３７ ８３．５６ ６４ ｌ８７．１６９６４ ５３．３９ ８３．４２ １２８ ９２．５７８９６ １０７．９４ ８４．３２ 如图５所示，上方浅色曲线为多级异构并行模式实现后的 加速比，下方深色曲线为众核并行算法的加速，从图中可以看 到，多级并行的实现对加速比的提高有很明显的作用。 ｌｚｕ Ｌ００ 舯 蔷６０ 异 ４０ ２０ ｎ ０ ２０ ４０ ６０ ８Ｏ １００ １２０ １４０ 进程数 ｌ＋众核并行算法加速比＋多级异构并行模式加速比 ｌ 图５ 多级异构并行算法实现前后加速比对比 为了验证多级并行方式对ＭＰＩ扩展性能的提高，实验进行 了大规模ＭＰＩ并行测试，图６中给出了３级并行模式实现后 １２８—１ ０２４进程的核心计算迭代５００步的加速比测试结果。 图６的曲线显示大规模运行时，多级并行异构算法的ＭＰＩ 扩展性很好，因此，多级并行的实现对课题的实际应用有极大的 帮助。 图６三级异构并行算法１２８—１０２４进程加速比 ５ 结语 本文以三维声波正演算法为基础，基于某众核处理器计算 势［Ｊ］．高性能计算技术，２００７（１８４）：１—６． ［３］谢向辉，胡苏太，李宏亮．多核处理器及其对系统结构设计的影响 ［Ｊ］．计算机科学与探索，２００８，２（６）：６４１—６５０． ［４］陈芳园，张冬松，王志英．异构多核处理器体系结构设计研究［Ｊ］． 计算机工程与科学，２０１１，３３（１２）：２７—３５． ［５］莫则尧，刘兴平，廖振民．应用程序并行与优化关键技术研究［Ｊ］． 数值计算与计算机应用，２００２（１）：３１—３３． （上接第２５５页） ３．３ Ｐｒｏｆｉｌｉｎｇ应用 Ｐｒｏｆｉｌｉｎｇ是ＣＫ８１０处理器内部的功能单元，用来统计从开 始ｐｃ到结束ｐｃ之间处理器的各项数据，包括总指令数、ｌｏａｄ ｓｔｏｒｅ指令数、跳转预测、系统调用数目及ＴＬＢ ｍｉｓｓ数等。 新增功能单元，内核需要做一定的改动才能实现其运行。 如２．２节介绍，新增的寄存器在软件方面保存在ｔｈｒｅａｄ—ｓｔｒｕｃｔ数 据结构中，这样便于数据的读取与存放，进程切换与复制需要保 存ｐｒｏｆｉｌｉｎｇ协处理器硬件上下文。 实现ｐｒｏｉｆｌｉｎｇ功能，在已有的系统调用末尾增加了两个新 的系统调用（３４４与３４５号ｓｙｓｃａｌ１）——ｃｓｋｙ＿ｐ皿』堍实现功能： 设置触发使能位，开始与停止Ｐｃ地址，让ｐｒｏｆｉｌｉｎｇ启动计数； ｃｓｋｙｐｒｆｌ—ｒｅａｄ实现功能：读取ｐｒｏｉｆｌｉｎｇ协处理器的信息，即从 ｃｕｒｒｅｎｔ线程里读取寄存器的信息存放到结构体ｐｒｆｌ中供用户使 用。用户通过内嵌汇编把相应系统调用号写入Ｒ７寄存器就能 调用该系统调用实现ｐｒｏｉｆｌｉｎｇ的功能。 ４ 结语 随着Ｌｉｎｕｘ的不断成熟，势必被越来越广泛地应用于嵌入 式领域。本文从体系结构角度阐述了Ｌｉｎｕｘ内核移植及应用， 更多驱动程序的开发及平台的推广应用将是下一步工作。 参考文献 ［１］杭州中天微系统有限公司．Ｃ－ＳＫＹ ＣＰＵ ＡＢＩ Ｓｔａｎｄａｒｄｓ Ｍａｎｕａｌ［Ｍ］．浙 江．２０１２． ［２］Ｃｉ Ｗｅｕｙａｎ，Ｃｈｅｎ Ｘｕｄｉ，Ｃａｉ Ｓｕｈｕａ，ｅｔ ｌａ，Ｍｅｔｈｏｄｓ ｎａｄ Ｓｋｉｌｌｓ ｏｎ Ｔｒａｎｓｐｌａｎ— ｔｉｎｇ Ｌｉｎｕｘ ｔｏ ＡＲＭ￥３Ｃ２４１０［Ｃ］／／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＩＣＣＥＴ ２０１０）２ｎｄ，Ｃｈｅｎｇｄｕ，０２１０，４． ［３］任桥伟．Ｌｉｎｕｘ内核之道［Ｍ］．北京：人民邮电出版社，２０１０． ［４］Ｒｏｂｅ￣Ｌｏｖｅ．Ｌｉｎｕｘ ｋｅｒｎｅｌ Ｄｅｖｅｌｏｐｍｅｎｔ［Ｍ］．３版．陈莉君，康华， 译．北京：机械工业出版社，２０１０． ［５］刘文峰，李程远，李善平．嵌入式Ｌｉｎｕｘ操作系统的研究［Ｊ］．浙江 大学学报：工学版，２００４（４）． ［６］韦东山．嵌入式Ｌｉｎｕｘ应用开发完全手册［Ｍ］．、北京：人民邮电出 版社，２００８．
