Автоматическое распараллеливание

Эта статья нуждается в переработке. Пожалуйста, уточните проблему в статье с помощью более узкого шаблона. Пожалуйста, улучшите статью в соответствии с правилами написания статей. (13 сентября 2013)

У этой статьи есть несколько проблем, помогите их исправить: В статье не хватает ссылок на источники (см. рекомендации по поиску). Информация должна быть проверяема, иначе она может быть удалена. Вы можете отредактировать статью, добавив ссылки на авторитетные источники в виде сносок. (13 сентября 2013) Стиль этой статьи неэнциклопедичен или нарушает нормы литературного русского языка. Статью следует исправить согласно стилистическим правилам Википедии. (13 сентября 2013) Пожалуйста, после исправления проблемы исключите её из списка параметров. После устранения всех недостатков этот шаблон может быть удалён любым участником.

Автоматическое распараллеливание — оптимизация программы компилятором, состоящая в автоматическом её преобразовании в форму, работающую на параллельной вычислительной системе, например, на SMP или NUMA машине. Целью автоматического распараллеливания является освобождение программиста от трудоемкого и подверженного ошибкам процесса ручного распараллеливания. Несмотря на то, что качество автоматического распараллеливания улучшалось последние годы, полное распараллеливание последовательных программ остается слишком сложной задачей, требующей сложнейших видов анализа программ.

Автоматический параллелизатор обычно фокусируется на таких управляющих конструкциях, как циклы, обрабатывающие массивы, поскольку, в общем случае, большая часть выполнения программы проходит внутри каких-то циклов. Распараллеливающий компилятор пытается разделить цикл на части так, чтобы его отдельные итерации могли исполняться на разных вычислительных узлах одновременно.

Компиляторы проводят анализ перед проведением распараллеливания, чтобы ответить на следующие вопросы:

• Безопасно ли распараллеливать данный цикл? Требуется аккуратный анализ зависимостей^[англ.] и анализ псевдонимов^[англ.]. Итерации цикла не должны иметь зависимостей по данным.^[1]
• Стоит ли распараллеливать цикл?^[1] Ответ на этот вопрос требует надежной оценки (моделирования) работы программы и учёта свойств параллельной системы.

Автоматическое распараллеливание сложно для компиляторов по причинам:

• Анализ зависимостей сложен для кода, использующего косвенную адресацию, указатели, рекурсию, вызовы функций^[1], особенно вызовы по косвенности (например, виртуальные функции заранее неизвестного класса).
• Циклы могут иметь неизвестное заранее либо сложно варьирующееся количество итераций.^[1] Из-за этого усложняется выбор циклов, требующих распараллеливания.
• Доступ к глобальным ресурсам тяжело координировать в терминах выделения памяти, ввода-вывода, разделяемых переменных.

Из-за сложности полного автоматического распараллеливания существует несколько подходов для его упрощения:

• Дать программистам возможность добавлять к программе подсказки компилятору, чтобы влиять на процесс распараллеливания (либо чтобы упростить анализы, пометив указатели как непересекающиеся (restrict^[1]), либо указав «горячие» циклы). Среди решений, требующих достаточно подробные инструкции для компилятора, можно указать High Performance Fortran для систем с распределенной памятью и OpenMP для систем с общей памятью.
• Создать интерактивную систему компиляции, в работе которой принимал бы участие человек. Такие системы созданы в рамках подпроекта «SUIF Explorer», в компиляторах Polaris и ParaWise (среда CAPTools).
• Добавить в аппаратуру спекулятивную многопоточность.

Многие ранние распараллеливающие компиляторы работали с программами, написанными на Фортране, из-за его более строгих ограничений на пересечение указателей (aliasing) по сравнению с Си. Кроме того, на Фортране написано большое количество программ вычислительной математики, требующих больших ресурсов для своей работы. Примеры компиляторов:

• Rice Fortran D compiler
• Vienna Fortran compiler
• Paradigm compiler
• Polaris compiler
• SUIF compiler

• Sun studio^[1]
• Intel C++ Compiler^[1][2]
• gcc^[1][2]
• GHC^{[источник не указан 4236 дней]}

• Loop nest optimization
• Polytope model
• Scalable parallelism
• Automatic parallelization tool

• Jon Eyolfson. Lecture 08 - Automatic Parallelization. ECE 459: Programming for Performance (англ.) (PDF). University of Waterloo (20 января 2012). Дата обращения: 6 марта 2023.
• The Stanford University Intermediate Format compiler