Computer Chess Rating Lists

Computer Chess Rating Lists (CCRL) — семейство рейтингов (рейтинг-листов) сильнейших компьютерных шахматных программ. В качестве методики применяется рейтинг Эло Bayesian^[1], учитывающий цвет, процент набранных очков, включая ничьи, и различия в оценке шахматных программ при игре между собой.

На сегодняшний день является одним из самых авторитетных и известных в мире методов оценки как коммерческих (проприетарных), так и бесплатных шахматных программ.

История создания и организация

Рейтинг-листы CCRL ведутся с 2006 года группой шахматных энтузиастов в следующем первоначальном составе: Грехам Бенкс (Graham Banks), Рей Бенкс (Ray Banks), Сара Бёрд (Sarah Bird), Кирилл Крюков (Kirill Kryukov) и Чарльс Смит (Charles Smith). Этих людей объединила вместе идея, что их хобби — тестирование шахматных программ будет более полезным и востребованным, если они объединят свои усилия и будут публиковать результаты на регулярной основе. В дальнейшем группа пополнялась за счёт добровольцев. На сегодняшний день, костяк группы состоит из двенадцати человек и объём выполняемой работы значительно перерос понятие хобби.

Предложить себя в качестве тестера может каждый, однако принимаются только люди хорошо известные в сообществе шахматных программ или имеют известных в этом кругу поручителей.

За время существования группа разработала целый свод формальных правил и допусков на основе которых сейчас и осуществляет тестирование. Такой подход более прозрачен и позволяет с большим доверием относиться к полученным результатам.

Состав и методика

В настоящее время ведутся три основных независимых рейтинг-листа, различающихся по контролю времени и по некоторым другим параметрам:

CCRL 40/40 — эквивалентно 40 ходов за 40 минут с повторением (CCRL 40/40)
CCRL 40/4 — эквивалентно 40 ходов за 4 минуты с повторением (CCRL 40/4)
CCRL 40/4FRC — эквивалентно 40 ходов за 4 минуты с повторением (CCRL 40/4FRC)
- CCRL 40/15
- CCRL 40/2
- BLITZ - Обдумайте, общий план до 12 ходов, до 6 фигур EGTB Контроль времени: эквивалентно 2'+1"

Во всех основных рейтинг-листах представлены все шахматные программы своими лучшими на момент оценки версиями. Оценка для основных рейтингов производится на архитектуре Intel i7-4770k.

При тестировании используются универсальные дебютные книги с глубиной оценки в 12 ходов вместо собственных прилагаемых к программам дебютных книг. При тестировании отключается возможность использования времени соперника на просчёт собственных ходов. Эти правила позволяют более объективно оценить качество работы собственно алгоритма программы при равных условиях.

Для повышения объективности проводится большое количество игр для каждой шахматной программы.

Кроме основных рейтингов ведётся множество других, например, для однопроцессорных систем, для 64-х и 32-битных систем, только для бесплатных программ и т. д. Таким образом не только специалисты, но и рядовой пользователь может произвести сравнение шахматных программ посмотрев результаты для своей конфигурации.