English

Egaroucid 5.4.1 ベンチマーク

The FFO endgame test suite

The FFO endgame test suiteはオセロAIの終盤探索力の指標として広く使われるベンチマークです。各テストケースを完全読みし、最善手を計算します。探索時間と訪問ノード数を指標に性能を評価します。NPSはNodes Per Secondの略で、1秒あたりの訪問ノード数を表します。

使用CPUはCore i9-11900Kです。

番号深さ最善手手番の評価値探索時間(秒)訪問ノード数NPS
#4020a2380.3292189927171800888
#4122h400.5712919520553373318
#4222g260.6753856043059232611
#4323g3-121.35910380888577759464
#4423d2-140.7082923340442738894
#4524b267.027740350828105764404
#4624b3-82.00912504494163122130
#4725g240.774592160861722591
#4825f62810.3471144183176110902701
#4926e1167.885887698342112996224
#5026d81030.077267879720889150599
#5127e2612.58596003919376448414
#5227a3013.495100019346574275468
#5328d8-2119.18812209490563102463855
#5428c7-2135.9651333887701298123267
#5529g60778.2097650626389598314606
#5629h5235.4225879276063858214
#5730a6-10142.7561267695479488817109
#5830g1450.923442338348486915361
#5934e8641.6149496501459990533
全体---1351.89212931365347895653834

Edax4.4との対戦

現状世界最強とも言われるオセロAI、Edax 4.4との対戦結果です。

初手からの対戦では同じ進行ばかりになって評価関数の強さは計測できないので、初期局面から10手進めた状態から打たせて勝敗を数えました。このとき、同じ進行に対して両者が必ず先手と後手の双方を1回ずつ持つようにしました。こうすることで、両者の強さが全く同じであれば勝率は50%となるはずです。

なお、テストに使った局面はEgaroucidの評価関数の学習に使ったものとは別のデータで、最終的に引き分けまたは2石差になったものを使いました。

bookは双方未使用です。

Egaroucid勝率が0.5を上回っていればEgaroucidがEdaxに勝ち越しています。

Egaroucidが黒番

レベルEgaroucid勝ち引分Edax勝ちEgaroucid勝率
119082020.48
5179141070.63
156311260.71

Egaroucidが白番

レベルEgaroucid勝ち引分Edax勝ちEgaroucid勝率
1209131780.54
5161171220.57
155211370.58