English

Egaroucid 5.10.0 ベンチマーク

The FFO endgame test suite

The FFO endgame test suiteはオセロAIの終盤探索力の指標として広く使われるベンチマークです。各テストケースを完全読みし、最善手を計算します。探索時間と訪問ノード数を指標に性能を評価します。NPSはNodes Per Secondの略で、1秒あたりの訪問ノード数を表します。

使用CPUはCore i9-11900Kです。

番号深さ最善手手番の評価値探索時間(秒)訪問ノード数NPS
#4020a2380.15219437182127876197
#4122h400.25428051331110438311
#4222g260.34841090111118075031
#4323c7-120.54586703422159088847
#4423d2-140.2931593144954373546
#4524b262.52534802372212223163
#4624b3-80.924103987485112540568
#4725g240.4433991670290105422
#4825f6281.615167648119103806884
#4926e1162.482273867075110341287
#5026d8107.2921177832829161523975
#5127a362.488263723106105998032
#5227a303.83431703973112716442
#5328d8-228.4935006612436175713769
#5428c7-227.3526461535397236236304
#5529g60123.15822750219689184723848
#5629h5210.7161221714952114008487
#5730a6-1013.9151997564547143554764
#5830g1413.9761964184672140539830
#5934g8640.03813079344184
全体---240.83442586539928176829434

Edax4.4との対戦

現状世界最強とも言われるオセロAI、Edax 4.4との対戦結果です。

初手からの対戦では同じ進行ばかりになって評価関数の強さは計測できないので、初期局面から8手進めた互角に近いと言われる状態から打たせて勝敗を数えました。このとき、同じ進行に対して両者が必ず先手と後手の双方を1回ずつ持つようにしました。こうすることで、両者の強さが全く同じであれば勝率は50%となるはずです。

テストにはXOTに収録されている局面を使用しました。

bookは双方未使用です。

Egaroucid勝率が0.5を上回っていればEgaroucidがEdaxに勝ち越しています。

Egaroucidが黒番

レベルEgaroucid勝ち引分Edax勝ちEgaroucid勝率
1497244790.51
5573523750.6
105361313330.62

Egaroucidが白番

レベルEgaroucid勝ち引分Edax勝ちEgaroucid勝率
1532224460.54
5535544110.57
104681094230.53