The FFO endgame test suiteはオセロAIの終盤探索力の指標として広く使われるベンチマークです。各テストケースを完全読みし、最善手を計算します。探索時間と訪問ノード数を指標に性能を評価します。NPSはNodes Per Secondの略で、1秒あたりの訪問ノード数を表します。
使用CPUはCore i9-11900Kです。
| 番号 | 深さ | 最善手 | 手番の評価値 | 探索時間(秒) | 訪問ノード数 | NPS |
|---|---|---|---|---|---|---|
| #40 | 20 | a2 | 38 | 0.329 | 21899271 | 71800888 |
| #41 | 22 | h4 | 0 | 0.571 | 29195205 | 53373318 |
| #42 | 22 | g2 | 6 | 0.675 | 38560430 | 59232611 |
| #43 | 23 | g3 | -12 | 1.359 | 103808885 | 77759464 |
| #44 | 23 | d2 | -14 | 0.708 | 29233404 | 42738894 |
| #45 | 24 | b2 | 6 | 7.027 | 740350828 | 105764404 |
| #46 | 24 | b3 | -8 | 2.009 | 125044941 | 63122130 |
| #47 | 25 | g2 | 4 | 0.77 | 45921608 | 61722591 |
| #48 | 25 | f6 | 28 | 10.347 | 1144183176 | 110902701 |
| #49 | 26 | e1 | 16 | 7.885 | 887698342 | 112996224 |
| #50 | 26 | d8 | 10 | 30.077 | 2678797208 | 89150599 |
| #51 | 27 | e2 | 6 | 12.585 | 960039193 | 76448414 |
| #52 | 27 | a3 | 0 | 13.495 | 1000193465 | 74275468 |
| #53 | 28 | d8 | -2 | 119.188 | 12209490563 | 102463855 |
| #54 | 28 | c7 | -2 | 135.965 | 13338877012 | 98123267 |
| #55 | 29 | g6 | 0 | 778.209 | 76506263895 | 98314606 |
| #56 | 29 | h5 | 2 | 35.4 | 2258792760 | 63858214 |
| #57 | 30 | a6 | -10 | 142.756 | 12676954794 | 88817109 |
| #58 | 30 | g1 | 4 | 50.923 | 4423383484 | 86915361 |
| #59 | 34 | e8 | 64 | 1.614 | 94965014 | 59990533 |
| 全体 | - | - | - | 1351.892 | 129313653478 | 95653834 |
現状世界最強とも言われるオセロAI、Edax 4.4との対戦結果です。
初手からの対戦では同じ進行ばかりになって評価関数の強さは計測できないので、初期局面から10手進めた状態から打たせて勝敗を数えました。このとき、同じ進行に対して両者が必ず先手と後手の双方を1回ずつ持つようにしました。こうすることで、両者の強さが全く同じであれば勝率は50%となるはずです。
なお、テストに使った局面はEgaroucidの評価関数の学習に使ったものとは別のデータで、最終的に引き分けまたは2石差になったものを使いました。
bookは双方未使用です。
Egaroucid勝率が0.5を上回っていればEgaroucidがEdaxに勝ち越しています。
| レベル | Egaroucid勝ち | 引分 | Edax勝ち | Egaroucid勝率 |
|---|---|---|---|---|
| 1 | 190 | 8 | 202 | 0.48 |
| 5 | 179 | 14 | 107 | 0.63 |
| 15 | 63 | 11 | 26 | 0.71 |
| レベル | Egaroucid勝ち | 引分 | Edax勝ち | Egaroucid勝率 |
|---|---|---|---|---|
| 1 | 209 | 13 | 178 | 0.54 |
| 5 | 161 | 17 | 122 | 0.57 |
| 15 | 52 | 11 | 37 | 0.58 |