The FFO endgame test suiteはオセロAIの終盤探索力の指標として広く使われるベンチマークです。各テストケースを完全読みし、最善手を計算します。探索時間と訪問ノード数を指標に性能を評価します。NPSはNodes Per Secondの略で、1秒あたりの訪問ノード数を表します。
| 番号 | 深さ | 最善手 | 評価値 | 時間(秒) | ノード数 | NPS |
|---|---|---|---|---|---|---|
| #40 | 20 | a2 | +38 | 0.016 | 13095826 | 818489125 |
| #41 | 22 | h4 | +0 | 0.054 | 31733978 | 587666259 |
| #42 | 22 | g2 | +6 | 0.066 | 49405340 | 748565757 |
| #43 | 23 | c7 | -12 | 0.149 | 118010790 | 792018724 |
| #44 | 23 | d2 | -14 | 0.041 | 18079308 | 440958731 |
| #45 | 24 | b2 | +6 | 0.291 | 322619250 | 1108657216 |
| #46 | 24 | b3 | -8 | 0.134 | 90700458 | 676869089 |
| #47 | 25 | g2 | +4 | 0.1 | 88624182 | 886241820 |
| #48 | 25 | f6 | +28 | 0.218 | 157234062 | 721257165 |
| #49 | 26 | e1 | +16 | 0.464 | 399676639 | 861372066 |
| #50 | 26 | d8 | +10 | 0.947 | 755470579 | 797751403 |
| #51 | 27 | e2 | +6 | 0.432 | 386349187 | 894326821 |
| #52 | 27 | a3 | +0 | 0.483 | 403634351 | 835681886 |
| #53 | 28 | d8 | -2 | 2.562 | 2519470056 | 983399709 |
| #54 | 28 | c7 | -2 | 3.984 | 3983373384 | 999842716 |
| #55 | 29 | g6 | +0 | 12.398 | 11082195535 | 893869618 |
| #56 | 29 | h5 | +2 | 1.404 | 1017876893 | 724983542 |
| #57 | 30 | a6 | -10 | 3.098 | 2871440500 | 926869109 |
| #58 | 30 | g1 | +4 | 1.827 | 1556662686 | 852032121 |
| #59 | 34 | h4 | +64 | 0.054 | 17365258 | 321578851 |
| 全体 | - | - | - | 28.722 | 25883018262 | 901156544 |
SIMDによる高速化をしていないバージョンです。
| 番号 | 深さ | 最善手 | 評価値 | 時間(秒) | ノード数 | NPS |
|---|---|---|---|---|---|---|
| #40 | 20 | a2 | +38 | 0.029 | 13745836 | 473994344 |
| #41 | 22 | h4 | +0 | 0.089 | 32685564 | 367253528 |
| #42 | 22 | g2 | +6 | 0.117 | 51731192 | 442146940 |
| #43 | 23 | c7 | -12 | 0.242 | 114425926 | 472834404 |
| #44 | 23 | d2 | -14 | 0.069 | 18898575 | 273892391 |
| #45 | 24 | b2 | +6 | 0.506 | 317687190 | 627840296 |
| #46 | 24 | b3 | -8 | 0.203 | 84792202 | 417695576 |
| #47 | 25 | g2 | +4 | 0.089 | 24700626 | 277535123 |
| #48 | 25 | f6 | +28 | 0.407 | 195897969 | 481321791 |
| #49 | 26 | e1 | +16 | 0.677 | 327109235 | 483174645 |
| #50 | 26 | d8 | +10 | 1.733 | 788308775 | 454881001 |
| #51 | 27 | e2 | +6 | 1.088 | 634944238 | 583588454 |
| #52 | 27 | a3 | +0 | 0.826 | 407859964 | 493777196 |
| #53 | 28 | d8 | -2 | 4.27 | 2456352890 | 575258288 |
| #54 | 28 | c7 | -2 | 6.384 | 3801732457 | 595509470 |
| #55 | 29 | g6 | +0 | 20.773 | 11459161935 | 551637314 |
| #56 | 29 | h5 | +2 | 2.391 | 1041524297 | 435601964 |
| #57 | 30 | a6 | -10 | 4.686 | 2579060408 | 550375673 |
| #58 | 30 | g1 | +4 | 3.607 | 1855300695 | 514361157 |
| #59 | 34 | h4 | +64 | 0.089 | 17164869 | 192863696 |
| 全体 | - | - | - | 48.275 | 26223084843 | 543202172 |
現状世界最強とも言われるオセロAI、Edax 4.4との対戦結果です。
初手からの対戦では同じ進行ばかりになって評価関数の強さは計測できないので、初期局面から8手進めた互角に近いと言われる状態から打たせて勝敗を数えました。このとき、同じ進行に対して両者が必ず先手と後手の双方を1回ずつ持つようにしました。こうすることで、両者の強さが全く同じであれば勝率は50%となるはずです。
テストにはXOTに収録されている局面を使用しました。
bookは双方未使用です。
Egaroucid勝率が0.5を上回っていればEgaroucidがEdaxに勝ち越しています。また、カッコ内の数字はEgaroucidが黒番/白番のときのそれぞれの値です。全ての条件でEgaroucidが勝ち越しています。
バージョン6.3.0までは引き分けを省いて(勝ち)/(勝ち+負け)で勝率を計算していましたが、一般的ではなかったので、バージョン6.4.0からは引き分けを0.5勝として(勝ち+0.5*引き分け)/(勝ち+引き分け+負け)で計算しました。
| レベル | Egaroucid勝ち | 引分 | Edax勝ち | Egaroucid勝率 |
|---|---|---|---|---|
| 1 | 1217(黒: 589 白: 628) | 47(黒: 17 白: 30) | 736(黒: 394 白: 342) | 0.62 |
| 5 | 1189(黒: 599 白: 590) | 108(黒: 54 白: 54) | 703(黒: 347 白: 356) | 0.622 |
| 10 | 904(黒: 500 白: 404) | 236(黒: 120 白: 116) | 860(黒: 380 白: 480) | 0.511 |
| 15 | 232(黒: 128 白: 104) | 94(黒: 43 白: 51) | 174(黒: 79 白: 95) | 0.558 |
| 21 | 81(黒: 49 白: 32) | 60(黒: 30 白: 30) | 59(黒: 21 白: 38) | 0.555 |