Egaroucid 5.8.0 ベンチマーク

The FFO endgame test suite

The FFO endgame test suiteはオセロAIの終盤探索力の指標として広く使われるベンチマークです。各テストケースを完全読みし、最善手を計算します。探索時間と訪問ノード数を指標に性能を評価します。NPSはNodes Per Secondの略で、1秒あたりの訪問ノード数を表します。

使用CPUはCore i9-11900Kです。

番号	深さ	最善手	手番の評価値	探索時間(秒)	訪問ノード数	NPS
#40	20	a2	38	0.208	30240013	145384677
#41	22	h4	0	0.282	30934637	109697294
#42	22	g2	6	0.323	38954689	120602752
#43	23	c7	-12	0.764	113328845	148336184
#44	23	d2	-14	0.4	24596008	61490020
#45	24	b2	6	2.957	597485227	202057905
#46	24	b3	-8	0.975	101741641	104350401
#47	25	g2	4	0.568	55996875	98586047
#48	25	f6	28	3.955	605660062	153137815
#49	26	e1	16	4.756	798738457	167943325
#50	26	d8	10	13.33	2343428530	175801090
#51	27	e2	6	5.417	532335784	98271328
#52	27	a3	0	4.371	490500268	112216945
#53	28	d8	-2	45.686	4995871831	109352358
#54	28	c7	-2	57.814	8094332723	140006446
#55	29	g6	0	153.868	19667033928	127817570
#56	29	h5	2	17.839	1737263912	97385722
#57	30	a6	-10	40.738	5202620937	127709287
#58	30	g1	4	20.25	2560167511	126428025
#59	34	g8	64	0.026	2056	79076
全体	-	-	-	374.527	48021233934	128218350

Edax4.4との対戦

現状世界最強とも言われるオセロAI、Edax 4.4との対戦結果です。

初手からの対戦では同じ進行ばかりになって評価関数の強さは計測できないので、初期局面から8手進めた互角に近いと言われる状態から打たせて勝敗を数えました。このとき、同じ進行に対して両者が必ず先手と後手の双方を1回ずつ持つようにしました。こうすることで、両者の強さが全く同じであれば勝率は50%となるはずです。

テストにはXOTに収録されている局面を使用しました。

bookは双方未使用です。

Egaroucid勝率が0.5を上回っていればEgaroucidがEdaxに勝ち越しています。

Egaroucidが黒番

レベル	Egaroucid勝ち	引分	Edax勝ち	Egaroucid勝率
1	489	24	487	0.5
5	582	59	359	0.62
10	585	119	296	0.66
11	552	132	316	0.64

Egaroucidが白番

レベル	Egaroucid勝ち	引分	Edax勝ち	Egaroucid勝率
1	534	27	439	0.55
5	549	44	407	0.57
10	443	124	433	0.51
11	501	115	384	0.57