Egaroucid 6.0.0 ベンチマーク

The FFO endgame test suite

The FFO endgame test suiteはオセロAIの終盤探索力の指標として広く使われるベンチマークです。各テストケースを完全読みし、最善手を計算します。探索時間と訪問ノード数を指標に性能を評価します。NPSはNodes Per Secondの略で、1秒あたりの訪問ノード数を表します。

使用CPUはCore i9-11900Kです。

番号	深さ	最善手	手番の評価値	探索時間(秒)	訪問ノード数	NPS
#40	20	a2	38	0.102	27060281	265296872
#41	22	h4	0	0.152	33056487	217476888
#42	22	g2	6	0.249	60158183	241599128
#43	23	c7	-12	0.509	123105384	241857335
#44	23	d2	-14	0.182	19512855	107213489
#45	24	b2	6	1.555	483588331	310989280
#46	24	b3	-8	0.614	148832967	242398969
#47	25	g2	4	0.234	35991843	153811294
#48	25	f6	28	0.962	170617090	177356642
#49	26	e1	16	1.673	365884607	218699705
#50	26	d8	10	4.738	1147103368	242107084
#51	27	e2	6	2.682	590452638	220153854
#52	27	a3	0	2.66	666160199	250436165
#53	28	d8	-2	17.028	5055604486	296899488
#54	28	c7	-2	21.663	7053196821	325587260
#55	29	g6	0	72.651	16591406135	228371338
#56	29	h5	2	7.423	1418277387	191065254
#57	30	a6	-10	13.307	2812414286	211348484
#58	30	g1	4	11.088	2650627564	239053712
#59	34	g8	64	0.003	7415	2471666
全体	-	-	-	159.475	39453058327	247393374

Edax4.4との対戦

現状世界最強とも言われるオセロAI、Edax 4.4との対戦結果です。

初手からの対戦では同じ進行ばかりになって評価関数の強さは計測できないので、初期局面から8手進めた互角に近いと言われる状態から打たせて勝敗を数えました。このとき、同じ進行に対して両者が必ず先手と後手の双方を1回ずつ持つようにしました。こうすることで、両者の強さが全く同じであれば勝率は50%となるはずです。

テストにはXOTに収録されている局面を使用しました。

bookは双方未使用です。

Egaroucid勝率が0.5を上回っていればEgaroucidがEdaxに勝ち越しています。

Egaroucidが黒番

レベル	Egaroucid勝ち	引分	Edax勝ち	Egaroucid勝率
1	493	18	489	0.5
5	590	57	353	0.63
10	598	115	287	0.68
15	58	12	30	0.66

Egaroucidが白番

レベル	Egaroucid勝ち	引分	Edax勝ち	Egaroucid勝率
1	526	25	449	0.54
5	539	52	409	0.57
10	473	115	412	0.53
15	49	18	33	0.6