Egaroucid 6.1.0 ベンチマーク

The FFO endgame test suite

The FFO endgame test suiteはオセロAIの終盤探索力の指標として広く使われるベンチマークです。各テストケースを完全読みし、最善手を計算します。探索時間と訪問ノード数を指標に性能を評価します。NPSはNodes Per Secondの略で、1秒あたりの訪問ノード数を表します。

使用CPUはCore i9-11900Kです。

Egaroucid for Console 6.1.0 Windows x64 SIMD

番号	深さ	最善手	手番の評価値	探索時間(秒)	訪問ノード数	NPS
#40	20@100%	+38	a2	0.13	34046159	261893530
#41	22@100%	+0	h4	0.233	38361379	164641111
#42	22@100%	+6	g2	0.324	69392367	214173972
#43	23@100%	-12	c7	0.284	57083578	200998514
#44	23@100%	-14	b8	0.198	21367458	107916454
#45	24@100%	+6	b2	1.813	612227091	337687308
#46	24@100%	-8	b3	0.516	104353321	202235118
#47	25@100%	+4	g2	0.247	30154429	122082708
#48	25@100%	+28	f6	0.896	178317496	199015062
#49	26@100%	+16	e1	1.693	461193080	272411742
#50	26@100%	+10	d8	6.572	2078435981	316256235
#51	27@100%	+6	e2	1.819	402752110	221414024
#52	27@100%	+0	a3	2.105	460196375	218620605
#53	28@100%	-2	d8	16.745	5428631290	324194164
#54	28@100%	-2	c7	20.264	6858449925	338454891
#55	29@100%	+0	g6	56.476	14231640162	251994478
#56	29@100%	+2	h5	7.647	1421292685	185862780
#57	30@100%	-10	a6	14.908	4174615559	280025191
#58	30@100%	+4	g1	8.619	1762391815	204477528
#59	34@100%	+64	e8	0.129	627770	4866434
全体	-	-	-	141.618	38425530030	271332246

Edax4.4との対戦

現状世界最強とも言われるオセロAI、Edax 4.4との対戦結果です。

初手からの対戦では同じ進行ばかりになって評価関数の強さは計測できないので、初期局面から8手進めた互角に近いと言われる状態から打たせて勝敗を数えました。このとき、同じ進行に対して両者が必ず先手と後手の双方を1回ずつ持つようにしました。こうすることで、両者の強さが全く同じであれば勝率は50%となるはずです。

テストにはXOTに収録されている局面を使用しました。

bookは双方未使用です。

Egaroucid勝率が0.5を上回っていればEgaroucidがEdaxに勝ち越しています。

Egaroucidが黒番

レベル	Egaroucid勝ち	引分	Edax勝ち	Egaroucid勝率
1	643	21	336	0.66
5	609	51	340	0.64
10	587	112	301	0.66
15	63	11	26	0.71

Egaroucidが白番

レベル	Egaroucid勝ち	引分	Edax勝ち	Egaroucid勝率
1	638	19	343	0.65
5	580	44	376	0.61
10	458	135	407	0.53
15	44	24	32	0.58