Egaroucid 6.3.0 ベンチマーク

The FFO endgame test suite

The FFO endgame test suiteはオセロAIの終盤探索力の指標として広く使われるベンチマークです。各テストケースを完全読みし、最善手を計算します。探索時間と訪問ノード数を指標に性能を評価します。NPSはNodes Per Secondの略で、1秒あたりの訪問ノード数を表します。

Egaroucid for Console 6.3.0 Windows x64 SIMD

本バージョンで手元の環境ではEdax 4.4よりも高速になりました。

Core i9 13900K @ 32並列

番号	深さ	最善手	評価値	時間(秒)	ノード数	NPS
#40	20	a2	+38	0.035	15604674	445847828
#41	22	h4	+0	0.072	21714114	301584916
#42	22	g2	+6	0.125	55433043	443464344
#43	23	g3	-12	0.2	89692254	448461270
#44	23	b8	-14	0.088	24244680	275507727
#45	24	b2	+6	0.534	388512222	727550977
#46	24	b3	-8	0.184	80077492	435203760
#47	25	g2	+4	0.094	18628708	198177744
#48	25	f6	+28	0.513	182960049	356647269
#49	26	e1	+16	0.463	215949781	466414213
#50	26	d8	+10	2.479	1217607890	491168975
#51	27	e2	+6	1.159	631334502	544723470
#52	27	a3	+0	1.07	487586489	455688307
#53	28	d8	-2	4.997	3151318045	630641994
#54	28	c7	-2	7.016	4395595386	626510174
#55	29	g6	+0	18.849	10046955374	533023257
#56	29	h5	+2	2.567	810031220	315555597
#57	30	a6	-10	3.625	1674272788	461868355
#58	30	g1	+4	3.358	1332068570	396685101
#59	34	e8	+64	0.507	7987052	15753554
全体	-	-	-	47.935	24847574333	518359744

Core i9 11900K @ 19並列

番号	深さ	最善手	評価値	時間(秒)	ノード数	NPS
#40	20	a2	+38	0.044	15494702	352152318
#41	22	h4	+0	0.073	21124820	289381095
#42	22	g2	+6	0.146	49745915	340725445
#43	23	g3	-12	0.295	87066413	295140383
#44	23	b8	-14	0.101	23486569	232540287
#45	24	b2	+6	0.922	392855585	426090656
#46	24	b3	-8	0.245	81888822	334240089
#47	25	g2	+4	0.097	18401427	189705432
#48	25	f6	+28	0.689	159793545	231920965
#49	26	e1	+16	0.624	181557049	290956809
#50	26	d8	+10	4.204	1189348649	282908812
#51	27	e2	+6	1.467	483533396	329606950
#52	27	a3	+0	1.348	407229019	302098678
#53	28	d8	-2	7.136	2544121571	356519278
#54	28	c7	-2	11.849	4096311418	345709462
#55	29	g6	+0	31.535	9377874772	297379888
#56	29	h5	+2	4.024	779372741	193681098
#57	30	a6	-10	6.232	1625097679	260766636
#58	30	g1	+4	5.262	1234742124	234652627
#59	34	e8	+64	0.323	6779185	20988188
全体	-	-	-	76.616	22775825401	297272442

Egaroucid for Console 6.3.0 Windows x64 Generic

SIMDによる高速化をしていないバージョンです。

Core i9 13900K @ 32並列

番号	深さ	最善手	評価値	時間(秒)	ノード数	NPS
#40	20	a2	+38	0.052	15106413	290507942
#41	22	h4	+0	0.081	24801349	306189493
#42	22	g2	+6	0.15	50172927	334486180
#43	23	g3	-12	0.255	82187995	322305862
#44	23	b8	-14	0.107	22195794	207437327
#45	24	b2	+6	0.815	380144157	466434548
#46	24	b3	-8	0.241	85114614	353172672
#47	25	g2	+4	0.099	19198079	193919989
#48	25	f6	+28	0.469	114869257	244923788
#49	26	e1	+16	0.713	281038454	394163329
#50	26	d8	+10	3.454	1216391164	352168837
#51	27	e2	+6	1.435	545231458	379952235
#52	27	a3	+0	1.472	537958037	365460622
#53	28	d8	-2	7.14	3299644180	462135039
#54	28	c7	-2	10.769	4876521617	452829567
#55	29	g6	+0	27.897	10569469395	378874767
#56	29	h5	+2	3.069	719993903	234602118
#57	30	a6	-10	5.701	2212611193	388109312
#58	30	g1	+4	4.413	1364387596	309174619
#59	34	e8	+64	0.5	8602311	17204622
全体	-	-	-	68.832	26425639893	383915038

Edax 4.4との対戦

現状世界最強とも言われるオセロAI、Edax 4.4との対戦結果です。

初手からの対戦では同じ進行ばかりになって評価関数の強さは計測できないので、初期局面から8手進めた互角に近いと言われる状態から打たせて勝敗を数えました。このとき、同じ進行に対して両者が必ず先手と後手の双方を1回ずつ持つようにしました。こうすることで、両者の強さが全く同じであれば勝率は50%となるはずです。

テストにはXOTに収録されている局面を使用しました。

bookは双方未使用です。

Egaroucid勝率が0.5を上回っていればEgaroucidがEdaxに勝ち越しています。また、カッコ内の数字はEgaroucidが黒番/白番のときのそれぞれの値です。全ての条件でEgaroucidが勝ち越しています。

レベル	Egaroucid勝ち	引分	Edax勝ち	Egaroucid勝率
1	1227(黒: 591 白: 636)	46(黒: 20 白: 26)	727(黒: 389 白: 338)	0.628
5	1154(黒: 593 白: 561)	87(黒: 45 白: 42)	759(黒: 362 白: 397)	0.603
10	1050(黒: 599 白: 451)	237(黒: 107 白: 130)	713(黒: 294 白: 419)	0.596
15	302(黒: 162 白: 140)	114(黒: 51 白: 63)	184(黒: 87 白: 97)	0.621