他社比較10倍の精度と
AI×テストへの期待が
採用の決め手

G2 Studios 株式会社

スマートフォンゲームの企画・開発・運営までの一連の工程を行うゲーム開発会社G2 Studios株式会社を訪問し、ディビジョンマネージャーの伊藤啓氏、チーフディレクターの吉田正洋氏、QAチーム　チームリーダーの野田岳洋氏にお話を伺いました。

お取引概要

既存のテスト会社からの切り替えのため、テスト会社5社がエントリーするコンペからAIQVE ONE株式会社を選定いただく。・スマートフォンゲームのテスト受託・テストリーダーの出向にてお取引を開始。

当初の課題

スマートフォンゲームの大規模アップデートを予定しており、通常のイベント運用と同時並行でテストを行う必要があった。そのため、より開発がスムーズに進められるテスト会社に切り替えを検討していた。

インタビューイー

・伊藤啓氏 / ディビジョン　マネージャー
ディビジョン内の複数プロジェクトを統括し、売上・工数の管理や外部折衝、人員・組織管理を担っている

・吉田正洋氏 / チーフディレクター
プロジェクト統括ディレクターとして、様々な職種のメンバーからなるチームをまとめ、ゲームクオリティやスケジュールの管理をしている

・野田岳洋氏 / QAチーム　チームリーダー
G2 Studios内の全プロジェクトを横断し、ゲームおける品質保証業務全般を担当している

５社コンペの中でも、
最もテストらしいテストができた会社だった

ゲームの内容と、AIQVE ONEに依頼したテストについて教えてください。

伊藤　今回テストをご依頼したタイトルは多数のメディアミックスを行っている大型IPのスマートフォン向けゲームです。
ゲーム内容を大幅に改修する大規模アップデートをする予定があり、通常のイベント運用と同時に開発とテストを進める必要がありました。
大規模アップデートではチュートリアルやカードのデザイン、スキル、バトルなどを一新したため、テスト項目のボリュームも、ほぼ新規タイトルを開発する時と同じくらいになりました。

テストについて、どのような課題があったのでしょうか？

吉田　これまでのテスト体制を見直したところ課題も多かったため、大型アップデートを控えたタイミングで改めてテスト会社を選定することにしました。お付き合いの長いテスト会社に頼る安心感があったのも事実でしたから、実は今回のように運用中にテスト会社を切り替えるのは、あまりないケースです。
現状の課題とテスト会社ができることをすりあわせつつ、慎重に選ぶ必要がありましたので、5社でコンペを開催することにしました。その中で、ボリュームのあるテスト項目から問題点や弱点を素早く指摘していただき、最もテストらしいテストができたのが御社でした。

圧倒的精度とレポートのクオリティーで依頼を決定

5社コンペの中で選ばれた決め手となったのは、具体的にどのような点だったのでしょうか？

野田　今回正式にご依頼する前に、コンペにエントリーされたテスト会社の中から貴社をふくめた3社にトライアルという形で作業をしていただきました。その中でも一番多くのバグ件数を報告してくれたのがAIQVE ONEでした。また、上がってくるレポート内容も充実しており、用意したチェックリストに沿った所から派生したバグや、ひとつ出たバグに対して、「ここでこのバグが出るということは、違う箇所でも出る可能性があります」という補足もしていただけました。単純に用意されたテスト項目のみに沿ったチェックをするに留まらず、そこからどういったテストが必要になるかも自主的に考えて作業をしていただけたことで、報告件数もクオリティーも他社と比較して最も良い結果になったのが決め手となりました。

他社と比較して、報告したバグ件数はどのくらい多かったのでしょうか？

野田　かなり顕著に差が出ましたよ。一番報告バグ件数が少なかったテスト会社と比較すると10倍くらい違いました。

それはインパクトがある数字ですね！

吉田　5社ともに基本的には予算や期間の条件が同じでこの結果でした。決められた項目書のチェックだけをしていれば、確かに大きな抜け漏れはありませんが、細かい部分を見落としてしまいがちです。俯瞰的にチェックをする部隊を動かしてもらうことで、チェックリストで見るべき所に加えて派生したバグを見つけることができます。それは今のテスト会社の多くができていないことです。
古き良き時代の大規模コンシューマゲームやPCゲームの開発現場では、あちこちのバグを報告してくれる職人みたいなテスターがたくさんいたものです。AIQVE ONEはその技術と文化を踏襲されていることが長所だと思います。

バグ報告件数以外に気になったところはありましたか？

吉田　報告件数でも顕著に出ていますが、中身も然りでした。精度の高い報告をしていただいたお陰で、「うわあ、すごいのが来たよ！」とエンジニアも興奮して唸るような、近年稀に見る開発現場になりました。スケジュールがタイトな中で複数の修正箇所が発生したため忙しくはありましたが、とても充実して楽しい開発期間でした。
受託に加えて貴社から出向して常駐していただいた方は人となりも良く、開発に溶け込みながら良い結果を出してくれたことも助かりました。顔の見える人が一人でも多いのは、開発のやりやすさに直結しますから。

伊藤　両社を理解した上で直接弊社の業務をしてもらっているので、会社間でバランスを取ってくれ、非常に仕事がやりやすくなりました。

高いヒューマンスキルとAI×テストに期待

改善点や課題などについてもお伺いできればと思いますが、いかがですか？

吉田　これは将来的な希望と言うべきかもしれませんが、AIQVE ONEで開発されているAI×テストに対する期待はあります。AIを活用したテストの自動化や効率化が進むことで、手を動かさずともテストがある程度は終わっているようになると嬉しいですね。本当の意味ですべて自動化するのは、まだまだこれから先の進化に期待することになるんでしょうけれど、やはり貴社とお仕事をしていく上でAI×テストへの期待を感じています。

野田　今回はAIを活用したQAを行うには至りませんでしたが、先々そういった技術を導入することで、品質を保持しつつ、作業の効率化や人的リソースの削減をしていきたいです。ですから、今後関わりを継続していく中で、先々のタイトルに有効活用できるものがあればと思います。

伊藤　後は先ほど吉田が言ったように、貴社のスタッフ1名に来ていただいて、業務的な流れに限らず周りとのコミュニケーションも積極的に取っていただいたので、とても助かりました。今後も窓口となる方に、そういった方を増やしていただけると、こちらとしてもすごく助かります。