データ分析もChatGPTに“お願い”するだけ!?未来のアクセス解析について我々が考えること（前編）

最近、こんな記事がINTERNET Wacheにあがっていました。

▼ データ分析もChatGPTに“お願い”するだけ!?　探索的データ分析プラグイン「Noteable」を試す
https://internet.watch.impress.co.jp/docs/column/shimizu/1506092.html

ChatGPTでデータ分析を行えるようになったとのこと。

そこで前編の今回は、Notableを利用しAnalytics Backup by QAで抽出した弊社ゴルフサイトのランディングページCSVを読み込ませ、ChatGPTに分析させてみます。

後編では、我々が考えるQA ZEROで実現したい未来のアクセス解析について触れます。

Noteableって何？

データ分析結果をチームに共有するためのクラウドツールです。
SaaSで提供され、（今のところ）無料から使えます。
https://noteable.io/

ノートにグラフやデータをどんどん埋め込め、Pythonのコードも書けるので、よりデータ共有資料が早く作れるというコンセプトですね。英語ですが、動画をみるとよりわかりやすいです。

（余談）どうすればChatGPTプラグインを使えるの？

現状プラグインはChatGPT有料プランの人向けになっています。
有料プランのメリットはこんな感じです。

速度が速い
GPT4が使える
pluginが使える

プラグインについて詳しくはこちら
https://n-v-l.co/blog/chat-gpt-plugin

ChatGPTでアクセス解析してみた

私が試した内容を共有いたします。

1.Notableアカウントを作成

無料でアカウントを作成しておきます。
https://noteable.io/
そしてプロジェクトを作成し、分析させるCSVファイルをアップロードしておきます。
そのままログインしておくと、その後が便利です。

2.プラグインを有効にし、使い方を聞く

ChatGPTの画面上部でプラグインを選択し、使い方を聞きました。

3.ランディングページのデータを読み込ませる

自動である程度読み込んでくれるかと思いましたが、ちょっと手間取りました。

3-1 データが大きすぎると怒られる

まず、ChatGPTにNotableにアップロードしたFILEの共有URLを指定すれば全体を読み込んでくれるかと思いましたが、それは無理のようです。
下記のように怒られました。

3-2 ChatGPTと会話しながら指示に従う

そこで、ChatGPTと会話をしながら、ファイルを読み込ませる手順を確認しました。ある程度は教えてくれたのですが、残念ながら、ChatGPT任せでは読み込みに失敗。

仕方ないのでGoogle検索し、Notableのマニュアルを調査した上で、ChatGPTがNotable上に自動生成したPythonプログラムのパスを手動で書き換え、無事読み込みに成功しました。

まぁここら辺はすべてNotableの操作の慣れの問題ですね。

4.アクセス解析を依頼した

計算やサマリーは得意技

まずは「一番アクセス数の多いページのURLと合計セッション数を教えてください」と聞いてみました。

Pythonプログラムの書き方を教えてくれましたが、面倒くさいので「実行してください」とお願いしました。すると、ChatGPT（厳密にはプラグイン経由）がNotableに勝手に接続し、プログラムを実行してくれました。賢い！

「最もアクセス数の多いページのURLは ‘/column/ob_rules/’ で、そのページの合計セッション数は 604 です。」と回答してくれました。

アドバイスはもう一歩？

数値が分かったところでどうしようもないので、次にアドバイスを求めました。
「このデータを使って、改善の余地があるページを見つけたいです。できますか？」

「はい、それは可能です」と頼もしい返事。

裏切り

しかしその後すぐに期待を裏切り、プログラムをつらつらと並べ「このコードを（あなたが）実行してみましょう」と余計なおせっかいをしてきました。

人を頼るとは言語道断。もちろんすぐに「自分で実行しなさい」と鞭を入れます。

するとすぐに実行してくれます。最初からそうしてくれればいいのです。

実行した結果は新しいNotableのノートブックに格納しているとのことなので、Notableを見てみます。

Notableがよくわからない

ChatGPTに勝手に操作されているNotableの方はこんな風になっていました。

残念ながら表とPythonのコードが記入されており直感的に何かヒントを得れる気はしません（※）。ChatGPTとNotableを行き来するのも面倒くさく。

※一応、私はQA ZEROのプロダクト責任者で開発者ですが、面倒くさいのは嫌いでして…

5.ChatGPTと会話を続け、改善案をまとめさせてみた

NotableとChatGPTが連携しているということは、おそらく要点をまとめることもできるだろうということで、会話しながらまとめてもらうことにしました。その最終結果がこちらです。

さらに何をしたらよいかも聞いてみた

ランディングページにリンクをうまく張れというアドバイスだったので、どのページにリンクを張ったらいいかも聞いてみました。

悪くはないですが、さすがにそのまま鵜呑みにすると危ないようなアドバイスが出てきました。

しかし、ゴルフ用品の販売ページへリンクしたら？といったアドバイスが出たのには驚きました。サイトの情報を渡していないので、与えられたデータのURL文字列から推測したのだと思います。

まとめ

正直に言って、全体としては想像以上でした。

ChatGPTと会話しているだけでコードが実行され、細かい指示をしなくても正しくデータを計算してくれます。やはりChatGPTは相当賢いのだと思います。

しかし、いくつかの大きな課題もあります。

ChatGPTによるデータ分析の課題

アドバイスがしょぼい
大きなデータについては処理が遅くなる（もしくは実行できない）
ビジュアライズが弱いため、いまいちインスピレーションがわかない

ChatGPTの限界ではなく、「物理的な課題」と「UX」の限界がみえた

これら課題は、ChatGPTが進化したら解決する問題でしょうか？
私はそうは考えません。

なぜなら、これらは「物理的」かつ「UX」の問題だからです。

物理的な課題

ランディングページでより有用なアドバイスをするには、リンククリックや精読率などユーザーのページ内行動データが必要です。しかし、今回利用したのはユニバーサルアナリティクスのバックアップデータですので、ページ内の行動データは保持していません。これはGA4でもほぼ一緒です。従ってそもそもデータが存在しないのでこれ以上のアドバイスは不可能です。

またデータの大きさも重要な課題で、ChatGPTが一度に処理できるデータ量には限界があるため、大量のデータから自動で法則性を導くなどは厳しいですし、速度的にも実用にならないと思います。

UXの課題

ChatGPTはとても優れていますが、チャットベースですので、どうしてもイメージが湧きづらいです。かつチャットで自由にしゃべれるというのはある意味オープンクエスチョンですが、人間同士でもオープンクエスチョンではスキル次第で思考が止まってしまうように、その問題がChatGPTでも発生する可能性は高いでしょう。

実際、「何をしたらよいですか？」と聞いた時、私は機械に指示される指示待ち人間状態になりました。コンバージョン率アップには経験上、企画力が重要だと考えていますが、それとは真逆の状態になってしまいます。これはUX上の克服できない課題です。