企業分析サイト「バフェット・コード」開発者が語る、データ整形の「苦労」と「価値」

ありがとうございます。

大変なところね（笑）。 たくさんありますよ（笑）。

まず、こういった財務に関するデータって、どこから取ってくるかって分かります？

そうです。 EDINETが公開しているAPIがあって、有報（有価証券報告書）やIPO、株式分割などのリリースはここから取ってきています。 ただ、データが、ウェブサービスが期待するデータ構造をしていないんですよね。

EDINETでのファイルは、「XBRL」という財務諸表を表現するための「XML」で来るんです。

XBRLはただのファイルなので、このままだとウェブサービスにとって嬉しくないですよね。 ウェブアプリケーションから扱いやすいのは、「RDB（リレーショナル・データベース）」や「KVS（キーバリューストア）」ですが、元データはネストしたデータ構造を表現しやすいXMLなので、それぞれのストレージやウェブアプリケーションからのユースケースに応じて、適切にデータを加工して保存する必要があります。 ここのtransform、変換の作業がそもそも大変です。

あと、「不定期に出るデータ」をマージするのが難しくて…。 例えば「株式分割」ってあるじゃないですか。

はい。 その株数の変化があった場合、過去の1株あたりのデータ…、例えば「配当」が使い物にならなくなってしまいます。 こういった数値を再計算しないといけない。

そう、「1株あたり」の指標って結構多くて、再計算処理はたくさん走っています。 過去のデータでも本質的に「データが確定しないこと」がある。 一方で、業績や配当の予想値も、「業績予想の修正」や「配当予想の修正」などで不定期で修正が入るので、大変ですね。

どうしても例外的な処理が残ってしまう、ということもあって。 例えば、「IPO（新規上場）」や「上場廃止」とかですよね。

IPOだと、まず「有価証券届出書」（有価証券「報告書」ではない！）がEDINETに掲載されます。 ただ、「届出書」に載っている情報というのが、有報などの定期・定型な報告書とは違って、会社ごとにまちまちな部分があるんですよ…。 数値が足りなかったりするので、手打ちが必要になるケースも出てくる。

開発コストを沢山かければ、自動化できなくもないでしょうが…。 現状は数が少ないこともあって、ある程度は「手オペ（手動オペレーション）」でやってますね。

日々走らせているジョブの管理も大変です。 これがバフェット・コードの日次batch処理の「DAG（有向非巡回グラフ）」になるんですが。

データ処理の依存関係が複雑で、扱っているデータ量が多いということに加えて…。 新しい有報が提出されたときや、特定のデータのパースにバグがあったときなどに、それらのデータソースの変更が影響するデータを、すべて再計算して更新する必要があるんですよ。 弊社では、Apache AirFlowというワークフロー管理ツールを使っています。

データ処理の依存関係をコードで記述できることですね。 あと、エラーが起こったとき、web UIからボタン1つで失敗した部分だけリトライできることや、日次処理の履歴（成功・失敗とか処理時間）が可視化されるのもメンテナンスに嬉しいです。

今って、残念ながら、人間が使いやすい、エンジニア／リサーチャーにフレンドリー「財務データ」が世の中にあるとは言い難いんですよね。 誰かがやらなきゃいけないのに、誰もやっていない。 そこを「自分たちが整備している」という意識はありますね。 なので、バフェット・コードのデータを参照できるWeb APIも公開しています。

現在、月額1万円で提供しております。

非エンジニアの方にも使っていただきたいので、Google Spreadsheetから簡単に扱えるアドオンも開発しています。

なので、経済学部の方には是非APIを使ってみていただきたいですね。 我々がデータを整備することで、研究者や学生のお役に立てれば、エンジニア冥利に尽きます（笑）。