エンジニアもどきの研鑽ブログ

Webエンジニアになるべく毎日勉強中

メルカリをスクレイピングして各商品の取引情報をcsv出力してみた。〜ツール紹介編〜

 

 

最初に

Twitterでよく見かける生まれては消える駆け出しエンジニアもどきです。

 

今回は、ポートフォリオの一部として作成したツールの紹介をしていこうと思います。

 

名前はずばり、「メルカリ売上等計上システム」略して”merkei”です。

 

ダサいとかセンスないとかはやめてください。結構気に入ってます。

 

なぜこのツールを作ったの?

私はメルカリをよく使います。出品者としても購入者としてもよく使います。

取引件数としてはそろそろ3000件くらい言っちゃいそうな勢いです。

 

そこで、ずっと思っていたのが「売上とかのお金の管理めんどくせ〜」です。

このツールを作成する前はExcelでいちいち1件ずつ手入力で管理していました。

これがとにかくめんどくさいです。転売ヤーさんとかわかってくれると思います。取引件数が多いほど面倒臭いです。

手入力なので打ち間違いがあったり漏れがあったり問題はいろいろ出てきます。

 

メルカリさんがそういう管理画面作ってくれたらいいのに〜とか、誰かやってくれ〜とかずっと思っていましたが、ある日閃きました。

 

「エンジニアなりたいんやからエンジニアっぽく解決したらええやん」と。

 

そこから山あり谷ありの日々を乗り越えてこのツールを完成させました。

山あり谷ありの部分については追々、使った技術編とかの題名で書いていこうかな〜と思っています。 

 

最初は公開する気もなく自分用に作りはじめた物でした(最初はcsv出力もせずにVisual Studio Codeのターミナルに月ごとのデータとか見たいデータをバーっと出力させて眺めるだけのものでした。)が、作ってる最中に「ちょうどいいしこのツールを元にポートフォリとなるWebサービス作って公開してみよ」となりました。

このサービスもほとんど完成していて公開済みですが、これについてもまた別で書いていこうと思います。

  

どういうデータを取ってきてくれるの?

 

この「merkei」が自動で取得してくれるデータは、取引を完了した商品の「商品代金」、「販売手数料」、「配送料」、「販売利益」、「その商品の取引画面のURL」、「取引完了年月日」です。

 

商品URLとる必要あるの?って思うかもしれませんが必要です。作成したWebサービス(merkei.com)でインポートするときに必要となるので。。。

 

これを全部自動で取得してくれるのは本当にありがたいです。初めて起動したときは感動しすぎてずっとニヤニヤしてました。

 

これで、打ち間違いやら漏れやら面倒臭さやらでイライラする日々とはおさらばしました。

 

データはcsvファイルに出力されます。このcsvファイルを(merkei.com)でインポートして使っていきます。これについては別で書いていきます。

 

 

ツールの利用方法と流れ(画像あり)

ここでは、実際のツールの利用方法について解説していこうと思います。

私が配布するツールはzipファイルに入っているのでまずは、それを解凍します。

解凍後から説明します。

 

zipファイル解凍後の流れ

 

流れとしては、

1.zipファイル解凍
2.解凍後に3ファイル入っていることを確認

  ファイル1:chromedriver.exe

 

  ファイル1は、ご自身のchromeのバージョンと合わせる必要があります。

  これがあっていないとツールの実行ができないです。

  利用できるブラウザはchromeのみです。

  ご自身のchromeを最新の状態にしてそのバージョンと合ったchromedriverをインストールしてください。

  インストールしたらそのchromedriverを以下の2ファイルと同じフォルダに格納してください。

 

  ファイル2:merkei.csv

  

  このcsvファイルに取得したデータが格納されます。

  ツールを実行する前にファイルは閉じておいてください。

  データが保存されません。

  「merkei.com」でインポートして使っていくファイルになります。

  インポートする際はファイル名はなんでも良いですが、

  データを取得する時は、必ずmerkei.csvでなければなりません。

 

  ファイル3:scrape.exe

 

  このファイルが実行ファイルになります。

  このファイルを実行すると数秒待ってください。

  その後、chromeが勝手に立ち上がってメルカリのログイン画面があらわれます。

 

3.上記ファイルのバージョン確認等の設定

 

4.scrape.exeを実行してデータを取得

 

画像で流れを確認

1.merkei.csvのデフォルトについて

メルカリで取得した売上等のデータを格納したファイルのヘッダーについて

zipファイルに入っているcsvファイルのヘッダーについて

上の画像の1行目の部分のみが、デフォルトでは記載されています。

データが無事に取得できると上のようにデータが書き込まれます。

 

2.zipファイルの中身の構成について

メルカリをスクレイピングする時に使うファイル達

ファイルの構成について

上の画像のようにzipファイルの解凍後の中身はこのようになっています。

先ほど説明した通り、chromeとchromedriverのバージョンを合わせる。

merkei.csvの名前を変更しない。変更するとデータを保存できない。

 

3.scrape.exeを起動する

メルカリのスクレイピングしている時の最初の画面(売上履歴)

メルカリにログイン後の画面

scrape.exeをダブルクリックで実行すると数秒でchromeが立ち上がりメルカリのログイン画面が表示されます。そのままログイン情報を打ち込んでログインします。

ログインが成功すると上の画像のように売上履歴のページが表示されます。

ログイン後はもう画面に触れなくて大丈夫です。というかパソコンが得意でない方は触らない方が良いかなと思います。

ここの、売上履歴のページから1件ずつデータを取っていきます。

以下の画像のようにパッパッパッと画面が変わっていくと思います。

データを取得している証しですので安心して見守っていてあげてください!

メルカリのスクレイピング中の取引商品の画面1

メルカリの取引商品1

メルカリのスクレイピング中の取引商品の画面2

メルカリの取引商品2

メルカリのスクレイピング中の取引商品の画面3

メルカリの取引商品3

 

そうしてしばらく待っているとchromeが勝手に消えると思います。merkei.csvを確認するとデータが全部取得できていることが確認できると思います。

取引件数次第ですが100件で3〜4分、取引履歴の件数はメルカリさんが表示してくれているのが2000件だったはずなので、2000件全てだと1時間半くらいかかってくると思います。これはあえてそのように設定しています。

時間がある時にでも起動してください。

 

 

 まとめ

 

今回、初投稿ということで手探りで書かせていただきましたが、いろいろ書きたいことが思い浮かんできたのでWebサービス編とか使った技術編とかいろいろ書いていこうと思います。

 

・ツールの名前は「merkei」

Webサービスの名前は「merkei.com

・「merkei.com」で今回紹介したツールの「merkei」で取得したcsvファイルをインポートして使う。