ヤフー天気動画おじさん、ヤフー天気動画をクロールする

概要

ヤフー天気動画(のサムネイル)をよく見るおじさんとして、昔のヤフー天気動画が見られなくなるのが非常に残念でヤフーニュースの記事の方も数か月で消えてしまうため、「推しの昔の動画が見られない!」という悲しい気持ちをどうにかするために、昔の記事を掘りだした。
ヤフーに上がっている仕様
  • ヤフーニュースはhttps://headlines.yahoo.co.jp/list/?m=wmapに過去記事が上がっているが数か月で消える
  • ヤフー天気はニュースと天気予報の二種類があり、だいたい1日本のニュースは7回分、1日朝夕2本の天気予報は最新のものしかリンクが残っていない
  • ヤフー天気はリンクはなくるが記事自体は残っている
というのがあるため、なんとヤフー天気には昔の動画が残っているのです。
しかしリンクがないため、12/02 16:20現在最新の1056986まで全件を舐めるしかない
どうにか件数が減らせないか、内部情報(?)なども含めて考えましたが無理でした。
IDはヤフー内共通らしく、ここ最近の増え方が半端ない・・・。
予報士の名前なども含めて全手動らしく、表記ムラが結構あって禿げそうである。
まあ表記ムラでもどうしようもないのはあきらめました。
気が向いたときに埋めます(—-のが表記ムラで取れなかったorそもそも書かれていなかったやつ)
何度もアクセスするコードを上げるのもどうかと思うけど、まあやらないでしょ。ちなみに1週間以上かかった。
そもそもひたすらアクセスし続けて大丈夫か?と思った。
フロントサーバーにはもっとわけのわからない数のアクセスが来ており、負荷面での心配は一切ないが(負荷上がったら知り合いに怒られる)、アタックまではいかないけどアタック検知してそうなところにはそこそこアクセスが行っているわけで、という心配はちょっとあった。

データ

結果は以下の感じ(見せ方は雑)
初回はみきてぃここと元井美貴さん
2014年8月26日です
出演者数は49人
今年の10月以降で4人新しい方が出演されています。
最多出演は多胡安那さん
なんと535回(データ取得時点)

本数は約4500本
1日だいたい3本を4年なので計算通りでしょう
昔は見ていなかったので知らない方もいますが、今はNHK総合に出られている、福岡さん國本さん宮崎さんをはじめ、全国いろいろな番組に出られている方が、以前だったり今もヤフー天気動画に出ている感じなんですね。