ヤフー天気動画おじさん、ヤフー天気動画をクロールする

概要

ヤフー天気動画(のサムネイル)をよく見るおじさんとして、昔のヤフー天気動画が見られなくなるのが非常に残念でヤフーニュースの記事の方も数か月で消えてしまうため、「推しの昔の動画が見られない!」という悲しい気持ちをどうにかするために、昔の記事を掘りだした。
ヤフーに上がっている仕様
  • ヤフーニュースはhttps://headlines.yahoo.co.jp/list/?m=wmapに過去記事が上がっているが数か月で消える
  • ヤフー天気はニュースと天気予報の二種類があり、だいたい1日本のニュースは7回分、1日朝夕2本の天気予報は最新のものしかリンクが残っていない
  • ヤフー天気はリンクはなくるが記事自体は残っている
というのがあるため、なんとヤフー天気には昔の動画が残っているのです。
しかしリンクがないため、12/02 16:20現在最新の1056986まで全件を舐めるしかない
どうにか件数が減らせないか、内部情報(?)なども含めて考えましたが無理でした。
IDはヤフー内共通らしく、ここ最近の増え方が半端ない・・・。
予報士の名前なども含めて全手動らしく、表記ムラが結構あって禿げそうである。
まあ表記ムラでもどうしようもないのはあきらめました。
気が向いたときに埋めます(—-のが表記ムラで取れなかったorそもそも書かれていなかったやつ)
何度もアクセスするコードを上げるのもどうかと思うけど、まあやらないでしょ。ちなみに1週間以上かかった。
そもそもひたすらアクセスし続けて大丈夫か?と思った。
フロントサーバーにはもっとわけのわからない数のアクセスが来ており、負荷面での心配は一切ないが(負荷上がったら知り合いに怒られる)、アタックまではいかないけどアタック検知してそうなところにはそこそこアクセスが行っているわけで、という心配はちょっとあった。

データ

結果は以下の感じ(見せ方は雑)
初回はみきてぃここと元井美貴さん
2014年8月26日です
出演者数は49人
今年の10月以降で4人新しい方が出演されています。
最多出演は多胡安那さん
なんと535回(データ取得時点)

本数は約4500本
1日だいたい3本を4年なので計算通りでしょう
昔は見ていなかったので知らない方もいますが、今はNHK総合に出られている、福岡さん國本さん宮崎さんをはじめ、全国いろいろな番組に出られている方が、以前だったり今もヤフー天気動画に出ている感じなんですね。

WordPress初テンプレ作成

サイトデザインを一新するとともにブログもそのデザインと合わせてみた。
とりあえず細部は変なところもあるが、いったんそのテンプレで完了した。
既存テーマで「そうじゃねぇんだよ」って思う部分があるので、デザインがそろうメリットと、かゆいところはかきやすくなったというメリットで細かいところは置いておいて早めに切り替え。

自分の使い方に特化しているので細かいところはそんなに触っていない
はまったところ解説とかもできればいいが、あまり時間がないのでとりあえずソースだけ置く
https://github.com/miyawa-tarou/blog_miyawa_theme/tree/master

まあサイトの方もそうだけど、実はレスポンシブでそこそこまともに動くサイト作ったの初めてな気がするのよね。
(ほしがたりの時もレスポンシブだけど、動きにこだわった分、PC含めて細部が雑すぎた)

やったことメモ

導入

  • MariaDBの導入
  • ユーザーとDBの作成
  • PHP7の導入
  • nginxの導入
  • WordPressファイルのアップロード
    • 軽く設定
    • プラグインの導入
  • (HTTPS化)
  • (GoogleSearchConsole、GoogleAnalyticsの設定)

テーマ作成

https://plusers.net/category/wordpress/wordpress-theme
ここを参考にさせてもらった

感想

  • 今時WordPress本体のzipを解凍してアップロードってどうなのよ
  • これカスタマイズしていじったファイルって基本サーバー上にしかないやつでしょ…。
  • ローカル環境を作らないと毎回アップロードでめんどくさい
  • これだけでブログ的なものから固定のページまで、サイト全体として対応するできることは凄いと思った
  • とはいえサイト全体作ったときに個別のCSSスタイルのページごとのものをどうするのかとか面倒すぎでしょというので、本気でやるとかなり面倒という意味で深いシステムだなという感じはする
  • まあ「私でも簡単に更新できるシステムを作って」というのの着地点としては仕方がないのかもしれない