ヤフー天気動画おじさん、ヤフー天気動画をクロールする

概要

ヤフー天気動画(のサムネイル)をよく見るおじさんとして、昔のヤフー天気動画が見られなくなるのが非常に残念でヤフーニュースの記事の方も数か月で消えてしまうため、「推しの昔の動画が見られない!」という悲しい気持ちをどうにかするために、昔の記事を掘りだした。
ヤフーに上がっている仕様
  • ヤフーニュースはhttps://headlines.yahoo.co.jp/list/?m=wmapに過去記事が上がっているが数か月で消える
  • ヤフー天気はニュースと天気予報の二種類があり、だいたい1日本のニュースは7回分、1日朝夕2本の天気予報は最新のものしかリンクが残っていない
  • ヤフー天気はリンクはなくるが記事自体は残っている
というのがあるため、なんとヤフー天気には昔の動画が残っているのです。
しかしリンクがないため、12/02 16:20現在最新の1056986まで全件を舐めるしかない
どうにか件数が減らせないか、内部情報(?)なども含めて考えましたが無理でした。
IDはヤフー内共通らしく、ここ最近の増え方が半端ない・・・。
予報士の名前なども含めて全手動らしく、表記ムラが結構あって禿げそうである。
まあ表記ムラでもどうしようもないのはあきらめました。
気が向いたときに埋めます(—-のが表記ムラで取れなかったorそもそも書かれていなかったやつ)
何度もアクセスするコードを上げるのもどうかと思うけど、まあやらないでしょ。ちなみに1週間以上かかった。
そもそもひたすらアクセスし続けて大丈夫か?と思った。
フロントサーバーにはもっとわけのわからない数のアクセスが来ており、負荷面での心配は一切ないが(負荷上がったら知り合いに怒られる)、アタックまではいかないけどアタック検知してそうなところにはそこそこアクセスが行っているわけで、という心配はちょっとあった。

データ

結果は以下の感じ(見せ方は雑)
初回はみきてぃここと元井美貴さん
2014年8月26日です
出演者数は49人
今年の10月以降で4人新しい方が出演されています。
最多出演は多胡安那さん
なんと535回(データ取得時点)

本数は約4500本
1日だいたい3本を4年なので計算通りでしょう
昔は見ていなかったので知らない方もいますが、今はNHK総合に出られている、福岡さん國本さん宮崎さんをはじめ、全国いろいろな番組に出られている方が、以前だったり今もヤフー天気動画に出ている感じなんですね。

気象予報士試験の勉強内容

2018年度の1回目の試験(8/26試験、10/5発表)で気象予報士試験に受かりました。
参考にはならないとは思いつつ、勉強内容と手法の意図などを書いておきます。

ちなみに自分は6月頭から勉強を始めて3か月弱で合格しましたが、昔ちょっと受けて落ちたのと、大学院の専門が大気力学、仕事でも気象データを扱うことがあるなど知識面での優位はかなりあったと思うので、一般的に3か月で受かるとは思っていません。
一般知識が普通ハードルだと思いますからね。私は一般気象学を1回読めば思い出せるくらいにはもともと頭入ってました。

まず「天気が好き」とかはまずいったん置いておいて「試験に受かること」を第一目的にする。
楽しいとかは二の次で、受かってからどや顔で楽しめばよいじゃないという感じは大事だと思います。

一般知識

一般気象学(6月中)→らくらく突破気象予報士[学科一般知識編](直前1日)
一般知識の内容は一般気象学の内容を理解していないと始まらないとは思っています。
ちなみに「一般気象学全部理解した」の心持ちで試験2週間前に過去問解いたら5点しか取れなかったので、あくまで理解はスタートな気がします。
5点は偶然かと思いましたがその次に6点取ったので多分実力的にそんなものです。
逆に言えば理解ある程度できていれば、最後の追い込みで合格点まで行くことは可能なのかなと思います。
それでやばいと思って、らくらく突破気象予報士[学科一般知識編]を買ったのは、まさかの試験一週間前です。
理解はしているので一日かけて(実質遊びにも出かけた日なので半日程度)「覚えること」だけをリストアップ
またあくまでマークシートなので「単語名」を細かく覚える必要はないという気持ちでとにかく頭に入れる内容を出す、
残り一週間は隙間時間はそれをチラ見する感じで試験を迎えました。
これで本番は12点でした。
もう少し頑張るとしたら、一般気象学の図の類を細かく見たかったくらいの感じです。
図の細かいところついてくるなーみたいな問題はたまに出るので。

専門知識

らくらく突破気象予報士[学科専門知識編](7月+直前1日)→多少気象庁の説明ページ
観測系は覚える、予報情報系は普段から触れ合うという感じでした。
観測系は見ることないですが、気象庁ページを見ていればこんな予報データあるんだという気づきは結構あるので、あとはそれを普段から見えているとそんなに覚える要素はなかったかなと思います。
本の内容は諸々古かったので、適宜気象庁の説明ページで書き換えたりはしましたが。
こちらも試験2週間前は合格点行かないかなー程度でしたので、らくらく突破気象予報士を一般知識と同じように「覚えることのリストアップ」を行いました。

学科

この一冊で決める!!気象予報士過去問徹底攻略(8月頭)
ちょっとだけこれもやりました。
基礎知識面ではよいですが、実際はもう少し癖のある問題が出題されている気がします。
ここの過去問だけ満点取れても正直10点も取れない気がします。
過去問は一応予報業務支援センターが出しているものは全部やった

実技

らくらく突破気象予報士[実技編](7月末~)→気象予報士試験第1回~第20回テーマ別実技試験 解答と解説(8月頭~)
基本的には試験に出るのは「パターン」しかないと思うので、そのパターンを知ることだけを重視しました。
らくらく突破気象予報士はまさにそのパターンを表しているものでまずは大きなパターンを知る、
そして過去問を数解いて細かい部分のパターンを知る という感じで「知らないと解けない」から「数を知る」を重視しました
さすがに第1回~第20回だと古すぎて航空予報とかもあるので、その辺は飛ばしましたが。
実際の試験は75分ですが、記述も雑に書く・キーワードだけ書くみたいな形で75分で採点と覚えることのまとめが終わるくらいのペースで数を回しました。
(時間があれば真面目に向き合っていいと思いますが)
気象予報士という名前ですが、実技は予報をするのではなく予報資料を正しく読んで正しく表現できることが求められていると思います。
75分という枠でまじめにやったのは多分直近の過去問2回分くらいしかないですね。
まあこれはさすがにやりすぎで、
「時間配分がわからない」「実技で書く自分の文章が適切かわからない」という不安は結構ありました。
全体としても直近の過去問は4回分もできなかった気がする

試験当日

前日の寝た後に仕事のサーバーのアラートが上がり、起きた後も仕事のサーバーの別のアラートが上がる素敵な感じはありましたが、
1度目のアラートが上がった後寝られなくなり読んだ実技の参考書の部分(天気記号)が出たので、意外とそのおかげで受かった可能性もあるなとは思いました。
冷房直あたりで、冷房風で紙が舞う素敵な座席でもありましたが、この辺りはいろいろ想定した一部準備が大事かなとは思います。
上着を持って行ってましたし、少なくとも試験票は飛ばない工夫はできるようにはしていました。
あとはリラックスはしてた。頭に血が行き過ぎないように、昼休みは食べる時間以外は完全に散歩してましたし。
まあちなみに実技2はあまりできた気がしないなかで1点でも稼げるようには頑張りましたが、
周りやTwitterで見る、色々な受かった方々が「そんなに自信がない」というのは自分も当てはまってました。