データ作成の作業フローを検討

[nyampire]

9日のもくもく会くらいまでの、データ作成フローを決めましょう。

現在存在しているデータについては、
#14 (comment) の分類を延長しています。
（10日公示日が過ぎたらスレッド再作成して整理する予定）

[nyampire]

6日時点での作業フローは以下のとおり。

[mshk]

データ収集については、ここに書き込むのがよいでしょうか。

前回の都議選の時に、候補者のホームページとSNSアカウントを調べるスクリプトを作りました。

• 選挙管理委員会のページをスクレイピングして候補者のホームページURLリストを作成
• ホームページを巡回して、SNSアカウントへのリンクを抽出

というものです。精度はそこそこですが、人力でやる前のたたき台データ程度には使えます。
https://github.com/mshk/togisen2017

このデータを元にしたサイトはこちらになります
https://mshk.github.io/togisen2017/

もくもく会で説明しつつ今回の選挙用に改修しようと思っていたのですが、すでに作業が進行中であり、この週末は家庭の用事があり、もくもく会への参加が危ぶまれているので、ひとまず「こういうものがあります」ということだけお伝えします。

今後は

• 現在の候補者スプレッドシートをスキャンするスクリプトを作成して、ホームページのリンクを自動作成
• 上記のリストを人力で検証
• 検証済みURLリストを元にSNSアカウントのリストを自動抽出
• SNSアカウント・リストの検証

というフローが提供できればと思ってるのですが、ちょっと仕事の状況が厳しいので自分自身でどこまでできるかという状況です。

ひとまず

[hkwi]

2017-10-10 に選挙管理委員会から出てくるデータを書き集めないといけないのはそれはそれとして、各党から出ている「立候補予定者」という生ものデータや調査サイトが公開しているデータがあり、ボットで差分を追いかけようと試みています。

GrayDB 登録の助けに活用いただければ幸いです。 https://hkwi.github.io/shuin48pre/

[halsk]

@hkwi 先方の形式について mySociety に確認しました。
いまのままで、性と名は分けなくても良いそうです。また、敬称も入れなくて大丈夫とのこと。
選挙用の表記について、GrayDB 側には列追加しておきますか？

[hkwi]

はい。カラム追加などお願いします！👍

[higa4]

選挙用表記名の列を追加しておきますね。wikidataではラベル欄に入ったり、別名欄に入ったりしています。統一する必要があればお知らせください＞@hkwi

[higa4]

GrayDBには現在「所属政党」欄がひとつですが、選挙に際しては「推薦政党」も投票の参考になりそうなので、列を追加したいと思います。ご意見などありましたらお願いします。wikidataには院内会派(P4100)というプロパティがあるので、これを使う予定です。
https://www.wikidata.org/wiki/Property:P4100