メインコンテンツへスキップ
見出し画像

【FMEシリーズ】寄り道編:国勢調査速報値を見てみよう!

    今日の新聞を読んでいたら、日本の人口がやたら減っているという話が出ていました。会社は東京ですが、この記事の筆者は沖縄に住んでいるので、沖縄タイムスの記事を興味深く読んでいると、沖縄の地図も出てきて、なんと宜野座の人口が増えているという興味深い発見をしました。

    最近は、FMEのシリーズものを書いているのですが、休みの土曜日なので、ちょっと寄り道して、この国勢調査のデータを地図にしてみようと思いつきました。

    材料

    地図作りの材料は、国勢調査のデータです。以下でダウンロードしました。

    このサイトを見たのですが、データ自体にはジオメトリが含まれていないし、同じサイトでは市区町村のポリゴンが見つからなかったので、国土数値情報で行政区域データをダウンロードしました。

    早速壁にぶち当たる

    エクセルを開くと早速大きな壁にぶち当たってしまいました。なんと親切にも人間判読用にいろいろ書き込んであるし、データのヘッダも複数行だし😢

    画像
    各列の列名はおおよそ9行目、データは14行目スタートのテーブルの様子、、、

    もう一つ気付いたのが、地域名を見ると、全国、北海道、札幌市、、、などといろんなレベルの行政単位が混ざっています😭

    データ界の10徳ナイフFME

    と言うことでFMEを取り出して、作業を始めました。

    まず最初は、エクセルの読み込みです。FMEにはエクセルを読み込むためのリーダーがあるので早速ダウンロードしたデータを読み込みます。その際、FMEでは、どの行がヘッダー(列名)なのか、どこからがデータなのか指定できます!下の例では、9行目が列名で、14行目以降をデータとして読み込む設定をしています。プレビューを見ながらそこら辺は調整できます。ものすごく便利です。

    画像
    必要な行だけを指定して読み込めるありがたいExcelリーダー。国勢調査データの読み込み設定画面

    次の課題は、市町村ポリゴンと紐づけるためのキー探しです。国勢調査データを見ると、表彰項目という列に、コードと行政単位名がアンダースコアでくっつけられて入っています。00000_北海道、みたいにです。

    一方、行政界ポリゴンを見るとN03_007がそのキーになっているようです。ただし、行数を見るとなんと125123行もあります。これは、小さい島などが独立したポリゴンになっていて、同じ行政コードがついているからですね。。。😭

    画像
    行政界ポリゴンはなんと10万行以上ある

    これらの壁を乗り越えるため、以下のようなFMEのワークスペースを作りました。各トランスフォーマにはコメントをつけたのでおおよそ何をやっているのかわかるのと良いのですが。いくつかポイントだけ。

    • Aggregatorは、12万ちょっとあるポリゴンを行政コードでまとめてます。その結果1905行のデータになりました。

    • AttributeSplitterは、属性に含まれる指定した文字で属性を分割します。一旦分割したデータは、リストに格納されるので、AttributeCreaterで行政コードに該当する属性だけを取り出しています。

    • AttributeManagerでは、小数点を含むデータが文字として認識されてしまっていたので、実数に変換しています。

    画像
    国勢調査のデータをポリゴンデータにして、GeoParquet形式で出力

    この中で興味深いのは、FeatureMergerと言う国勢調査データと行政界ポリゴンを紐付ける部分です。この部分を深掘りすると、FMEがどんなことをしてくれるのかよくわかります。

    画像
    FeatureMergerで国勢調査データと行政界ポリゴンを紐付け
    • Merged:うまく紐付けされたデータ

    • UnmergedRequestor:行政界ポリゴンで紐付けされなかったデータ

    • UsedSupplier:国勢調査データで紐付けされたデータ

    • UnusedSupplier:国勢調査データで紐付けされなかったデータ

    画像
    UnmergedRequestorの内容を確認したところ北方領土でした
    画像
    UnusedSupplierの内容を確認したところ、全国や都道府県レベルのデータでした

    こんなふうに、一つもデータを取りこぼすことなく、確認しながらデータ整備作業ができるのが、FMEの最大の特徴の一つではないかと思います。

    Feltにデータを放り込む

    出力されたGeoParquetのデータは、ドラッグ&ドロップでFeltの地図に読み込みました。作成したデータは簡単な確認しかしていないので、もし何か見つけたら教えてください。

    沖縄も人口が増えているようですが、新聞記事によるとそれもそろそろ変わってくるようです。東京と沖縄で人口が減ってくると、、、

    まとめ

    やはり簡単だと思う作業でも、結構手間がかかることがあります。たとえば、今と同じ作業を調査年を遡って全てのGISデータにしたいときや、次の5年後の調査結果が出たときなど、同じような作業が繰り返されます。こんな作業を属人化させず、できる限り自動化する時にFMEはその真価を発揮します。

    それから、FeatureMergerでも見たように、FMEは色々な例外が起きた時も、データを一つも漏らさず確認できるように設計されています。思い通りのデータになっているか、1ステップずつ確認できるのは、データを取り扱う仕事をしている一人として本当に助かります。

    皆さんもぜひFMEを使ってデータ整備を自動化してみませんか?


    📩 お問い合わせ

    FMEの導入や空間データに関連する作業の自動化にご関心のある方は、FMEを開発するSafe Softwareの日本国内パートナーであるPacific Spatial Solutionsまでお気軽にご相談ください。


     
     
    2D/3D地理空間データ可視化・解析の技術力と豊富な実績を持つPacific Spatial Solutions(PSS)。世界最先端の地理空間技術で課題を解決します。Cesium, FME, CARTO, Felt, Fusedなどの国内パートナーです。

    あなたへのおすすめ