メインコンテンツへスキップ

転職に向けたポートフォリオ作成日記_2-2

    前回はAWSを開設してIAMを設定しました。
    今回はS3の作成とVSCodeからのAWSへの接続です。
    ここではまずIAMを使ってコンソールに入ります。

    S3について

    S3の特徴について

    S3は普通のPCのフォルダとは少し異なっています。

    普通のPCのファイル管理は
    Documents/
    └── data/
        └── sample.csv
    という階層構造です。

    S3では実体としてはこうです。
    バケット名: my-datalake-dev-apne1
    オブジェクト名:raw/estat/2026/05/sample.csv

    先ほどの階層構造のようにrawフォルダのestatフォルダが存在しているわけではありません。
    raw/estat/2026/05/sample.csvという名前のオブジェクトが1つ存在しています。

    オブジェクトとは?

    オブジェクトとはS3に保存されているデータの最小単位です
    PCでいう「ファイル」に近いですが、完全に同じではありません。
    S3のオブジェクトは主に3つの要素で構成されます。

    ①データ本体
    ②キー
    ③メタデータ

    ①データ本体とは
    CSVの中身、JSONの中身、画像データなどです。
    PCでいうファイルの中身に近いです。

    ②キー
    S3上でオブジェクトを識別する名前です。
    raw/estat/2026/05/sample.csvはフォルダのパスに見えますが、キーという文字列です。
    フォルダに見えますが、人間が理解しやすいようにこういった表現になっているだけです。

    ③メタデータ
    データ本体に関する付加情報です。
    具体的には
    Content-Type: text/csv
    サイズ: 12KB
    最終更新日時: 2026-05-05
    暗号化方式: SSE-S3
    です。

    S3はPCのファイル管理よりも
    「大量のデータを安く・安全に・拡張性高く保持する」
    ことを目的に作られています。
    そのため細かいフォルダ階層を管理するよりも
    「キーで一意にデータを指定する」設計になっています。

    S3では以下のようにURLでデータの保管場所を認識しています。
    s3://my-datalake-dev-apne1/raw/estat/2026/05/sample.csv
    ・「s3://」S3であることを示す
    ・「my-datalake-dev-apne1」バケット名
    ・「raw/estat/2026/05/sample.csv」キー

    そしてキーで認識できるデータ本体がオブジェクトです。

    バケットの作成

    AWSのコンソールで"S3"と検索して、バケットの作成を選択
    バケット名とリージョンを設定
    バケット名は世界で一意のものとします。なぜならそれがURLになるからです。複数存在しているとおかしなことになります。

    画像

    AWSリージョンは画像ではUS-east-1となっていますが、基本は職場の近くのリージョンを選びます。
    私は日本在住なので、ap-northeast-1で東京を選択します。
    最新(2026/5時点)のS3ではバケット名にアカウント名+リージョンで一意に設定できるようになっています。
    バケット名前空間を「アカウントのリージョナル名前空間」を選択します。
    バケット名ですが、私は以下のように設定しました。
    org-system-purpose-env-region

    ・org(組織・識別子)
    →誰の資産か?
    ・system (datalake, analytics, e.t.c…)
    →何のためのS3か?
    ・purpose(用途)
    →入っているデータはどういう用途か?
    ・env(環境)
    →開発か?検証か?本番か?
    ・region(リージョン)
    →作成するリージョン

    これだけ細かく分けていれば、事故って消すことはないでしょう。
    命名規則は外部設計の段階で決めます。
    それぞれのプロジェクトに合った命名規則を決めましょう。
    (アカウントのリージョナル名前空間にするなら、そもそも最後のリージョンは必要ないかもしれません)

    画像

    続いてはオブジェクトの所有者についてです。
    この項目は「S3オブジェクトのアクセス制御を何で管理するか」を決めています。
    S3のアクセス制御には2種類あります。
    ・IAM/バケットポリシー
    ・ACL
    ACLとはAccess Control Listの略で、誰がどのバケットにアクセスできるかを管理するものです。
    これを有効にするとリストに登録するだけでIAMとバケット競合し、「明示的な拒否」が勝ちます。
    つまり管理がめんどくさくなるということです。

    だったらIAMでユーザー登録(もしくはグループでIAM登録)して管理した方がいいですよね。
    なのでここではACLは無効にします。

    画像

    続いてパブリックアクセスについて。
    簡単に言えば外からのアクセスを許可するかどうかです。
    基本的に外部背景がなければすべてブロックです。

    画像

    バケットのバージョニングですが、こちらは「有効」にします。
    有効にすると、前バージョンが残るため誤操作からの復旧、変更点の確認が可能です。ただし、変更をした全バージョンが保存されるためストレージ倍増でコストが増えます。
    今回は一応有効にしますが、お金はかけたくないので適宜削除していきます。
    タグは無視で大丈夫です。

    画像

    続いてデフォルトの暗号化についてです。
    ここではS3に保存されるデータ本体の暗号化をどのやり方でやるかという設定です。
    SSE-S3はAWSが自動で暗号化します。運用が簡単でセキュリティも十分に高く、コストも追加でかかりません。
    標準はこちらを選択するだけでいいです。

    SSE-KMSは自身で制御します。誰が復号者の管理、鍵の利用ログの監査、鍵のローテーション(新しい鍵への交換)をします。
    セキュリティがより高くなりますが、コストがかかります。
    これを使う時は要件定義の段階でどこまでのセキュリティを求められるかによって違います。
    金融などの高セキュリティが求められる際に使用します。
    DSSE-KMSも同様です。こちらはより高度になります。
    今回はそもそもオープンソースを使うので、SSE-S3で十分です。

    こちらでS3の設定が終了しました。

    S3の課金体系について

    ここで軽くS3の課金体系について触れます。
    S3は主に4つの要素から課金されます。
    https://docs.aws.amazon.com/ja_jp/whitepapers/latest/how-aws-pricing-works/amazon-simple-storage-service-amazon-s3.html?utm_source=chatgpt.com

    ①ストレージ容量
    ②リクエスト料金
    ③データ転送料
    ④管理機能

    ①ストレージ容量
    S3においているオブジェクトに応じて料金がかかります。
    まずオブジェクトのサイズ、当月中にオブジェクトを保管した期間の長さによって料金は変わります。
    たストレージクラスという「データの置き方・保管ランク」によって料金は変わります。
    S3 Standardで東京リージョン、50GB以下でUSD 0.025/GB
    100GB以上からは値段が安くなるのですが、一旦これで計算すると
    1ヶ月あたり2.5USD=約400円
    んー安いのか?置いてるだけで毎月400円。一年で4800円の赤字。

    ②リクエスト料金
    S3に対して行ったリクエスト(簡単に言えば操作です)回数に応じて料金がかかります。リクエストの種類、ストレージクラスで料金は変わります。
    S3 Standard、東京リージョン、PUT、COPY、POST、LIST リクエスト1000件あたり、USD 0.0047。
    1ヶ月あたり85000回リクエストして400円。これは安いのか?

    ③データ転送料
    大雑把に言うとこれはS3へのデータの出入りに課金される料金です。
    ただ注意点があります。
    ●外(インターネット、AWSの他リソース)→S3:無料
    ●S3→AWSの他リソース:一部有料だが基本無料
    ●S3→インターネット:有料

    料金としては、約USD 0.114/GB。
    毎月100 GB の無料利用枠があります。

    ④管理機能
    別リージョンの複製、オブジェクトの一覧出力、自動階層化などの管理機能やレプリケーション機能を使うと課金されます。
    この辺りは細々としたのがあるので割愛しますが、しくじると結構料金がかかるものもありそうでした。

    VSCodeからAWSへログイン

    VSCodeに追加する拡張機能

    続いてVSCodeからAWSを操作する準備をします。
    今回新たにVSCodeに追加する拡張機能は以下の2つです。

    ・AWS Toolkit
    ・YAML

    画像

    AWS Toolkit

    VSCodeからAWSを操作できるようにする拡張機能
    何のために入れるかというと、いちいちVSCodeとAWSを行き来しなくて済むようにです。
    Toolkitを入れていないとAWSのコンソールに移る必要があります。
    AWSリソースの操作や保存の確認などで、タブの反復横跳びしなくて済むのです。

    また今後使うであろうAWS Lambdaなどのログ確認も楽になるらしいです。(知らんけど)
    基本的にToolkitがなくても作業自体はできますが、より便利に作業しようという意図があります。

    YAML

    YAMLとはAWSの設定ファイルを書く補助ツールになります。
    現段階の構想では将来的にはAWSの設定をGUIではなくコードで記入する世界になります。
    設定を書く際に、ミスを防いだり、エラー原因を教えてくれるものになります。

    AWS Toolkitの設定

    AWS Toolkitをインストールしたら、早速セットアップしましょう。
    VSCodeでインストールをすると、AWS CLIのインストールが出てきます。
    初期設定の時しか出てこないせいなのか、ここでは画面キャプチャがありません。
    AWS CLIを入れたことで、ターミナルからAWSを操作することができます。
    AWS CLIは実際にAWSを操作するためのものです。これはVSCodeではなく、PCに直接インストールされます。

    インストールが完了したら、ターミナルを開いて入ったかを確認します。
    ターミナルに
    aws configure
    と打ってください。

    そうするとログインを求められますので、
    前回作成したアクセスキーを使います。

    以下の入力を求められるので、対応する項目を入力します。
    AWS Access Key ID: XXXXxxxxxxxxxxxx
    AWS Secret Access Key: xxxxxxxxxxxxxxxxxxxxx
    Default region name: ap-northeast-1
    Default output format: json

    そうするとログインができたと思われるので、確認のためターミナルに
    aws s3 ls
    と打ちます。
    この前に作成したS3のオブジェクトが表示されれば成功です。

    次にAWS ToolkitでAWSにログインします。
    ややこしくなってきました。
    今やったのはAWS CLIでAWSを操作するためのログインです。
    今からはAWS ToolkitでAWSの中を確認するためのログインです。
    (さぁ盛り上がって参りました。)

    AWS ToolkitでAWS CLIをインストールしたじゃないか。
    その通りです。でも全くの別物なのです。
    AWS CLIはターミナルでAWSの操作ができるツールです。
    AWS ToolkitはVSCodeでAWSのコンソールを確認できるツールになります。
    ログインしている窓口が全くの別物なんですね。
    なので再度ログイン操作が必要です。

    AWS ToolkitのログインはVSCodeの左端に出ているサイドバーを開くと認証を求められるので、そこにIAMのログイン情報を入れます。

    画像

    これで設定は終わりです。

    今回は作業ベースなのと、結局何に使うのかが具体的にイメージできないツールを頑張って入れました。
    何のために使うのかモヤモヤしますが、それは進んでいけばわかることでしょう。

    あなたへのおすすめ