薄っぺらりん

厚くしていきたい

AWS GameDay - Cloud Ops Co-op - 参加レポ

2023年12月19日に開催された「AWS GameDay ~Cloud Ops Co-op~」に参加してきました!
AWS GameDay自体が初めてで少し不安もありましたが、とっても勉強になる楽しいイベントでした。 課題の内容については非公開のため触れませんが、当日の流れや感想などを書きたいと思います。

目次

  • 目次
  • AWS GameDayとは
  • 今回のAWS GameDay
    • 概要
    • GameDayの流れと感想
    • 懇親会
  • おわりに
続きを読む

AWS 手軽にできる機械学習モデルの作成と、それを使用した労働災害予防システムを考える

目次

  • 目次
  • はじめに
  • Amazon SageMaker Canvas機械学習モデルを作る
    • SageMaker Canvasとは
    • モデルの学習に利用する熱中症のデータ
    • モデルを作成する
    • モデルをSageMaker EndpointへデプロイしてAPIから利用する
    • サーバーレスエンドポイントとしてデプロイする
  • 熱中症予防システムを考える
  • 構築してみる
    • CDKのコード
    • 各Lambda関数のコード
  • 動作確認
    • DBのデータとセンサーからの入力値
    • MQTTテストクライアントによるデータ送信
    • EventBridge Schedulerから実行
  • まとめ
    • SageMaker Canvasと今回のシステムについて
    • 平時のデータの重要性
    • 特徴量エンジニアリングの知識があるとよさそう
    • 運用について
    • リアルタイム推論
    • SageMaker Canvasの料金について
  • 参考
続きを読む

AWSでストリーミングデータ処理 Step Functions編

目次

  • 目次
  • はじめに
  • アーキテクチャについて
  • 前回のアーキテクチャとの比較
    • データ処理の流れを把握しやすい
    • コード量を削減できる
    • 最大実行時間は5分間
  • このアーキテクチャの注意点
    • 部分的な再処理ができない
    • Map内で外部へデータ出力を行うと中途半端な出力となる
    • ステートマシンを同期実行するためSDKの設定に注意
  • 構築してみる
    • CDKのコード
    • 各Lambda関数のコード
    • FirehoseからRedshift Serverlessへ配信されない場合の確認点
  • 動作確認
    • 正常終了する場合
    • Mapの異常終了により中途半端なデータ出力となる場合
  • おわりに
続きを読む

AWSでストリーミングデータ処理

目次

  • 目次
  • はじめに
  • AWSでストリーミングデータ処理
  • このアーキテクチャの良いところ
    • 流量の変化にLambdaの同時実行で対応できる
    • データをSQSで滞留させられる
    • メッセージの再処理が簡単
    • SQSとLambdaを沢山繋げられる
  • このアーキテクチャの注意点
  • 構築してみる
    • RedshiftとFirehose
    • LambdaとSQS
  • 動作確認
  • おわりに
続きを読む

AWS CLIのcredentialsを簡単に更新できるツールを作ったよ!

AWSを使っていると、APIの呼び出しにMFA認証を必須とすることが多いかと思います。
コンソールではログイン時に認証コードを入力しますが、AWS CLIを使用する場合は get-session-tokenコマンドで一時的な認証情報を取得し、credentialsファイルを更新するか、 環境変数を設定する必要があります。
一時的な認証情報はAWS_ACCESS_KEY_IDAWS_SECRET_ACCESS_KEYAWS_SESSION_TOKENの3つでワンセットです。
複数のアカウントを使用しなければならないときはその数だけコマンドを実行し、credentialsファイルのプロファイルを編集する必要があります。
私は最近毎日6アカウントくらい使うのでとても面倒でした。
そこでcredentialsファイルを簡単に更新できるツールaws-mfa-profileを作りました。

github.com

目次

  • 前提条件
  • 使い方
    • mfa.jsonの作成
    • aws-mfa-profileの実行例
  • まとめ
続きを読む