薄っぺらりん

厚くしていきたい

24年1QはAWSイベント尽くしでした

AWS AWS Jam イベント

2024年に入っていつの間にかもう4月です。
1QはAWSのイベント尽くしで文字通り一瞬でした。
社内のイベントに社外のイベント、聴講者としてのイベントに登壇者としてのイベント、参加者としてのイベントに主催者としてのイベント、様々なイベントがあったので振り返ろうと思います。

目次

  • 目次
  • 1月: JAWS-UG東北 仙台でre:Invent reCap！
  • 2月: JAWS-UG岩手 LT＆サーバレスハンズオン勉強会（LT登壇）
  • 2月: AWS Likers AWS10分LT会 - vol.3（LT登壇）
  • 2月: re:Invent 2023の社内recapイベント（LT登壇）
  • 2月: 社内AWS LTイベント（運営・LT登壇）
  • 3月: 社内AWS Jam Event（運営）
  • おわりに
続きを読む

AWS GameDay - Cloud Ops Co-op - 参加レポ

AWS AWS GameDay イベント

2023年12月19日に開催された「AWS GameDay ~Cloud Ops Co-op~」に参加してきました！
AWS GameDay自体が初めてで少し不安もありましたが、とっても勉強になる楽しいイベントでした。 課題の内容については非公開のため触れませんが、当日の流れや感想などを書きたいと思います。

目次

  • 目次
  • AWS GameDayとは
  • 今回のAWS GameDay
    • 概要
    • GameDayの流れと感想
    • 懇親会
  • おわりに
続きを読む

AWS 手軽にできる機械学習モデルの作成と、それを使用した労働災害予防システムを考える

AWS SageMaker Canvas 機械学習 サーバーレス IoT CDK

目次

  • 目次
  • はじめに
  • Amazon SageMaker Canvasで機械学習モデルを作る
    • SageMaker Canvasとは
    • モデルの学習に利用する熱中症のデータ
    • モデルを作成する
    • モデルをSageMaker EndpointへデプロイしてAPIから利用する
    • サーバーレスエンドポイントとしてデプロイする
  • 熱中症予防システムを考える
  • 構築してみる
    • CDKのコード
    • 各Lambda関数のコード
  • 動作確認
    • DBのデータとセンサーからの入力値
    • MQTTテストクライアントによるデータ送信
    • EventBridge Schedulerから実行
  • まとめ
    • SageMaker Canvasと今回のシステムについて
    • 平時のデータの重要性
    • 特徴量エンジニアリングの知識があるとよさそう
    • 運用について
    • リアルタイム推論
    • SageMaker Canvasの料金について
  • 参考
続きを読む

AWSでストリーミングデータ処理 Step Functions編

AWS ストリーミングデータ処理 Step Functions CDK Kinesis Data Firehose Redshift Serverless

目次

  • 目次
  • はじめに
  • アーキテクチャについて
  • 前回のアーキテクチャとの比較
    • データ処理の流れを把握しやすい
    • コード量を削減できる
    • 最大実行時間は5分間
  • このアーキテクチャの注意点
    • 部分的な再処理ができない
    • Map内で外部へデータ出力を行うと中途半端な出力となる
    • ステートマシンを同期実行するためSDKの設定に注意
  • 構築してみる
    • CDKのコード
    • 各Lambda関数のコード
    • FirehoseからRedshift Serverlessへ配信されない場合の確認点
  • 動作確認
    • 正常終了する場合
    • Mapの異常終了により中途半端なデータ出力となる場合
  • おわりに
続きを読む

AWSでストリーミングデータ処理

AWS ストリーミングデータ処理 Lambda SQS サーバーレス Redshift Kinesis Data Firehose

目次

  • 目次
  • はじめに
  • AWSでストリーミングデータ処理
  • このアーキテクチャの良いところ
    • 流量の変化にLambdaの同時実行で対応できる
    • データをSQSで滞留させられる
    • メッセージの再処理が簡単
    • SQSとLambdaを沢山繋げられる
  • このアーキテクチャの注意点
  • 構築してみる
    • RedshiftとFirehose
    • LambdaとSQS
  • 動作確認
  • おわりに
続きを読む

AWS CLIのcredentialsを簡単に更新できるツールを作ったよ！

AWS ツール

AWSを使っていると、APIの呼び出しにMFA認証を必須とすることが多いかと思います。
コンソールではログイン時に認証コードを入力しますが、AWS CLIを使用する場合は get-session-tokenコマンドで一時的な認証情報を取得し、credentialsファイルを更新するか、 環境変数を設定する必要があります。
一時的な認証情報はAWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY、AWS_SESSION_TOKENの3つでワンセットです。
複数のアカウントを使用しなければならないときはその数だけコマンドを実行し、credentialsファイルのプロファイルを編集する必要があります。
私は最近毎日6アカウントくらい使うのでとても面倒でした。
そこでcredentialsファイルを簡単に更新できるツールaws-mfa-profileを作りました。

github.com

目次

  • 前提条件
  • 使い方
    • mfa.jsonの作成
    • aws-mfa-profileの実行例
  • まとめ
続きを読む