ボーっとしたい

ボーっとするためにメモします。

マニアック:awscliとawkをつかって、s3のpublic access blockが有効になっていることを確認する

CloudShellを使って、public access blockがすべてのs3 bucketで有効になっているか確認します。 aws s3api list-buckets --query "Buckets[].Name" --output text | awk '{for (i=1; i<=NF; i++) system("echo "$i";aws s3api get-public-access-block --bu…

Greengrass V2のコンポーネントをデプロイしたら403 Access Deniesで怒られた

Greengrass V2のコンポーネントをデプロイしたら、エラーが出てデプロイ失敗した com.aws.greengrass.componentmanager.exceptions.PackageDownloadException: Failed to download artifact name: 's3://xxx/xxx.zip' for component com.xxx.xxx, reason: S3…

cdkでnodejs(typescript)のLambdaを実装する時、そこに外部ライブラリを使うのかい?使わないのかい?どっちなんだい?

最近、projenを使ったcdkプロジェクトの構成ファイル管理にハマっています。 いままでは、pythonでLambdaを書いていたのですが、cdkはtypescriptで書いており、いっそのことLambdaもtypescriptで書いちゃおうと思ったのですが、外部ライブラリをimportする際…

SageMaker Studioのターミナルからawscliを使いたい

SageMaker Studioのターミナルからawscliを使いたいので、インストールする。 awscliのパッケージファイルをダウンロードして、SageMaker Studioのフォルダに置く curlが使えないので、ローカルにダウンロードしてnotebookでアップロードする。 AWS CLI の最…

jupyter labにあるipynbとpy拡張子のファイルだけtar.gzする

jupyter labで作業した後に、ipynbとpyの拡張子のファイルだけtar.gzしたいことがあった。 なぜなら、jupyterで作業しているとpngとかcsvとかhtmlとか色々出力してしまい、tar.gzする時それらがジャーマンスープレックスになってしまうから。 最初からgit使…

node.js+AWS SDKでDynamoDBにデータ挿入

やりたかったこと Amplifyで画面開発したのだが、デフォルトデータをDynamoDBに挿入しないと動かないので、初期のインストール時にデータをinsertしたかった。 サンプルデータの作成 定型のメッセージをDynamoDBに挿入するときに、dict型でデータを持ってお…

python statsmodelsでロジスティック回帰した

参考文献: - 手を動かしながら学ぶ ビジネスに活かすデータマイニング 動機 マーケティングでデータ分析やったことない python でロジスティック回帰どうやるんだっけ(わすれた) 渋谷のデータサイエンティストさんの本読めばわかる 注意点 sklearnのロジ…

AWS SageMaker GroundTruthのIP制御

SageMaker GroundTruthを使ってラベリングするときに、ワーカーのアクセス範囲を限定したいことがある。 IPの範囲でアクセス制限したいときには、awscliを使って、workforceに対してCIDRを指定することでIP制御することが可能 aws sagemaker update-workforc…

AWS CodeCommitにコードをpushする

やること CodeCommitに認証と通しておく Code Commit上でリポジトリを作成する リポジトリ管理対象になるコードをpushする CodeCommitに認証と通しておく 以下のURLを参考のこと kohira-1980.hatenablog.com Code Commit上でリポジトリを作成する 対象のアカ…

AWS CodeCommitで認証通す時にやること

やること ローカルPCで公開鍵、秘密鍵を作る AWSコンソールで、IAMユーザーに公開鍵を紐づける 接続確認 ローカルPCで公開鍵、秘密鍵を作る cd ~/.ssh ssh-keygen -t rsa -f id_rsa_hoge id_rsa_hogeとid_rsa_hoge.pubの2つのファイルが作成される。 AWSコ…

PythonでS3上のにある2つのファイルを結合する

Pythonを使って、S3上にある2つのファイルを結合して出力する。目的としては、ヘッダーのないcsvファイルにヘッダーをつける。 pandasを使って読み込むと余計なオーバーヘッドがあるので、StringIOでメモリ上に乗せてくっつけるだけにする。 サンプルコード…

jetson nanoにgreengrass v2をインストールしてみた

マニュアルに書いてあるのをやってみた。 docs.aws.amazon.com 前提条件 jetson nanoにsshできる jetson nanoの容量は16GBだときついので、せめて32GBにする。私は64GBのSDカードで実行。 java jdkを入れる Greengrassにはjavaランタイムが必要なので、入れ…

Glue Crawlerを使う時の注意点

csvをGlue Crawlerでクロールして、データカタログを作成するとき注意点の csvファイル側の制約(と思われるもの) csvファイルの制約 大文字列名は小文字列名に変換される 日本語列名に対応している UTF-8のみ扱える。 ヘッダーの自動読み取りでデータの行…

cdk bootstrap実行時の Unable to resolve AWS account to use エラー

CDKの勉強のため、こちらのワークショップを実施中 cdkworkshop.com エラー cdk bootstrap実行時に以下のエラーが発生 Unable to resolve AWS account to use. It must be either configured when you define your CDK or through the environment ネットで…