CloudShellを使って、public access blockがすべてのs3 bucketで有効になっているか確認します。 aws s3api list-buckets --query "Buckets[].Name" --output text | awk '{for (i=1; i<=NF; i++) system("echo "$i";aws s3api get-public-access-block --bu…
Greengrass V2のコンポーネントをデプロイしたら、エラーが出てデプロイ失敗した com.aws.greengrass.componentmanager.exceptions.PackageDownloadException: Failed to download artifact name: 's3://xxx/xxx.zip' for component com.xxx.xxx, reason: S3…
最近、projenを使ったcdkプロジェクトの構成ファイル管理にハマっています。 いままでは、pythonでLambdaを書いていたのですが、cdkはtypescriptで書いており、いっそのことLambdaもtypescriptで書いちゃおうと思ったのですが、外部ライブラリをimportする際…
SageMaker Studioのターミナルからawscliを使いたいので、インストールする。 awscliのパッケージファイルをダウンロードして、SageMaker Studioのフォルダに置く curlが使えないので、ローカルにダウンロードしてnotebookでアップロードする。 AWS CLI の最…
jupyter labで作業した後に、ipynbとpyの拡張子のファイルだけtar.gzしたいことがあった。 なぜなら、jupyterで作業しているとpngとかcsvとかhtmlとか色々出力してしまい、tar.gzする時それらがジャーマンスープレックスになってしまうから。 最初からgit使…
やりたかったこと Amplifyで画面開発したのだが、デフォルトデータをDynamoDBに挿入しないと動かないので、初期のインストール時にデータをinsertしたかった。 サンプルデータの作成 定型のメッセージをDynamoDBに挿入するときに、dict型でデータを持ってお…
参考文献: - 手を動かしながら学ぶ ビジネスに活かすデータマイニング 動機 マーケティングでデータ分析やったことない python でロジスティック回帰どうやるんだっけ(わすれた) 渋谷のデータサイエンティストさんの本読めばわかる 注意点 sklearnのロジ…
SageMaker GroundTruthを使ってラベリングするときに、ワーカーのアクセス範囲を限定したいことがある。 IPの範囲でアクセス制限したいときには、awscliを使って、workforceに対してCIDRを指定することでIP制御することが可能 aws sagemaker update-workforc…
やること CodeCommitに認証と通しておく Code Commit上でリポジトリを作成する リポジトリ管理対象になるコードをpushする CodeCommitに認証と通しておく 以下のURLを参考のこと kohira-1980.hatenablog.com Code Commit上でリポジトリを作成する 対象のアカ…
やること ローカルPCで公開鍵、秘密鍵を作る AWSコンソールで、IAMユーザーに公開鍵を紐づける 接続確認 ローカルPCで公開鍵、秘密鍵を作る cd ~/.ssh ssh-keygen -t rsa -f id_rsa_hoge id_rsa_hogeとid_rsa_hoge.pubの2つのファイルが作成される。 AWSコ…
Pythonを使って、S3上にある2つのファイルを結合して出力する。目的としては、ヘッダーのないcsvファイルにヘッダーをつける。 pandasを使って読み込むと余計なオーバーヘッドがあるので、StringIOでメモリ上に乗せてくっつけるだけにする。 サンプルコード…
マニュアルに書いてあるのをやってみた。 docs.aws.amazon.com 前提条件 jetson nanoにsshできる jetson nanoの容量は16GBだときついので、せめて32GBにする。私は64GBのSDカードで実行。 java jdkを入れる Greengrassにはjavaランタイムが必要なので、入れ…
csvをGlue Crawlerでクロールして、データカタログを作成するとき注意点の csvファイル側の制約(と思われるもの) csvファイルの制約 大文字列名は小文字列名に変換される 日本語列名に対応している UTF-8のみ扱える。 ヘッダーの自動読み取りでデータの行…
CDKの勉強のため、こちらのワークショップを実施中 cdkworkshop.com エラー cdk bootstrap実行時に以下のエラーが発生 Unable to resolve AWS account to use. It must be either configured when you define your CDK or through the environment ネットで…