Daisuke Akagawa

今回はmiseを使い始めたので、インストール方法など自分の備忘録を兼ねてまとめてみようと思います。 miseとは？まず、miseとは何かというと、公式GitHubから拝借するとasdfのように、nodeやPython、cmakeやterraform、その他数百もの開発ツールを管理するdirenvのように、異なったプロジェクトディレクトリに関して環境変数を管理できるmakeのように、ビルドやプロジェクトのテストのためにタスクを管理できる要は開発環境を整えるツールなんだなという認識をしてます。最近ではPythonではuvなどが利用されていますが、そのような形でツールを簡単に...

miseを使い始めた

この記事の続編になります。https://zenn.dev/akasan/articles/4d7972b7c5f84c Professional Data EngineerについてProfessional Data Engineer（以下、PDE）は、公式では以下のように説明されています。Professional Data Engineer は、データを収集、変換、公開することで、データを有効で価値のあるものにします。ビジネス要件と規制要件を満たすために、プロダクトやサービスを評価し、選択します。Professional Data Engineer は、堅牢なデータ処理シス...

Google Cloud 認定資格奮闘記 ~Professional Data Engineer編~

今回は、Langflowを利用して、Notionのページ内にコンテンツを生成させる方法についてまとめてみようと思います。Langflowの使い方については以前以下の記事で解説していますので併せてご覧ください。https://zenn.dev/akasan/articles/6357f1dd2b52ac 早速使ってみる 環境の立ち上げ今回も以前と同様に、公式が提供しているdockerを利用します。簡単な起動方法は以下になります。公式GitHubのレポジトリをcloneするdocker_exampleフォルダに移動するdocker compose upを実行する...

LangflowとNotion連携について　〜コンテンツ生成編〜

今回は、Pythonできれいなコマンドラインインターフェースを実装できるclickについて紹介してみようと思います。 clickとは？clickとはPythonできれいなコマンドラインインターフェースを実装するためのライブラリです。その名前はCommand Line Interface Creation Kitの頭文字をとったようです。レポジトリは以下になります。https://github.com/pallets/clickclickはコマンドラインツールを素早く実装できることに注力しており、従来のsysやargparseを利用したものと比べて格段に実装難易度が下がっていると...

clickを使ってPythonのコマンドライン引数をきれいにしよう！

今回は、Apache Guacamoleとは何かについて調べてみました。今回も以下のツールを使って対象プロジェクトを決めました！https://zenn.dev/akasan/articles/7e30ad266c02c4※ 本企画に関する記事の目的は、それぞれのプロジェクトを本格的に深ぼるのではなく、プロジェクト名⇆どんな内容かをパッと思い出せるようにすることを目指します！※ とはいえ深ぼってみたいプロジェクトがあればどんどん複数連載になると思います。 Apache Guacamoleとは？公式サイトを見ると、Apache Guacamole is a clientle...

Apache Guacamoleとはなんなのか？

今回はcurlの使い方について調べてみました。今までAPIのアクセステストとかに使っていましたが、ちゃんと調べたことなかったので、この際調べてみようということで記事にしました。 curlとは？ドキュメントから拝借すると、curl is used in command lines or scripts to transfer data. curl is also libcurl, used in cars, television sets, routers, printers, audio equipment, mobile phones, tablets, medical de...

curl使い方についてまとめてみた

今回は、ランレングス符号化をPythonで実装してみたので、その解説をしてみようと思いまs。 ランレングス符号化とは？ランレングス符号化とはデータ圧縮方式の一つで、連続する同じデータをまとめて扱うことで圧縮をするというものです。たとえばAABBBCCCCというテキストがあった場合に、各文字とそれがいくつ連続しているかという情報に変換してみます。するとA2B3C4のように変換でき、元のテキストの長さ9文字と比較して6文字に収めることができます。ただし、ランレングス符号化では必ず圧縮後のデータ量が小さくなる保証はありません。たとえばABCDEF....XYZのようにアルファベットが...

ランレングス符号化をPythonで実装してみた

今回は、Python3.13で導入される新機能についてまとめてみました。私自身、普段は3.11または3.12を使うことが多く、3.13についてはどのような機能が追加されるか認識していなかったので調べてみました。 追加される新機能まず、Python3.13で導入される新機能はこちらにまとまっていますので、詳しくは参照ください。https://docs.python.org/3/whatsnew/3.13.html#other-language-changes よりよいインタラクティブインタプリタPyPyプロジェクトのコードをベースとした新しいインタラクティブシェルをデフォルト...

Python 3.13の新機能について調べてみた

今回は、Apache Compress Ant Libraryとは何かについて調べてみました。なぜ調べてみようかと思ったかというと、こちらで作成したツールを使う第一号をやってみたかったからです。https://zenn.dev/akasan/articles/7e30ad266c02c4※ 本企画に関する記事の目的は、それぞれのプロジェクトを本格的に深ぼるのではなく、プロジェクト名⇆どんな内容かをパッと思い出せるようにすることを目指します！※ とはいえ深ぼってみたいプロジェクトがあればどんどん複数連載になると思います。 Apache Compress Ant Libraryとは...

Apache Compress Ant Libraryとはなんなのか？

今回は、私が今しているセルフエンドレスアドベントカレンダーのネタを決めるためのツールを作成しましたので紹介します。 対象とするものは？今回はApacheのプロジェクト一覧からランダムに抽出されたプロジェクトを対象とするようにしました。なお、これはネタが思い浮かばなかったり、思い浮かんでるけどなんか違うものがいいなと思った時に実行するようにします。https://projects.apache.org/projects.html 作成したツールについて今回はPythonを使ってツールを作成しました。まずは先ほどのApache Projectsの一覧からアイテムをテキストファ...

Apache Projects様を引用してブログネタを決めるためのツールを作成しました

今回は、pyarmorを利用してPythonのコードを難読化してみようと思います。 pyarmorとは？pyarmorとはPythonコードの難読化をするためのツールとなります。コマンドラインツールであり、難読化を初めコードの利用期限の設定などもできるものとなっております。主な特徴としてはいかがあるようです。難読化されたコードもPythonファイルであり、オリジナルのコードと置換するだけでシームレスに置き換えできますセキュリティとパフォーマンスのバランスが取れるように複数の難読化手法を提供関数名やクラス、変数などがリネームされ、復元できない難読化が実行されるいくつかのPy...

pyarmorを使ってPythonコードを難読化してみた

私の経歴まずは簡単に私の経歴についてまとめてみます某技術系の学校にて電気電子系を専攻新卒でロボットやAIの重荷受託開発企業に入社最初はロボットの制御ソフトウェアとかを結構作ってましたが、コロナ禍になってからは完全にソフトウェアにシフト入社後から主に画像処理や業務効率化ソフトウェアの開発に従事2021年11月に2社目となる会社に転職その会社ではがっつりAI開発系の会社で、動画像を対象とした異常検知モデルを主に開発後半からはそのモデルを動かすためのWebアプリケーションのフロントエンド以外（バックエンド実装、CI/CD実装など）全般を担当2025年1月から...

入社エントリ：スリーシェイクに入社して5ヶ月目に突入！！

今回は、自分がエンジニアリングに関して課金しているツールを挙げてみました。この記事の作成意図としては、「私これだけ課金して普段やってるんだぜ」という自慢ではなく、「こういうサービスを使って生産性あげたり情報収集してるんだ」ということを共有したいだけです。なお、課金してるけど全然使えてないツールもあるので、ちゃんと整理しないといけないなというのもあり、この記事を書いている部分もあります。 SlackSlackでは私個人として使っているものがあり、過去のメッセージも全て残したいのでproプランを使っています。記事作成時点では月払いにしていて¥1,050/月の支払いとなっています。使い...

自分が課金しているサービス挙げてみた

今回はCloud StorageにファイルがアップロードされたときにPub/Subdで受け取る方法についてまとめてみます。 システム構成今回の検証の環境はざっくり以下になります。Cloud Storageではファイルアップロードを受け付けますCloud Storageにファイルがアップロードされると、Pub/Subトピックに向けて通知が投げられますPub/Subが通知を受け取るとBigQueryに対して通知を配信しますBigQueryではテーブルにPub/Subから受け取った通知を蓄積します 実装 Cloud StorageまずはCloud Storageの...

Cloud StorageへのファイルアップロードをPub/Subで受け取る

仕事でチームメンバーがTaskfileというものがあるということを共有していて、どんなものか知らなかったので、今回は入門してみようと思います。 Taskfileとは？公式ドキュメントによると、TaskfileとはGNU Makeなどと比較してシンプルであり使いやすさを求めたタスクランナーおよびビルドツールということです。Goで書かれているためバイナリとして利用でき、インストールに他の依存するソフトなどを入れることなく使えることがいいということです。また、特徴として以下があるようです。上述のようにバイナリをダウンロードするだけでよく、$PATHに追加するだけでいいのでインストー...

Taskfile使ってみた

今回は、昨日実施したDataflowチュートリアルの続編となります。前回はDataflowのテンプレートを利用したパイプラインの動作チェックでしたが、今回はPython SDKを利用したチュートリアルを実施してみます。前回の記事はこちらですので、ぜひご参照ください。https://zenn.dev/akasan/articles/a0ebe0ae2ed2ec 早速チュートリアルを試してみる チュートリアル概要今回は、DataflowをPythonから利用するチュートリアルを利用してみます。チュートリアルの概要は以下のようです。本記事は前回の記事の続編という立て付けでいこうと思...

Pythonを使ったチュートリアルを通してDataflow試してみた

今回は、Dataflowをチュートリアルを通して実際に使ってみました。 そもそもDataflowとは？Dataflowとは、公式の説明を引用させてもらうと、Dataflow は、統合されたストリーム データ処理とバッチデータ処理を大規模に提供するサービスです。 Google Cloud Dataflow を使用して、1 つ以上のソースからデータを読み取り、変換し、宛先に書き込むデータ パイプラインを作成します。Dataflow の一般的なユースケースは次のとおりです。データの移動: データの取り込みやサブシステム間でのデータの複製BigQuery などのデータ ウェアハウ...

チュートリアルを通してDataflow試してみた

今回はGitHubをCLIから扱うことができるghコマンドについて入門してみましたので、自分の備忘録もかねてコマンドとかまとめてみようと思います。 ghとは？公式ドキュメントを引用すると、GitHub CLI は、コンピューターのコマンド ラインから GitHub を使用するためのオープン ソース ツールです。 コマンドラインから作業しているときは、GitHub CLI を使用して時間を節約し、コンテキストの切り替えを回避できます。GitHub CLI には、次のような GitHub 機能が含まれています。リポジトリの表示、作成、複製、フォークIssue と pull r...

今更ながらghコマンド入門してみた

そういえば、モンテカルロ法で円周率の取得ができるというのはずっと前からわかっていたもののやった試しがないなということで、今回は試してみようと思います。 モンテカルロ法とはWikipediaによると、モンテカルロ法（モンテカルロほう、（英: Monte Carlo method、MC）とはシミュレーションや数値計算を乱数を用いて行う手法の総称。元々は、中性子が物質中を動き回る様子を探るためにスタニスワフ・ウラムが考案しジョン・フォン・ノイマンにより命名された手法。カジノで有名な国家モナコ公国の4つの地区（カルティ）の1つであるモンテカルロから名付けられた。ランダム法とも呼ばれる。...

今更ながらモンテカルロ法の再勉強 ~円周率取得編~

今回は、Pythonの仮想環境管理とライブラリ管理をuvに乗り換えた経緯と使い方などについて解説していきたいと思います。 乗り換えるまでどうしていたかuvに乗り換えるまでは、仮想環境にpyenv + virtualenv、ライブラリ管理にはpoetryを利用していました。仮想環境にpyenv+virtualenvを利用していた理由ですが、何か大きな理由があったというわけではなく、環境構築がうまくいって使い慣れていたのでずっと使っていた感じです。poetryについてはuvなどが出てくるまではスタンダードなツールだったと思います。私もその流れに乗って使っておりました。poetryを...

Daisuke Akagawa

miseを使い始めた

Google Cloud 認定資格奮闘記 ~Professional Data Engineer編~

LangflowとNotion連携について　〜コンテンツ生成編〜

clickを使ってPythonのコマンドライン引数をきれいにしよう！

Apache Guacamoleとはなんなのか？

curl使い方についてまとめてみた

ランレングス符号化をPythonで実装してみた

Python 3.13の新機能について調べてみた

Apache Compress Ant Libraryとはなんなのか？

Apache Projects様を引用してブログネタを決めるためのツールを作成しました

pyarmorを使ってPythonコードを難読化してみた

入社エントリ：スリーシェイクに入社して5ヶ月目に突入！！

自分が課金しているサービス挙げてみた

Cloud StorageへのファイルアップロードをPub/Subで受け取る

Taskfile使ってみた

Pythonを使ったチュートリアルを通してDataflow試してみた

チュートリアルを通してDataflow試してみた

今更ながらghコマンド入門してみた

今更ながらモンテカルロ法の再勉強 ~円周率取得編~

pyenv+virtualenv/poetryからuvに乗り換えた話

The Diary of fighting with COVID-19? Day-4

The Diary of fighting with COVID-19? Day-3

The Diary of fighting with COVID-19? Day-2

The Diary of fighting with COVID-19? Day-1

Python Experiment: For VS Comprehension 1

Isn’t it troublesome to set the log file in python? Use LoggerGenerator

miseを使い始めた

Google Cloud 認定資格奮闘記 ~Professional Data Engineer編~

LangflowとNotion連携について 〜コンテンツ生成編〜

clickを使ってPythonのコマンドライン引数をきれいにしよう！

Apache Guacamoleとはなんなのか？

curl使い方についてまとめてみた

ランレングス符号化をPythonで実装してみた

Python 3.13の新機能について調べてみた

Apache Compress Ant Libraryとはなんなのか？

Apache Projects様を引用してブログネタを決めるためのツールを作成しました

pyarmorを使ってPythonコードを難読化してみた

入社エントリ：スリーシェイクに入社して5ヶ月目に突入！！

自分が課金しているサービス挙げてみた

Cloud StorageへのファイルアップロードをPub/Subで受け取る

Taskfile使ってみた

Pythonを使ったチュートリアルを通してDataflow試してみた

チュートリアルを通してDataflow試してみた

今更ながらghコマンド入門してみた

今更ながらモンテカルロ法の再勉強 ~円周率取得編~

pyenv+virtualenv/poetryからuvに乗り換えた話

The Diary of fighting with COVID-19? Day-4

The Diary of fighting with COVID-19? Day-3

The Diary of fighting with COVID-19? Day-2

The Diary of fighting with COVID-19? Day-1

Python Experiment: For VS Comprehension 1

Isn’t it troublesome to set the log file in python? Use LoggerGenerator

LangflowとNotion連携について　〜コンテンツ生成編〜