プログラミング 【pandas】数 GByte 超に肥大化した .csv ファイルを読み込み違うファイル形式で保存し直す
お仕事お疲れ様です．こんなことは経験ありませんか？「現場や顧客から分析を依頼された .csv データが数 GByte 超で，excel では開けないし，普通に読みこむとメモリエラーで詰んだ....」「センサーを放ったらかしてデータを取得し続...
プログラミング
プログラミング python pandas / polars における concat の速度比較
pandas で primary key 使わずに複数のテーブル（DataFrame）を行方向に結合する際に，追加したいテーブルを逐次 concat する方法しか頭にありませんでした．しかし，たまたま見かけたコードでは，「list に Da...
プログラミング 【自前AI講座】畳み込みニューラルネットワークの基礎
ディープラーニングが流行ったのは，2010年から始まった大規模画像認識コンペティションの ILSVRC (ImageNet Large Scale Visual Recognition Challenge) において，2012年大会の Im...
プログラミング 【自前AI講座】ディープラーニング基礎と実装
ディープラーニング (Deep Learning; DL，深層学習) は，ニューラルネットワークの層を深くしたディープニューラルネットワーク (Deep Neural Network; DNN) を用いて学習する手法です．（ニューラルネット...
プログラミング 【自前AI講座】ニューラルネットワーク
Chat GPT / Stable Diffusion / 自動運転技術を筆頭に，今や AI といえば Deep Learning の時代といっても過言ではないでしょう（もちろん，スパースモデリングなども今後ブームとなる可能性もあります）．...
プログラミング 【自前AI講座】決定木の理論／数式／コード実装
決定木 (decision tree) は，色々な条件でデータをふるい分けすることを繰り返し，木のような構造でデータが分類されていく機械学習手法の一種です．この "ふるい分け" の条件と分けられたデータの経緯が追えるので，なぜその AI モ...
プログラミング 【自前AI講座】SVM（サポートベクターマシン）の理論／数式／コード実装
サポートベクターマシン（Support Vector Machine; SVM，サポートベクトルマシンとも呼ばれる）は，詳細は後述しますが簡単に言うと，例えば３次元の説明変数の分布を均等な距離で綺麗に”良い感じに”分けるような平面を学習によ...
AI 【自前AI講座】LASSO / Ridge 回帰 / ElasticNet の理論／数式／コード実装
ざっくりいうと LASSO / Ridge 回帰 / Elastic Net は，線形回帰モデルの損失関数に正則化項と呼ばれる項を加えた回帰モデルで，学習に用いていない未知のデータに対して線形回帰モデルよりも上手く適合させる（汎化性能を向上...
プログラミング Google Colab のランタイムをコードから終了させる方法
結論 次のコードを実行するだけです． from google.colab import runtime runtime.unassign() 背景／動機 Google Colaboratory は手軽に Deep Learning 用のクラ...
AI 【自前AI講座】線形回帰の理論／数式／コード実装
自前AI講座用の資料です．初回なので，まずは機械学習の中で一番単純と思われる線形回帰について，考え方や数式，Python のライブラリを用いたコード実装までを紹介します．線形回帰とは，説明変数と目的変数の関係を線形なモデルとして表現する回帰...
プログラミング グラフ描画ライブラリ matplotlib（入門編）
説明資料ですとかデータ分析におけるグラフの作成について，皆さんはどんなツールを用いていますでしょうか？オフィス用途だと Microsoft の Excel を用いることが圧倒的に多いかと思われます．データ数が多いと Excel では少々役不...
python PyAutoGUI を用いて Google Colab Pro+ でなくても放置状態で計算させ続ける
Colab ユーザーにおいて，リッチな Pro+ ユーザでない限り最も厄介なのは，「バックグラウンド実行できない」「放置しておくと操作中かどうか聞かれるウィンドウが表示され，そのまま更に放置するとセッションが切れる」という点だと思います．上...
python Python で excel 処理を半自動化
日本のデスクワーカーにおいて，Microsoft 社の表計算ソフトである excel は，ほとんどの方が業務で用いられる避けて通れないツールだと思われます（excel 以外の表計算ソフトを用いる場合もあると思います）．excel は GUI...
python pytorch の .numpy() メソッドで “RuntimeError: Numpy is not available” になったときの対処法
ある日，ローカル上にて pytorch でモデル構築し，torchsummary.summary で構造を表示しようとしたところ，"RuntimeError: Numpy is not available" に遭遇し，しばらくネットサーフィ...
python 機械学習におけるデータ分割手法まとめ
機械学習において，持っているデータ全てを学習させてしまうと，そのデータの傾向に依存したバイアスがかかり，過学習に陥ることによって，モデルにおける未知のデータに対する推論性能（汎化性能）が損なわれる恐れがあります．これの対策の一つとして，デー...
python テーブルデータ操作ライブラリ pandas（入門編）
よくあるデータの形式として， テーブルデータ時系列データテキストデータ画像データ音声データ映像データ などがありますが，世の中で最も良くあるのは，特に汎用性の高いエクセルのシートで表されるような行列のデータであるテーブルデータと思われます．...
python 自動 GUI 操作ライブラリ PyAutoGUI を用いた業務自動化 (RPA)
RPA（Robotic Process Automation）とは，ボット，または，仮想知的労働者（Digital Labor）による，業務を自動化する技術の一種と言われています．働き方が見直されている昨今において，工場などの現場作業はもち...
python VS Code のインストールと Python 用に最適化する手順
VS Codeは高機能なテキストエディタで，かなりカスタマイズが利きます．このカスタマイズを上手く設定することや，チームで統一することは，作業を効率化するうえでとても重要です．当該記事では，VS Code のインストール手順とともに，より高...
python 【自前python講座】NumPy（数学演算／配列操作ライブラリ 入門編）
他のプログラミング言語に対して，Python は比較的容易に書くことができ，頭で思い描いたことを実装しやすい言語です．しかし，一方でコンパイルを必要としないスクリプト言語であることから，大規模計算において Python 単独では処理が遅いた...
python 【自前python講座】標準ライブラリ（ファイル／ディレクトリ／時間操作）
自前の python 講座用資料です．今回は，標準ライブラリの一部について紹介します． 今回のコードは，次の github にも載せています． Python の標準ライブラリの一覧は，公式ドキュメント ( の通りで，200 を超えます．もち...