プログラミング 【pandas】数 GByte 超に肥大化した .csv ファイルを読み込み違うファイル形式で保存し直す お仕事お疲れ様です.こんなことは経験ありませんか?「現場や顧客から分析を依頼された .csv データが数 GByte 超で,excel では開けないし,普通に読みこむとメモリエラーで詰んだ....」「センサーを放ったらかしてデータを取得し続... 2023.10.25 プログラミング
python pandas / polars における concat の速度比較 pandas で primary key 使わずに複数のテーブル(DataFrame)を行方向に結合する際に,追加したいテーブルを逐次 concat する方法しか頭にありませんでした.しかし,たまたま見かけたコードでは,「list に Da... 2023.10.02 pythonプログラミング
python テーブルデータ操作ライブラリ pandas(入門編) よくあるデータの形式として, テーブルデータ時系列データテキストデータ画像データ音声データ映像データ などがありますが,世の中で最も良くあるのは,特に汎用性の高いエクセルのシートで表されるような行列のデータであるテーブルデータと思われます.... 2022.04.29 pythonプログラミング