csv_tools

Table of Contents

csv_tools

PythonやBashシェルスクリプで作成したCSV(Comma Separated Value)ファイルを取り扱うコマンドラインツール集。

主な機能は以下の通り。

収録しているツールのリストはコマンドリストに示した。

なぜこれを作ったか

製造現場での品質管理や、深層学習適用を考えた場合、既存の製造現場の状況確認は必須となる。 本来均質であることを前提にする部分 ー例えば検査装置の同種複数のセンサーの出力ー が実際には偏りを持っていた場合、均質前提でデータを収集し、深層学習の学習データとすることはいい結果を産まない。 またこの種の不均質性は、本来あってほしくないものでありながら、経年変化や機材の更新により生じやすいものであり、監視すべき項目となる。

この均質さを確認するために、現場で使用されているPLC(Programable Logic Controler)などから出力される比較的巨大なCSVファイルを表計算ソフトなどで処理を行おうとすると、データサイズ的な問題や、処理速度、機能面で問題が発生する。大体この手のCSVファイルは、行数とはともかく、列数がやたら多く、数千列というのもザラで、そのままデータベースへ登録することもままならない。

このため、できるだけ高速で且つ柔軟に処理することを目的として、複数のコマンドライン型ツールをパイプ接続した形で、試行錯誤しながら使うことを目的にここにあるツールを作成した。

特に plotly express のデータに対する柔軟性や、チャート種別の豊富な点は、どこに偏りがあるか探しながらデータ解析を行う上では非常に強力な手段となる。

ここで作成したコマンドツールの組み合わせで、様々な処理や可視化を行い、特徴を把握しやすい有望そうな処理手順、可視化形式を決めて、シェルスクリプト化、又は単独アプリケーションとすることで、 再現性を持たせた上で、状況(均質性)の監視に用いる。

スタートガイド

プロジェクトをローカルに複製して、検証、実行する手順を説明します

必要条件

OSは Ubuntu 18/20 において開発、動作確認を実施している。 その他の必要なパッケージは以下の通り。

sudo apt install csvtool nkf sqlite3
conda install pillow openpyxl lmfit numpy pandas scipy seaborn statsmodels
pip install --upgrade csvtotable

plotly,xsv,jpについては、以下を参照してインストールを行う。

インストール

git cloneでダウンロードした後に、csv_utilityディレクトリとcsv_plotディレクトリにPATHを設定する。 又は選択したものをPATHの設定されたディレクトリにコピーして使用する。

git clone https://github.com/maundergit/csv_tools.git

examplesディレクトリに移動して、以下のコマンドを実行することにより、ビット情報の20秒毎のヒストグラムが散布図 形式で得られる

csv_trimtime.py --change_timefreq='D=ABC002:%Y-%m-%d %H\:%M\:%S:floor:20s' bit-pattern-headers.csv|\  
	csv_status.py --mode sum --group D -|csv_uty.py --drop_columns=ABC000,ABC001 - |\  
    csv_uty.py --stack=D - |csv_plot_scatter.py --output=bit-pattern_time_histogram.html --size=stacked_result - D category

bit-pattern_time_histogram

チャート描画のサンプルはexamplesディレクトリーへ移動して、csv_plot/csv_plot_sample.shを実行することで、チャートの例が生成される。 その他のサンプルについては、各コマンドのHelp出力(--help)を参照のこと。

ツールのリスト

収録しているツールのリストはコマンドリストに示した。

各コマンドのヘルプメッセージを csv_plot_helpとcsv_utility_helpにまとめている。

例用例

主として利用しているライブラリなど

作者

ライセンス

This project is licensed under the MIT License - see the LICENSE file for details

このプロジェクトは MIT License のもとで公開しています。詳しくはLICENSE を参照してください。

謝辞

参考サイト

This site is open source. Improve this page.