Active7のブログ

その時々でブームになっている、興味がある、熱意を感じることなど。

データの収集・蓄積・分析

仕事でデータを扱うことが多いが、フォーマットはいろいろ、データフレームのイメージになっているものまだまだ少なく、複数行で1データというものも多い。世の中、どう処理してるんだろうか?

データ収集

ノートPC持ち歩いて、その場で収集、その場でグラフ化・考察してたころが懐かしい。今はそれができず、紙に書いて、手入力。まぁ、隔世の感ある。
頭を使わない時間が結構あるので、こんなんでメーカー技術者といえるのか、毎日がストレスである。
さて、機械・装置がデータを自動的に取ってくれる場合、USBメモリやSDカード、オンラインネットワーク上でダウンロード、など簡単に思いつく姿だが、機密性保持というかウィルス対策というか、全然環境が構築できない。
そういった部門が生産設備に関わらない時点で、ものすごいギャップが生まれているわけだが、毎日の業務でデータをもってくるのに手続きをしている時点で効率は30%くらいではないか。
手元に持ってきて、その共有化がファイルサーバーに入れる程度で、再利用の価値がイマイチな状況であるが、まぁ、ここまでは収集まではヨシとしよう。 世の中の製造業の人、特に大手の担当はどんな環境でやっているのだろうか?

データ蓄積

さて、収集したデータをどこに放り込むか。 上に挙げたファイルサーバーに入れる程度では、再利用、付加価値の向上につながるとは感じていない。
再利用するために、DBにいれることがいいと思うが、課題は3つ。 DBMになにを使うか、その保守は誰がやるのか、そのデータをどう持ってくるか、である。
最後の点はSQLが思い浮かぶが、これは個人個人が扱うにはちょっとハードルが高いかも。したがって、アプリケーションからSQL呼び出しで個人が使うデータの扱い容易なものにしてあげる、ここまでの環境は欲しいだろう。
で、そのアプリケーションはなにで作る?
C# ? Python ? R でもできたっけ? まさかVBAなんてことは言わないだろう。いう人もいるが、Excelをどこでもインストールしておくのか?
DBMに戻るが、どんなものを使うのか?Microsoftのものがいいのかな、無難で。SQL Serverか。嫌いではないが、ネット検索すると結構違うものを使っているように見える。もっともそれが何であれ、標準的なSQL言語を使える範囲で利用可能であれば、なんでもいいと思う。

データ分析

視覚化、である。多角的に。加えて、自動的に、がいいとは思うが。 R が筆頭かな。Python も魅力的だが、Rの方がぱっとグラフ化できていい感じ。だが、Pythonでできる範囲が大きいので、どちらも使えるようにしておくのがいいんだろうな。
今はExcelがメインだが、とっつきにくいけど、時間がかかる。報告書にするには、不向き。もちろんプレゼンにも使えない。組み込んでしまう方法もあるが、ファイルサイズがデカイのと、編集が結構重く、使いにくい。

報告・配布

これまで社会人20年以上やっているが、資料をつくることが多いが、報告書を書く習慣が自分含めて足りない。なので、送られてきてもよくわからんし、そのデータ加工・分析をした人にしかわからん。
人に伝える技術はプレゼンだけでなく、読んで理解してもらう、ということが欠如している。
HTMLでもいいんだけど。個人的には紙に出力して見渡すのが、直感的にわかりやすいんだよな。画面だと狭い。紙なら、どっかのテーブルに広げて、並べて見られる。
配布。いろんな形態があるが、義務みたいなルールがあるだけで、見てないでしょうな。しかも保管も適当だったり、結局、pdfにして廃棄、とか。無駄だよね。

ちょっと愚痴入っているけど、この人と通りの流れで自分の標準ツールが定まらない、というのが目下の悩み。
AIとかIoTとか言っている人も多いけど、要件(十分条件?)のこと全く頭にないんだろうな。ものすごく金と時間がかかる覚悟とAIは磨き続けないと不良を作る危険もあるので、かなり怖い。PC上で迷惑かからずに自己満足する程度なら安全だけど、車載部品となると本当に恐怖を感じる。頭固いかもしれないが、やるなら、熱意と馬力と継続、継続は世代交代があっても、を含めて一人ではない、同じベクトルもった仲間が必要だと自分は思うなぁ。

定年前にやれるか?