December 30, 2010

データ分析システム構築の際の落し穴

備忘録的にデータウェアハウス構築の際の注意点というか失敗談。
 
データ分析システムを構築する際は、分析の切り口と実際の分析項目を考えながらディメンジョン、ファクトを構成していく。
分析だけを考えた場合、これで問題無いのだが、実運用を考えた場合、そのデータの保持期間も考えておく必要がある。
一応、データウェアハウスの定義としてはデータは不揮発性ということにはなっているが、リソースを無限に取るわけにはいかないので、実際は古いデータから消していったり、必要なデータだけをデータマートという形で切り出したりする。その消去の際に、例えば時間項目をキーにしてdelete文を発行したりするととんでもない時間がかかったりするので、物理設計の際は、きちんとデータ削除のことまで考えた上で領域を切り分け、drop文などを使ってデータの整理ができるようにしておこう。

>>仙台のITコーディネータはこちら

| | Comments (0) | TrackBack (0)

October 24, 2006

データウェアハウス

 最近、自分で作った趣味系SNSにばっかり書いてる。
 いかん、現実逃避だ。というわけで、ここにも真面目なことを書こう。

 最近、とあるデータウェアハウスというか、正確にはデータマートの切り出しの要件定義作業をやっている。
 でも、こうして改めてみると、大手と言われるところでも、分析要件が明確でなかったり、DWHの設計がひどいところは多いですねぇ。

 痛いのは、それに気づいている人が、当事者の中にヒジョーに少ないという事実。
 まあ、皆が気づいていれば、そんな事態にはならないのだが(笑)。

 今まで携わってきた情報系システムの構築で、問題だと思うことは、システム構築に携わっているSIer、ITベンダーがむちゃくちゃな設計をしているということ。しかも、そういうことは少なくない。
 お客様がITを知らないのは仕方が無いし、要件が明確でないというのも、ある意味仕方が無いと思っている(だから、コンサルタントがいるのだ)。
 しかし、ITベンダーがITっていうか、システム構築を知らないというのは問題でしょう。
 ITコーディネータの説明では、よく「ITベンダーは経営を知らない」とか言われているが、経営どころか、技術も知らない。
 あ~、これじゃあ、インドや中国に負けるだけだよ。

 会社員時代から感じていたが、そんな人って大手ベンダーの方がよく見かける。
 割合として多いというわけではなく、そんな社員でも養っておけるという懐の深さとか、そういうことが関係しているのかもしれないが。

 ホント、COBOLしか知らないバッチ職人ばっかりじゃ仕方ないでしょう。
 知らないなら知らないで、勉強するとか聞くとかしてくれれば良いのにね。

| | Comments (0) | TrackBack (0)

February 20, 2006

シックスシグマとBI

 「シックスシグマ」といえば、GE社が取り入れて業績を上げたことで有名です。
 私は、BI、データマイニングを専門分野の一つとしていますが、シックスシグマで提唱されている“MAIC”というプロセスサイクルは非常に優れたものではないかと感じています。

 MAICは、Mesurement(測定)、Analysis(分析)、Improvement(改善)、Control(管理)の4つのサイクルですが、デミングサイクルで言われているPDCAに比べ、最初に測定というプロセスが来ています。
 これは、計画が最初に来ているPDCAサイクルに比べ、現状を徹底的に調べ、それを分析するということで、真の問題点が明らかになり、効率的な問題解決と事業改革ができるように思います。

 測定時には、当然、測定の観点を洗い出し、データを取得する必要がありますが、そのためには、ビジネスインテリジェンスで使われる設計技法やノウハウが大いに活きてきます。逆もまた然りで、シックスシグマウェイを学んで、測定結果を分析に活かすことが正しくできれば、折角、大きなコストをかけて作ったBIシステムが無駄に終わることはありません。

 世の中には、BSC(バランススコアカード)とシックスシグマを結びつけるような方法論も出てきていますが、BIとBSC、BIとシックスシグマの融合も経営改革の手法として実践的なものだと思います。

 今後、これらの方法論をしっかりとまとめて、クライアントの役に立つシナリオやテンプレートにして行きたいと思います。

| | Comments (0) | TrackBack (0)

September 27, 2005

BI on LAMP

http://www.opensource.co.jp/Members/admin/news/bi_on_lamp

 アシストとOSJが、オープンソースを利用した、情報活用ソリューションで提携した。
 中小企業・事業部向けのソリューションだが、結構期待できる。

 この他にも、オープンソースを利用したBIソフトといえば、OpenOLAPなどが有名だが、今後は、製品にお金をかけるのではなく、そういったソフトウェアをどのように活用していくかという方向に益々進んでいくだろう。

 個人的には、BIは、大企業よりも、中小企業にこそ活用してもらいたいと思っているので、こういったオープンソースの利用は嬉しい限りである。

 …というわけで、BI活用をするなら、コンサルティングしますので、私にお仕事下さい(笑)。

| | Comments (0) | TrackBack (0)

September 18, 2005

ズバリ自動化

 ソースネクストから「ズバリ自動化」というツールが出ていたので買ってみた。

 こいつは、ビーコンITという会社から出している「Waha!Transformer」というETLツールのパーソナル版なのだが、普通、ETLツールっていうと、とんでもなく高価だっていうのが、あたりまえのようになっている。
 うちの会社でも扱っているのだが、そいつは、最小構成で1000万円弱くらいの定価になっている。 それに引き換え、今回買った「ズバリ自動化」は、何と!\1,980である!

 まあ、バッチ処理ができないとか、出力DBがMS Accessだけとかいう制限はあるにしろ、実は、小規模のIT化されていない企業なんかは、これで十分じゃないかと思ったりした。

 企業に情報系のシステムを導入するときに、ETLとOLAPは欠かせない部分なのだが、予算の無い零細・小企業にとって、初期導入費用は大きな問題である。 OLAP部分なんかはオープンソースのものを結構見たり、Excelのピボット機能なんかでも結構なことができるのだが、ETLはあんまり見かけませんね。まあ、あることはあるのだが。

 そんな中で、今回買ってみたこのソフトは、企業内の情報化の取っ掛かりには、非常に良いツールだなぁと思ったのでした。1年間の期間限定だけど、この手のツールは、通常、年間保守費用取るしね。

| | Comments (2) | TrackBack (0)

November 18, 2004

データ分析 その1

 たまには、データ分析のことでも書いてみるかな。
 ちょっとずつでも書いておけば、そのうちまとめられるかもしれないし。

 


データ分析の計画

 巷ではデータ分析だのマイニングだの、色々な言葉が飛び交い、言葉だけが先行してしまうこともよくある話だが、データ分析を行う際に必ず押さえておかなければならないことがある。それは、

 1. 目標の設定
 2. 計画
 3. データの収集
 4. 統計処理
 5. レポーティングとフィードバック

 1.の目標設定が必要なのは、別にデータ分析に限ったことではなく、何かの活動を行うときには当然のことだと思うのだが、意外とこれがなされていないことが多いような気がする。あるいは、その目標・目的がシステム構築者に伝わっていない(理解されていない?)。

 2.の計画も、データ分析に限ったことではないが、敢えてデータ分析に関連すると思われることを挙げると例えば、

(a) データをどのように集めるのか?
 アンケート調査をするのか、POSなどからデータを収集するのかなどを計画しておかなければならない。
(b) 収集したデータの分析手法
 集められたデータの種類と出力として期待される答え、つまりINPUTとOUTPUTを考慮した上で、分析手法を決定していく必要がある。

 3.は実際のデータの収集と蓄積。大規模なシステムだとデータウェアハウスなどを作っていくことになるが、1、2が明確でないまま、いきなり3から実施してしまうことが少なくない。言葉に踊らされること無く、しっかりと1、2の手順を踏んだ上でこの作業を行わないと、後々問題が生じることも多い。

 4.の段階になって、やっと数学的な統計分析処理になる。手でセコセコと計算しても良いが、SPSSやSASなどの統計ソフトを使って分析を行うことが多い。SASは高いけど(笑)。
 もちろん、ExcelやRなどでも分析処理を行うことは可能。

 5.では、分析結果の報告と第1フェーズへのフィードバックを行う。
 データ分析では、分析計算を行うのが目的ではない。特に企業活動の中で実施する分析は、その結果を企業活動にフィードバックすることによって初めて意味を帯びてくる。そういった意味で、第1フェーズで、この第5フェーズで出すべき結果をある程度想定しておく必要がある。

 まぁ、こんなところかな。

| | Comments (0) | TrackBack (0)