https://ameblo.jp/hiro-it/ 未熟なエンジニアhiroがプログラミングやら技術情報などのIT関連情報の記事を主に載せます。ためになるかは分かりませんが、日々の勉強で学んできたことを載せ、読者のためになれればと思います。ちなみに、更新は不規則です。 ja 高まるHadoop導入機運、日本のHadoopが終結

まず、Hadoopとはなにか？
Hadoopとは、Apach HadoopでGoogleのGoogle File SystemとMapReduceのオープンソース版です。
Googleの分散処理技術をオープンソースに実装しているみたいです。

実績としてはIBM、Yahoo!、amazon、Facebookなど有名なサイトに使用されているので注目を集めています。
Hadoopは、これから次々企業で採用されていくと思いますね。
Javaで実装されているそうです。

そもそも、Hadoopの元になったGoogle File SystemとMapReduceとは？
ざっくり話します。参考サイト→CodeZine

GFS(Google File System)
・大量のデータを大量マシンので安全に保存するための分散ファイルシステム
・複数のマシンのディスクを1つのディスクとして見せるファイルシステム

特徴としては、データを冗長化して1つのディスクが壊れてもデータが失われない。

MapReduce
・大規模なデータを大量のマシンで並列に処理するための分散計算フレームワーク
・ウェブ検索のためのインデックス作成処理や、ログ解析、機械学習などの処理に利用

MapReduceは、MapフェーズとReduceフェーズに分かれる。

Mapフェーズ
大量の情報を分解し、必要な情報を抜き出して出力。

Reduceフェーズ
Mapフェーズで抽出された情報を集約し、それに対して計算を行い結果を出力。

GoogleのGFSにあたるのが、HadoopのHadoop Distributed File Systemで、MapReduceにあたるのが、Hadoop MapReduceになります。

その他、関連情報としてBigTableとかありますが、サイトなど見てください。

内容は浅すぎますが、実際知識(IT関連の知識も)が浅いですのですみませんがこの辺で。
実際、やって知識深めるしかないですね。

大量データなどを扱うところには、これから普及していきそうですね。

追記
Hadoopについて書かれているブログ見つけたました。
分かりやすく書かれています。
Hadoopで、かんたん分散処理 ]]> https://ameblo.jp/hiro-it/entry-10400252424.html Mon, 30 Nov 2009 19:47:50 +0900 Twitterサーバ、「バルス」に勝つ

この記事見て面白いと思った。
ラピュタの放送にTwitterのサーバが耐えたってことみたいです。

今まで、2chではラピュタには耐えきれず落ちるらしい。はじめて知りました。
今回も落ちたようです。2chのサーバだめですね。バルス前に落ちたらしいです。

Twitterが普及してきて、初のラピュタ放送だったが、みんなが一斉にバルスってつぶやいても落ちなかったのはすごいですね。色々分散処理とかしているのかな？

2chとTwitterのユーザーがどれだけだったのかが知りたいね。

Twitterを考えた人も尊敬です。
自分は、1回しか発したことはないですが（;´▽｀A``、普及するってことは良いサービスってことなので。

みんなは、Twitterで何をつぶやいているんだろう。少し、気になる。

あぁー、0時超えちゃった寝ないとね。
]]> https://ameblo.jp/hiro-it/entry-10396120396.html Wed, 25 Nov 2009 00:02:41 +0900 ソフトバンクモバイル、2010年3月31日に2Gサービス終了

ソフトバンクが2Gサービスを終了するそうです。
自分は、ソフトバンクユーザーではないのでどうでもいいですが。
2Gと3Gは何が違うのか？って思い調べてみました。
2G
wikiみてもあまり分かないな。
デジタル技術を利用した最初の世代で、日本のPDC方式や欧州のGSM方式などの移動通信システムが2Gみたいです。PHSも2Gらしい。今は知らないけど。知識無くてすみません。docomoなら2Gはmovaです。

3G
世界共通の通話周波数(2GHz帯)を使用した移動通信システムのことみたいです。外国でも通話ができるようになったことが3Gってことみたいですね。docomoならfomaになりますね。

docomoなら自分の機種が2Gか3Gかがmova,fomaで分かるけど、softbankの機種で2G,3Gの違いってわかるのだろうか。5年前の最新機種ぐらいなら3Gなのかな。

高速化や共通化で2G→3Gに移ってきたってことですね。技術の進歩ってすごいね。
技術者として、こういう技術を提供できる側になりたいですね。
どうすればいいのだろうかと悩みますね。新たなものを作るクリエイティブ力が足りないので。クリエイティブ力をつけたいですね。何か生み出していく人に憧れます。ピグとか生み出した人とかgoogleの人などかなり尊敬しますね。

iPhoneがほしい。
2つ目の携帯として持ちたい。
docomoは好きであるのと、家族そろってdocomoユーザーなので手放せないので。

softbankユーザーで2G携帯の人は3G携帯に変えてください。機種変の事務手数料とか無料になるらしいので。 ]]> https://ameblo.jp/hiro-it/entry-10396109440.html Tue, 24 Nov 2009 23:31:51 +0900
基本的なことですね。知っておくべきですね。

OSI(Open System Interconnection)
異機種のコンピュータ間やネットワーク間の接続を容易にするために、ISOが定めたネットワークアーキテクチャのことです。
　OSIのガイドラインとして7階層(layer)に分割したOSI参照モデルが示されています。

以下に、OSI参照モデルについて示します。

第7層	応用層
第6層	プレゼンテーション層
第5層	セッション層
第4層	トランスポート層
第3層	ネットワーク層
第2層	データリンク層
第1層	物理層

応用層
データのレコード形式や内容を規定する



プレゼンテーション層
データ表現形式をとりきめる


セッション層
会話単位の制御

トランスポート層
伝送路のデータの転送誤りの検出や回復の制御を規定

TCPUDP

ネットワーク層
通信経路の選択方式(ルーティング)や中継方式を規定

IP
パケット単位

データリンク層
隣接したノード間における伝送制御手順を規定

フレーム単位

物理層
物理的な条件や電気的な条件を規定するモデム(アナログ回線)やDSU(デジタル回線)を制御ビット単位









上に記載した階層になっています。下から第1層の順になります。　エンドユーザ間の。　OSIの窓口として、応用プログラムや端末の利用者に対して通信機能を提供する。　FTAM(ファイル転送)、MHS(電子メール)、VT(仮想端末)、TP(トランザクション処理)などがある。　送受信するデータの文字コードや形式、暗号化、圧縮など、。　個々のプロセスで扱うデータ型や符号を共通のものに変換して送信する。このため、応用層では符号を意識しないで済む。　をおこなう。通信の開始や終了など、エンドユーザ間の対話を正しく行うことができるように、回線の接続切断などの制御方法を取り決める。通信方式、送信権制御、同期制御、再送などの機能を提供する。　する。また、通信網の違いを吸収し、信頼性が高く、経済的な通信機能を提供する。　コネクション型、コネクションレス型の両方のサービスを提供する。　やに当たる。　し、パケット単位での伝送を保証する。エンドノード間の通信レートを選定し、データを中継しながら対応する。　X.25(パケット交換)などが対応する。　に当たる。　での通信を行う。　し、隣接ノード間のフレーム単位の伝送を保証する。　HDLCやCSMA/CD、TDMAなどの伝送制御手順が対応する。　での通信を行う。　し、通信回線を介してでの伝送を行う。　DTE/DCEインタフェースを管理する層で、V.24やX.21、RS-232Cなどが対応する。「○○層は下線のことに対応している」という感じで覚えておけばだいたい大丈夫ではないかと思います。OSIについては、以上です。文章だけではいまいち微妙ですね。なんか分かりやすいようにできないか考えてみます。できれば、誰か教えてください。ざっと書いただけですので、修正する可能性もあります。 ]]> https://ameblo.jp/hiro-it/entry-10390083482.html Mon, 16 Nov 2009 22:14:15 +0900