ホストマシン：　Windows10

仮想ツール：　VirtualBox Ver.5.2.16

仮想マシンOS：　Ubuntu 16.04

Python：　Python 3.6.6

ツール：　Jupyter Notebook

■使用モジュール

 email ：　電子メールメッセージを読む・書く・送信するためのモジュール

 ssl ：　 このモジュールは、暗号化と、クライアントサイド、サーバサイド両方のネットワークソケットのための認証モジュール

 imaplib ：　サーバからメールを取得するためのモジュール

 email.header ：　文字コードを適切に変換するためのモジュール

■プログラムの目的

　IMAP サーバからメールオブジェクトを取り出すプログラム

■プログラムの機能

（1） メールサーバにログイン

（2） IMAP サーバからメールオブジェクトを取り出す

#-----------------------------

　③ タイトルを mail_test に変更

#-----------------------------

▼変更画面

ここ最近、備忘録目的で更新していた技術記事がぱったり止まっておりましたが、

実は、ネットワークルーティングについて理解度を深めたくてCCNA取得の為に、

学習に没頭しておりました。

毎週平均20時間程度、トータル学習時間は90時間となります。

年齢と共に物覚えが悪くなっている感じはありましたが、

それでもなんとか本日、CCNAの片割れICND1（CCENT）の取得に成功しました♪

ひとまず「ホッ」としましたよ…

なんせ、一回の試験費用が2万円近いですからね。

まぁ、この勢いでICND2も一気に！

なんて行きたいところなのですが、

そろそろプログラミングの学習に戻りたいので、

一旦来年に持ち越すことにしました。

ちなみに年内で予定している学習内容は、

① セキュ塾 研究コース 6回（11月3回、12月3回）

② プログラミング基礎講習会 3回（12月3回）

③ 情報処理安全確保支援士 オンライン講習A

と、案外時間に余裕無しな感じです。

日々の積み重ねが、後に結果につながっていくと信じているので、

引き続き挑戦していきたいと思います！

話は変わりますが、今日は試験合格のお祝いとして、

東山魁夷展を観に行ってきました＾＾

『生誕110年 東山魁夷展』

http://www.nact.jp/exhibition_special/2018/kaii2018/

結論を申しますと、

めちゃくちゃよかったです！

2時間近くじっくり観覧してきましたが、経年と共に味わい深くなっていく風景表現に

ただただ溜息が桃色吐息でした。

こちらは、観に行って損がないすばらしい展覧会だと思うので、

ご興味のある方はぜひに！！

ではでは、明日からぼちぼち技術ブログを再開させていきたいと思います。

いちたろ

ホストマシン：　Windows10

仮想ツール：　VirtualBox Ver.5.2.16

仮想マシンOS：　Ubuntu 16.04

Python：　Python 3.6.6

■使用ライブラリ

 urllib ： URL を扱ういくつかのモジュールを集めたパッケージ

 os ： OS （オペレーティングシステム）に依存した機能を使うための標準ライブラリ

 sys ： Python のインタプリタや実行環境に関連した変数や関数がまとめられたライブラリ

■プログラムの目的

　WebサイトからPython の urllib ライブラリを使ってデータをダウンロードする練習

■プログラムの機能

（1） 指定先のURL からJPG データをダウンロード 

（2） 保存時のファイル名を指定

（3） 保存先のディレクトリ内に同じファイル名が無いか調べる

（4） 同じファイル名がある際は、保存せずアラートを表示しプログラムを終了させる

（5） OS のdisplay コマンドを実行し保存したデータを表示させる

■ソースコード

■実行結果

（1） カレントディレクトリ内に保存されているファイルの確認

（2） すでに存在するファイル名を指定してプログラムを実行

（3） 存在しない新しいファイル名を指定してプログラムを実行

▼実行結果

■開発で注意すべき点

ソースコードの冒頭に shebang （シェバン）と呼ばれる記述をしているが、

これは実行権限を与えたときに、python コマンドを指定しなくても、

プログラムを実行することができるようにするためのもの。

実行権限については、下記の操作を行う。

$ chmod 766 download-jpg.py

■プログラムの説明

#!/usr/bin/env python　　　　　　　　　　　　<=　shebang の記述

# -*- coding: utf-8 -*-　　　　　　　　　　　 <=　文字コードの指定

# source code name: download-jpg.py　　 <=　プログラム名

import urllib.request　　　　　　　　　　　　　 <=　URL を開くための拡張可能なライブラリ

import os　　　　　　　　　　　　　　　　　　　　<=　os ライブラリ

import sys　　　　　　　　　　　　　　　　　　　 <=　sysライブラリ

url = "https://.........."　　　　　　　　　　　　　<=　ダウンロード先のURLを変数に代入

if len(sys.argv) <= 1:　　　　　　　　　　　　　 <=　コマンドライン引数をチェック

    print("USAGE: download-jpg.py (File name)")

    sys.exit()　　　　　　　　　　　　　　　　　　 <=　引数が不足していたら終了

else:

    savename = sys.argv[1] + ".jpg"　　　　<=　引数の値に（.jpg）を付けて変数に代入

    if os.path.isfile(savename):　　　　　　　 <=　カレントディレクトリに同じファイル名が無いか確認

        print("同じファイル名が...")

        sys.exit()　　　　　　　　　　　　　　　　 <=　同じファイル名があれば終了

urllib.request.urlretrieve(url, savename)　 <=　関数に url  変数と savename 変数 を指定

print("保存しました")　　　　　　　　　　　　 <=　urlretrieve( ) を使うことで直接ファイルをダウンロードできる

os.system("display " + savename)　　　　 <=　OS の display コマンドを実行。jpg ファイルを表示

以上です。

基礎学習としての記録でした。

備忘録用なので、これからも継続して更新していきたいと思います。

φ(．． )

いちたろ

ホストマシン：　Windows10

仮想ツール：　VirtualBox Ver.5.2.16

仮想マシンOS：　Ubuntu 16.04 （64bit）

Python：　Python 3.6.6　（Pyenv の環境にて）

■利用コマンド

　tar　（Version： 1.28-2.1ubuntu0.1）

　wget　（Vresion： 1.17.1）

　※インストールされていなければ、$ sudo apt -y install tar wget

■操作手順

（1） selenium install

（2） geckodriver ダウンロード

（3） ファイル 解凍

（4） PATHが通っている環境へファイル移動

（5） selenium を使って実行検証

■操作一連の流れ

$ pip install selenium

$ mkdir ~/tmp

$ cd tmp

$ wget https://github.com/mozilla/geckodriver/releases/download/v0.21.0/geckodriver-v0.21.0-linux64.tar.gz

$ tar -zxvf geckodriver-v0.21.0-linux64.tar.gz

$ sudo mv ./geckodriver /usr/local/bin

$ python

>>> from selenium import webdriver

>>> browser = webdriver.Firefox()

>>> browser.get('selenium-python.readthedocs.io')

■コマンド

<selenium install>

$ pip install selenium

[ selenium とは ]

　プログラムによってリンクをクリックしたり、ログイン情報を入力したりなど、

あたかも人間が直接ページをやり取りしているかのように、Pythonが

ブラウザを操作するためのモジュール。（今後クローラーを作っていく際に、

Javascriptを使ったログイン機能を利用したサイト対策に使用していきたいと思っとります）

<geckodriver ダウンロード>

$ mkdir ~/tmp

$ cd tmp

$ wget https://github.com/mozilla/geckodriver/releases/download/v0.21.0/geckodriver-v0.21.0-linux64.tar.gz

………

[ geckodriver の選び方 ]

　自身の環境に合わせてドライバをGithubのサイトからダウンロードする。

　→　ダウンロードサイト

　手順で迷ったら下記の流れでURLを取得する

#--------------------------------------------------------------------#

　① ダウンロードサイトを開く

　② 自身の環境に合わせてファイルを選択

　③ 選択したファイルにカーソルを乗せて右クリック

　　　リンクのアドレスをコピーする

　④ URLをGet！

　　　https://github.com/mozilla/geckodriver/releases/download/v0.21.0/geckodriver-v0.21.0-linux64.tar.gz

#--------------------------------------------------------------------#

<ファイル 解凍>

$ tar -zxvf geckodriver-v0.21.0-linux64.tar.gz

$ ls -al

<PATHが通っている環境へファイル移動>

$ sudo mv ./geckodriver /usr/local/bin

$ ls -al /usr/local/bin

<selenium を使って実行検証>

$ cd

$ python

>>> from selenium import webdriver

>>> browser = webdriver.Firefox()

※Firefoxブラウザが起動する

>>> browser.get('https://selenium-python.readthedocs.io')

以上。

ひとまず、Driverが必要なのでこの設定を忘れないようメモメモ…。

φ(．． )

いちたろ

■Ubuntu Ver.16 上でPyenvを使ったPythonの開発環境構築

ホストマシン：　Windows10

仮想ツール：　VirtualBox Ver.5.2.16

仮想マシンOS：　Ubuntu 16.04

Python：　Python 3.6.6

MｙSQL：　MySQL 5.7

■操作手順

（1） 必要なライブラリをインストトール

（2） スクリプト開発

（3） シェルからスクリプトを実行

■コマンド

<必要なライブラリをインストール>

$ pip install feedparser

[ feedparser とは ]

 feedparserはRSSフィードのRSS 1.0、RSS 2.0、Atomなどの複数の仕様を吸収して、

スクレイピングする便利なライブラリ。

#----------------------------------------------------#

※事前に下記ユーザとデータベースを作成しておく

　文字コード　：　utf8

　ユーザ名　　：　testuser

　パスワード　：　password

#----------------------------------------------------#

[ コード ①　：　MySQLにアクセスするためのコード ]

#----------------------------------------------------#

#----------------------------------------------------#

[ コード ②　：　Livedoor天気情報のRSSを取得するためのコード ]

※エントリー情報の中には、不要なPR情報も含まれるため、

　事前に削除を行う。

[ コード ③　：　タイトル情報とURLのリンク情報をデータベースに保存 ]

: wq! [ Enter ]　<= キー操作

※最後にファイルを保存して閉じる。

以上。

次は、もう少し改造してみます。

φ(．． )

いちたろ

ホストマシン：　Windows10

仮想ツール：　VirtualBox Ver.5.2.16

仮想マシンOS：　Ubuntu 16.04

Python：　Python 3.6.6

■操作手順

（1） MySQLをインストール

（2） データベースとユーザを作成

（3） PythonからMySQLに接続するための準備

■コマンド

<MySQLをインストール>

$ sudo apt -y install mysql-server

$ sudo service mysql start

$ sudo service mysql status

 :q　<= キー操作

$ mysql -u root -p

Enter password:　※設定したmysql root ユーザのパスワード

#----------------------------------------------------#

CREATE DATABASE コマンドを使ってデータベースを作成する

下記は、今回のテスト用データベース情報

　Database 名：　testdata

　文字コード　：　utf8

　ユーザ名　　：　testuser

　パスワード　：　password

#----------------------------------------------------#

> CREATE DATABASE testdata DEFAULT CHARACTER SET utf8;

> CREATE USER 'testuser' IDENTIFIED BY 'password';

[ 最後にユーザtestuserに先ほど作成したデータベースtestdata を読み書きできる権限を与える ]

> GRANT ALL ON testdata.* TO testuser;

[ 一旦ログアウト ]

> exit

$ sudo apt -y install libmysqlclient-dev

以上。

次は、RSSデータを取得して結果を保存してみたいと思います。

φ(．． )

いちたろ

ホストマシン：　Windows10

仮想ツール：　VirtualBox Ver.5.2.16

仮想マシンOS：　Ubuntu 16.04

　※ 上記については、環境準備済みを前提とする

■操作手順

（1） Ubuntu Terminal 起動 -> 操作の詳細は割愛

（2） Update ＆ Upgrade

（3） 必要なパッケージのインストール

（4） GithubからPyenvをクローン

（5） Pyenvの設定

■コマンド

<update & upgrade>

$ sudo apt-get -y update

$ sudo apt-get -y upgrade

$ sudo apt-get -y install git vim gcc make openssl libssl-dev libbz2-dev libreadline-dev libsqlite3-dev

export PYENV_ROOT="$HOME/.pyenv"

export PATH="$PYENV_ROOT/bin:$PATH"

eval "$(pyenv init -)"

[Esc]  <= キー操作

 :wq [Enter] <= キー操作

--------------------------------------------------

[ ls コマンドで隠しファイルの所有者とグループを確認 ]

$ ls -al

[ 所有者を root から ubuntu ユーザへ変更 ]

$ sudo chown ubuntu:root ~/.pyenv

[ 変更されたか ls コマンドで確認 ]

$ ls -al

$ source ~/.profile

$ pyenv install --list

$ pyenv global 3.6.6

$ pyenv rehash

$ pyenv versions

$ python

以上。

ひとまず、引き続き検証しながら詳細を調べていきたいと思います。

φ(．． )

いちたろ

ホストマシン：　Windows10

仮想ツール：　VirtualBox Ver.5.2.16

仮想マシンOS：　Ubuntu 16.04

　※ 上記については、環境準備済みを前提とする

■事前確認

・ Elasticsearch 公式サイトから Support Matrix 確認

　確認サイト　（https://www.elastic.co/support/matrix）

　※ Elasticsearch Ver.6.3 とOSの対応を確認

・ OSにインストールされているJavaのVer.を確認

　※ 今回は、OpenJDK 10を使用したい
 

■操作手順

（1） Ubuntu Terminal 起動 -> 操作の詳細は割愛

（2） Update ＆ Upgrade

（3） VirtualBox の機能 Snap shot 作成 -> 操作の詳細は割愛

（4） OpenJDK 10 download & Install

（5） Elasticsearch download & Install

（6） Kibana download & Install

■コマンド

<update & upgrade>

$ sudo apt-get -y update

$ sudo apt-get -y upgrade

<Java>

　参考サイト　（https://www.linuxmania.jp/apt-install-java.html）

　参考サイト　（https://stackoverflow.com/questions/49507160/how-to-install-jdk-10-under-ubuntu）

$ java -version

■補足

- dpkg コマンド

　「dpkg」は、debianのパッケージである「deb」ファイルを取り扱うコマンド

以上。

ひとまず、引き続き検証しながら詳細を調べていきたいと思います。

φ(．． )

いちたろ

■コード概要

In[1]

#----------------------------------------

 import cv2

 import numpy as np

 from matplotlib import pyplot as plt

 import pandas as pd

 targets_data = pd.read_csv( 'y_classified.csv', index_col=0 )

 print(targets_data[ 'Kirishima' ]

#----------------------------------------

考察：

＜各Libraryの目的＞

　cv2　…　画像ファイルの操作（読み込み、表示、保存）

　numpy　…　学術計算用のライブラリ

　matplotlib　…　グラフを描画するときの標準ライブラリ

　pandas　…　データを操作（読み込み、追加、修正、削除）

＜コードの意味＞

　# このコードの目的は、Kirishima が含まれる教師データの生成

　targets_data = pd.read_csv( 'y_classified.csv' )

　# 変数 targets_data に CSVファイル y_classified.csv を

　　読み込んで代入している（pandas ライブラリを使用）

　print(targets_data[ 'Kirishima' ]

　# 変数に代入されたファイルデータから、key値 'Kirishima' の

　　データを表示させている

　# 実行結果から、100個の値が出力された

　# 今回のCSVファイルについては、pandas で、indexが

　　自動生成されないように引数に index_col=0 を加筆
 

In[2]

#----------------------------------------

 images = []

 for i in range(100):

     file = ('images/%03d.png' % (i))

     img = cv2.imread(file, cv2.IMREAD_GRAYSCALE)

     images.append(img)

#----------------------------------------

考察：

＜コードの意味＞

　# images リストにグレースケールに変換した画像データを格納

　# images リストを作成

　for i in range(100):

　# 先に実行した結果をもとに100個分の値を繰り返し処理させる

　file = ( 'images/%03d.png' % (i))

　# %03d ... % (i) とは、(i) の値を代入する際に3桁で表示させる

　　文字列処理　例） '%03d.png' % (5) → 005.png

　img = cv2.imread( file, cv2.IMREAD_GRAYSCALE )

　# 変数 img に 出力された画像ファイルの保存先データを白黒画像　　に変更したものを読み込み代入

　images.append( img )

　# リスト images に白黒画像に変更したデータを100個分追加代入

In[3]

#----------------------------------------

 images_data = np.empty((100, len(images[0].ravel())), int)

 for i in range(100):

     images_data[i] = np.array([images[i].ravel()])

#----------------------------------------

考察：

＜コードの意味＞

　# images_data に読み込んだ画像のピクセル値を1次元配列にし

　　保存

　images_data = np.empty(( 100, len( images[0].ravel())), int )

　# ravel() は、多次元配列を一次元配列にする際に使う

　# np.empty() は、値の初期化を行うことなく配列を生成する

　　例）np.empty((2, 4), int) → [[ 0, 0, 0, 0], [0, 0, 0, 0]]

　for i in range(100):

　　　images_data[i] = np.array([images[i].ravel()])

　# np.array() は、リスト、または辞書のコンテナに変換する

　# images_data に 100個分の、白黒画像の値を（1次元配列）を

　　int 型で追加代入し多次元配列を生成（箱を準備）

　# images リストの値を 頭から順に images_data の配列に

　　追加代入

In[4]

#----------------------------------------

 print(images_data.shape)

#----------------------------------------

考察：

＜コードの意味＞

　# images_data をshapeで表示

　# shape は、配列が何行何列なのかを知りたいときに使う

　print(images_data.shape)

　　→ 実行結果：　( 100, 163125 )

　# 結果の意味、長さ163125の配列が100個保存されている

　　※画像の特徴ベクトル

In[5]

#----------------------------------------

 import sklearn

 from sklearn.model_selection import train_test_split

 from sklearn.neighbors import KNeighborsClassifier

#----------------------------------------

考察：

＜各Libraryの目的＞

　sklearn　…　pythonで使える機械学習ライブラリ

　train_test_split　…　学習用データとテストデータを分けるため、

　　　　　　　　　　　　　データセットをランダムに分割する

In[6]

#----------------------------------------

 X_train, X_test, y_train, y_test = train_test_split(images_data, targets_data['Kirishima'], random_state=0)

#----------------------------------------

考察：

＜コードの意味＞

　# データの分離を行う

　# train は教師データ

　# test はテスト用データ

　# Xの変数には、入力する特徴ベクトル

　# yの変数には、期待する分類結果が入っている

　# 分離には、train_test_split() を使う

In[7]

#----------------------------------------

 print(X_train.shape)

 print(X_test.shape)

 print(y_train.shape)

 print(y_test.shape)

#----------------------------------------

考察：

＜コードの意味＞

　# 分離したデータをそれぞれ確認する

In[8]

#----------------------------------------

 knn = KNeighborsClassifier(n_neighbors=1)

 knn.fit(X_train, y_train)

#----------------------------------------

考察：

＜各Libraryの目的＞

　fit(X, Y)　…　訓練データとして、Xを、目標値としてYを使用してモデ　　　　　　　　　ルをフィットする

＜コードの意味＞

　# 分離した教師データをベクトル化

　# K近傍法を使う

　# KNNという学習アルゴリズムを使ってデータを学習させてみる

　knn.fit( X_train, y_train )

　# モデル作成実行

In[9][10]

#----------------------------------------

 print(knn.predict(np.array([X_test[0]])))

 print(y_test)

#----------------------------------------

考察：

＜各Libraryの目的＞

　predict(X)　…　提供されたデータのクラスラベルを予測する

　※クラス分類とは、データの特徴に基づきデータが属する

　　クラスを推定する

＜コードの意味＞

　print(knn.predict(np.array([X_test[0]])))

　　→　結果：　[1]

　# X_test[0] の予測値を表示するプログラム

　# y_test[0] の結果が正しいため、比較した場合、同じ結果が

　　表示されれば確率が高いと言える

In[11]

#----------------------------------------

#----------------------------------------

考察：

＜コードの意味＞

　print(knn.predict(np.array([X_test[0], X_test[1], ..., X_test[3])))

　# 複数のテストデータの予測をまとめて行う際に、このように

　　記述する

In[12]

#----------------------------------------

 y_pred = knn.predict(X_test)

 print(y_pred)

#----------------------------------------

考察：

＜コードの意味＞

　y_pred = knn.predict(X_test)

　# X_test の値をすべてpredictに与える

　# データのすべての予測を行うようにする

　print(y_pred)

　# 変数に代入した結果を出力

　　→　結果：　[ 1, 1, 1, 0, 0, 1, ....., 1, 0, 0 ]

In[13]

#----------------------------------------

 print(np.mean(y_pred == y_test))

#----------------------------------------

考察：

＜コードの意味＞

　# 正解率を表示する

　# no.mean() は、重み付きはできないが、純粋に要素の平均を

　　求めるために使用する関数

以上。

ひとまず、引き続き検証しながら詳細を調べていきたいと思います。

φ(．． )

いちたろ

久しぶりに、ブログを再開です。

といっても、今まで更新していたブログは、

なんとなく思ったことを思いついたら書くものでしたが、

今後の目的は、自学した内容をまとめるために、

使っていこうと思っています。

本当は、Qiitaなどの技術共有サイトなどで更新するのが

良いのでしょうが、頭の整理だけが目的だったら、

ちょっと違うかなと思ったので、ひとまずこちらを使うことにしました。

ちなみに、現在学習中のテーマは、

下記になります。

■テーマ

（1） Pythonプログラミング

（2） Webサービスの脆弱性調査

（3） サイバーセキュリティの技術的対策

（4） Elasticsearchを使って受信メールの分類と解析

（5） Webスクレイピング

実は、ここ3～4年は、ずっと学習習慣をつけるために、

日々取り組んでいました。

仕事しながら、しかも習慣がないことを自分に取り入れるというのは、

本当に大変でした。

今は、無事月平均80時間は当たり前のように学習する習慣が

身についたので今後は、より集中力を上げて結果を出せるように

時間を使っていきたいと思っています。

ひとまず達成したことは、

・ 情報処理安全確保支援士の資格取得

・ セキュ塾の全カリキュラム受講完了

・ Paiza Python３ 入門編（全7レッスン完了）

・ 「Pythonによるクローラー＆スクレイピング入門」読破

・ 「実践力を身につけるPythonの教科書」読破

・ 「退屈なことはPythonにやらせよう」読破

・ 「サイバーセキュリティテスト 完全ガイド」読破

・ 「セキュリティコンテストチャレンジブック」読破

という具合です。

現在は、Pythonを使った機械学習とWebクローラーの開発、

BugBountyに挑戦中です。

まだまだ初学者レベルですが、

目標をもってしっかり前進していきたいと思います！

がんばろっと(o´･ω･`o)ﾉｼ