2008年02月24日

第10回関西Debian勉強会に行ってきた

2月23日(土)にあった第10回関西Debian勉強会に行ってきた。

1月はなかったので2ヶ月ぶりの開催。
最近は関西Debian読書会(KDR)でDebian成分?を吸収しているので久しぶりと言う感じはなかった。

何気に油断して二度寝したら5分ほど遅刻。
行きから風が強かったけど、帰りは雪が降っていて寒かった。

●DebianでPCクラスタを作ってみよう(中尾さん)
PCクラスタのお話から、研究室でのPCクラスタの様子、DebianでのPCクラスタ構築のお話。

話は少し聞いてたけど、サーバールームはなかなか凄そう。
Debianパッケージを使えばかなり簡単に構築できるらしい。

●GIS on Debian GNU/Linux!(清野さん)
GISについてのお話。
いろいろな周辺の技術がからんできてなかなか大変そうな部分も。

オープンソースでの開発も進んでいて、これからどんどん面白いサービスが出てきそうな予感。

●資料作成基礎(TeX)(たかやさん)
関西Debian勉強会の資料をTeXで作っていこう、ということでまずはTeXの基礎のお話。
時間の都合で駆け足に。
Debianでの環境構築でいろいろと必要らしい。
TeXについては、とりあえずソース読めばわかるという話。

勉強会が26〜27名ほどの参加で、懇親会は15〜16名くらい。
哲学者はお金にならないのに凄いとかDebianに関係ない話をしていたような。
2次会も13名くらいでお茶状態。席の確保で右往左往してたり。
ほとんどしゃべったことは忘れたけど楽しかった。

以下勉強会のメモ
資料は過去の資料のページで公開されるはずなので、このメモを信用せずにそちらを参照してください。
-------------------------------------------
「DebianでPCクラスタを作ってみよう」中尾さん
●PCクラスタはかなり一般的
 ベクトルコンピュータは高い
 90年代から研究があったらしい
 1998年くらいにはGoogle創設者の人が大学院生のころに
 Linuxの存在が大きい

●クラスタの種類
 ◆HAクラスタ:
  高可用性
 ◆HPCクラスタ
  計算負荷が高い処理を複数に分散

●どうしてDebian?
 ◆パッケージ数が多い
 ◆コミュニティが活発
  武藤さんのお力も
 ◆リリースがゆっくり
  一度作ったシステムを再構築
 ◆apt万歳

●私とクラスタとDebianと
 大学で配属された研究室がたまたまPCクラスタを作っていた
 研究内容は最適化やバイオやエンジンのシミュレーションなど
 dancer氏がその研究室に

●クラスタの紹介
 CPU:Optoron1.8GHz
  16×16=256
  1つ故障で255個
 メモリ:2Gbye×255
 ネットワーク:gigabitethrnet
  6eのケーブルが昨日届いた
 前のOSはTubolinux
  当時64bit対応はTuboとSUSEくらいだった。
 
 むき出しのボードに16個のラック
 
 PC64台でWindows CCS(クラスタ)
  ライセンスがすごくややこしい
  速さはLinuxとあまりかわらない。ネットワークやCPUのほうが影響が大きい
  オレンジ色の線は光ファイバーで2Gbps

●PCクラスタを作る
●処理系のインストール
 コンパイラ:gcc,g++,g77など
 並列計算ライブラリ:mpich,pvm
  他のマシン上の実行結果を取得したい
  C言語やfortranにインクルード

# aptitude install mpich-bin libmpich1.0-dev gcc g77 g++
インストールアドに計算に用いるホスト名(or IPアドレス)を/etc/mpich/machines.LINUX 記述

●普通の並列計算のイメージ
 実行ファイルは1つ
 各PCはNFSで共有
 if文やswich文で記述
 →同時に実行
  領域の情報はやり取りしないといけないが並列計算ライブラリがやってくれる
  デバッグが大変

●rshの設定
 sshを使ってもできるけど暗号・復号化に計算機パワーを使いたくない
# aptitude install rsh-server rsh-client
インストール後、rshを許可するホスト名(or IPアドレス)を/etc/hosts.equiv に記述

●NFSの設定
 /home以下の共有
 必須でないけど、とても便利
 ◆サーバ側
 # aptitude install nfs-kernel-server
 /etc/exportsにどのPCにNFSのサービスを許可するのか記述
 例: /home 192.168.1.0/255.255.255.0(rw,async,no_subtree_check)
 →変更後にNFSサービスを再起動
  # /etc/init.d/nfs-kernel-server restart
 ◆クライアント側
 # mount -t nfs (NFSサーバ):/home /home

→これで完成

●PCクラスタ用管理ソフトウェア
 dsh
  分散シェル、dancer's shell(上川さんの)
  任意のPCで同時にシェルを実行できる
  dsh -a (shall): 全部のPCでshellを実行する
  dsh -f hoge.txt: hoge.txtに書かれているPCで実行
  dsh :同時にrootになれる

 ◆update-cluster
  クラスタ用システム設定ファイル
  クラスタのホスト名、IPアドレスなどを抜き出す
 
 ◆Ganglia
  カリフォルニア大学バークレイ校
  クラスタ全体の履歴を参照できるロードモニタ
  ロードアベレージをみたり
  →クラスタだけでなくて、普通のサーバでも使える
---
QA
Q1:
 NISは使わない?
A:
 使っています。セキュリティ的にやばいという話もあるのでLDAPに移行したい

Q2:
 ジョブのキューイングは使ってます?
A:
 他の人はつかっていない。覚えるのがめんどくさいから
  Gangliaで込んでいることろをみて、rshでログイン
  いいものはないですか?
Q2:
 フリーではいいものはなかなかない

Q3:
 最近はどんな計算を?:
A:
 私はたんぱく質の研究にシミュレーションに
  ロボットの行動シミュレーションをやっている人もいるし
  自分で探してあいているところでやる。
  自動振り分けソフトもあるが使い方がめんどくさいので誰も使わないのであきらめました

Q4:
 並列計算のライブラリを使うときに考慮しなければいけないところは
A:
 各CPUでどうプログラムが動くか考えながら作ったので大変だった
Q4
 あらかじめあるプログラムを並列にするときに
A
 領域分割ならやさしいが。ネットワークを使わない方が効率的
 そのためにアルゴリズムを変えたりすることも。
 ものによる
Q4:
 並列ライブラリで紹介された2つは別?それとも関連がある?
A
 別です

Q5:
 他のライブラリについて
A
 gotoライブラリ。後藤さんが作ったから
 ロードアベレージが2にいく。2CPUを使ってくれているみたい
 ネットワークの速い遅いによっていいやりかたが変わる

Q6
 計算中にネットワークが途切れたら?
 すべてのプログラムが止まる?
A
 そうです
 同期を取りながらプログラムを書いているので、ゾンビプロセスになったりエラーで止まったり
 ライブラリで自動で障害を検知していくのも。Debianではなかったかも

Q7:
 NFSが止まったらハードマウントだと全部おちて、再起動すると全部あがってきて続きをやってくれる
 どれくらいで構築を?

A
 255台を2-3時間くらいで作れた
 ハードディスクをコピーして設定も自動的なツールで

Q8:
 ネットワークはTCP/IP?
A
 はい。普通の市販品を使いたかったので
 光はミリネット用のドライバが提供してくれるトランスポート層プロコトルで
----
「GIS on Debian GNU/Linux!」清野さん

GISでは高いお金を出せばWindowsのソフトもあるがLinuxでやろうと
悪戦苦闘している状態

GIS:「じーあいえす」と読む

1.1社会的整備の進展
1.1.1 国際情勢
 地図情報の電子化の試みは1960年ごろから
 メインフレーム上から、1980年代ワークステーションやPCへ
1.1.2 日本国内
 阪神淡路大震災がきっかけになってe-japan重点計画で普及促進の話
 国土地理院の数値地図
  50メートルメッシュごとの高度など
  →1CDで7500円

1.1.2.2 建設サイド
 CADの普及
 電子納品・標準化
 建設省国土交通省の後押し

 GIS
  三次元的な位置関係をコンピュータで管理しましょうと
  →考古学の立場では時間も入れたい
   4次元GISをやっていこうと言う話が

1.2 個人レベル
 ◆Google Earth,NASA World Windなどの無料デスクトップ地図
 →Google Earth ショック
  こんなん無料で使えてええの?
 ◆Google MapなどのWebマッピングサイト
  MashUpが流行
  空間情報を個人が扱う時代に
  
  URLをよく見ると北緯東経の情報だったりする
   139.895とか

2.1 定義
 GISとGPSの違い
 GPSは位置情報を取得する技術
  アメリカの衛星位置システムのこと
  ロシアはグノーラスとか、ヨーロッパでは別
  日本ではアメリカの衛星を使うのでGPSと

 ソニーはデジカメのオプションでGPSデータをexgifに埋め込む
  2年前に1万2千円くらいで売っていた
 10万円くらいする、表示できるもの
  本格的な測量機材よりは精度が悪い
  衛星を捕捉して
 携帯は基地局のアンテナにGPSがあってそこから電波の強弱でやっていた
 →今のものは一発目は基地局から

2.2 大別して2タイプ
 ◆管理系GIS
  ■統合型・全庁型
   ライセンスがめちゃくちゃ高い
   ESRI社ArcGIS、インフォマティックス社のSIS、MapInfo社のMapInfoなど
   学割があって本体で6万円とかで18万円
   助成金があれば個人研究者でも
 
  ■表示系:Google Earth ,Google mapみたいなもの
   mapserver: WebGISサーバ
   ka-Map
  ■CADとの関係
   設計測量建設土木防災と密接に連携
   境界があいまいに
   データを作るところの使い心地を重視
   Autodesk社のオープンソースへの参入

 ◆解析系GIS(研究・マーケティングなど)
  GRASS GIS
   老舗の1つ
   1980年代半ばから開発
   強力な解析機能
  Quantum GIS
  OpenEV
   高機能なビューワ。簡単な解析機能を持つ
  SAGA GIS
   2.0.1はGentoo LinuxのProtage用が用意されているみたい
   GTK2のバイナリは配布されている
  地理情報分析支援システムMANDARA
   Windows用
   Excelから直接データを投げ込める
   初心者がさわるのにいい

3.最近の話題
 OSGeo財団
  日本支部
   大阪市立大学や株式会社オークニー
  20くらいのプロジェクトが動いていている
  関西オープンソース2007におけるカンファレンス

 ◆書籍の整備
  入門Webマッピング
  Open Source Gis:
   周辺領域の基礎知識が凄く必要になるがその辺も含めて書かれている

  考古学のためのGIS入門
   考古学むけのGIS本としては最初
   こんなことができますという話が多い
  実践考古学GIS
   データの取り方は日進月歩
   突っ込んだ解析
  測量学
   測量の知識が必要
   Σやベクトルがいっぱい

  RのエクステンションがGRASSについている
  GPS衛星技術

4.なぜDebianなのか
 個人的経験
 オープンソースなソフトウェアが使いたかった
 ◆ライセンスの問題
  組織で買ってもらっても個人では使えない
  自分でプログラムしたい
 ◆DebianGISようなプロジェクトがある
  最近は停滞気味?
  GentooやFedoraにもあるみたい
 ◆初心者的にパッケージの管理が楽そう
 使いこなせるなら他のディストリビューションでもOK?
 Windowsで使える環境も着々と
  いままではCygwinでつかっていて、とっつきにくくてGrassつかえねえといわれていた
  とはいえ、Linuxのバージョンに比べるとかなり古い
 ◆海外ではMandrivaとか、Gentoo-GIS overlay Project

4.2 Debian GNU/Linuxにおけるパッケージ、ライブラリなど

5
5.1 国内
 閲覧を目的としたデータの無償公開が進んでいる
  海外では軍事的に問題ない範囲でどんどん公開
 ◆国土地理院数値地図の閲覧(試験公開)
  閲覧が基本なのでグレーゾーンがあるので買ったほうが無難
 ◆電子国土ポータル
  各種地図の閲覧を主眼。精細なベクトルデータを提供
  専用プラグインを用いて各自がWeb地図生成を行える
  →いままでも地図データ提供はあったが、拡大するとつぶれたりしてた
 ◆陸域観測技術衛星「だいち」(ALOS)
  宇宙航空研究開発機構(JAXA)が打ち上げた衛星の観測データ
  かなり精細なデータをとってくる
  部分しか公開されていないが、順次公開される予定
  有料みたい。そんなに高くない
  予定していた精度、高さ3-5メートルが数十メートルという報道
  →計算によって
 ベクトル情報は点や線、ラスター情報はメッシュ。

5.2 地球規模
 ◆スペースシャトル地形データ(SRTM)
  30メートルオーダーなら安価。90メートルオーダーは無料?
  だいちで30メートルオーダーなので国内では問題ないが、海外では
  NASAのFTPサイトよりデータをダウンロード可能。
 ◆ランドサット衛星画像
  メリーランド大学からデータをダウンロード可能
  画像を取っているだけ
  波長もとっているのでいろいろと
  森林の占めるところや
  鉱物の埋蔵までわかる
 ◆商用衛星画像データ
  Google EarthやGoogle Mapは高精細な画像データ。Earthast社やDigital Globe社、Bluesky社など
  めちゃくちゃ高い
  Googleと同じ精度の写真を購入しようとおもうと数千万円とか取られる
  高価なので費用対効果を考えて利用
  研究目的の場合は、今でも自分たちでデータを取得しなければならないことの方が多い
  
 いろいろある。高度も道路も
 測定方法によって、投影を変換すると誤差

7.1まとめ
 使いやすくなっている
 さわってみないとわからない
----
「資料作成基礎(TeX)」たかやさん

●インストール
1、/etc/apt/sources.listの確認

2、teTeXとpTeX一式のインストール
  $ sudo aptitude install ptex-bin

3、奥村さんの新クラスファイルのインストール
  $ sudo aptitude install okumura-clsfiles

4、dvipdfmxのインストール
  $ sudo aptitude install dvipdfmx
  DVIに変換している

5、Adobe Readerのインストール
  EtchのEvinceは日本語フォントを埋め込んでいない場合に文字化けのバグがある。
  アドビのページからdebパッケージをダウンロード
  $ sudo dpkg -i AdobeReader_jpn-8.1.2-1.i386.deb

6、CMAPのインストール
  $ sudo aptitude install cmap-adobe-japan1 cmap-adobe-japan2

7、YaTeX(野鳥)のインストール
 EmacsのLATEX入力支援環境
  $ sudo aptitude install yatex emacs21


●文章の編集
1、リポジトリからデータを取ってくる
  関西Debian勉強会のリポジトリの用意が出来ていないため、東京エリアDebian勉強会のリポジトリを借りている
  gitで管理されている
  $ sudo aptitude install git-core
  $ git-clone git://git.debian.org/git/tokyodebian/monthly-report.git

2、リポジトリの中身
 ■debianmeetingresume(YYYY)(MM)-kansai.tex
  配布資料
 ■debianmeetingresume(YYYY)(MM)-kansai-presentation.tex
  プレゼンテーション用
 ■image(YYYY)(MM)/
  画像ファイルなどの置き場

3、注意
 文字コードはiso-2022-jpで統一
 理由はWindowsでも出来るし、という話

4、基本部分の説明
 ◆スタイルファイルはkansaimonthlyreport.styパッケージを利用
  \usepackage{kansaimonthlyreport}

 ◆各担当部分はsection
  \dancersection{タイトル}{作者名}

 ◆コマンドライン
  文字全てが括弧でくくられて "_"などもそのまま表示される
  \begin{commandline}

5、画像ファイルの処理
  なるべく小さい方がいい
  epsでよい。pngファイルは.bbファイルが必要
  $ ebb xxx.png

●PDFへ変換する
 文章ファイル→
  dviファイル→PDFファイル
 画像ファイル→

 ◆コマンド
  $ platex hoge.tex
  $ dvipdfmx hoge.dvi

 ◆リポジトリから取得したものであればmakeだけでいい
  $ make
----
posted by 端っこなひと at 05:06| Comment(2) | TrackBack(0) | セミナー・勉強会 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
こんにちは、2番目の発表をさせていただいた清野です。

あのようなつたない発表を、早速まとめて下さってありがとうございました。

自分でもこのまとめを読ませていただいて、
「こんなこと喋ってたのか!!」と驚愕することしきり…です。

ちなみに、口頭だったのできちんと裏を取らずに喋っていたことが多々あるのですが、
ここで文字化されてしまいましたので、
訂正をば…

>ロシアはグノーラスとか、ヨーロッパでは別
「グノーラス」ではなく、「GLONASS(グロナス)」でした…面目ない…。
旧ソ連の計画したものです。
あとヨーロッパのものは、Galileo(ガリレオ)で、計画進行中だそうです。
詳しくはWikipedia等でも紹介されていますので、
ご覧下さい。

>ソニーはデジカメのオプションでGPSデータをexgifに埋め込む
×exgif→○Exifです。デジカメ画像のメタデータフォーマットです。
スミマセン、口頭でしたので、きちんとお伝えできませんでした…。

あとまだいくつかあやしい情報も存在するのですが、
その辺はご勘弁下さい。

ともかくも、この度はありがとうございました。
なにか一つでもお役に立てる情報があったのであれば、望外の喜びです。

それでは失礼いたします。
Posted by 清野陽一 at 2008年02月26日 01:51
清野さん、コメントありがとうございます。

普段接することのない世界でしたので、すごく勉強になりました。

Exifはスペルを確認せずに書いてしまいました。やっぱりちゃんと調べないと間違えますね。

ご指摘ありがとうございます。
Posted by 端っこなひと at 2008年02月28日 01:57
コメントを書く
お名前: [必須入力]

メールアドレス:

ホームページアドレス:

コメント: [必須入力]


この記事へのトラックバック