CentOSで自宅鯖構築

Spidering hacks―ウェブ情報ラクラク取得テクニック101選(AA)

鯖も組んだことだし自宅鯖を構築した。目標はクローラーを作ること。
まずベースはここを参考にした。
CentOSで自宅サーバー構築
ここを見れば基礎部分はほとんどできたといってもいい。あとは何を作るかぐらいだ。自分もここから。詰まった点を色々メモ。

ファイアウォール(iptables)

  • [sh iptables.sh]を走らせると以下のようなエラーが出た。

使用法: grep [オプション]‥‥ 文字列パターン [ファイル]‥‥
詳しくは`grep --help'を実行してください。
grep: 255.0.0.0: そのようなファイルやディレクトリはありません
iptables: ファイアウォールルールを消去中: [ OK ]
iptables: チェインをポリシー ACCEPT へ設定中filter [ OK ]
iptables: モジュールを取り外し中: [ OK ]
Bad argument `255.0.0.0'
Try `iptables -h' or 'iptables --help' for more information.
Bad argument `255.0.0.0'
Try `iptables -h' or 'iptables --help' for more information.
Bad argument `255.0.0.0'
Try `iptables -h' or 'iptables --help' for more information.
Bad argument `255.0.0.0'
Try `iptables -h' or 'iptables --help' for more information.
Bad argument `255.0.0.0'
Try `iptables -h' or 'iptables --help' for more information.
/root/iptables_functions: line 1: Pアドレスリスト取得関数定義: command not found
iptables: ファイアウォールのルールを /etc/sysconfig/iptable[ OK ]中:
iptables: ファイアウォールルールを適用中: [ OK ]

  • ググると他の人も出ているようですが9割方コピペミスです。上記のサイトのコピペをTera term経由で行うと最初の部分がコピーできていない、というのが私の原因でした。というわけでファイルの先頭を確認してみましょう。多分コピペミスってます。
  • tera term経由でviやvimにコピペを行うと高確率でコピペ文章の先頭行が削れます。解決法としてはinsertモードにしてからコピペすることを心がければOKです。

Apache

  • Web鯖とFTP鯖を使用する予定なら[各種サービスを公開する場合の設定(ここから) ]の下にあるSSH、HTTP、HTTPSFTP、PASVの記述をコピペしておけばいい。

vsftpd

tomcat

  • まずはJDKをインストールする。ここを参考にした。
    http://d.hatena.ne.jp/bootstrap/20120304/p1
    1. なぜかwgetでダウンロードがこけるのでここからLinux 32bitのrpm.binをダウンロード
    2. ダウンロードしたものをFTPで./rootにアップロード
    3. あとは上のページの通りインストール。
  • tomcatのインストール。最新版は公式から最新版のバージョンの数字がある部分で[tar gz]というリンク部分を探して、[wget リンク先アドレス]でダウンロードできます。

CPAN

  • Perlインストールしただけだと多分使えない。こっちの方法だとCPAN shellを一々呼ぶ必要があるので面倒になる。が、動くことが重要なのでそこは我慢する。
yum install perl-CPAN
-とりあえずこれでCPANを入れる。質問はエンター連打しとけばおk。
以下CPAN shell上で実行。

CPAN> install Bundle::CPAN
-足りないモジュールが多々あるので、こいつで補充。質問はエンター。
CPAN> reload cpan
-色々追加したのでCPANを再読み込み。enjoy!

その他