RHEL5/CentOS5 では、インストール中に “Virtualization” サポートのパッケージグループを有効にするだけで Xen の Dom0 がインストールできて簡単でした。ところが RHEL6/SL6 (Scientific Linux 6) では、Red Hat による KVM 推しのせいか Xen Dom0 が除外されてしまいました。実運用に使うわけではないので品質は問わないので、SL6 を Xen Dom0 化してみました。

RHEL6 では、Dom0 が除外されただけです。ノーマルカーネルは Xen pv_ops オプション付きでビルドされているので、そのまま Xen DomU にはなれます。

なお、今回は本家の記事がネタ元。参考: “RHEL6Xen4Tutorial – Xen Wiki“。

前準備

まず、distro をインストールする先の VM の設定を変えます。KVM であれば、ストレージやネットワークに virtio を使わず、IDE や SCSI、RTL-8139 や E1000 あたりを利用した方が無難です。別段、Dom0 が virtio を使っちゃいかんこともないと思うのですが、起動・認識しませんでした。カーネルの config 等まで、よくは見ていません。VMware の ESXi でも同様に、SCSI は準仮想化を切り、LSI Logic PATA あたりに設定します (これまた起動しなくなります)。ターゲットとして「RHEL6」等の新しい distro を選択すると virtio を有効にされてしまうこともあるので注意します。

以下の例は、KVM にインストールした SL6 (“Desktop”) です。ありモノのパッケージを使う場合には /boot/ のサイズはそれほど要らないのですが、自分でビルドする場合には、巨大な全部入り initramfs を収めることになりますので、/boot/ に 1～2GB ほど割り当てておきます。それと、”Desktop” インストールをした後でビルドを行なうと、ざっと 12～13GB にはなります。

以下、ほめられたことではありませんが、面倒なのですべて root で作業します。SELinux と iptables も off にします。

[root@sl6x ~]# chkconfig iptables off
[root@sl6x ~]# cp /etc/sysconfig/selinux /etc/sysconfig/selinux.orig
[root@sl6x ~]# vi /etc/sysconfig/selinux
[root@sl6x ~]# diff -uNr /etc/sysconfig/selinux.orig /etc/sysconfig/selinux
--- /etc/sysconfig/selinux.orig
+++ /etc/sysconfig/selinux
@@ -4,7 +4,7 @@
 #     enforcing - SELinux security policy is enforced.
 #     permissive - SELinux prints warnings instead of enforcing.
 #     disabled - No SELinux policy is loaded.
-SELINUX=enforcing
+SELINUX=disabled
 # SELINUXTYPE= can take one of these two values:
 #     targeted - Targeted processes are protected,
 #     mls - Multi Level Security protection.

下記の組み合わせ (特に「ネット上で配布されているバイナリを利用する」場合) で、libvirt の virbr0 (NAT) 経由で Fedora 14 や SL6 を入れようとすると、どうも pv_ops な DomU のネットワークが不安定なのか、不定なタイミングでインストールがコケます。カーネルだけは手で入れた方が無難かも知れません。あるいは、下記のようにして直結ブリッジを作っておきます。（xenbr0 や peth0 が見当たりません。Xen 4 になって、見せないようになった？）

なお、”NM_CONTROLLED” の行を “no” にするやいなや NetworkManager はインターフェイスを off にしますので、リモートから編集していると切られます。

[root@sl6x ~]# cd /etc/sysconfig/network-scripts/
[root@sl6x network-scripts]# cp ifcfg-eth0 /tmp/ifcfg-eth0
[root@sl6x network-scripts]# cp ifcfg-eth0 ifcfg-br0
[root@sl6x network-scripts]# vi ifcfg-eth0
[root@sl6x network-scripts]# vi ifcfg-br0
[root@sl6x network-scripts]# diff -uNr /tmp/ifcfg-eth0 ifcfg-eth0
--- /tmp/ifcfg-eth0
+++ ifcfg-eth0
@@ -1,5 +1,4 @@
 DEVICE="eth0"
-BOOTPROTO="dhcp"
-HWADDR="XX:XX:XX:XX:XX:XX"
-NM_CONTROLLED="yes"
+NM_CONTROLLED="no"
 ONBOOT="yes"
+BRIDGE="br0"
[root@sl6x network-scripts]# diff -uNr /tmp/ifcfg-eth0 ifcfg-br0
--- /tmp/ifcfg-eth0
+++ ifcfg-br0
@@ -1,5 +1,5 @@
-DEVICE="eth0"
+DEVICE="br0"
 BOOTPROTO="dhcp"
-HWADDR="XX:XX:XX:XX:XX:XX"
-NM_CONTROLLED="yes"
+NM_CONTROLLED="no"
 ONBOOT="yes"
+TYPE="Bridge"
[root@sl6x network-scripts]# cd
[root@sl6x ~]# service network restart

計算ノードとして VM イメージをコピーする際には、当然 NIC の MAC アドレスも変わります。そのため、MAC アドレスを記憶されてしまうと不都合ですので、消して、二度と書かれないようにしておきます。参考: “Disable automatic udev rules for network interfaces in Ubuntu << six degrees of freedom“。

[root@sl6x ~]# rm -f /etc/udev/rules.d/70-persistent-net.rules
[root@sl6x ~]# mkdir /etc/udev/rules.d/70-persistent-net.rules
[root@sl6x ~]#

SELinux もオフにしたことですし、ここらで一度リブートしておきますか。

[root@sl6x ~]# reboot

ネット上で配布されているバイナリを利用する場合

コミュニティビルドのパッケージです。ドイツ語は読めませんが、ありがたく利用させていただきます。

[root@sl6x ~]# ( cd /etc/yum.repos.d/ ; wget \
 http://www.gitco.de/linux/x86_64/centos/6/gitco-centos6-x86_64.repo )
(中略)
2011-05-21 15:17:02 (62.2 MB/s) - “gitco-centos6-x86_64.repo” saved [607/607]
[root@sl6x ~]# yum install -y kernel # ← Dom0 カーネルが入らなければ要調整
(中略)
Installed:
  kernel.x86_64 0:2.6.32.26-174.1.xendom0.el6

Dependency Updated:
  kernel-firmware.x86_64 0:2.6.32.26-174.1.xendom0.el6

Complete!
[root@sl6x ~]# yum install -y \
 xen xen-hypervisor xen-libs xen-licenses xen-runtime
(中略)
Installed:
  xen.x86_64 0:4.0.1-6.1.el6            xen-hypervisor.x86_64 0:4.0.1-6.1.el6
  xen-libs.x86_64 0:4.0.1-6.1.el6       xen-licenses.x86_64 0:4.0.1-6.1.el6
  xen-runtime.x86_64 0:4.0.1-6.1.el6

Dependency Installed:
  PyXML.x86_64 0:0.8.4-19.el6              SDL.x86_64 0:1.2.14-2.el6
  qemu-common.x86_64 2:0.12.5-1.el6        qemu-img.x86_64 2:0.12.5-1.el6

Complete!
[root@sl6x ~]#

上記の手順で、カーネルよりも後で xen-runtime を入れることで、postinstall のスクリプトで grub.conf を適切に編集してくれます。でもこれ、本来は trigger スクリプトでやるべきなのでは？ もし xen.gz のエントリが書かれていないようであれば、以下のように手で書き換えます。

[root@sl6x ~]# cp /boot/grub/grub.conf /boot/grub/grub.conf.orig
[root@sl6x ~]# vi /boot/grub/grub.conf
[root@sl6x ~]# diff -uNr /boot/grub/grub.conf.orig /boot/grub/grub.conf
--- /boot/grub/grub.conf.orig
+++ /boot/grub/grub.conf
@@ -13,8 +13,9 @@
 hiddenmenu
 title Scientific Linux (2.6.32.26-174.1.xendom0.el6.x86_64)
        root (hd0,0)
-       kernel /vmlinuz-2.6.32.26-174.1.xendom0.el6.x86_64 ro (中略)
-       initrd /initramfs-2.6.32.26-174.1.xendom0.el6.x86_64.img
+       kernel=/xen.gz
+       module /vmlinuz-2.6.32.26-174.1.xendom0.el6.x86_64 ro (中略)
+       module /initramfs-2.6.32.26-174.1.xendom0.el6.x86_64.img
 title Scientific Linux (2.6.32-71.24.1.el6.x86_64)
        root (hd0,0)
        kernel /vmlinuz-2.6.32-71.24.1.el6.x86_64 ro (中略)
[root@sl6x ~]#

Xen で KSM (Kernel Samepage Merging) は未サポートらしいので ksm と ksmtuned も切っておきます。

[root@sl6x ~]# chkconfig ksm off
[root@sl6x ~]# chkconfig ksmtuned off
[root@sl6x ~]#

Xen を、libvirt 経由で使います。UI としては、virt-manager が良いでしょう。python-virtinst を使いたかったのですが、Xen 4 に追随していないのか、blktap2 まわりで正しく動きませんでした。

[root@sl6x ~]# yum install -y virt-manager libvirt
(中略)
Installed:
  libvirt.x86_64 0:0.8.1-27.1.el6       virt-manager.noarch 0:0.8.4-8.el6

Dependency Installed:
  augeas-libs.x86_64 0:0.7.2-3.el6
  ebtables.x86_64 0:2.0.9-5.el6
  gtk-vnc.x86_64 0:0.3.10-3.el6
  gtk-vnc-python.x86_64 0:0.3.10-3.el6
  iscsi-initiator-utils.x86_64 0:6.2.0.872-10.el6
  libvirt-client.x86_64 0:0.8.1-27.1.el6
  libvirt-python.x86_64 0:0.8.1-27.1.el6
  lzo.x86_64 0:2.03-3.1.el6
  lzop.x86_64 0:1.02-0.9.rc1.el6
  nc.x86_64 0:1.84-22.el6
  netcf-libs.x86_64 0:0.1.6-4.el6
  numactl.x86_64 0:2.0.3-9.el6
  python-virtinst.noarch 0:0.500.3-7.el6
  yajl.x86_64 0:1.0.7-3.el6

Complete!
[root@sl6x ~]#

以上です。再起動して、Xen + Dom0 でブートします。

[root@sl6x ~]# reboot

再起動したら、とりあえず Dom0 で動いていることを確認してみます。

[root@sl6x ~]# virsh list
 Id Name                 State
----------------------------------
  0 Domain-0             running

[root@sl6x ~]#

テストとして、Virt-Manager から Scientific Linux 6 を ttp://ftp.riken.jp/Linux/scientific/6.0/x86_64/os/ からネットワークインストールしてみます。良いようです。ttp://rsync.atworks.co.jp/centos/5/os/i386/ も行けました。

ところで、UltraVNC Win32 Viewer で QEMU-KVM に繋いだ中で Virt-Manager の VNC クライアントが上がると、とても見づらい画面になるのは私だけ？ VNC クライアントのせいかしら。

自前でビルドする場合

まずは、標準レポジトリのパッケージをインストールします。

[root@sl6xdev ~]# yum groupinstall -y \
 "Development tools" \
 "Additional Development" "Debugging Tools" \
 "System administration tools" \
 "Compatibility libraries" "Console internet tools" \
 "Desktop Platform Development"
(中略)
Complete!
[root@sl6xdev ~]# yum install -y \
 transfig wget texi2html libaio-devel dev86 \
 glibc-devel e2fsprogs-devel gitk mkinitrd iasl xz-devel \
 bzip2-devel pciutils-libs pciutils-devel SDL-devel \
 libX11-devel gtk2-devel bridge-utils PyXML qemu-common \
 qemu-img mercurial texinfo libuuid-devel
(中略)
Complete!
[root@sl6xdev ~]# yum install -y glibc-devel.i686
(中略)
Complete!
[root@sl6xdev ~]#

Xen 4 のビルドとインストールをします。

[root@sl6xdev ~]# host=ftp-srv2.kddilabs.jp
[root@sl6xdev ~]# path=/Linux/packages/fedora/releases/14/Everything/source/SRPMS
[root@sl6xdev ~]# ver=4.0.1-6.fc14
[root@sl6xdev ~]# wget http://$host/$path/xen-$ver.src.rpm
(中略)
[root@sl6xdev ~]# rpmbuild --rebuild xen-$ver.src.rpm
(中略)
Wrote: /root/rpmbuild/RPMS/x86_64/xen-4.0.1-6.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/xen-libs-4.0.1-6.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/xen-runtime-4.0.1-6.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/xen-hypervisor-4.0.1-6.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/xen-doc-4.0.1-6.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/xen-devel-4.0.1-6.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/xen-licenses-4.0.1-6.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/xen-debuginfo-4.0.1-6.el6.x86_64.rpm
(中略)
+ exit 0
[root@sl6xdev ~]# path=Linux/packages/fedora/releases/13/Fedora/source/SRPMS
[root@sl6xdev ~]# ver=0.12.3-8.fc13
[root@sl6xdev ~]# http://$host/$path/qemu-$ver.src.rpm
(中略)
[root@sl6xdev ~]# rpmbuild --rebuild qemu-$ver.src.rpm
(中略)
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-kvm-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-img-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-common-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-user-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-system-x86-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-system-ppc-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-system-sparc-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-system-arm-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-system-mips-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-system-cris-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-system-m68k-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-system-sh4-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-kvm-tools-0.12.3-8.el6.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/qemu-debuginfo-0.12.3-8.el6.x86_64.rpm
(中略)
+ exit 0
[root@sl6xdev ~]# rpm -Uvh \
 ~/rpmbuild/RPMS/x86_64/xen-runtime-4* \
 ~/rpmbuild/RPMS/x86_64/xen-libs-4* \
 ~/rpmbuild/RPMS/x86_64/xen-licenses-4* \
 ~/rpmbuild/RPMS/x86_64/xen-4* \
 ~/rpmbuild/RPMS/x86_64/xen-hypervisor-4* \
 ~/rpmbuild/RPMS/x86_64/qemu-common-*
(中略)
[root@sl6xdev ~]# chkconfig ksm off
[root@sl6xdev ~]# chkconfig ksmtuned off
[root@sl6xdev ~]#

Xen Dom0 カーネルのビルドとインストールをします。

[root@sl6xdev ~]# git clone \
 git://git.kernel.org/pub/scm/linux/kernel/git/jeremy/xen.git linux-2.6-xen
Initialized empty Git repository in /root/linux-2.6-xen/.git/
(中略)
[root@sl6xdev ~]# cd linux-2.6-xen
[root@sl6xdev linux-2.6-xen]# host=pasik.reaktio.net
[root@sl6xdev linux-2.6-xen]# wget -O .config \

http://$host/xen/kernel-config/config-2.6.32.25-pvops-dom0-xen-stable-x86_64

(中略)
[root@sl6xdev linux-2.6-xen]# make oldconfig
(質問が出たら答えます)
[root@sl6xdev linux-2.6-xen]# jobs=$(grep ^processor /proc/cpuinfo | wc -l)
[root@sl6xdev linux-2.6-xen]# make -j$jobs bzImage && \
 make -j$jobs modules && make modules_install
(中略)
  INSTALL /lib/firmware/cpia2/stv0672_vp4.bin
  INSTALL /lib/firmware/yam/1200.bin
  INSTALL /lib/firmware/yam/9600.bin
  DEPMOD  2.6.32.40
[root@sl6xdev linux-2.6-xen]# ver=$(make kernelversion)
[root@sl6xdev linux-2.6-xen]# depmod -a $ver
[root@sl6xdev linux-2.6-xen]# cp -a arch/x86/boot/bzImage /boot/vmlinuz-$ver
[root@sl6xdev linux-2.6-xen]# cp -a System.map /boot/System.map-$ver
[root@sl6xdev linux-2.6-xen]# cp -a .config /boot/config-$ver
[root@sl6xdev linux-2.6-xen]# cd /boot/
[root@sl6xdev boot]# dracut initramfs-$ver.img $ver
[root@sl6xdev boot]# cp /boot/grub/grub.conf /boot/grub/grub.conf.orig
[root@sl6xdev boot]# vi /boot/grub/grub.conf
[root@sl6xdev boot]# diff -uNr /boot/grub/grub.conf.orig /boot/grub/grub.conf
--- /boot/grub/grub.conf.orig
+++ /boot/grub/grub.conf
@@ -11,6 +11,11 @@
 timeout=5
 splashimage=(hd0,0)/grub/splash.xpm.gz
 hiddenmenu
+title Scientific Linux Dom0
+        root (hd0,0)
+        kernel /xen.gz dom0_mem=1024M loglvl=all guest_loglvl=all
+        module /vmlinuz-2.6.32.40 ro root=(中略)
+        module /initramfs-2.6.32.40.img
 title Scientific Linux (2.6.32-71.24.1.el6.x86_64)
        root (hd0,0)
        kernel /vmlinuz-2.6.32-71.24.1.el6.x86_64 ro root=(中略)
[root@sl6xdev boot]# cd

標準の libvirt では Xen API サポートが落ちているので、有効にしてビルドします。Dom0 カーネル上でビルドするとチェックでコケるらしいので、一応テストをオフにしておきます。virt-manager も入れておきます。

[root@sl6xdev ~]# yumdownloader --source libvirt
(中略)
libvirt-0.8.1-27.el6_0.5.src.rpm                         |  11 MB     00:06
[root@sl6xdev ~]# rpm -i libvirt-*.src.rpm
[root@sl6xdev ~]# cp rpmbuild/SPECS/libvirt.spec \
 rpmbuild/SPECS/libvirt.spec.orig
[root@sl6xdev ~]# vi rpmbuild/SPECS/libvirt.spec
[root@sl6xdev ~]# diff -uNr rpmbuild/SPECS/libvirt.spec.orig \
 rpmbuild/SPECS/libvirt.spec
--- rpmbuild/SPECS/libvirt.spec.orig
+++ rpmbuild/SPECS/libvirt.spec
@@ -107,7 +107,7 @@
 %ifnarch x86_64
 %define with_qemu 0
 %endif
-%define with_xen 0
+%define with_xen 1
 %endif

 # If Xen isn't turned on, we shouldn't build the xen proxy either
@@ -1362,20 +1362,6 @@
 %clean
 rm -fr %{buildroot}

-%check
-cd tests
-# These 3 tests don't current work in a mock build root
-for i in nodeinfotest daemon-conf seclabeltest
-do
-  rm -f $i
-  echo -e "#!/bin/sh\nexit 0" > $i
-  chmod +x $i
-done
-# The test applied by patch need to be made executable
-chmod +x virsh-schedinfo
-
-make check
-
 %pre
 %if 0%{?fedora} >= 12 || 0%{?rhel} >= 6
 # Normally 'setup' adds this in /etc/passwd, but this is
[root@sl6xdev ~]# yum-builddep -y libvirt
(中略)
Complete!
[root@sl6xdev ~]# rpm -Uvh rpmbuild/RPMS/x86_64/xen-devel-*.rpm
[root@sl6xdev ~]# yum install -y libpcap-devel
(中略)
Complete!
[root@sl6xdev ~]# rpmbuild -ba rpmbuild/SPECS/libvirt.spec
(中略)
Wrote: /root/rpmbuild/SRPMS/libvirt-0.8.1-27.el6.5.src.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/libvirt-0.8.1-27.el6.5.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/libvirt-client-0.8.1-27.el6.5.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/libvirt-devel-0.8.1-27.el6.5.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/libvirt-python-0.8.1-27.el6.5.x86_64.rpm
Wrote: /root/rpmbuild/RPMS/x86_64/libvirt-debuginfo-0.8.1-27.el6.5.x86_64.rpm
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.aEw602
+ umask 022
+ cd /root/rpmbuild/BUILD
+ cd libvirt-0.8.1
+ rm -fr /root/rpmbuild/BUILDROOT/libvirt-0.8.1-27.el6.5.x86_64
+ exit 0
[root@sl6xdev ~]# yum install -y nc ebtables lzop
(中略)
Complete!
[root@sl6xdev ~]# rpm -Uvh \
 rpmbuild/RPMS/x86_64/libvirt-client-0.8.1-27.el6.5.x86_64.rpm \
 rpmbuild/RPMS/x86_64/libvirt-0.8.1-27.el6.5.x86_64.rpm \
 rpmbuild/RPMS/x86_64/libvirt-python-0.8.1-27.el6.5.x86_64.rpm
[root@sl6xdev ~]# yum install -y virt-manager
(中略)
Complete!
[root@sl6xdev ~]#

リブートします。

[root@sl6xdev ~]# reboot

先の例と同様に、Dom0 で動作していることを確認し、適当にインストールをしてみます。良いようです。

「プログラミング Haskell」の第 8 章「関数型パーサ」の写経をしようかと思ったのですが、そのまま引き写しても面白くないので、Scala で書いてみました。せっかくですので、Haskell のモナド連結の糖衣構文 do を、極力そのまま Scala の for 式で書けるよう、Parser[A] には、map(), flatMap() を備え、Scala の型とします。

…できた。Haskell 版から変えたところとしては、入力文字列にパーサを適用した際には、Scala らしく Option[(A, String)] を返すようにした、Haskell で [Char] であるところは、適宜 String にした、程度か。案外そのまま行けますね、というよりも、Scala が Haskell を色濃く反映しているんですね。

abstract trait Parser[A] {
  def apply(inp: String): Option[(A, String)]
  def parse(inp: String) = apply(inp)
  def map[B](f: (A) => B) = {
    def p_parse = parse _
    new Parser[B] {
      def apply(inp: String) = {
        p_parse(inp) match {
          case None => None
          case Some((v, out)) => Some((f(v), out))
        }
      }
    }
  }
  def flatMap[B](f: (A) => Parser[B]): Parser[B] = {
    def p_parse = parse _
    new Parser[B] {
      def apply(inp: String) = {
        p_parse(inp) match {
          case None => None
          case Some((v, out)) => f(v)(out)
        }
      }
    }
  }
  def +++(q: Parser[A]) = {
    def p_parse = parse _
    new Parser[A] {
      def apply(inp: String) = {
        p_parse(inp) match {
          case None => q.parse(inp)
          case s @ Some(_) => s
        }
      }
    }
  }
}

def return_[A](v: A): Parser[A] = {
  new Parser[A] { def apply(inp: String) = { Some((v, inp)) } }
}

def failure[A]: Parser[A] = {
  new Parser[A] { def apply(inp: String) = { None } }
}

def item: Parser[Char] = new Parser[Char] {
  def apply(inp: String) = inp match {
    case "" => None
    case _ => Some((inp.head, inp.tail))
  }
}

def parse[A](p: Parser[A], inp: String): Option[(A, String)] = p(inp)

/*

parse(return_(1), "abc")
res1: Option[(Int, String)] = Some((1,abc))

parse(failure, "abc")
res2: Option[(Nothing, String)] = None

parse(item, "abc")
res3: Option[(Char, String)] = Some((a,bc))

 */

/*

def p = for {
  x <- item
  _ <- item
  y <- item
} yield (x, y)
p: Parser[(Char, Char)]

def p_dash = item.flatMap(x =>
  item.flatMap(__ =>
    item.map(y =>
      (x, y) )))
p_dash: Parser[(Char, Char)]

parse(p, "abcdef")
res4: Option[((Char, Char), String)] = Some(((a,c),def))

parse(p, "ab")
res5: Option[((Char, Char), String)] = None

 */

/*

parse(item +++ return_('d'), "abc")
res6: Option[(Char, String)] = Some((a,bc))

parse(failure +++ return_('d'), "abc")
res7: Option[(Char, String)] = Some((d,abc))

parse(failure +++ failure, "abc")
res8: Option[(Nothing, String)] = None

 */

def sat(p: (Char) => Boolean): Parser[Char] = for {
  x <- item
  r <- if (p(x)) return_(x) else failure
} yield (r)

def digit = sat(_.isDigit)

def lower = sat(_.isLower)

def upper = sat(_.isUpper)

def letter = sat(_.isLetter)

def alphanum = letter +++ digit

def char(x: Char) = sat(x.==)

/*

parse(digit, "123")
res9: Option[(Char, String)] = Some((1,23))

parse(digit, "abc")
res10: Option[(Char, String)] = None

parse(char('a'), "abc")
res11: Option[(Char, String)] = Some((a,bc))

parse(char('a'), "123")
res12: Option[(Char, String)] = None

 */

// これは文字列を返すパーサとする。Scala の String は List[Char] ではない
def string(s: String): Parser[String] = s match {
  case "" => return_("")
  case _ => for {
    x <- char(s.head)
    xs <- string(s.tail)
  } yield (x +: xs)
}

/*

parse(string("abc"), "abcdef")
res13: Option[(String, String)] = Some((abc,def))

parse(string("abc"), "ab1234")
res14: Option[(String, String)] = None

 */

object Many {
  def many[A](p: Parser[A]): Parser[List[A]] = {
    many1(p) +++ return_(Nil)
  }
  def many1[A](p: Parser[A]): Parser[List[A]] = {
    for {
      v <- p
      vs <- many(p)
    } yield (v :: vs)
  }
}
import Many._

/*

parse(many(digit), "123abc")
res15: Option[(List[Char], String)] = Some((List(1, 2, 3),abc))

parse(many(digit), "abcdef")
res16: Option[(List[Char], String)] = Some((List(),abcdef))

parse(many1(digit), "abcdef")
res17: Option[(List[Char], String)] = None

 */

// 仕方ないので文字列にしておく
def ident = for {
  x <- lower
  xs <- many(alphanum)
} yield ((x :: xs).foldLeft("")(_ + _))

// これも
def nat: Parser[Int] = for {
  xs <- many1(digit)
} yield (xs.foldLeft("")(_ + _).toInt)

def space: Parser[Unit] = for {
  _ <- many(sat(_.isWhitespace))
} yield (Unit)

/*

parse(ident, "abc def")
res0: Option[(java.lang.String, String)] = Some((abc, def))

parse(nat, "123 abc")
res1: Option[(Int, String)] = Some((123, abc))

parse(space, " abc")
res2: Option[(Unit, String)] = Some(((),abc))

 */

def token[A](p: Parser[A]): Parser[A] = for {
  _ <- space
  v <- p
  _ <- space
} yield (v)

def identifier: Parser[String] = token(ident)

def natural: Parser[Int] = token(nat)

def symbol(xs: String): Parser[String] = token(string(xs))

/*

def p: Parser[List[Int]] = for {
  _ <- symbol("[")
  n <- natural
  ns <- many(
    for {
      _ <- symbol(",")
      x <- natural
    } yield (x)
  )
  _ <- symbol("]")
} yield (n :: ns)

parse(p, " [1, 2, 3] ")
res19: Option[(List[Int], String)] = Some((List(1, 2, 3),))

parse(p, "[1, 2,]")
res20: Option[(List[Int], String)] = None

 */

def int: Parser[Int] = (
  for {
    _ <- symbol("-")
    n <- natural
  } yield (- n)
) +++ natural

object Expr {
  def expr: Parser[Int] = for {
    t <- term
    r <- (
      for {
        _ <- symbol("+")
        e <- expr
      } yield (t + e)
    ) +++ (
      for {
        _ <- symbol("-")
        e <- expr
      } yield (t - e)
    ) +++ return_(t)
  } yield (r)
  def term: Parser[Int] = for {
    f <- factor
    r <- (
      for {
        _ <- symbol("*")
        t <- term
      } yield (f * t)
    ) +++ (
      for {
        _ <- symbol("/")
        t <- term
      } yield (f / t)
    ) +++ return_(f)
  } yield (r)
  def factor: Parser[Int] = (
    for {
      _ <- symbol("(")
      e <- expr
      _ <- symbol(")")
    } yield (e)
  ) +++ int
}
import Expr._

/*

parse(expr, "2*3+4")
res26: Option[(Int, String)] = Some((10,))

parse(expr, "2*(3+4)")
res28: Option[(Int, String)] = Some((14,))

parse(expr, "2 * (3 + 4)")
res30: Option[(Int, String)] = Some((14,))

parse(expr, "2*3-4")
res33: Option[(Int, String)] = Some((2,))

parse(expr, "-1")
res36: Option[(Int, String)] = Some((-1,))

parse(expr, "(-3 * 4 * - 2) / 6")
res43: Option[(Int, String)] = Some((4,))

 */

import Stream._
def sieve[A <% BigInt](xxs: Stream[A]): Stream[A] = xxs match {
  case p #:: xs => cons(p, sieve(xs.filter(_ % p != 0)))
}
lazy val primes = sieve(from(2))

先頭 10 個。

scala> primes.take(10).toList
res0: List[Int] = List(2, 3, 5, 7, 11, 13, 17, 19, 23, 29)

Fri Apr 22 2011: ついでに、遅延評価版のクイックソートも。まずは、普通に eager 評価のリストで書いた場合:

def qsort[A <% Ordered[A]](xxs: List[A]): List[A] = xxs match {
  case Nil => Nil
  case p :: xs =>
    qsort(xs filter(_ <= p)) ++ (p :: qsort(xs filter(p < _)))
}

ストリームで書くと、以下のように:

import Stream._
def qsort[A <% Ordered[A]](xxs: Stream[A]): Stream[A] = xxs match {
  case Empty => Empty
  case p #:: xs =>
    qsort(xs filter(_ < p)) ++ (p #:: qsort(xs filter(p <= _)))
}

ほぼ同じですが、”Empty” や “#::” などが特徴的です。不用意に無限長ストリームのソートなんかしちゃダメですよ。filter() が返ってきません。

eval() が環境を汚すので、識別子には “_” を前置しています。それでも衝突すると言うならば、”_” を “_HOGEHOGE_” とでも全置換しても平気なように書かれています。ダブルクォートもバックスラッシュも使っていないので、別プログラム内へ埋め込むのも簡単です。一点ハマったのは、eval() は現在の環境内で実行されるので、当初別ファイルをロードする処理を関数にしたら、呼ばれた関数内で eval() されてしまい、そこから戻ったら “var” も “function” も消えていたことです。仕方がないので、入力ハンドラをスタックするようにしています。

実行例としては、以下のような感じです。

C:\>cscript.exe wshrepl.js
Microsoft (R) Windows Script Host Version 5.7
Copyright (C) Microsoft Corporation 1996-2001. All rights reserved.

> 1 + 2 +
|   3 + 4
= 10
> function foo() {
|   WScript.Echo("Hello!");
| }
= undefined
> foo()
Hello!
= undefined
> :load c:\priv\prog\bat\wsh.js
= Hello, World!
= undefined
> ^Z

C:\>

以下は、ついでの tips です。

最新のブラウザの JavaScript に比べるといろいろと見劣りする Jscript ではありますが、そこは腐っても JavaScript 1.5 ですから、prototype を拡張して、map(), reduce(), filter() その他を拡張しておくと、なかなかに使える環境になります。

include が無い JScript ですが、そこは eval() で何とでもなります。以下は、実行スクリプトと同一ディレクトリにある “wsh.js” を初期化ファイルとして取り込みます。記述を短くしようと思って “WScript” を “with” すると、なぜか挙動がおかしくなります。

eval(WScript.CreateObject('Scripting.FileSystemObject').OpenTextFile(
 WScript.ScriptFullName.slice(0,-WScript.ScriptName.length)+'wsh.js' ).ReadAll());

<p>下記は、クイックソートのサンプルです:

<pre>
(defn qsort [[x & xs]]
  (when x
    (let [smaller #(< % x)]
      (lazy-cat
        (qsort (filter smaller xs))
        [x]
        (qsort (remove smaller xs)) ))))| ←
</pre>

定義が評価されてシンボルが返ります。

<p>下記は、クイックソートのサンプルです:

<pre>
(defn qsort [[x & xs]]
  (when x
    (let [smaller #(< % x)]
      (lazy-cat
        (qsort (filter smaller xs))
        [x]
        (qsort (remove smaller xs)) ))))
#'user/qsort ←
</pre>

そのまま試しに実行してみます。

(qsort '(5 3 8 9 2))| ←

その場に結果が返ります。

(qsort '(5 3 8 9 2))
(2 3 5 8 9) ←

いずれも、日本語も通ります。下記は Scala の例です。

val l = "日本語" :: "テキスト" :: Nil
l: List[java.lang.String] = List(日本語, テキスト)

どこか、昔の Basic インタプリタで開発をしていたような快適さがあります (あいにく SmallTalk の経験は無い)。とりわけ、関数型言語と相性が良いんでないかしら、このスタイルは。メリットとしては、以下のような感じかと思います:

• 言語をその場でチャンポンに書ける: ガッツリとアプリを開発するのであれば Emacs なり Eclipse なりの各言語のモードを利用すれば良いのでしょうが、つらつらと考えながら各言語を横断的に、サンプルなどのスクリプト片を次々に試しながらコメントも書きたい場合などには、同一テキスト上でその場で評価し、すぐに結果が返る方が快適です
• コピペをしなくてすむ: いちいちエディタ上で書いて、それを REPL にコピペ実行、というのは、思考を阻害します
• 起動オーバーヘッドが無い: REPL のセッションをバックグラウンドで維持しますので、とりわけ Scala や Clojure などの、JVM を使う、起動が異様に遅い REPL でも、2 度目以降の評価はサクサクです。非力なノートマシンには、これがありがたい
• エディタから離れなくて済む: 一日のほとんどをエディタ上で過ごす身としては、ひととおりのスクリプト実行がその場でできるというのはありがたいです。コード片も、無くさず記録として残りますし
• キー一発: キーを割り当てておけば、普段書きのテキストから各言語にキー一発 (2 ストロークならば二発ですが) でアクセスできます

秀丸エディタは、ver .8.0 以降のマクロで COM オブジェクトの操作をサポートしたため、以前にはできなかった複雑なアプリケーション連携や、テキストを開いている間だけ永続するオブジェクト等を持つことができるようになりました。今回のマクロも、バックグラウンドで各言語の REPL セッションを起動して、テキストをクローズするまでの間、状態を維持することができるようになったことで実現できました。

詳細は以下ですが、詳しくはコードを読んでください。なお、範囲選択をして実行すれば、選択範囲を評価します。

あとは Haskell (トップレベルの扱いがよく分からなくて作れなかった) と、JavaScript (WSH には REPL が無い) 用が欲しいところです。

Wed Apr 13 2011: JScript 用を追加。REPL 単体については「WSH JScript の REPL を書いてみた – Ayutaya.com」から。

Fri Apr 15 2011: Haskell (GHC) 用を追加。言語が言語なので、少々特殊。

このカーソル位置（↓）でマクロを起動すると、

module Test where
  fib 1 = 1
  fib 2 = 1
  fib n = fib (n - 1) + fib (n - 2)
| ←

モジュールをロード。もう一度実行すれば、再ロード。

module Test where
  fib 1 = 1
  fib 2 = 1
  fib n = fib (n - 1) + fib (n - 2)

[1 of 1] Compiling Test
( C:\DOCUME~1\KIICHI~1\LOCALS~1\Temp\haskell_input_2821200.hs, interpreted )
Ok, modules loaded: Test.
|

続けて式を評価すると、

fib 10 ←

値が返る。

fib 10
55 ←
|

Sun Apr 17 2011: Perl を追加。eval() の仕様故に、若干心残りが…。残るは PHP と VBScript くらいか。

例として、ベクトル型 (+ 絶対値を求めるメソッド) を Scala で下記のように書いたとして、

class Vect(x: Int, y: Int) {
  def abs = {
    math.sqrt(x * x + y * y)
  }
}

val v = new Vect(2, 3)
println(v.abs)

同じものを、例えば JavaScript で、プロトタイプを使わずにクロージャで書いたとします。

function Vect(x, y) {
  this.abs = function() {
    return (Math.sqrt(x * x + y * y));
  }
}

var v = new Vect(2, 3);
WScript.Echo(v.abs());

一目瞭然でそっくりです。Scala でオブジェクト生成の際に “new” が省略されないことも、それが意味するところが、通常の関数呼び出しと違って、クロージャの配列領域を確保する命令であると考えることができますし (上記の JavaScript でも “new” が、”this” に相当するオブジェクトを作っていますし)、パブリックな「メンバ変数」が実際にはアクセサとなっているところも、Scala のコンストラクタが「クロージャ群の構築子」であると考えれば一貫しています。

以上、Scala で腑に落ちた点をちょろっと。では。

• スクリプト コンポーネントを登録する
• Regsvr32 の使用法とエラー メッセージについて

# どうでもいいけど、あいかわらずマイクロソフトの、カタカナ単語間をスペースで切る表記はきもちわるい。”・”を使おうよ

当方 Windows 7 ですので、UAC (User Account Control) をパスするなり何なりして、管理者権限で実行する必要があるようです。

コマンドプロンプトを管理者権限で起動してから実行しても良いのですが、それもあまりスマートではありません。su(1) か sudo(8) のようなコマンドはないのですか？ なに？ runas.exe を使え？ 了解しました。

> runas.exe /savecred /env /user:administrator "regsvr32.exe /s Foo.wsc"
administrator のパスワードを入力してください:

administrator アカウントのパスワード？ そんなもの設定したおぼえがないよ。しかたがないので、administrator 権限を持つアカウントでコンソールを管理者権限で起動、パスワードを設定します。まあ、これは初回だけですし。

> net user administrator *
ユーザーのパスワードを入力してください:
確認のためにパスワードを再入力してください:
コマンドは正常に終了しました。

>

これで、こんどこそは行け…たのですが、何度かしくじっているうちに、以下のようになってしまいました。

> runas.exe /env /user:administrator "regsvr32.exe /s Foo.wsc"
regsvr32.exe /s Foo.wsc をユーザー "SVX\administrator" として開始して
います...
RUNAS エラー:  実行できません - regsvr32.exe /s /u AyutayaCalc.wsc
1327: ログオン失敗: ユーザー アカウントの制限。考えられる理由として、空
 のパスワードが許可されていない、ログオン時間制限、またはポリシーによる制
 限が適用された、などが挙げられます。
>

どうやら、パスワードなしの状態の時に適当なパスワードを入れてログオン認証に失敗しまくったせいで、アカウント停止を食らったようです。

> net user administrator | findstr /r アカウント有効
アカウント有効                       No
>

あらら。再度有効化します。

> net user administrator /active:yes
コマンドは正常に終了しました。

>

はい、何よりです。

面倒なので、”/env” で、administrator になった後も環境を引き継ぎます。これで、カレントディレクトリの “Foo.wsc” を登録できるようになります。su(1) で “-” をつけないような挙動ですね。”/savecred” で、安い Windows 以外ならばパスワードを記憶できるそうです。

> runas.exe /savecred /env /user:administrator "regsvr32.exe /s Foo.wsc"
administrator のパスワードを入力してください:
regsvr32.exe /s Foo.wsc をユーザー "SVX\administrator" として開始しています...
>

さて、JScript な WSH で WSC を書くとします。

前回は、eucalyptus-cloud コマンドが JNI で Java のコードを起動するところまでを追ったのですが、その先がさっぱり分かりません。eucalyptus-cloud 配下で CloudController, Walrus, StorageController といった Web API のサービスが起動されるはずなのですが、どうやら動的に *.jar 内を探り、条件に合うクラスからインスタンスを作ることでサービスを起動しているようなので、ソースだけを見ていても、実際にどこでサービスや、サービスの個々の機能を定義しているのかの当たりがつけられません。

仕方がないので、動態デバッグ (“post-mortem” に対してならば、”antemortem” とでも言うのかな？) を試みますが、C から JNI で呼ばれる Java アプリケーションのデバッグはどうやるのでしょう？ よく見たら、ちゃんと “eucalyptus-cloud” コマンドにオプションがありました。

$ eucalyptus-cloud --help
(...)
  -d, --debug                   Launch with debugger enabled.  (default=off)
      --debug-port=INT          Set the port to use for the debugger.
                                  (default=`5005')
      --debug-suspend           Set the port to use for the debugger.
                                  (default=off)

ポートを指定してサスペンドするよう指示すれば、JVM のデバッガのポートを開けて待っていてくれるので、後は JDB なり Eclipse なりのデバッガを繋げば OK です。起動スクリプトにオプションを追加します。

--- /etc/init/eucalyptus.conf.orig
+++ /etc/init/eucalyptus.conf
@@ -37,6 +37,7 @@
        . /etc/eucalyptus/eucalyptus.conf
        [ -n "$JVM_MEM" ] || JVM_MEM="512m"
        opts="-h $EUCALYPTUS -u $EUCA_USER --pidfile \
         /var/run/eucalyptus/eucalyptus.pid -l $LOGLEVEL -L console-log
         -Xmx$JVM_MEM"
+       opts="$opts --debug --debug-suspend --debug-port=5005"
        services=""

        # If the -cloud package is not installed, disable the cloud service
@@ -72,7 +73,7 @@
        # Start the appropriate service(s)
        if [ -n "$services" ]; then
                # Cloud services to run
-               exec eucalyptus-cloud $opts
+               exec eucalyptus-cloud $opts > /tmp/eucalyptus.log 2>&1
        elif [ -r "/etc/init/eucalyptus-nc.conf" ] || \
         [ -r "/etc/init/eucalyptus-cc.conf" ]; then
                # Node or CC services to run
                # Why do we sleep here, rather than emitting a signal?
                #  Such that we can run:

さて、その後つらつらと実行しながら眺めて行くと、Eucalyptus の関連クラスを取得しに行くのが、com.eucalyptus.bootstrap.Bootstrap.doDiscovery() のようです。以下が、doDiscovery() に入ったところのスタックのバックトレースです。

Thread [main] (Suspended (entry into method doDiscovery in Bootstrap))
  Bootstrap.doDiscovery() line: 151
  Bootstrap.initialize() line: 261
  SystemBootstrapper.init() line: 109

処理は、ゴリゴリです。

private static void doDiscovery( ) {
  // LIB は、前回見た "-Deuca.lib.dir=/usr/share/eucalyptus/" に相当。
  //  詳細は enum com.eucalyptus.system.BaseDirectory を参照のこと
  File libDir = new File(BaseDirectory.LIB.toString());
  for (File f: libDir.listFiles()) {
    if (
     // ファイル名が "eucalyptus" で始まっていて、
     f.getName().startsWith(
      com.eucalyptus.bootstrap.Component.eucalyptus.name() ) &&
     // ".jar" で終わっていて、
     f.getName().endsWith(".jar") &&
     // "-ext-" を含まないものが探索すべき jar ファイル
     ! f.getName( ).matches( ".*-ext-.*" ) ) {
      // Multimap ServiceJarDiscovery.classList にクラスとパスを貯めこみ、
      //  ServiceJarDiscovery のサブクラスを ServiceJarDiscovery.discover に
      //  貯めこむ
      ServiceJarDiscovery.processFile(f);
    }
  }
  // ServiceJarDiscovery.discover から、該当クラスを探し、実行
  ServiceJarDiscovery.runDiscovery();
}

起動するサービスのクラスを実際に選定するのは、その先の runDiscovery() の中、com.eucalyptus.component.ServiceBuilderDiscovery.processClass(Class) でした。

Thread [main] (Suspended (breakpoint at line 19 in ServiceBuilderDiscovery))
  ServiceBuilderDiscovery.processClass(Class) line: 19
  ServiceBuilderDiscovery(ServiceJarDiscovery).checkClass(Class) line: 113
  // ここ (↓) までが static。ここで、個々の discovery において、
  //  SerivceJarDiscovery が多態している。これより上は、仮想関数が呼ばれ
  //  ている
  ServiceJarDiscovery.runDiscovery() line: 100
  Bootstrap.doDiscovery() line: 164
  Bootstrap.initialize() line: 261
  SystemBootstrapper.init() line: 109

com.eucalyptus.component.Component.setBuilder(ServiceBuilder<ServiceConfiguration>) でもって、Component.builder にビルダが載ります。この “Component” が、内部では web サービスの機能単位の管理情報をあらわします。”component” は、Eucalyptus の内部では web サービスの提供コンポーネントを意味します。

ServiceJarDiscovery のサブクラスの中に、com.eucalyptus.component.ServiceBuilderDiscovery というのがありまして、これが web サービスの「ビルダ」を作ります。これが、com.eucalyptus.cluster.ClusterBuilder, com.eucalyptus.config.WalrusBuilder, com.eucalyptus.config.StorageControllerBuilder を newInstance() してくれて、Components.lookup(c (= “名前”) に、入れておいてくれます。

で、discover までで探索・インスタンス化が済んで、実際にサービスをスタートするのは Bootstrapper の仕事のようです (もういいかげん疲れたので、とっとと web サービスのハンドラまで行きたいので、いろいろと端折る)。

ポート 8773 のサービスは、com.eucalyptus.bootstrap.SystemBootstrapper.start() で、stage.name == “CloudServiceInit” の際の stage.start() で起動します。詳しくは、com.eucalyptus.context.ServiceContext.ServiceBootstrapper.start() で止めて、各変数を見てみてください。

でもって、実際のサービスのフレームは、Mule ESB が提供しています。Mule ESB に渡す設定は com.eucalyptus.context.ServiceContext.ServiceBootstrapper.load(Stage) の下記の行で jar の中から Java リソースとして取得しています。

Resource rsc = comp.getConfiguration( ).getResource( );

そして、以下の箇所でつっこみます。

configs.addAll( rsc.getConfigurations( ) );

そして、以下で構築。

ServiceContext.buildContext( configs );

さっきから、”config” と “component” が微妙に絡んでいたのは、component の実体定義が、上から見ると config の記述そのものだからなのですね。Components.Resource.<init>(Configuration, URI) を遡れば、いろいろ見えます。”URI” には、”CloudServiceProvider” が file:// で入ってきます。これが config のファイルであり、component の定義です。

その URI (“CloudServiceProvider”) はというと、以下で動的に作っています。そのものを grep しても見つからないわけです。つまり、リソース名 “com.eucalyptus.CloudServiceProvider” の意味は、「”com.eucalyptus” に属するリソースであり、ステージ “CloudServiceInit” の際に読み込まれるサービスプロバイダの設定だよ」となっとります。

>com.eucalyptus.bootstrap.Bootstrap.Stage.getResourceName()
  return String.format(
   "com.eucalyptus.%sProvider", this.name( ).replaceAll("Init\\Z", "") );

スタックトレースでは、以下のようになります。

Thread [main] (Suspended (entry into method getResourceName in Bootstrap$Stage))
  Bootstrap$Stage.getResourceName() line: 132
    name="SystemInit"
    this.name() → (java.lang.String) SystemInit
    this.name( ).replaceAll( "Init\\Z", "" ) → (java.lang.String) System
  LoadConfigs.commit(Bootstrap$Stage) line: 31
  LoadConfigs.commit(Object) line: 19
  Transition$anonymously$1.commit(O) line: 69
  Transition$anonymously<O,T>.commit(O) line: 76
  Transition$anonymously<O,T>(Transition<O,T>).doTransition(O) line: 137
  Transition$anonymously<O,T>(Transition<O,T>).transition(Iterable<O>) line: 150
  Bootstrap.initialize() line: 255
  SystemBootstrapper.init() line: 109

そして最終的には、たとえば、以下のような URI になっています。

• jar:file:/usr/share/eucalyptus/eucalyptus-component-2.0.0.jar!/com.eucalyptus.CloudServiceProvider
• jar:file:/usr/share/eucalyptus/eucalyptus-config-2.0.0.jar!/com.eucalyptus.CloudServiceProvider
• jar:file:/usr/share/eucalyptus/eucalyptus-walrus-2.0.0.jar!/com.eucalyptus.CloudServiceProvider
• jar:file:/usr/share/eucalyptus/eucalyptus-storagecontroller-2.0.0.jar!/com.eucalyptus.CloudServiceProvider
• …

個々のサービスが何をしているのかはよく見ていませんが、ソース内、jar 内には以下があります。

hsqldb/src/main/resources/com.eucalyptus.CloudServiceProvider
storage-controller/src/main/resources/com.eucalyptus.CloudServiceProvider
component/src/main/resources/com.eucalyptus.CloudServiceProvider
cluster-manager/src/main/resources/com.eucalyptus.CloudServiceProvider
dns/src/main/resources/com.eucalyptus.CloudServiceProvider
www/src/main/resources/com.eucalyptus.CloudServiceProvider
msgs/src/main/resources/com.eucalyptus.CloudServiceProvider
cloud/src/main/resources/com.eucalyptus.CloudServiceProvider
walrus/src/main/resources/com.eucalyptus.CloudServiceProvider
configuration/src/main/resources/com.eucalyptus.CloudServiceProvider

では、その中身はというと、以下のようになっています。

name=walrus
euca.model.walrus=walrus-model.xml
euca.model.walrus.services=walrus-services.xml

この先は Mule ESB の上の世界ですので、そっちを参照してください。ちなみに、最新の ver. 3 ではなく、ver. 2 で書かれています。なお、Mule ESB 等のサブモジュールは、Ubuntu のパッケージ的には “eucalyptus-commons-ext” の方に入っていました。

なお、このリソースファイルがビルドの際に取り込まれるさまは、clc/modules/module-inc.xml にあります。

さて、いよいよですが、たとえば “export EC2_URL=http://～:8773/services/Eucalyptus” に相当する実装がどこに書かれているかといえば、まず clc/modules/cloud/src/main/resources/eucalyptus-services.xml を参照します。

<euca:endpoint name="EucalyptusWS" connector-ref="eucaws"
 address="http://127.0.0.1:${euca.ws.port}/services/Eucalyptus" synchronous="true" />

“export S3_URL=http://192.168.1.23:8773/services/Walrus” は “clc/modules/walrus/src/main/resources/walrus-services.xml” なので、以下。

  <euca:endpoint name="WalrusWS"
    connector-ref="eucaws"
    address="http://127.0.0.1:${euca.ws.port}/services/Walrus"/>

まとめると、ファイル “com.eucalyptus.CloudServiceProvider” はリソースとしてアクセスされ、そこにリストされている XML が Mule ESB (ver.2) に渡されてwebサービスを開始します。

ためしに、ハンドラも見てみます。例として、ec2-describe-availability-zones の対応箇所を見てみます。定義は以下です。

clc/modules/cloud/src/main/resources/eucalyptus-runtime.xml:
  <mule ...>
    ...
    <service name="ClusterEndpoint">
      <inbound>
        <inbound-endpoint ref="ClusterEndpointWS"/>
      </inbound>
      <component class="com.eucalyptus.cluster.ClusterEndpoint"/>
      <outbound>
        <outbound-pass-through-router>
          <outbound-endpoint ref="ReplyQueueEndpoint"/>
        </outbound-pass-through-router>
      </outbound>
    </service>

で、個々の機能の定義は以下。

clc/modules/msgs/src/main/resources/aws-zones.xml:
  <binding force-classes="true">
    <mapping name="DescribeAvailabilityZones"
     class="edu.ucsb.eucalyptus.msgs.DescribeAvailabilityZonesType"
     extends="edu.ucsb.eucalyptus.msgs.EucalyptusMessage">
      <collection name="availabilityZoneSet"
       field="availabilityZoneSet"
       factory="org.jibx.runtime.Utility.arrayListFactory"
       item-type="java.lang.String">
        <structure name="item">
          <value name="zoneName"/>
        </structure>
      </collection>
    </mapping>
  </binding>

で、対応実ハンドラは右記です。com.eucalyptus.cluster.ClusterEndpoint.DescribeAvailabilityZones(DescribeAvailabilityZonesType) の処理を止めてみます。スタックトレースは以下のようになります。

Thread [ClusterEndpoint.16] (Suspended (breakpoint at line 142 in ClusterEndpoint))
  ClusterEndpoint.DescribeAvailabilityZones(DescribeAvailabilityZonesType) line: 142
  GeneratedMethodAccessor221.invoke(Object, Object[]) line: not available
  DelegatingMethodAccessorImpl.invoke(Object, Object[]) line: 43
  Method.invoke(Object, Object...) line: 616
  ReflectionEntryPointResolver(AbstractEntryPointResolver).invokeMethod(Object, Method, Object[]) line: 147
  ReflectionEntryPointResolver.invoke(Object, MuleEventContext) line: 127
  LegacyEntryPointResolverSet(DefaultEntryPointResolverSet).invoke(Object, MuleEventContext) line: 50
  DefaultLifecycleAdapter.intercept(Invocation) line: 202
  DefaultJavaComponent(AbstractJavaComponent).invokeComponentInstance(MuleEvent) line: 82
  DefaultJavaComponent(AbstractJavaComponent).doOnCall(MuleEvent) line: 73
  DefaultJavaComponent(AbstractComponent).onCall(MuleEvent) line: 87
  SedaService$ComponentStageWorker.run() line: 533
  WorkerContext.run() line: 310
  ThreadPoolExecutor.runWorker(ThreadPoolExecutor$Worker) line: 1061
  ThreadPoolExecutor$Worker.run() line: 575
  Thread.run() line: 636

こんな (↓) 感じですね。

> com.eucalyptus.cluster.ClusterEndpoint.DescribeAvailabilityZones(DescribeAvailabilityZonesType)
  ...
  if( args.isEmpty( ) || args.contains( "verbose" ) || args.contains( "certs" ) || args.contains( "logs" ) || args.contains( "keys" ) ) {
    for( Cluster c : Clusters.getInstance( ).listValues( ) ) {
      this.getDescriptionEntry( reply, c, request );
    }
  } else {

“verbose” だろうが何だろうが全情報を返して、クライアント側で切り分けているようですね。美しくないです。

以上で、分からないことがあった時に、だいたいどこを見れば良いかだけは分かりました。

しかしどうも分からないことも。JNI で起動する際に、java.class.path に jar の羅列は渡っているのに、なぜにわざわざせっせと /usr/share/eucalyptus/ 以下を捜索してリフレクションを多用したりしているんでしょう？ ぶっちゃけ、無駄に複雑でメンテしづらいと思うんです、このコード。

表題の答えを先に書いておきますと、com.eucalyptus.bootstrap.SystemBootstrapper です。Eucalyptus のバージョンは、2.0.2 を見ています。

まずは、ソースツリーのおおまかな構成について見ておきます。Cluster Controller の本体は、C で書かれた Axis2/C のモジュール (libaEucalyptusCC.so) です。Apache + mod_axis2 配下で動きます。サブディレクトリは “cluster/” です。

Node Controller の本体も、C で書かれた Axis2/C のモジュール (libEucalyptusNC.so) で、Apache + mod_axis2 配下で動きます。ソースのサブディレクトリは “node/”。

問題は、それ以外――ソースのディレクトリでいう “clc/” 以下です。

追記 (Wed Feb 09 2011): eucalyptus-cloud 下の web サービス群　(ソース中では “component” と呼称される) は、Mule ESB バージョン 2.x で動作しています。別項で、いずれまた書きます。

Cloud Controller だけでなく、Walrus や Storage Controller は Java で書かれていて、呼び出し方からすると、複数機能を束ねた統一バイナリ (eucalyptus-cloud) のかたちをとっています。ところが、プロセスを見てみると、Java のものとおぼしき大量のスレッドはあるのですが、よく見かけるようには、オプションをごちゃごちゃつけて起動されている java コマンドが見あたりません。

$ pstree -alp
...
  |-eucalyptus-clou,28159 -h / -u eucalyptus --pidfile /var/run/eucalyptus ...
  |   `-eucalyptus-clou,28176 -h / -u eucalyptus --pidfile /var/run/eucaly ...
  |       |-bttrack,28514 /usr/bin/bttrack --port 6969 --dfile //var/lib/e ...
  |       |-{eucalyptus-clo},28193
  |       |-{eucalyptus-clo},28195
  |       |-{eucalyptus-clo},28202
...

ソースを見てみると、C でかかれた実行ファイル (eucalyptus-cloud) から、libjvm を経由して Java のコードを起動する作りになっています。しかたがないので clc/modules/bootstrap/eucalyptus-bootstrap.c の main() の定義から下って読んで行くと、fork(2) をして子プロセス (上の例で言う 28176) を作っています。子プロセスのその先の処理は、child()→java_init() で、JNI_CreateJavaVM() の呼び出しです。

JNI の呼び出しの詳細は、デバッグ出力で出るようになっています。eucalyptus-cloud コマンドに “–debug”、もしくは “–verbose” オプションをつけて呼び出せば、標準出力 (いや、エラー出力だったかな？) にデバッグ出力を出してくれます。Ubuntu-10.10 のパッケージだと upstart が出力を捨ててしまいますので、以下のようにして、適当なところにリダイレクトしておきます。

--- /etc/init/eucalyptus.conf.orig
+++ /etc/init/eucalyptus.conf
@@ -37,6 +37,7 @@
        . /etc/eucalyptus/eucalyptus.conf
        [ -n "$JVM_MEM" ] || JVM_MEM="512m"
        opts="-h $EUCALYPTUS -u $EUCA_USER --pidfile \
         /var/run/eucalyptus/eucalyptus.pid -l $LOGLEVEL -L console-log
        -Xmx$JVM_MEM"
+       opts="$opts --debug"
        services=""

        # If the -cloud package is not installed, disable the cloud service
@@ -72,7 +73,7 @@
        # Start the appropriate service(s)
        if [ -n "$services" ]; then
                # Cloud services to run
-               exec eucalyptus-cloud $opts
+               exec eucalyptus-cloud $opts > /tmp/eucalyptus.log 2>&1
        elif [ -r "/etc/init/eucalyptus-nc.conf" ] || \
         [ -r "/etc/init/eucalyptus-cc.conf" ]; then
                # Node or CC services to run
                # Why do we sleep here, rather than emitting a signal?
                #  Such that we can run:

すると、以下のような呼び出しが出ます (いい具合に改行を入れました)。

Using classpath: -Djava.class.path=//etc/eucalyptus/cloud.d:
 //etc/eucalyptus/cloud.d/scripts:
 //usr/share/eucalyptus/eucalyptus-component-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-storage-common-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-config-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-groupmgr-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-db-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-interface-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-walrus-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-storagecontroller-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-imagemgr-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-commons-ext-0.4.jar:
 //usr/share/eucalyptus/eucalyptus-www-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-auth-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-msgs-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-dns-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-core-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-clustermgr-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-cloud-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-keymgr-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-ws-2.0.0.jar:
 //usr/share/eucalyptus/eucalyptus-db-hsqldb-ext-2.0.0.jar:
 //usr/share/eucalyptus/wstx-lgpl.jar:
 //usr/share/eucalyptus/gnumail-providers.jar:
 //usr/share/eucalyptus/jetty-util.jar:
 //usr/share/eucalyptus/commons-logging.jar:
 //usr/share/eucalyptus/regexp.jar:
 //usr/share/eucalyptus/jcl-over-slf4j.jar:
 //usr/share/eucalyptus/drools-compiler.jar:
 //usr/share/eucalyptus/geronimo-jms-1.1-spec.jar:
 //usr/share/eucalyptus/commons-pool.jar:
 //usr/share/eucalyptus/geronimo-jpa-3.0-spec.jar:
 //usr/share/eucalyptus/axiom-dom.jar:
 //usr/share/eucalyptus/jibx-bind.jar:
 //usr/share/eucalyptus/commons-io.jar:
 //usr/share/eucalyptus/jetty-rewrite-handler.jar:
 //usr/share/eucalyptus/backport-util-concurrent.jar:
 //usr/share/eucalyptus/gnumail.jar:
 //usr/share/eucalyptus/wsdl4j.jar:
 //usr/share/eucalyptus/xercesImpl.jar:
 //usr/share/eucalyptus/servlet-api-2.5.jar:
 //usr/share/eucalyptus/commons-httpclient.jar:
 //usr/share/eucalyptus/euca_ipt:
 //usr/share/eucalyptus/slf4j-log4j12.jar:
 //usr/share/eucalyptus/commons-collections3.jar:
 //usr/share/eucalyptus/slf4j-api.jar:
 //usr/share/eucalyptus/chgrp-dhcpd:
 //usr/share/eucalyptus/geronimo-ejb-3.0-spec.jar:
 //usr/share/eucalyptus/dd-lv:
 //usr/share/eucalyptus/google-collections.jar:
 //usr/share/eucalyptus/activation.jar:
 //usr/share/eucalyptus/serializer.jar:
 //usr/share/eucalyptus/bcprov.jar:
 //usr/share/eucalyptus/jibx-run.jar:
 //usr/share/eucalyptus/jetty-sslengine.jar:
 //usr/share/eucalyptus/dom4j.jar:
 //usr/share/eucalyptus/axiom-impl.jar:
 //usr/share/eucalyptus/commons-discovery.jar:
 //usr/share/eucalyptus/hsqldb.jar:
 //usr/share/eucalyptus/jaxen.jar:
 //usr/share/eucalyptus/javassist.jar:
 //usr/share/eucalyptus/axiom-api.jar:
 //usr/share/eucalyptus/add_key.pl:
 //usr/share/eucalyptus/antlr.jar:
 //usr/share/eucalyptus/jaxp-1.3.jar:
 //usr/share/eucalyptus/chmod-dhcpd:
 //usr/share/eucalyptus/geronimo-interceptor-3.0-spec.jar:
 //usr/share/eucalyptus/proxool.jar:
 //usr/share/eucalyptus/commons-logging-adapters.jar:
 //usr/share/eucalyptus/hsqldbutil.jar:
 //usr/share/eucalyptus/jibx-extras.jar:
 //usr/share/eucalyptus/geronimo-jta-1.0.1b-spec.jar:
 //usr/share/eucalyptus/jetty.jar:
 //usr/share/eucalyptus/gwt-servlet.jar:
 //usr/share/eucalyptus/xpp3.jar:
 //usr/share/eucalyptus/jul-to-slf4j.jar:
 //usr/share/eucalyptus/commons-cli.jar:
 //usr/share/eucalyptus/xalan2.jar:
 //usr/share/eucalyptus/commons-beanutils.jar:
 //usr/share/eucalyptus/mvel.jar:
 //usr/share/eucalyptus/janino.jar:
 //usr/share/eucalyptus/commons-fileupload.jar:
 //usr/share/eucalyptus/commons-logging-api.jar:
 //usr/share/eucalyptus/junit.jar:
 //usr/share/eucalyptus/geronimo-j2ee-connector-1.5-spec.jar:
 //usr/share/eucalyptus/ant.jar:
 //usr/share/eucalyptus/gwt-user.jar:
 //usr/share/eucalyptus/commons-codec.jar:
 //usr/share/eucalyptus/wss4j.jar:
 //usr/share/eucalyptus/bsf.jar:
 //usr/share/eucalyptus/commons-lang.jar:
 //usr/share/eucalyptus/bcel.jar:
 //usr/share/eucalyptus/excalibur-logkit.jar:
 //usr/share/eucalyptus/netty.jar:
 //usr/share/eucalyptus/el-api-2.1.jar:
 //usr/share/eucalyptus/drools-core.jar:
 //usr/share/eucalyptus/cglib.jar:
 //usr/share/eucalyptus/populate_arp.pl:
 //usr/share/eucalyptus/inetlib.jar:
 //usr/share/eucalyptus/jug-asl.jar:
 //usr/share/eucalyptus/ezmorph.jar:
 //usr/share/eucalyptus/groovy.jar:
 //usr/share/eucalyptus/commons-jxpath.jar:
 //usr/share/eucalyptus/log4j-1.2.jar:
 //usr/share/eucalyptus/xml-security.jar:
 //usr/share/eucalyptus/xom.jar:
 //usr/share/eucalyptus/modprobe-aoe:
 //usr/share/eucalyptus/dnsjava.jar:
 //usr/share/eucalyptus/ecj.jar:
 //usr/share/eucalyptus/json-lib.jar

Version:                       10004
Ignore Unrecognized Arguments: 0
Extra options:                 33
  "-Xbootclasspath/p://usr/share/eucalyptus/openjdk-crypto.jar    " (0x(nil))
  "-Xmx512m                                                       " (0x(nil))
  "-XX:MaxPermSize=128m                                           " (0x(nil))
  "-XX:+UseConcMarkSweepGC                                        " (0x(nil))
  "-Djava.net.preferIPv4Stack=true                                " (0x(nil))
  "-Djava.security.policy=//etc/eucalyptus/cloud.d/security.policy" (0x(nil))
  "-Djava.library.path=//usr/lib/eucalyptus                       " (0x(nil))
  "-Dsun.java.command=Eucalyptus                                  " (0x(nil))
  "-Deuca.home=//                                                 " (0x(nil))
  "-Deuca.var.dir=//var/lib/eucalyptus                            " (0x(nil))
  "-Deuca.run.dir=//var/run/eucalyptus                            " (0x(nil))
  "-Deuca.lib.dir=//usr/share/eucalyptus                          " (0x(nil))
  "-Deuca.conf.dir=//etc/eucalyptus/cloud.d                       " (0x(nil))
  "-Deuca.log.dir=//var/log/eucalyptus                            " (0x(nil))
  "-Deuca.version=2.0.0                                           " (0x(nil))
  "-Deuca.log.exhaustive.db=FATAL                                 " (0x(nil))
  "-Deuca.log.exhaustive.cc=FATAL                                 " (0x(nil))
  "-Deuca.log.exhaustive.user=FATAL                               " (0x(nil))
  "-Deuca.log.exhaustive.external=FATAL                           " (0x(nil))
  "-Deuca.log.level=DEBUG                                         " (0x(nil))
  "-Deuca.log.appender=console-log                                " (0x(nil))
  "-Deuca.db.port=9001                                            " (0x(nil))
  "-Deuca.db.host=127.0.0.1                                       " (0x(nil))
  "-Deuca.walrus.host=localhost                                   " (0x(nil))
  "-Deuca.remote.dns=true                                         " (0x(nil))
  "-Xdebug                                                        " (0x(nil))
  "-Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=5005  " (0x(nil))
  "-Dcom.sun.management.jmxremote                                 " (0x(nil))
  "-XX:+HeapDumpOnOutOfMemoryError                                " (0x(nil))
  "-XX:HeapDumpPath=//var/log/eucalyptus/                         " (0x(nil))
  "-Xmx512m                                                       " (0x(nil))
  "-Djava.class.path=//etc/eucalyptus/cloud.d://etc/eucalyptus/..." (0x(nil))
  "abort                                                          " (0x0x4018c0)

バラバラとパラメータを渡しています。おケツの “abort” の追加情報 0x4018C0 は、abort の際のコールバック関数ですね。表示が変ですが。

static void java_fail(void) { exit(1); }

int java_init(euca_opts *args, java_home_t *data) {
  ...
  opt[++x].optionString="abort";
  opt[x].extraInfo=java_fail;

エントリの jar ファイルも指定していませんので、ここではまだ起動はしません。単に、さっきの “JNI_CreateJavaVM” で、VM を作るだけです。かなめは、さきほどの java_load_bootstrapper() です。以下のマクロで別名ですので、euca_load_bootstrapper() を探します。

#define java_load_bootstrapper euca_load_bootstrapper

euca_load_bootstrapper() では、構造体インスタンス “bootstrap” を作ります。これが Java コードのエントリポイントになります。まず、クラスの取得です。

#define EUCA_MAIN "com/eucalyptus/bootstrap/SystemBootstrapper"

bootstrap.clazz=((*env)->FindClass(env,EUCA_MAIN))

次に、static なファクトリメソッドを呼び出して、ブートストラップのインスタンスを作ります。

bootstrap.constructor=(*env)->GetStaticMethodID(env, \
 bootstrap.clazz,euca_get_instance.method_name, \
 euca_get_instance.method_signature );

この後は、ここから始まる Java コードの仕事ですね。続きは後ほど。

# なぜにこうもツギハギ感溢れる作りになってるんでしょうね？ Eucalyptus は

今なら JNI よりも、JNA というのがありますよー、と同僚に紹介されました。後で読む。

JNIより簡単にJavaとC/C++をつなぐ「JNA」とは（1/4）－＠IT