システム (asdf)

asdf パッケージは、Common Lisp のビルド機構である ASDF の限定的な API 互換サブセットを提供します: 複数ファイルのプロジェクトを NAME.asd ファイルに asdf:defsystem で一度だけ記述すれば、 asdf:load-system がファイルを依存順に — すべてのバックエンドで — ロードします。本物の ASDF は移植されていません (CLOS、コンディションシステム、パスネーム API に依存しており、いずれもここには存在しません)。 代わりに .asd ファイルはプレーンなデータとして解析され、サポートされる defsystem サブセットが load/require と同じ機構を駆動します。サブセット内に収まる .asd はそのまま動作します。

プロジェクトの全体像

app/
  my-app.asd
  package.lisp
  main.lisp
  run.lisp
registry/base/
  base.asd
  base.lisp

;; app/my-app.asd
(defsystem :my-app
  :version "0.1.0"
  :depends-on (:base)
  :serial t
  :components ((:file "package")
               (:file "main")))

;; app/package.lisp
(defpackage :my-app (:use :cl) (:export :run))

;; app/main.lisp
(in-package :my-app)
(defun run () (print (base:double 21)))

;; app/run.lisp
(asdf:load-system :my-app)
(my-app:run)

エントリファイルを実行またはコンパイルします。同じディレクティブが 4 つのバックエンドすべてで動作します:

rontolisp app/run.lisp --system-path registry/base                 # interpret
rontolisp app/run.lisp --system-path registry/base -o Prog.class   # JVM
rontolisp app/run.lisp --system-path registry/base -o app.wasm     # WASM

my-app.asd は run.lisp の隣で見つかり、依存システム :base は --system-path 経由で見つかります。コンパイルパスではシステム全体 (依存が先) がコンパイル時にプログラムへ 継ぎ足されます。コンパイル時 load インクルードとまったく同じ仕組みなので、JVM と WASM のコンパイラはすべての defun をネイティブに認識します。

システム探索パス

asdf:load-system は NAME.asd を次の順で探します:

1. load-system を実行しているファイルのディレクトリ (load と同様)、
2. --system-path で指定したディレクトリ (PATH のようにプラットフォームのパス区切り文字で複数連結可)、
3. 環境変数 RONTOLISP_SOURCE_REGISTRY のディレクトリ (同じ形式)。

依存システムの .asd は、依存する側のシステムのディレクトリから探索が始まるため、 1 つのレジストリディレクトリに並んだ兄弟システムは互いを見つけられます。

quickload でダウンロードする

手動ダウンロードを省くには、ql:quickload を使います。システム (とその依存) を本物の Quicklisp ディストリビューションから取得し、上記の 仕組みでそのままロードします:

$ rontolisp
CL-USER> (ql:quickload "split-sequence")
(split-sequence)
CL-USER> (split-sequence:split-sequence #\, "a,b,c")
("a" "b" "c")

ダウンロードは Quicklisp の dist メタデータ (依存解決の systems.txt、tarball URL の releases.txt) に基づきます。各リリースは展開され ~/.rontolisp/quicklisp/ 以下に キャッシュされる (RONTOLISP_QUICKLISP_HOME で変更可能) ため、2 回目以降の quickload はネットワーク I/O を行いません。ダウンロードはインタプリタ実行時または コンパイル時に (Java 側で) 行われ、コンパイル済みプログラムはソースを内包していて 実行時にはフェッチしないので、ql:quickload は 4 バックエンドすべてで動作します。 ロード自体は asdf サブセットを経由するため、同じ制約が当てはまります — ダウンロード できたライブラリでも、そのソースが下記のサポート範囲に収まっている場合にのみロード できます。

dist を追加する (Ultralisp)

Quicklisp の dist 形式を話すディストリビューションは 1 つではなく、2 つ目として よく使われるのが Ultralisp です (数分ごとに再構築される ため、公開されたその日にライブラリが入ります)。これはオプトインで、プログラム からは本物の Quicklisp と同じ呼び出し ql-dist:install-dist で 追加します:

$ rontolisp
CL-USER> (ql-dist:install-dist "http://dist.ultralisp.org/" :prompt nil)
"ultralisp"
CL-USER> (ql:quickload "circular-buffer")
(circular-buffer)

フォームを書く場所がない起動 (rontolisp test SYSTEM、コンパイル対象のソースを 書き換えられないビルドスクリプト) では、コマンドラインで指定します — --dist ultralisp、カンマ区切りで複数指定、または環境変数 RONTOLISP_DISTS。 どちらの経路でも、Quicklisp 形式の distinfo の URL を直接指定できます。

dist は追加した順に、システム単位で検索されます: ql:quickload は各システム (と各依存) を、それを列挙している最初の dist から取得します。したがって dist の追加は 「Quicklisp にない名前が引けるようになる」だけで、他の取得元は変わりません。 quicklisp は明示的に指定しない限り先頭に入るので、両方の dist にあるライブラリで Ultralisp 側を優先したい場合は --dist ultralisp,quicklisp と書きます。dist の index は、実際にその dist まで検索が到達したときにだけダウンロードされ、各 dist は 自身の ~/.rontolisp/<dist>/ にキャッシュします (ベースは RONTOLISP_DIST_HOME、 quicklisp については従来どおり RONTOLISP_QUICKLISP_HOME が優先)。index は一度 取得すると永続的にキャッシュされるので、更新の速い dist を活かすには ql:update-dist を使います:

$ rontolisp -e '(ql:update-dist "ultralisp")'

それ以外は同じです。ダウンロードはインタプリタ実行時またはコンパイル時に行われる ので、追加した dist も 4 バックエンドすべてで同じように動作しますし、ダウンロード したライブラリが下記のサポート範囲に収まっている必要がある点も変わりません。

サポート範囲 (と非サポート)

• .asd ファイルはデータとして解析されます: defsystem (裸または asdf: 修飾)、 in-package/defpackage フォーム (スキップ)、register-system-packages フォーム (「このパッケージはあのシステムにある」という対応を記録します — package-inferred-system が defpackage の依存をシステム名に変換するときに 参照されます。それ以外では作用しません。パッケージは自身の defpackage を 通じて見つかるからです)、そして純粋なリテラル/条件値を持つトップレベル defparameter (解析時環境に評価されます) を書けます。#+/#- フィーチャ条件は動作し (ターゲットバックエンドのフィーチャーに対して評価されます。 データ型を参照)、 #. リード時評価フォームはその値が使われる場所で解決されます: ロード対象を 決める句ではその defparameter に対して解決され ((:file #.*string-file*) の慣用形)、 解決できない場合はファイルと句を名指しするエラーになります。無視されるメタデータ (:long-description、:version、:perform など) とトップレベル (ASDF バージョンガード) では、評価されず、警告もなく捨てられます。 また :depends-on のエントリには (:feature EXPR DEP) を書け (フィーチャ式が成立するときだけ依存が追加されます)、 (:version NAME "1.2.3") も書けます (素の依存として解決されます。バージョン制約は 検査されません — ここでは :version オプションは無視されるメタデータなので、 比較する相手がありません)。トップレベルの (defmethod perform ...) フックは許容され 無視されます (それを実行する operate 機構はありません。他のメソッド名はエラーです)。 スーパークラスがドキュメントコンポーネントクラス (ASDF の doc-file、または同じ ファイル内で先に宣言されたもの) であるトップレベル defclass は、その名前を コンポーネント型として宣言します。そのエントリは順序付けには参加しますがソースを 提供しません (:static-file と同様)。:doc-file と :html-file は defclass なしで使えます。それ以外のトップレベルフォームはファイルを名指しするエラーです。

• .asd はフィーチャーを宣言できます: defsystem の前にあるトップレベルの (eval-when (:load-toplevel :execute) (pushnew :my-feature *features*)) (裸の pushnew/push も可) は、そのファイル内でそれ以降に定義される全システムに 対してそのフィーチャーを宣言します — 各システムに :rontolisp-features (:my-feature) を書いたのと同じ効果です。この宣言はシステム 自身の :if-feature / (:feature ...) 句と、そのコンポーネントファイルの読み取りに 効きます — つまり宣言を .asd の外へ運ぶ部分で、これはリーダ自身にはできません。 (同じ .asd 内の #+/#- もその push を見ますが、それはリーダがソース自身の 宣言を扱うからです — データ型 を参照。) 依存システムには効きません (それぞれが自分で宣言します)。 situation が (:compile-toplevel) だけの eval-when は無効です (ASDF は .asd を ロードするだけでコンパイルしません)。eval-when 内のそれ以外のフォームは、その フォームを名指しするエラーです。

• defsystem はメタデータオプション (無視。ただし素の文字列の :version だけは asdf:component-version が 読み返します)、:depends-on、:defsystem-depends-on (本物の ASDF が .asd の 読み込み中 にロードするシステム。同じ方法で検索され、:depends-on より先に ロードされ、システムの依存にはなりません。ここに書かれた組み込みシムはこのシステムに フィーチャーを宣言します — ("trivial-features") はその句とコンポーネントファイルに 対して :unix と :little-endian を有効にします)、:serial、:pathname (全コンポーネントに前置されるリテラルなディレクトリ。ソースが src/ にあるシステムは コンポーネント名を裸で書けます)、:file/:module/:static-file エントリを持つ :components をサポートします。 コンポーネントには :if-feature expr を付けられます。フィーチャー式が成立しない 場合、そのコンポーネントのファイルは除外されますが (ライブラリが CLOS 専用 ファイルを (:or :sbcl ...) の後ろにゲートする方法)、依存順序内の位置は 維持されます。test-op 配線用のオプションは機構を持つ唯一の op です: :in-order-to ((test-op (test-op ...))) と :perform (test-op (o c) ...) は 記録され、asdf:test-system が 駆動します (それ以外の operation、修飾子つきの test-op :after メソッド、本体中の #. は従来どおり許容されて無視されます — 汎用の operate 機構は依然として ありません)。:version の値は ASDF の (:read-file-form ...) 間接参照を含む任意のリテラルフォームで構いません (検査されません — 記録されるのは素の文字列だけです)。それ以外 (:around-compile など) は句を名指しするエラーです。

• :class :package-inferred-system をサポートします — ningle、rove、 array-operations が採用しているスタイルです。このクラスのシステムは :components を一切持ちません: サブシステム名がシステムのディレクトリ配下の ファイルパスになり (my-lib/main は main.lisp、my-lib/util/text は util/text.lisp。システムが :pathname を持つ場合はいずれもその配下)、 そのファイル自身の defpackage が依存関係を表します — :use、:mix、 :reexport、:use-reexport、:mix-reexport が挙げる全パッケージと、 :import-from / :shadowing-import-from の第 1 引数です。パッケージ名は システム名になります: register-system-packages フォームが宣言していれば その名前、なければパッケージ名を小文字化したものです (cl などは除外されます)。 各ファイルは最初のパッケージ定義フォームまでしか読まれないので、defpackage の前に よくある (in-package #:cl-user) ヘッダがあっても問題ありません。 defpackage/uiop:define-package が 1 つも無いファイルはエラーです。これ以外の :class はサポートせず、 :components も併記した package-inferred-system はエラーです。

• 同じシステムの 2 回目のロードは no-op です。循環する :depends-on は検出して報告されます — 2 つのサブシステムの defpackage が互いを指す形で書かれた循環も含みます。

• コンパイルパスはリテラルなトップレベルの (asdf:load-system NAME) を要求します。 インタプリタは実行時に計算された名前も受け付けます。どちらも末尾のキーワード オプション (:verbose nil、:force t、:silent t) を受理して無視します。 実在のライブラリは実行時にシステムをロードするときこれらを渡します。 コンパイルされたプログラムでネストした/計算された load-system/ql:quickload は、 システムがスプライス済みなら nil を返し、そうでなければエラーを通知します — 実行時には何もロードできません。

• コンポーネントメタオブジェクトは実行時に本物です。 asdf:find-system はシステムごとに メモ化された CLOS インスタンス (呼び出し間で eq) を返します。クラスは本物です — asdf:component、asdf:child-component/asdf:parent-component、 asdf:module、asdf:system、asdf:package-inferred-system、 asdf:source-file、asdf:cl-source-file、asdf:static-file — ので、これらに 対する typep、typecase、defmethod の特定化子はすべてのバックエンドで 動作します。リーダー asdf:component-name、 asdf:component-version (素の文字列で書かれていた場合の :version 文字列)、 asdf:component-pathname、 asdf:component-children (コンポーネントファイルごとに 1 つの cl-source-file、ロード順)、 asdf:component-sideway-dependencies、 asdf:component-parent、 asdf:component-system がモデルをたどり、 asdf:registered-systems が登録済みの全名前を列挙します。asdf:*user-cache* は external で nil です (fasl キャッシュはありません)。これは rove のシステム駆動テストランナーが読む コンポーネントモデルです。

• asdf:test-system は記録された test-op 配線を実行します。 asdf:test-system はシステムを ロードし、:in-order-to の test-op 連鎖をたどり、記録された各 :perform (test-op (o c) ...) 本体を component にシステムメタオブジェクトを束縛して 実行します。コンパイルパスではリテラルなトップレベルの呼び出しがテストシステムも スプライスします。

• コンパイル時にシステムはツリーシェイキングされます。 ロードしたシステムが定義していても プログラムから到達しない関数・変数・定数は — クォートされたシンボルや文字列リテラル全体も 含めてソース中の名前を辿った上で — .class/.wasm に含まれません。クラス・総称関数・ メソッド・コンディション・構造体も対象です(適用しうるインスタンスを到達可能なコードが 作れないメソッドも除かれます)。すべての定義を残すには --no-prune (または --dynamic) を付けてコンパイルしてください。唯一の帰結については JVM へのコンパイル を参照してください。

• ロードコンテキスト変数は、全バックエンドでロード中のファイルを指します。 ファイルのロード中、*load-pathname* は load が呼ばれたときのパスを、 *load-truename* はそれが解決されたパスを保持します。ファイルが終わると外側の ファイルの値に戻り、ロード外ではどちらも nil です — トップレベルで読んでも、 ロードが定義した関数をあとから呼んで読んでも同じです。コンポーネントは解決済み パスでロードされるため、どちらの変数も asdf:component-pathname が返す値を保持します。これが、テストフレームワークがファイル内の定義とそれを所有する システムを対応付けられる理由です。コンパイルバックエンドでも同じで、差し込まれた ファイルのフォームは自分のロードコンテキストの下でコンパイルされます — そこでは 実行時に何もロードされないため、そうしなければ読む値がありません。 *compile-file-pathname* と *compile-file-truename* は常に nil です (ここには compile-file が存在しません)。ライブラリは自分のソースの隣にある データファイルを見つけるのに (or *compile-file-truename* *load-truename*) という定型句を使います。これは読み取り時にも働きます: この定型句が通常書かれる 形である #. フォーム — ソースの読み取り中にファイルを読むもの — は、全バックエンド で自分のファイルのロードコンテキストを見ます。ライブラリは隣に同梱したデータファイルを そのまま焼き込めます。

組み込みシムシステム

Quicklisp ライブラリの中には、rontolisp 側を知り得ない実装ごとのポータビリティレイヤに依存するものがあります。rontolisp はそれらを組み込み ASDF システムとして同梱します: asdf:load-system/ql:quickload (および実ライブラリの :depends-on) は、その名前をダウンロードせずバンドルされたシムに解決します。

シムは意図的に薄く作られています: ロード可能なライブラリが実際に呼ぶものだけを満たし、上流の完全な API は提供しません。

実際に何がロードできるか

現在、以下の実世界のライブラリが無改変でロードできます。バックエンド列は それぞれの検証済み範囲を示します — 「4 つ全て」はインタプリタ、JVM、WASM Preview 1、--component を意味します。特筆事項列はロードの特色と、 動作しないものをまとめています。

サイズ向けオプトイン: tiny-routes/lite

(ql:quickload "tiny-routes/lite") は、同じ tiny-routes のソースツリーを 1 コンポーネントだけ差し替えてロードします — upstream では cl-ppcre のスキャナ だった path-template.lisp を ppcre 不要のマッチャーに置き換え、:cl-ppcre 依存もあわせて落とします。これが存在する理由は、ルーティングが正規表現 エンジンを生かしたままにするからです: ルートのテンプレートはルート 構築時にスキャナへとコンパイルされるため、コンパイル済みモジュールでは どんな tree-shaking も cl-ppcre を除去できず、サイズ制限のあるターゲット ではそれがモジュールの大半を占めます — ルーティング版 Worker の例 の計測では、フルシステムで 974,530 B raw、lite で 408,448 B。ルートも 応答もリクエスト単位で同一です。

この置換はテンプレートが何にマッチするかを決して変えません — フル システムと同一にマッチするか、ルート構築時に大きな音を立てて拒否するかの どちらかです:

• 受理: リテラル文字と :name トークンだけから成るテンプレート — トークンは : の後に英字または _、以降は英数字・_・- が続くもの で、テンプレート内のどこにでも置けます: /users/:id、/files/v:version、 /pair/:a/:b。このサブセット内では lite マッチャーはフルシステムの意味論 を正確に再現します。貪欲なバックトラッキングも、upstream の貪欲な トークン名走査も含めてです (/a/:x-:y の最初のトークン名は x- に なります)。2 つのエンジンはテストスイートがテンプレート単位でピン留め しています。
• ルート構築時に拒否 (逃げ道を明示するエラー): 正規表現メタ文字 — . \ [ ] ( ) { } | ^ $ * + ? — を含む テンプレートと、すべての :regex t テンプレート。(:name トークンを 含まないテンプレートは upstream でも正規表現にならず string= で比較 されるため、そこにメタ文字があっても両システムとも問題ありません。)

素の (ql:quickload "tiny-routes") は手つかずのまま — cl-ppcre 込みの 無改変ライブラリ — で、2 つのシステムを 1 つのプログラムにロードすることは どちらの順でも拒否されます (後からロードした側がマッチャーを黙って再定義 してしまうため)。tiny-routes/lite は Quicklisp のインデックスには ありません。この名前は tiny-routes のリリースをダウンロードし、その .asd に対して解決されます。

cl-ppcre のロードはこれまでで最大の機能バッチ — ローカル (declare (special ...))、ジェネリック化された CLOS スロットアクセサ、 initialize-instance :after、&environment + get-setf-expansion、psetf、 (setf (subseq ...))、subst/search/copy-tree、降順・大文字小文字非区別の 文字比較 — を牽引しました。

uax-15 のロードは 2 番目に大きなバッチ — ASDF/UIOP のパス名プリミティブの コンパイル時畳み込み、with-open-file で読む同梱データファイルの成果物への インライン化、LOOP マクロの節単位への書き換え、WASM GC 文字列の背後にある UTF-8 バイトモデル — を牽引しました。

alexandria のバッチは、他のすべてのライブラリが受け継いだものです。依存を持つ ライブラリはすべて alexandria に依存しているからです: defmacro/destructuring-bind の &whole、&rest/&body の後の分配パターン (if-let)、lambda-list-keywords、do-external-symbols、パッケージ指定子付きの intern、ハッシュテーブルの内部情報リーダ (hash-table-test/-size/-rehash-size/-rehash-threshold)、mismatch、 arrayp、with-open-stream、第一級の値としての #'open — さらに mappend の ために、複数リストを取る第一級の値としての #'mapcar。

そのうち 16 ライブラリの実行可能なデモ — バックエンド別の実行コマンドと期待 出力付き — は examples/asdf/ にあります。

現時点でロードできるライブラリの目安は、おおよそ次の範囲に収まるものです: 素の defun/defmacro/defpackage コード、loop、values を末尾に持つ 関数への multiple-value-bind、サポート済みの型指定子による check-type/etypecase、宣言 (パース済み no-op、deftype を含む)、CLOS 静的サブセット (単一ディスパッチの defclass/defgeneric/defmethod/make-instance/slot-value、および (defun (setf name) ...) setf 関数)、そして コンディションとリスタートのシステム (define-condition/handler-case/handler-bind/restart-case/ invoke-restart)、return-from のイディオム、そして動的 (スペシャル) 変数束縛 (defvar の スペシャル変数に対する let/let*)。完全なメタオブジェクトプロトコルや 対話的デバッガ (break、*debugger-hook*) の上に 構築されたライブラリはまだロードできません (未対応のCL機能を参照)。それ以外の場合の実用は、 自分自身の複数ファイル rontolisp プロジェクトの構成です — その .asd は 本物の ASDF でも読めるものになります。