git.pond.sub.org Git - eow/blob - xdump.lisp

   1 (in-package :xdump)
   2
   3 (defvar *current-parser* nil)
   4
   5 (defclass table-column-meta ()
   6   ((name :accessor meta-name)
   7    (type :accessor meta-type)
   8    (flags :accessor meta-flags)
   9    (len :accessor meta-len)
  10    (table :accessor meta-table)))
  11
  12 (defclass xdump-table ()
  13   ((name :accessor table-name :initarg :name)
  14    (index :accessor table-index :initarg :index)
  15    (last-update :accessor table-last-update :initform 0)
  16    (entry-class :accessor table-entry-class :initarg :entry-class)
  17    (entries :accessor table-entries :initform (make-array 8
  18                                                           :fill-pointer 8
  19                                                           :adjustable t
  20                                                           :initial-element nil))
  21    (has-uid-p :accessor has-uid-p :initarg :has-uid-p)))
  22
  23 ;(defclass empire-table ()
  24 ;  (()))
  25
  26 (defvar *meta-by-index* (make-array 128 :adjustable t :initial-element nil))
  27 (defvar *table-by-index* (make-array 128 :adjustable t :initial-element nil))
  28 (defvar *index-by-name* (make-hash-table :size 128 :test 'equal))
  29 (defvar *meta-index* (make-array 5) "meta slot symbol by meta table column index")
  30 (defvar *meta-meta* (make-array 5))
  31
  32 (defun get-table (table-name)
  33   (let* ((table-index (gethash table-name *index-by-name*))
  34          (table (aref *table-by-index* table-index)))
  35     table))
  36
  37 (defun get-table-entry (table-name index)
  38     (aref (table-entries (get-table table-name)) index))
  39
  40 (defclass xdump-parser ()
  41   ((line-parser :accessor line-parser :initform nil)
  42    (entry-buffer :accessor entry-buffer :initform (make-array 1 :fill-pointer 0 :adjustable t))
  43    (entry-index :accessor entry-index :initform 0)
  44    (finalizer :accessor finalizer :initform nil)
  45    (name :accessor table-name :initform nil)
  46    (timestamp :accessor timestamp :initform nil)))
  47
  48 (defgeneric finish-table (xdump-parser number-of-records))
  49 (defgeneric parse-entry (xdump-parser line))
  50 (defgeneric parse-meta (xdump-parser name timestamp))
  51 (defgeneric parse-table (xdump-parser name timestamp))
  52 (defgeneric header-parser (xdump-parser line))
  53 (defgeneric parse-line (xdump-parser line))
  54
  55 (defun meta-meta-finalizer (parser)
  56   (with-slots (entry-buffer) parser
  57                                         ; build meta-index from integer index to slot symbol
  58     (loop
  59        for i = 0 then (+ i 1)
  60        for e across entry-buffer
  61        do (let* ((slot-name (string-upcase (car e)))
  62                  (slot (find-symbol slot-name :xdump)))
  63             (setf (aref *meta-index* i) slot)))
  64                                         ; build meta-meta table
  65     (loop for entry across entry-buffer
  66        for i = 0 then (+ i 1)
  67        do (let ((meta-meta (make-instance 'table-column-meta)))
  68             (loop for slot across *meta-index*
  69                for field in entry
  70                do (setf (slot-value meta-meta slot) field))
  71             (setf (aref *meta-meta* i) meta-meta)))))
  72
  73 (defun meta-finalizer (parser)
  74   (let ((meta-table (make-array 1 :fill-pointer 0 :adjustable t)))
  75     (with-slots (entry-buffer name) parser
  76       (loop for entry across entry-buffer
  77          do (let ((meta (make-instance 'table-column-meta)))
  78               (loop for slot across *meta-index*
  79                  for field in entry
  80                  do (setf (slot-value meta slot) field))
  81               (vector-push-extend meta meta-table)))
  82       (format t "~a~%~a~%~a~%" name meta-table entry-buffer)
  83       (let ((table-index (if (string= "table" name)
  84                              ; voodoo: the first column of the table of tables is the uid
  85                              (elt (aref entry-buffer 0) 4)
  86                              (gethash name *index-by-name*)))
  87             (has-uid-p nil))
  88         (setf (aref *meta-by-index* table-index) meta-table)
  89
  90         ;; determine if this table has a uid column
  91         (if (and (string= "uid" (elt (aref entry-buffer 0) 0))
  92                  (eql (elt (aref entry-buffer 0) 4) table-index))
  93             (setf has-uid-p t))
  94
  95         ;; create xdump-table instance and entry class
  96         (let* ((class-name (string-upcase (format nil "~a-table-entry" name)))
  97                (package (find-package "XDUMP-DATA"))
  98                (table-instance (make-instance 'xdump-table
  99                                               :name name
 100                                               :index table-index
 101                                               :entry-class (intern class-name package)
 102                                               :has-uid-p has-uid-p))
 103                (slot-list (loop for entry across entry-buffer
 104                              collect (car entry))))
 105           (setf (aref *table-by-index* table-index) table-instance)
 106           (format t "slot-list: ~a~%" slot-list)
 107           (eval `(defclass ,(find-symbol class-name package) ()
 108                    ,(mapcar #'(lambda (raw-slot-name)
 109                                 (let* ((slot-name (string-upcase raw-slot-name))
 110                                        (accessor-name (string-upcase (format nil "~a-~a" name slot-name))))
 111                                   (list (intern slot-name package) :accessor (intern accessor-name package))))
 112                             slot-list))))))))
 113
 114 (defun entry-from-vector (class meta-table entry-vector)
 115   (let ((new-entry (make-instance class)))
 116     (loop
 117        for item in entry-vector
 118        for column across meta-table do
 119          (let ((slot (find-symbol (string-upcase (meta-name column)) (find-package "XDUMP-DATA"))))
 120            (setf (slot-value new-entry slot) item)))
 121     new-entry))
 122
 123 (defmethod table-entry-insert-at ((table xdump-table) entry index)
 124                                         ; extend array if necessary
 125   (let ((entries (table-entries table)))
 126     (unless (> (fill-pointer entries) index)
 127       (adjust-array entries (* 2 index) :fill-pointer index :initial-element nil))
 128     (setf (aref entries index) entry)))
 129
 130 (defun table-finalizer (parser)
 131   (with-slots (entry-buffer name timestamp) parser
 132     (if (string= name "table") ; special magic: prefill index-by-name
 133         (loop for entry across entry-buffer do
 134              (setf (gethash (second entry) *index-by-name*) (first entry))))
 135     (format t "table-finalizer: ~a~%" name)
 136     (let* ((table-index (gethash name *index-by-name*))
 137            (meta-table (aref *meta-by-index* table-index))
 138            (table (aref *table-by-index* table-index))
 139            (has-uid-p (has-uid-p table)))
 140       (loop for entry across entry-buffer do
 141            (let ((entry-instance (entry-from-vector (table-entry-class table) meta-table entry)))
 142              (if has-uid-p
 143                  (let ((index (first entry)))
 144                    (table-entry-insert-at table entry-instance index))
 145                  (vector-push-extend entry-instance (table-entries table)))))
 146       (setf (table-last-update table) timestamp))))
 147
 148 (defmethod finish-table ((parser xdump-parser) number-of-records)
 149   (if (not (equal number-of-records (length (entry-buffer parser))))
 150       (error "Table row count mismatch"))
 151   (funcall (finalizer parser) parser)
 152   t) ;; finished
 153
 154 (defmethod parse-entry ((parser xdump-parser) line)
 155   (if (char= #\/ (aref line 0))
 156       (finish-table parser (parse-integer (subseq line 1)))
 157       (let ((fields (mapcar #'read-from-string (cl-ppcre:split " " line))))
 158         (with-slots (entry-buffer entry-index) parser
 159           (vector-push-extend fields entry-buffer)
 160           (incf entry-index))
 161         nil)))
 162
 163 (defmethod parse-meta ((parser xdump-parser) input-name input-timestamp)
 164   (with-slots (line-parser finalizer name timestamp) parser
 165     (setf line-parser #'parse-entry
 166           finalizer (if (string= "meta" input-name)
 167                         #'meta-meta-finalizer
 168                         #'meta-finalizer)
 169           name input-name
 170           timestamp input-timestamp)))
 171
 172 (defmethod parse-table ((parser xdump-parser) input-name input-timestamp)
 173   (with-slots (line-parser finalizer name timestamp) parser
 174     (setf line-parser #'parse-entry
 175           finalizer #'table-finalizer
 176           name input-name
 177           timestamp input-timestamp)))
 178
 179 (defmethod header-parser ((parser xdump-parser) line)
 180   (multiple-value-bind (fullmatch groups)
 181       (cl-ppcre:scan-to-strings "^XDUMP meta (.*) ([0-9]+)$" line)
 182     (if fullmatch
 183         ;; meta table
 184         (let ((name (aref groups 0))
 185               (timestamp (parse-integer (aref groups 1))))
 186           (parse-meta parser name timestamp))
 187         ;; table
 188         (multiple-value-bind (fullmatch groups)
 189             (cl-ppcre:scan-to-strings "^XDUMP (.*) ([0-9]+)$" line)
 190           (declare (ignorable fullmatch))
 191           (let ((name (aref groups 0))
 192                 (timestamp (parse-integer (aref groups 1))))
 193             (parse-table parser name timestamp)))))
 194   nil)
 195
 196 (defmethod parse-line ((parser xdump-parser) line)
 197   (with-slots (line-parser) parser
 198     (funcall line-parser parser line)))
 199
 200 (defun make-parser ()
 201   (let ((parser (make-instance 'xdump-parser)))
 202     (setf (line-parser parser) #'header-parser)
 203     parser))
 204
 205 (defun parse (stream)
 206   (let ((parser (make-parser)))
 207     (setf *current-parser* parser)
 208     (loop for line = (read-line stream nil)
 209        while line do (parse-line parser line))))
 210
 211 (defun test-parse (filename)
 212   (with-open-file (s filename)
 213     (parse s)))
 214
 215 (defun t1 ()
 216   (test-parse "xdump-meta-meta.txt"))
 217
 218 (defun t2 ()
 219   (test-parse "xdump-meta-meta.txt")
 220   (test-parse "xdump-meta-table.txt")
 221   (test-parse "xdump-table.txt")
 222   (test-parse "xdump-meta-34.txt")
 223   (test-parse "xdump-34.txt"))