git.pond.sub.org Git - eow/blob - xdump.lisp

   1 (in-package :xdump)
   2
   3 (defvar *current-parser* nil)
   4
   5 (defclass table-column-meta ()
   6   ((name :accessor meta-name)
   7    (type :accessor meta-type)
   8    (flags :accessor meta-flags)
   9    (len :accessor meta-len)
  10    (table :accessor meta-table)))
  11
  12 (defclass xdump-table ()
  13   ((name :accessor table-name :initarg :name)
  14    (index :accessor table-index :initarg :index)
  15    (last-update :accessor table-last-update :initform 0)
  16    (entry-class :accessor table-entry-class :initarg :entry-class)
  17    (entries :accessor table-entries
  18             :initform (make-array 8
  19                                   :fill-pointer 0
  20                                   :adjustable t
  21                                   :initial-element nil))
  22    (has-uid-p :accessor has-uid-p :initarg :has-uid-p)))
  23
  24 (defun get-table (table-name)
  25   (let* ((table-index (gethash table-name *index-by-name*))
  26          (table (aref *table-by-index* table-index)))
  27     table))
  28
  29 (defun get-table-entry (table-name index)
  30     (aref (table-entries (get-table table-name)) index))
  31
  32 (defclass xdump-parser ()
  33   ((line-parser :accessor line-parser :initform nil)
  34    (entry-buffer :accessor entry-buffer
  35                  :initform (make-array 1 :fill-pointer 0 :adjustable t))
  36    (entry-index :accessor entry-index :initform 0)
  37    (finalizer :accessor finalizer :initform nil)
  38    (name :accessor table-name :initform nil)
  39    (timestamp :accessor timestamp :initform nil)
  40    (meta-by-index :accessor meta-by-index
  41                   :initform (make-array 128
  42                                         :adjustable t
  43                                         :initial-element nil))
  44    (table-by-index :accessor table-by-index
  45                    :initform (make-array 128
  46                                          :adjustable t
  47                                          :initial-element nil))
  48    (table-classes-package :accessor table-classes-package
  49                           :initform (make-package (gensym)))
  50    (index-by-name :accessor index-by-name
  51                   :initform (make-hash-table :size 128 :test 'equal))
  52    (meta-index :accessor meta-index :initform (make-array 5))
  53    (meta-meta :accessor meta-meta :initform (make-array 5))))
  54
  55 (defgeneric finish-table (xdump-parser number-of-records))
  56 (defgeneric parse-entry (xdump-parser line))
  57 (defgeneric parse-meta (xdump-parser name timestamp))
  58 (defgeneric parse-table (xdump-parser name timestamp))
  59 (defgeneric header-parser (xdump-parser line))
  60 (defgeneric parse-line (xdump-parser line))
  61 (defgeneric reset-table-parser (xdump-parser))
  62
  63 (defmethod reset-table-parser ((parser xdump-parser))
  64   (with-slots (line-parser entry-buffer entry-index finalizer name timestamp)
  65       parser
  66     (setf line-parser #'header-parser
  67           entry-buffer (make-array 1 :fill-pointer 0 :adjustable t)
  68           entry-index 0
  69           finalizer nil
  70           name nil
  71           timestamp nil)))
  72
  73 (defun meta-meta-finalizer (parser)
  74   (with-slots (entry-buffer meta-index meta-meta) parser
  75                                         ; build meta-index from integer index to
  76                                         ; slot symbol
  77     (loop
  78        for i = 0 then (+ i 1)
  79        for e across entry-buffer
  80        do (let* ((slot-name (string-upcase (car e)))
  81                  (slot (find-symbol slot-name :xdump)))
  82             (setf (aref meta-index i) slot)))
  83                                         ; build meta-meta table
  84     (loop for entry across entry-buffer
  85        for i = 0 then (+ i 1)
  86        do (let ((meta-meta-column (make-instance 'table-column-meta)))
  87             (loop for slot across meta-index
  88                for field in entry
  89                do (setf (slot-value meta-meta-column slot) field))
  90             (setf (aref meta-meta i) meta-meta-column)))))
  91
  92 (defun table-entry-defclass-form (name class-name package slot-list)
  93   `(defclass ,(find-symbol class-name package) ()
  94      ,(mapcar #'(lambda (raw-slot-name)
  95                   (let* ((slot-name (string-upcase raw-slot-name))
  96                          (accessor-name (string-upcase (format nil "~a-~a"
  97                                                                name
  98                                                                slot-name))))
  99                     (list (intern slot-name package)
 100                           :accessor (intern accessor-name package))))
 101               slot-list)))
 102
 103 (defun meta-finalizer (parser)
 104   (let ((meta-table (make-array 1 :fill-pointer 0 :adjustable t)))
 105     (with-slots (entry-buffer name meta-index meta-by-index index-by-name
 106                               table-by-index)
 107         parser
 108       (loop for entry across entry-buffer
 109          do (let ((meta (make-instance 'table-column-meta)))
 110               (loop for slot across meta-index
 111                  for field in entry
 112                  do (setf (slot-value meta slot) field))
 113               (vector-push-extend meta meta-table)))
 114       (format t "~a~%~a~%~a~%" name meta-table entry-buffer)
 115       (let ((table-index (if (string= "table" name)
 116                              ; voodoo: the first column of the table of tables
 117                              ; is the uid
 118                              (elt (aref entry-buffer 0) 4)
 119                              (gethash name index-by-name)))
 120             (has-uid-p nil))
 121         (setf (aref meta-by-index table-index) meta-table)
 122
 123         ;; determine if this table has a uid column
 124         (if (and (string= "uid" (elt (aref entry-buffer 0) 0))
 125                  (eql (elt (aref entry-buffer 0) 4) table-index))
 126             (setf has-uid-p t))
 127
 128         ;; create xdump-table instance and entry class
 129         (let* ((class-name (string-upcase (format nil "~a-table-entry" name)))
 130                (package (table-classes-package parser))
 131                (table-instance (make-instance 'xdump-table
 132                                               :name name
 133                                               :index table-index
 134                                               :entry-class (intern class-name
 135                                                                    package)
 136                                               :has-uid-p has-uid-p))
 137                (slot-list (loop for entry across entry-buffer
 138                              collect (car entry))))
 139           (setf (aref table-by-index table-index) table-instance)
 140           (format t "slot-list: ~a~%" slot-list)
 141           (eval (table-entry-defclass-form name class-name package
 142                                            slot-list)))))))
 143
 144 (defun entry-from-vector (class meta-table entry-vector table-classes-package)
 145   (let ((new-entry (make-instance class)))
 146     (loop
 147        for item in entry-vector
 148        for column across meta-table do
 149          (let ((slot (find-symbol (string-upcase (meta-name column))
 150                                   table-classes-package)))
 151            (setf (slot-value new-entry slot) item)))
 152     new-entry))
 153
 154 (defmethod table-entry-insert-at ((table xdump-table) entry index)
 155                                         ; extend array if necessary
 156   (let ((entries (table-entries table)))
 157     (unless (> (fill-pointer entries) index)
 158       (adjust-array entries (max 1 (* 2 index))
 159                     :fill-pointer index
 160                     :initial-element nil))
 161     (setf (aref entries index) entry)))
 162
 163 (defun table-finalizer (parser)
 164   (with-slots (entry-buffer name timestamp index-by-name meta-by-index
 165                             table-by-index table-classes-package) parser
 166     (if (string= name "table") ; special magic: prefill index-by-name
 167         (loop for entry across entry-buffer do
 168              (setf (gethash (second entry) index-by-name) (first entry))))
 169     (format t "table-finalizer: ~a~%" name)
 170     (let* ((table-index (gethash name index-by-name))
 171            (meta-table (aref meta-by-index table-index))
 172            (table (aref table-by-index table-index))
 173            (has-uid-p (has-uid-p table)))
 174       (loop for entry across entry-buffer do
 175            (let ((entry-instance (entry-from-vector (table-entry-class table)
 176                                                     meta-table
 177                                                     entry
 178                                                     table-classes-package)))
 179              (if has-uid-p
 180                  (let ((index (first entry)))
 181                    (table-entry-insert-at table entry-instance index))
 182                  (vector-push-extend entry-instance (table-entries table)))))
 183       (setf (table-last-update table) timestamp))))
 184
 185 (defmethod finish-table ((parser xdump-parser) number-of-records)
 186   (if (not (equal number-of-records (length (entry-buffer parser))))
 187       (error "Table row count mismatch"))
 188   (funcall (finalizer parser) parser)
 189   (reset-table-parser parser)
 190   t) ;; finished
 191
 192 (defmethod parse-entry ((parser xdump-parser) line)
 193   (if (char= #\/ (aref line 0))
 194       (finish-table parser (parse-integer (subseq line 1)))
 195       (let ((fields (mapcar #'read-from-string (cl-ppcre:split " " line))))
 196         (with-slots (entry-buffer entry-index) parser
 197           (vector-push-extend fields entry-buffer)
 198           (incf entry-index))
 199         nil)))
 200
 201 (defmethod parse-meta ((parser xdump-parser) input-name input-timestamp)
 202   (with-slots (line-parser finalizer name timestamp) parser
 203     (setf line-parser #'parse-entry
 204           finalizer (if (string= "meta" input-name)
 205                         #'meta-meta-finalizer
 206                         #'meta-finalizer)
 207           name input-name
 208           timestamp input-timestamp)))
 209
 210 (defmethod parse-table ((parser xdump-parser) input-name input-timestamp)
 211   "Parse a normal table.
 212
 213    Args:
 214      parser: The current parser
 215      input-name: Name of the current table
 216      input-timestamp: Timestamp of the current table"
 217   (with-slots (line-parser finalizer name timestamp) parser
 218     (setf line-parser #'parse-entry
 219           finalizer #'table-finalizer
 220           name input-name
 221           timestamp input-timestamp)))
 222
 223 (defmethod header-parser ((parser xdump-parser) line)
 224   (multiple-value-bind (fullmatch groups)
 225       (cl-ppcre:scan-to-strings "^XDUMP meta (.*) ([0-9]+)$" line)
 226     (if fullmatch
 227         ;; meta table
 228         (let ((name (aref groups 0))
 229               (timestamp (parse-integer (aref groups 1))))
 230           (parse-meta parser name timestamp))
 231         ;; table
 232         (multiple-value-bind (fullmatch groups)
 233             (cl-ppcre:scan-to-strings "^XDUMP (.*) ([0-9]+)$" line)
 234           (declare (ignorable fullmatch))
 235           (let ((name (aref groups 0))
 236                 (timestamp (parse-integer (aref groups 1))))
 237             (parse-table parser name timestamp)))))
 238   nil)
 239
 240 (defun make-parser ()
 241   (let ((parser (make-instance 'xdump-parser)))
 242     (setf (line-parser parser) #'header-parser)
 243     parser))
 244
 245 (defmethod parse-line ((parser xdump-parser) line)
 246   (with-slots (line-parser) parser
 247     (funcall line-parser parser line)))
 248
 249 (defmethod parse-stream ((parser xdump-parser) stream)
 250   (loop for line = (read-line stream nil)
 251      while line do (parse-line parser line)))
 252
 253 (defmethod parse-file ((parser xdump-parser) filename)
 254   (with-open-file (s filename)
 255     (parse-stream parser s)))
 256
 257 (defun t1 ()
 258   (let ((parser (make-parser)))
 259     (setf *current-parser* parser)
 260     (parse-file parser "testdata/xdump-meta-meta.txt")))
 261
 262 (defun t2 ()
 263   (let ((parser (make-parser)))
 264     (setf *current-parser* parser)
 265     (parse-file parser "testdata/xdump-meta-meta.txt")
 266     (parse-file parser "testdata/xdump-meta-table.txt")
 267     (parse-file parser "testdata/xdump-table.txt")
 268     (parse-file parser "testdata/xdump-meta-34.txt")
 269     (parse-file parser "testdata/xdump-34.txt")))