git.pond.sub.org Git - eow/blob - xdump-test.lisp

   1 (in-package :xdump)
   2
   3 (defparameter *mode* (make-instance 'empire::xdump-mode :connection nil))
   4
   5 (defvar *current-parser* nil)
   6
   7 (defclass table-column-meta ()
   8   ((name :accessor meta-name)
   9    (type :accessor meta-type)
  10    (flags :accessor meta-flags)
  11    (len :accessor meta-len)
  12    (table :accessor meta-table)))
  13
  14 (defclass xdump-table ()
  15   ((name :accessor table-name :initarg :name)
  16    (index :accessor table-index :initarg :index)
  17    (last-update :accessor table-last-update :initform 0)
  18    (entry-class :accessor table-entry-class :initarg :entry-class)
  19    (entries :accessor table-entries :initform (make-array 8
  20                                                           :fill-pointer 8
  21                                                           :adjustable t
  22                                                           :initial-element nil))))
  23
  24 ;(defclass empire-table ()
  25 ;  (()))
  26
  27 (defvar *meta-by-index* (make-array 50 :adjustable t :initial-element nil))
  28 (defvar *table-by-index* (make-array 50 :adjustable t :initial-element nil))
  29 (defvar *index-by-name* (make-hash-table :size 50 :test 'equal))
  30 (defvar *meta-index* (make-array 5) "meta slot symbol by meta table column index")
  31 (defvar *meta-meta* (make-array 5))
  32
  33 (defun get-table-entry (table-name index)
  34   (let* ((table-index (gethash table-name *index-by-name*))
  35          (table (aref *table-by-index* table-index)))
  36     (aref (table-entries table) index)))
  37
  38 (defclass xdump-parser ()
  39   ((line-parser :accessor line-parser :initform nil)
  40    (entry-buffer :accessor entry-buffer :initform (make-array 1 :fill-pointer 0 :adjustable t))
  41    (entry-index :accessor entry-index :initform 0)
  42    (finalizer :accessor finalizer :initform nil)
  43    (name :accessor table-name :initform nil)
  44    (timestamp :accessor timestamp :initform nil)))
  45
  46 (defgeneric finish-table (xdump-parser number-of-records))
  47 (defgeneric parse-entry (xdump-parser line))
  48 (defgeneric parse-meta (xdump-parser name timestamp))
  49 (defgeneric parse-table (xdump-parser name timestamp))
  50 (defgeneric header-parser (xdump-parser line))
  51 (defgeneric parse-line (xdump-parser line))
  52
  53 (defun meta-meta-finalizer (parser)
  54   (with-slots (entry-buffer) parser
  55                                         ; build meta-index from integer index to slot symbol
  56     (loop
  57        for i = 0 then (+ i 1)
  58        for e across entry-buffer
  59        do (let* ((slot-name (string-upcase (car e)))
  60                  (slot (find-symbol slot-name :xdump)))
  61             (setf (aref *meta-index* i) slot)))
  62                                         ; build meta-meta table
  63     (loop for entry across entry-buffer
  64        for i = 0 then (+ i 1)
  65        do (let ((meta-meta (make-instance 'table-column-meta)))
  66             (loop for slot across *meta-index*
  67                for field in entry
  68                do (setf (slot-value meta-meta slot) field))
  69             (setf (aref *meta-meta* i) meta-meta)))))
  70
  71 (defun meta-finalizer (parser)
  72   (let ((meta-table (make-array 1 :fill-pointer 0 :adjustable t)))
  73     (with-slots (entry-buffer name) parser
  74       (loop for entry across entry-buffer
  75          do (let ((meta (make-instance 'table-column-meta)))
  76               (loop for slot across *meta-index*
  77                  for field in entry
  78                  do (setf (slot-value meta slot) field))
  79               (vector-push-extend meta meta-table)))
  80       (format t "~a~%~a~%~a~%" name meta-table entry-buffer)
  81       (let ((table-index (if (string= "table" name)
  82                              ; voodoo: the first column of the table of tables is the uid
  83                              (elt (aref entry-buffer 0) 4)
  84                              (gethash name *index-by-name*))))
  85         (setf (aref *meta-by-index* table-index) meta-table)
  86
  87         ;; create xdump-table instance and entry class
  88         (let* ((class-name (string-upcase (format nil "~a-table-entry" name)))
  89                (package (find-package "XDUMP-DATA"))
  90                (table-instance (make-instance 'xdump-table
  91                                               :name name
  92                                               :index table-index
  93                                               :entry-class (intern class-name package)))
  94                (slot-list (loop for entry across entry-buffer
  95                              collect (car entry))))
  96           (setf (aref *table-by-index* table-index) table-instance)
  97           (format t "slot-list: ~a~%" slot-list)
  98           (eval `(defclass ,(find-symbol class-name package) ()
  99                    ,(mapcar #'(lambda (raw-slot-name)
 100                                 (let* ((slot-name (string-upcase raw-slot-name))
 101                                        (accessor-name (string-upcase (format nil "~a-~a" name slot-name))))
 102                                   (list (intern slot-name package) :accessor (intern accessor-name package))))
 103                             slot-list))))))))
 104
 105 (defun table-finalizer (parser)
 106   (with-slots (entry-buffer name timestamp) parser
 107     (if (string= name "table") ; special magic: prefill index-by-name
 108         (loop for entry across entry-buffer do
 109              (setf (gethash (second entry) *index-by-name*) (first entry))))
 110     (format t "table-finalizer: ~a~%" name)
 111     (let* ((table-index (gethash name *index-by-name*))
 112            (meta-table (aref *meta-by-index* table-index))
 113            (table (aref *table-by-index* table-index)))
 114       (loop for entry across entry-buffer do
 115            (let ((e (make-instance (table-entry-class table)))
 116                  (index (first entry))
 117                  (entries (table-entries table)))
 118              ; extend array if necessary
 119              (unless (> (fill-pointer entries) index)
 120                (adjust-array entries (* 2 index) :fill-pointer t))
 121              (setf (aref entries index) e)
 122              (loop
 123                 for item in entry
 124                 for column across meta-table do
 125                   (setf (slot-value e (find-symbol (string-upcase (meta-name column)) (find-package "XDUMP-DATA"))) item))))
 126       (setf (table-last-update table) timestamp))))
 127
 128 (defmethod finish-table ((parser xdump-parser) number-of-records)
 129   (if (not (equal number-of-records (length (entry-buffer parser))))
 130       (error "Table row count mismatch"))
 131   (funcall (finalizer parser) parser))
 132
 133 (defmethod parse-entry ((parser xdump-parser) line)
 134   (if (char= #\/ (aref line 0))
 135       (finish-table parser (parse-integer (subseq line 1)))
 136       (let ((fields (mapcar #'read-from-string (cl-ppcre:split " " line))))
 137         (with-slots (entry-buffer entry-index) parser
 138           (vector-push-extend fields entry-buffer)
 139           (incf entry-index)))))
 140
 141 (defmethod parse-meta ((parser xdump-parser) input-name input-timestamp)
 142   (with-slots (line-parser finalizer name timestamp) parser
 143     (setf line-parser #'parse-entry
 144           finalizer (if (string= "meta" input-name)
 145                         #'meta-meta-finalizer
 146                         #'meta-finalizer)
 147           name input-name
 148           timestamp input-timestamp)))
 149
 150 (defmethod parse-table ((parser xdump-parser) input-name input-timestamp)
 151   (with-slots (line-parser finalizer name timestamp) parser
 152     (setf line-parser #'parse-entry
 153           finalizer #'table-finalizer
 154           name input-name
 155           timestamp input-timestamp)))
 156
 157 (defmethod header-parser ((parser xdump-parser) line)
 158   (multiple-value-bind (fullmatch groups)
 159       (cl-ppcre:scan-to-strings "^XDUMP meta (.*) ([0-9]+)$" line)
 160     (if fullmatch
 161         ;; meta table
 162         (let ((name (aref groups 0))
 163               (timestamp (parse-integer (aref groups 1))))
 164           (parse-meta parser name timestamp))
 165         ;; table
 166         (multiple-value-bind (fullmatch groups)
 167             (cl-ppcre:scan-to-strings "^XDUMP (.*) ([0-9]+)$" line)
 168           (declare (ignorable fullmatch))
 169           (let ((name (aref groups 0))
 170                 (timestamp (parse-integer (aref groups 1))))
 171             (parse-table parser name timestamp))))))
 172
 173 (defmethod parse-line ((parser xdump-parser) line)
 174   (with-slots (line-parser) parser
 175     (funcall line-parser parser line)))
 176
 177 (defun make-parser ()
 178   (let ((parser (make-instance 'xdump-parser)))
 179     (setf (line-parser parser) #'header-parser)
 180     parser))
 181
 182 (defun parse (stream)
 183   (let ((parser (make-parser)))
 184     (setf *current-parser* parser)
 185     (loop for line = (read-line stream nil)
 186        while line do (parse-line parser line))))
 187
 188 (defun test-parse (filename)
 189   (with-open-file (s filename)
 190     (parse s)))
 191
 192 (defun xd-test (input)
 193   (loop for m in input
 194      do (empire::handle-data *mode* m)))
 195
 196 (defun t1 ()
 197   (test-parse "xdump-meta-meta.txt"))
 198
 199 (defun t2 ()
 200   (test-parse "xdump-meta-meta.txt")
 201   (test-parse "xdump-meta-table.txt")
 202   (test-parse "xdump-table.txt")
 203   (test-parse "xdump-meta-34.txt")
 204   (test-parse "xdump-34.txt"))