Add a game state log dumping facility that produces a (load)able sexpr-log.
[eow] / xdump.lisp
index c2f866e7e672136c1b5f6dc2a51278e6d87bb1fe..a1cf5964ca6c5f775c6cae4a7b22fe58fa1c6f74 100644 (file)
    (index :accessor table-index :initarg :index)
    (last-update :accessor table-last-update :initform 0)
    (entry-class :accessor table-entry-class :initarg :entry-class)
-   (entries :accessor table-entries :initform (make-array 8
-                                                         :fill-pointer 8
-                                                         :adjustable t
-                                                         :initial-element nil))))
-
-;(defclass empire-table ()
-;  (()))
-
-(defvar *meta-by-index* (make-array 50 :adjustable t :initial-element nil))
-(defvar *table-by-index* (make-array 50 :adjustable t :initial-element nil))
-(defvar *index-by-name* (make-hash-table :size 50 :test 'equal))
-(defvar *meta-index* (make-array 5) "meta slot symbol by meta table column index")
-(defvar *meta-meta* (make-array 5))
-
-(defun get-table-entry (table-name index)
-  (let* ((table-index (gethash table-name *index-by-name*))
-        (table (aref *table-by-index* table-index)))
-    (aref (table-entries table) index)))
+   (entries :accessor table-entries
+           :initform (make-array 8
+                                 :fill-pointer 0
+                                 :adjustable t
+                                 :initial-element nil))
+   (has-uid-p :accessor has-uid-p :initarg :has-uid-p)))
 
 (defclass xdump-parser ()
   ((line-parser :accessor line-parser :initform nil)
-   (entry-buffer :accessor entry-buffer :initform (make-array 1 :fill-pointer 0 :adjustable t))
+   (entry-buffer :accessor entry-buffer
+                :initform (make-array 1 :fill-pointer 0 :adjustable t))
    (entry-index :accessor entry-index :initform 0)
    (finalizer :accessor finalizer :initform nil)
    (name :accessor table-name :initform nil)
-   (timestamp :accessor timestamp :initform nil)))
+   (timestamp :accessor timestamp :initform nil)
+   (meta-by-index :accessor meta-by-index
+                 :initform (make-array 128
+                                       :adjustable t
+                                       :initial-element nil))
+   (table-by-index :accessor table-by-index
+                  :initform (make-array 128
+                                        :adjustable t
+                                        :initial-element nil))
+   (table-classes-package :accessor table-classes-package
+                         :initform (make-package (gensym)))
+   (index-by-name :accessor index-by-name
+                 :initform (make-hash-table :size 128 :test 'equal))
+   (meta-index :accessor meta-index :initform (make-array 5))
+   (meta-meta :accessor meta-meta :initform (make-array 5))
+   (user-log :accessor user-log :initarg :user-log)))
 
+(defgeneric get-table (xdump-parser table-name))
+(defgeneric get-table-entry (xdump-parser table-name index))
+(defgeneric sym-by-value (xdump-parser table-name value))
+(defgeneric array-p (xdump-parser column))
 (defgeneric finish-table (xdump-parser number-of-records))
 (defgeneric parse-entry (xdump-parser line))
 (defgeneric parse-meta (xdump-parser name timestamp))
 (defgeneric parse-table (xdump-parser name timestamp))
 (defgeneric header-parser (xdump-parser line))
 (defgeneric parse-line (xdump-parser line))
+(defgeneric reset-table-parser (xdump-parser))
+(defgeneric flush-log (xdump-parser))
+(defgeneric entry-from-vector (xdump-parser class meta-table entry-vector
+                                           &key array-support-p))
 
-(defun meta-meta-finalizer (parser)
-  (with-slots (entry-buffer) parser
-                                       ; build meta-index from integer index to slot symbol
+(defmethod get-table ((parser xdump-parser) table-name)
+  (with-slots (index-by-name table-by-index) parser
+    (let* ((table-index (gethash table-name index-by-name))
+          (table (aref table-by-index table-index)))
+      table)))
+
+(defmacro with-parser (parser &body body)
+  `(let ((*current-parser* ,parser))
+     ,@body))
+
+(defun table (table-name &optional (parser *current-parser*))
+  (get-table parser table-name))
+
+(defun checkpoint (&optional (parser *current-parser*))
+  (flush-log parser))
+
+(defmethod get-table-entry ((parser xdump-parser) table-name index)
+    (aref (table-entries (get-table parser table-name)) index))
+
+(defmethod sym-by-value ((parser xdump-parser) table-name value)
+  (with-slots (table-classes-package) parser
+    (let ((value-slot (find-symbol "VALUE" table-classes-package))
+         (name-slot (find-symbol "NAME" table-classes-package))
+         (meta-type-table (get-table parser table-name)))
+      (loop for entry across (table-entries meta-type-table)
+          if (= (slot-value entry value-slot) value)
+          return (slot-value entry name-slot)))))
+
+(defmethod reset-table-parser ((parser xdump-parser))
+  (with-slots (line-parser entry-buffer entry-index finalizer name timestamp)
+      parser
+    (setf line-parser #'header-parser
+         entry-buffer (make-array 1 :fill-pointer 0 :adjustable t)
+         entry-index 0
+         finalizer nil
+         name nil
+         timestamp nil)))
+
+(defun define-meta-table (entry-buffer)
+  (with-slots (meta-index meta-meta user-log) *current-parser*
+    (print `(define-meta-table ,entry-buffer) user-log)
+                                       ; build meta-index from integer index to
+                                       ; slot symbol
     (loop
        for i = 0 then (+ i 1)
        for e across entry-buffer
        do (let* ((slot-name (string-upcase (car e)))
                 (slot (find-symbol slot-name :xdump)))
-           (setf (aref *meta-index* i) slot)))
+           (setf (aref meta-index i) slot)))
                                        ; build meta-meta table
     (loop for entry across entry-buffer
        for i = 0 then (+ i 1)
-       do (let ((meta-meta (make-instance 'table-column-meta)))
-           (loop for slot across *meta-index*
+       do (let ((meta-meta-column (make-instance 'table-column-meta)))
+           (loop for slot across meta-index
               for field in entry
-              do (setf (slot-value meta-meta slot) field))
-           (setf (aref *meta-meta* i) meta-meta)))))
+              do (setf (slot-value meta-meta-column slot) field))
+           (setf (aref meta-meta i) meta-meta-column)))))
 
-(defun meta-finalizer (parser)
+(defun meta-meta-finalizer (parser)
+  (with-parser parser
+    (define-meta-table (entry-buffer parser))))
+
+(defun table-entry-defclass-form (name class-name package slot-list)
+  `(defclass ,(find-symbol class-name package) ()
+     ,(mapcar #'(lambda (raw-slot-name)
+                 (let* ((slot-name (string-upcase raw-slot-name))
+                        (accessor-name (string-upcase (format nil "~a-~a"
+                                                              name
+                                                              slot-name))))
+                   (list (intern slot-name package)
+                         :accessor (intern accessor-name package))))
+             slot-list)))
+
+(defun define-table (name entry-buffer)
   (let ((meta-table (make-array 1 :fill-pointer 0 :adjustable t)))
-    (with-slots (entry-buffer name) parser
+    (with-slots (meta-index meta-by-index index-by-name table-by-index user-log)
+       *current-parser*
+      (print `(define-table ,name ,entry-buffer) user-log)
       (loop for entry across entry-buffer
         do (let ((meta (make-instance 'table-column-meta)))
-             (loop for slot across *meta-index*
+             (loop for slot across meta-index
                 for field in entry
                 do (setf (slot-value meta slot) field))
              (vector-push-extend meta meta-table)))
-      (format t "~a~%~a~%~a~%" name meta-table entry-buffer)
       (let ((table-index (if (string= "table" name)
-                            ; voodoo: the first column of the table of tables is the uid
+                            ; voodoo: the first column of the table of tables
+                            ; is the uid
                             (elt (aref entry-buffer 0) 4)
-                            (gethash name *index-by-name*))))
-       (setf (aref *meta-by-index* table-index) meta-table)
+                            (gethash name index-by-name)))
+           (has-uid-p nil))
+       (setf (aref meta-by-index table-index) meta-table)
+
+       ;; determine if this table has a uid column
+       (if (and (string= "uid" (elt (aref entry-buffer 0) 0))
+                (eql (elt (aref entry-buffer 0) 4) table-index))
+           (setf has-uid-p t))
 
        ;; create xdump-table instance and entry class
        (let* ((class-name (string-upcase (format nil "~a-table-entry" name)))
-              (package (find-package "XDUMP-DATA"))
+              (package (table-classes-package *current-parser*))
               (table-instance (make-instance 'xdump-table
                                              :name name
                                              :index table-index
-                                             :entry-class (intern class-name package)))
+                                             :entry-class (intern class-name
+                                                                  package)
+                                             :has-uid-p has-uid-p))
               (slot-list (loop for entry across entry-buffer
                             collect (car entry))))
-         (setf (aref *table-by-index* table-index) table-instance)
-         (format t "slot-list: ~a~%" slot-list)
-         (eval `(defclass ,(find-symbol class-name package) ()
-                  ,(mapcar #'(lambda (raw-slot-name)
-                               (let* ((slot-name (string-upcase raw-slot-name))
-                                      (accessor-name (string-upcase (format nil "~a-~a" name slot-name))))
-                                 (list (intern slot-name package) :accessor (intern accessor-name package))))
-                           slot-list))))))))
+         (setf (aref table-by-index table-index) table-instance)
+         (eval (table-entry-defclass-form name class-name package
+                                          slot-list)))))))
 
-(defun table-finalizer (parser)
-  (with-slots (entry-buffer name timestamp) parser
+(defun meta-finalizer (parser)
+  (with-parser parser
+    (with-slots (name entry-buffer) parser
+      (define-table name entry-buffer))))
+
+(defmethod array-p ((parser xdump-parser) column)
+  (let ((column-len (meta-len column))
+       (column-type (sym-by-value parser "meta-type" (meta-type column))))
+    (and (> column-len 0)
+        (not (string= column-type "c")))))
+
+(defmethod entry-from-vector (parser class meta-table entry-vector
+                             &key (array-support-p t))
+  (with-slots (table-classes-package) parser
+    (let ((new-entry (make-instance class))
+         (entries entry-vector))
+      (loop
+        for column across meta-table do
+          (let ((slot (find-symbol (string-upcase (meta-name column))
+                                   table-classes-package)))
+            (if (and array-support-p (array-p parser column))
+                ;; then collect array
+                (let ((array nil))
+                  (dotimes (j (meta-len column))
+                    (push (pop entries) array))
+                  (setf (slot-value new-entry slot) array))
+                ;; else collect single entry
+                (progn
+                  (setf (slot-value new-entry slot) (pop entries))))))
+      new-entry)))
+
+(defmethod table-entry-insert-at ((table xdump-table) entry index)
+                                       ; extend array if necessary
+  (let ((entries (table-entries table)))
+    (unless (> (fill-pointer entries) index)
+      (adjust-array entries (max 1 (* 2 index))
+                   :fill-pointer index
+                   :initial-element nil))
+    (setf (aref entries index) entry)))
+
+(defun load-table (name timestamp entry-buffer)
+  (with-slots (index-by-name meta-by-index table-by-index table-classes-package
+                            user-log)
+      *current-parser*
+    (print `(load-table ,name ,timestamp ,entry-buffer) user-log)
     (if (string= name "table") ; special magic: prefill index-by-name
        (loop for entry across entry-buffer do
-            (setf (gethash (second entry) *index-by-name*) (first entry))))
-    (format t "table-finalizer: ~a~%" name)
-    (let* ((table-index (gethash name *index-by-name*))
-          (meta-table (aref *meta-by-index* table-index))
-          (table (aref *table-by-index* table-index)))
+            (setf (gethash (second entry) index-by-name) (first entry))))
+    (let* ((table-index (gethash name index-by-name))
+          (meta-table (aref meta-by-index table-index))
+          (table (aref table-by-index table-index))
+          (has-uid-p (has-uid-p table))
+          (array-support-p (not (or (string= name "table")
+                                    (string= name "meta-type")))))
       (loop for entry across entry-buffer do
-          (let ((e (make-instance (table-entry-class table)))
-                (index (first entry))
-                (entries (table-entries table)))
-            ; extend array if necessary
-            (unless (> (fill-pointer entries) index)
-              (adjust-array entries (* 2 index) :fill-pointer t))
-            (setf (aref entries index) e)
-            (loop
-               for item in entry
-               for column across meta-table do
-                 (setf (slot-value e (find-symbol (string-upcase (meta-name column)) (find-package "XDUMP-DATA"))) item))))
+          (let ((entry-instance (entry-from-vector *current-parser*
+                                                   (table-entry-class table)
+                                                   meta-table
+                                                   entry
+                                                   :array-support-p
+                                                   array-support-p)))
+            (if has-uid-p
+                (let ((index (first entry)))
+                  (table-entry-insert-at table entry-instance index))
+                (vector-push-extend entry-instance (table-entries table)))))
       (setf (table-last-update table) timestamp))))
 
+(defun table-finalizer (parser)
+  (with-parser parser
+    (with-slots (name timestamp entry-buffer) parser
+      (load-table name timestamp entry-buffer))))
+
 (defmethod finish-table ((parser xdump-parser) number-of-records)
   (if (not (equal number-of-records (length (entry-buffer parser))))
       (error "Table row count mismatch"))
   (funcall (finalizer parser) parser)
+  (reset-table-parser parser)
   t) ;; finished
 
 (defmethod parse-entry ((parser xdump-parser) line)
          timestamp input-timestamp)))
 
 (defmethod parse-table ((parser xdump-parser) input-name input-timestamp)
+  "Parse a normal table.
+
+   Args:
+     parser: The current parser
+     input-name: Name of the current table
+     input-timestamp: Timestamp of the current table"
   (with-slots (line-parser finalizer name timestamp) parser
     (setf line-parser #'parse-entry
          finalizer #'table-finalizer
            (parse-table parser name timestamp)))))
   nil)
 
+(defun make-parser (&key user-log)
+  (let ((parser (make-instance 'xdump-parser :user-log user-log)))
+    (setf (line-parser parser) #'header-parser)
+    parser))
+
 (defmethod parse-line ((parser xdump-parser) line)
   (with-slots (line-parser) parser
     (funcall line-parser parser line)))
 
-(defun make-parser ()
-  (let ((parser (make-instance 'xdump-parser)))
-    (setf (line-parser parser) #'header-parser)
-    parser))
+(defmethod parse-stream ((parser xdump-parser) stream)
+  (loop for line = (read-line stream nil)
+     while line do (parse-line parser line)))
 
-(defun parse (stream)
-  (let ((parser (make-parser)))
-    (setf *current-parser* parser)
-    (loop for line = (read-line stream nil)
-       while line do (parse-line parser line))))
-
-(defun test-parse (filename)
+(defmethod parse-file ((parser xdump-parser) filename)
   (with-open-file (s filename)
-    (parse s)))
+    (parse-stream parser s)))
 
-(defun t1 ()
-  (test-parse "xdump-meta-meta.txt"))
+(defmethod flush-log ((parser xdump-parser))
+  (finish-output (user-log parser)))
 
+(defun t1 ()
+  (let ((parser (make-parser)))
+    (setf *current-parser* parser)
+    (parse-file parser "testdata/xdump-meta-meta.txt")))
+  
 (defun t2 ()
-  (test-parse "xdump-meta-meta.txt")
-  (test-parse "xdump-meta-table.txt")
-  (test-parse "xdump-table.txt")
-  (test-parse "xdump-meta-34.txt")
-  (test-parse "xdump-34.txt"))
+  (let ((parser (make-parser)))
+    (setf *current-parser* parser)
+    (parse-file parser "testdata/xdump-meta-meta.txt")
+    (parse-file parser "testdata/xdump-meta-table.txt")
+    (parse-file parser "testdata/xdump-table.txt")
+    (parse-file parser "testdata/xdump-meta-34.txt")
+    (parse-file parser "testdata/xdump-34.txt")))