First working complete xdump parser
[eow] / xdump-test.lisp
index 3a7846f8fd16109457d8178bbeac6dc5d5f456b5..928748c7422a51fbfab77377e6f03171d0425546 100644 (file)
@@ -4,22 +4,44 @@
 
 (defvar *current-parser* nil)
 
-(defclass meta-table ()
+(defclass table-column-meta ()
   ((name :accessor meta-name)
    (type :accessor meta-type)
    (flags :accessor meta-flags)
    (len :accessor meta-len)
    (table :accessor meta-table)))
 
-(defvar *meta-by-index* (make-array 30 :fill-pointer 0 :adjustable t))
-(defvar *meta-index* (make-array 5))
+(defclass xdump-table ()
+  ((name :accessor table-name :initarg :name)
+   (index :accessor table-index :initarg :index)
+   (last-update :accessor table-last-update :initform 0)
+   (entry-class :accessor table-entry-class :initarg :entry-class)
+   (entries :accessor table-entries :initform (make-array 8
+                                                         :fill-pointer 8
+                                                         :adjustable t
+                                                         :initial-element nil))))
+
+;(defclass empire-table ()
+;  (()))
+
+(defvar *meta-by-index* (make-array 50 :adjustable t :initial-element nil))
+(defvar *table-by-index* (make-array 50 :adjustable t :initial-element nil))
+(defvar *index-by-name* (make-hash-table :size 50 :test 'equal))
+(defvar *meta-index* (make-array 5) "meta slot symbol by meta table column index")
 (defvar *meta-meta* (make-array 5))
 
+(defun get-table-entry (table-name index)
+  (let* ((table-index (gethash table-name *index-by-name*))
+        (table (aref *table-by-index* table-index)))
+    (aref (table-entries table) index)))
+
 (defclass xdump-parser ()
   ((line-parser :accessor line-parser :initform nil)
    (entry-buffer :accessor entry-buffer :initform (make-array 1 :fill-pointer 0 :adjustable t))
    (entry-index :accessor entry-index :initform 0)
-   (finalizer :accessor finalizer :initform nil)))
+   (finalizer :accessor finalizer :initform nil)
+   (name :accessor table-name :initform nil)
+   (timestamp :accessor timestamp :initform nil)))
 
 (defgeneric finish-table (xdump-parser number-of-records))
 (defgeneric parse-entry (xdump-parser line))
 (defgeneric header-parser (xdump-parser line))
 (defgeneric parse-line (xdump-parser line))
 
-(defun meta-meta-finalizer (entry-buffer index)
-  (declare (ignorable index))
-  (loop
-     for i = 0 then (+ i 1)
-     for e across entry-buffer
-     do (let* ((slot-name (string-upcase (car e)))
-              (slot (find-symbol slot-name :xdump)))
-         (setf (aref *meta-index* i) slot)))
-  (loop for entry across entry-buffer
-     for i = 0 then (+ i 1)
-     do   (let ((meta-meta (make-instance 'meta-table)))
+(defun meta-meta-finalizer (parser)
+  (with-slots (entry-buffer) parser
+                                       ; build meta-index from integer index to slot symbol
+    (loop
+       for i = 0 then (+ i 1)
+       for e across entry-buffer
+       do (let* ((slot-name (string-upcase (car e)))
+                (slot (find-symbol slot-name :xdump)))
+           (setf (aref *meta-index* i) slot)))
+                                       ; build meta-meta table
+    (loop for entry across entry-buffer
+       for i = 0 then (+ i 1)
+       do (let ((meta-meta (make-instance 'table-column-meta)))
            (loop for slot across *meta-index*
               for field in entry
               do (setf (slot-value meta-meta slot) field))
-           (setf (aref *meta-meta* i) meta-meta))))
-
-(defun meta-finalizer (entry-buffer index)
-  t)
+           (setf (aref *meta-meta* i) meta-meta)))))
+
+(defun meta-finalizer (parser)
+  (let ((meta-table (make-array 1 :fill-pointer 0 :adjustable t)))
+    (with-slots (entry-buffer name) parser
+      (loop for entry across entry-buffer
+        do (let ((meta (make-instance 'table-column-meta)))
+             (loop for slot across *meta-index*
+                for field in entry
+                do (setf (slot-value meta slot) field))
+             (vector-push-extend meta meta-table)))
+      (format t "~a~%~a~%~a~%" name meta-table entry-buffer)
+      (let ((table-index (if (string= "table" name)
+                            ; voodoo: the first column of the table of tables is the uid
+                            (elt (aref entry-buffer 0) 4)
+                            (gethash name *index-by-name*))))
+       (setf (aref *meta-by-index* table-index) meta-table)
+
+       ;; create xdump-table instance and entry class
+       (let* ((class-name (string-upcase (format nil "~a-table-entry" name)))
+              (package (find-package "XDUMP-DATA"))
+              (table-instance (make-instance 'xdump-table
+                                             :name name
+                                             :index table-index
+                                             :entry-class (intern class-name package)))
+              (slot-list (loop for entry across entry-buffer
+                            collect (car entry))))
+         (setf (aref *table-by-index* table-index) table-instance)
+         (format t "slot-list: ~a~%" slot-list)
+         (eval `(defclass ,(find-symbol class-name package) ()
+                  ,(mapcar #'(lambda (raw-slot-name)
+                               (let* ((slot-name (string-upcase raw-slot-name))
+                                      (accessor-name (string-upcase (format nil "~a-~a" name slot-name))))
+                                 (list (intern slot-name package) :accessor (intern accessor-name package))))
+                           slot-list))))))))
+
+(defun table-finalizer (parser)
+  (with-slots (entry-buffer name timestamp) parser
+    (if (string= name "table") ; special magic: prefill index-by-name
+       (loop for entry across entry-buffer do
+            (setf (gethash (second entry) *index-by-name*) (first entry))))
+    (format t "table-finalizer: ~a~%" name)
+    (let* ((table-index (gethash name *index-by-name*))
+          (meta-table (aref *meta-by-index* table-index))
+          (table (aref *table-by-index* table-index)))
+      (loop for entry across entry-buffer do
+          (let ((e (make-instance (table-entry-class table)))
+                (index (first entry))
+                (entries (table-entries table)))
+            ; extend array if necessary
+            (unless (> (fill-pointer entries) index)
+              (adjust-array entries (* 2 index) :fill-pointer t))
+            (setf (aref entries index) e)
+            (loop
+               for item in entry
+               for column across meta-table do
+                 (setf (slot-value e (find-symbol (string-upcase (meta-name column)) (find-package "XDUMP-DATA"))) item))))
+      (setf (table-last-update table) timestamp))))
 
 (defmethod finish-table ((parser xdump-parser) number-of-records)
   (if (not (equal number-of-records (length (entry-buffer parser))))
       (error "Table row count mismatch"))
-  (with-slots (finalizer entry-buffer entry-index) parser
-    (funcall finalizer entry-buffer entry-index)))
+  (funcall (finalizer parser) parser))
 
 (defmethod parse-entry ((parser xdump-parser) line)
   (if (char= #\/ (aref line 0))
          (vector-push-extend fields entry-buffer)
          (incf entry-index)))))
 
-(defmethod parse-meta ((parser xdump-parser) name timestamp)
-  (with-slots (line-parser finalizer) parser
+(defmethod parse-meta ((parser xdump-parser) input-name input-timestamp)
+  (with-slots (line-parser finalizer name timestamp) parser
     (setf line-parser #'parse-entry
-         finalizer (if (string= "meta" name)
+         finalizer (if (string= "meta" input-name)
                        #'meta-meta-finalizer
-                       #'meta-finalizer))))
+                       #'meta-finalizer)
+         name input-name
+         timestamp input-timestamp)))
 
-(defmethod parse-table ((parser xdump-parser) name timestamp)
-  (setf (line-parser parser) #'parse-entry))
+(defmethod parse-table ((parser xdump-parser) input-name input-timestamp)
+  (with-slots (line-parser finalizer name timestamp) parser
+    (setf line-parser #'parse-entry
+         finalizer #'table-finalizer
+         name input-name
+         timestamp input-timestamp)))
 
 (defmethod header-parser ((parser xdump-parser) line)
   (multiple-value-bind (fullmatch groups)
 
 (defun t1 ()
   (test-parse "xdump-meta-meta.txt"))
+
+(defun t2 ()
+  (test-parse "xdump-meta-meta.txt")
+  (test-parse "xdump-meta-table.txt")
+  (test-parse "xdump-table.txt")
+  (test-parse "xdump-meta-34.txt")
+  (test-parse "xdump-34.txt"))