Fix xdump driver
[eow] / xdump.lisp
1 (in-package :xdump)
2
3 (defvar *current-parser* nil)
4
5 (defclass table-column-meta ()
6   ((name :accessor meta-name)
7    (type :accessor meta-type)
8    (flags :accessor meta-flags)
9    (len :accessor meta-len)
10    (table :accessor meta-table)))
11
12 (defclass xdump-table ()
13   ((name :accessor table-name :initarg :name)
14    (index :accessor table-index :initarg :index)
15    (last-update :accessor table-last-update :initform 0)
16    (entry-class :accessor table-entry-class :initarg :entry-class)
17    (entries :accessor table-entries :initform (make-array 8
18                                                           :fill-pointer 8
19                                                           :adjustable t
20                                                           :initial-element nil))))
21
22 ;(defclass empire-table ()
23 ;  (()))
24
25 (defvar *meta-by-index* (make-array 50 :adjustable t :initial-element nil))
26 (defvar *table-by-index* (make-array 50 :adjustable t :initial-element nil))
27 (defvar *index-by-name* (make-hash-table :size 50 :test 'equal))
28 (defvar *meta-index* (make-array 5) "meta slot symbol by meta table column index")
29 (defvar *meta-meta* (make-array 5))
30
31 (defun get-table-entry (table-name index)
32   (let* ((table-index (gethash table-name *index-by-name*))
33          (table (aref *table-by-index* table-index)))
34     (aref (table-entries table) index)))
35
36 (defclass xdump-parser ()
37   ((line-parser :accessor line-parser :initform nil)
38    (entry-buffer :accessor entry-buffer :initform (make-array 1 :fill-pointer 0 :adjustable t))
39    (entry-index :accessor entry-index :initform 0)
40    (finalizer :accessor finalizer :initform nil)
41    (name :accessor table-name :initform nil)
42    (timestamp :accessor timestamp :initform nil)))
43
44 (defgeneric finish-table (xdump-parser number-of-records))
45 (defgeneric parse-entry (xdump-parser line))
46 (defgeneric parse-meta (xdump-parser name timestamp))
47 (defgeneric parse-table (xdump-parser name timestamp))
48 (defgeneric header-parser (xdump-parser line))
49 (defgeneric parse-line (xdump-parser line))
50
51 (defun meta-meta-finalizer (parser)
52   (with-slots (entry-buffer) parser
53                                         ; build meta-index from integer index to slot symbol
54     (loop
55        for i = 0 then (+ i 1)
56        for e across entry-buffer
57        do (let* ((slot-name (string-upcase (car e)))
58                  (slot (find-symbol slot-name :xdump)))
59             (setf (aref *meta-index* i) slot)))
60                                         ; build meta-meta table
61     (loop for entry across entry-buffer
62        for i = 0 then (+ i 1)
63        do (let ((meta-meta (make-instance 'table-column-meta)))
64             (loop for slot across *meta-index*
65                for field in entry
66                do (setf (slot-value meta-meta slot) field))
67             (setf (aref *meta-meta* i) meta-meta)))))
68
69 (defun meta-finalizer (parser)
70   (let ((meta-table (make-array 1 :fill-pointer 0 :adjustable t)))
71     (with-slots (entry-buffer name) parser
72       (loop for entry across entry-buffer
73          do (let ((meta (make-instance 'table-column-meta)))
74               (loop for slot across *meta-index*
75                  for field in entry
76                  do (setf (slot-value meta slot) field))
77               (vector-push-extend meta meta-table)))
78       (format t "~a~%~a~%~a~%" name meta-table entry-buffer)
79       (let ((table-index (if (string= "table" name)
80                              ; voodoo: the first column of the table of tables is the uid
81                              (elt (aref entry-buffer 0) 4)
82                              (gethash name *index-by-name*))))
83         (setf (aref *meta-by-index* table-index) meta-table)
84
85         ;; create xdump-table instance and entry class
86         (let* ((class-name (string-upcase (format nil "~a-table-entry" name)))
87                (package (find-package "XDUMP-DATA"))
88                (table-instance (make-instance 'xdump-table
89                                               :name name
90                                               :index table-index
91                                               :entry-class (intern class-name package)))
92                (slot-list (loop for entry across entry-buffer
93                              collect (car entry))))
94           (setf (aref *table-by-index* table-index) table-instance)
95           (format t "slot-list: ~a~%" slot-list)
96           (eval `(defclass ,(find-symbol class-name package) ()
97                    ,(mapcar #'(lambda (raw-slot-name)
98                                 (let* ((slot-name (string-upcase raw-slot-name))
99                                        (accessor-name (string-upcase (format nil "~a-~a" name slot-name))))
100                                   (list (intern slot-name package) :accessor (intern accessor-name package))))
101                             slot-list))))))))
102
103 (defun table-finalizer (parser)
104   (with-slots (entry-buffer name timestamp) parser
105     (if (string= name "table") ; special magic: prefill index-by-name
106         (loop for entry across entry-buffer do
107              (setf (gethash (second entry) *index-by-name*) (first entry))))
108     (format t "table-finalizer: ~a~%" name)
109     (let* ((table-index (gethash name *index-by-name*))
110            (meta-table (aref *meta-by-index* table-index))
111            (table (aref *table-by-index* table-index)))
112       (loop for entry across entry-buffer do
113            (let ((e (make-instance (table-entry-class table)))
114                  (index (first entry))
115                  (entries (table-entries table)))
116              ; extend array if necessary
117              (unless (> (fill-pointer entries) index)
118                (adjust-array entries (* 2 index) :fill-pointer t))
119              (setf (aref entries index) e)
120              (loop
121                 for item in entry
122                 for column across meta-table do
123                   (setf (slot-value e (find-symbol (string-upcase (meta-name column)) (find-package "XDUMP-DATA"))) item))))
124       (setf (table-last-update table) timestamp))))
125
126 (defmethod finish-table ((parser xdump-parser) number-of-records)
127   (if (not (equal number-of-records (length (entry-buffer parser))))
128       (error "Table row count mismatch"))
129   (funcall (finalizer parser) parser)
130   t) ;; finished
131
132 (defmethod parse-entry ((parser xdump-parser) line)
133   (if (char= #\/ (aref line 0))
134       (finish-table parser (parse-integer (subseq line 1)))
135       (let ((fields (mapcar #'read-from-string (cl-ppcre:split " " line))))
136         (with-slots (entry-buffer entry-index) parser
137           (vector-push-extend fields entry-buffer)
138           (incf entry-index))
139         nil)))
140
141 (defmethod parse-meta ((parser xdump-parser) input-name input-timestamp)
142   (with-slots (line-parser finalizer name timestamp) parser
143     (setf line-parser #'parse-entry
144           finalizer (if (string= "meta" input-name)
145                         #'meta-meta-finalizer
146                         #'meta-finalizer)
147           name input-name
148           timestamp input-timestamp)))
149
150 (defmethod parse-table ((parser xdump-parser) input-name input-timestamp)
151   (with-slots (line-parser finalizer name timestamp) parser
152     (setf line-parser #'parse-entry
153           finalizer #'table-finalizer
154           name input-name
155           timestamp input-timestamp)))
156
157 (defmethod header-parser ((parser xdump-parser) line)
158   (multiple-value-bind (fullmatch groups)
159       (cl-ppcre:scan-to-strings "^XDUMP meta (.*) ([0-9]+)$" line)
160     (if fullmatch
161         ;; meta table
162         (let ((name (aref groups 0))
163               (timestamp (parse-integer (aref groups 1))))
164           (parse-meta parser name timestamp))
165         ;; table
166         (multiple-value-bind (fullmatch groups)
167             (cl-ppcre:scan-to-strings "^XDUMP (.*) ([0-9]+)$" line)
168           (declare (ignorable fullmatch))
169           (let ((name (aref groups 0))
170                 (timestamp (parse-integer (aref groups 1))))
171             (parse-table parser name timestamp)))))
172   nil)
173
174 (defmethod parse-line ((parser xdump-parser) line)
175   (with-slots (line-parser) parser
176     (funcall line-parser parser line)))
177
178 (defun make-parser ()
179   (let ((parser (make-instance 'xdump-parser)))
180     (setf (line-parser parser) #'header-parser)
181     parser))
182
183 (defun parse (stream)
184   (let ((parser (make-parser)))
185     (setf *current-parser* parser)
186     (loop for line = (read-line stream nil)
187        while line do (parse-line parser line))))
188
189 (defun test-parse (filename)
190   (with-open-file (s filename)
191     (parse s)))
192
193 (defun t1 ()
194   (test-parse "xdump-meta-meta.txt"))
195
196 (defun t2 ()
197   (test-parse "xdump-meta-meta.txt")
198   (test-parse "xdump-meta-table.txt")
199   (test-parse "xdump-table.txt")
200   (test-parse "xdump-meta-34.txt")
201   (test-parse "xdump-34.txt"))