Make xdump tables attributes of the parser object, move test data to separate subdire...
[eow] / xdump.lisp
1 (in-package :xdump)
2
3 (defvar *current-parser* nil)
4
5 (defclass table-column-meta ()
6   ((name :accessor meta-name)
7    (type :accessor meta-type)
8    (flags :accessor meta-flags)
9    (len :accessor meta-len)
10    (table :accessor meta-table)))
11
12 (defclass xdump-table ()
13   ((name :accessor table-name :initarg :name)
14    (index :accessor table-index :initarg :index)
15    (last-update :accessor table-last-update :initform 0)
16    (entry-class :accessor table-entry-class :initarg :entry-class)
17    (entries :accessor table-entries
18             :initform (make-array 8
19                                   :fill-pointer 0
20                                   :adjustable t
21                                   :initial-element nil))
22    (has-uid-p :accessor has-uid-p :initarg :has-uid-p)))
23
24 (defun get-table (table-name)
25   (let* ((table-index (gethash table-name *index-by-name*))
26          (table (aref *table-by-index* table-index)))
27     table))
28
29 (defun get-table-entry (table-name index)
30     (aref (table-entries (get-table table-name)) index))
31
32 (defclass xdump-parser ()
33   ((line-parser :accessor line-parser :initform nil)
34    (entry-buffer :accessor entry-buffer
35                  :initform (make-array 1 :fill-pointer 0 :adjustable t))
36    (entry-index :accessor entry-index :initform 0)
37    (finalizer :accessor finalizer :initform nil)
38    (name :accessor table-name :initform nil)
39    (timestamp :accessor timestamp :initform nil)
40    (meta-by-index :accessor meta-by-index
41                   :initform (make-array 128
42                                         :adjustable t
43                                         :initial-element nil))
44    (table-by-index :accessor table-by-index
45                    :initform (make-array 128
46                                          :adjustable t
47                                          :initial-element nil))
48    (index-by-name :accessor index-by-name
49                   :initform (make-hash-table :size 128 :test 'equal))
50    (meta-index :accessor meta-index :initform (make-array 5))
51    (meta-meta :accessor meta-meta :initform (make-array 5))))
52
53 (defgeneric finish-table (xdump-parser number-of-records))
54 (defgeneric parse-entry (xdump-parser line))
55 (defgeneric parse-meta (xdump-parser name timestamp))
56 (defgeneric parse-table (xdump-parser name timestamp))
57 (defgeneric header-parser (xdump-parser line))
58 (defgeneric parse-line (xdump-parser line))
59 (defgeneric reset-table-parser (xdump-parser))
60
61 (defmethod reset-table-parser ((parser xdump-parser))
62   (with-slots (line-parser entry-buffer entry-index finalizer name timestamp)
63       parser
64     (setf line-parser #'header-parser
65           entry-buffer (make-array 1 :fill-pointer 0 :adjustable t)
66           entry-index 0
67           finalizer nil
68           name nil
69           timestamp nil)))
70
71 (defun meta-meta-finalizer (parser)
72   (with-slots (entry-buffer meta-index meta-meta) parser
73                                         ; build meta-index from integer index to
74                                         ; slot symbol
75     (loop
76        for i = 0 then (+ i 1)
77        for e across entry-buffer
78        do (let* ((slot-name (string-upcase (car e)))
79                  (slot (find-symbol slot-name :xdump)))
80             (setf (aref meta-index i) slot)))
81                                         ; build meta-meta table
82     (loop for entry across entry-buffer
83        for i = 0 then (+ i 1)
84        do (let ((meta-meta-column (make-instance 'table-column-meta)))
85             (loop for slot across meta-index
86                for field in entry
87                do (setf (slot-value meta-meta-column slot) field))
88             (setf (aref meta-meta i) meta-meta-column)))))
89
90 (defun table-entry-defclass-form (name class-name package slot-list)
91   `(defclass ,(find-symbol class-name package) ()
92      ,(mapcar #'(lambda (raw-slot-name)
93                   (let* ((slot-name (string-upcase raw-slot-name))
94                          (accessor-name (string-upcase (format nil "~a-~a"
95                                                                name
96                                                                slot-name))))
97                     (list (intern slot-name package)
98                           :accessor (intern accessor-name package))))
99               slot-list)))
100
101 (defun meta-finalizer (parser)
102   (let ((meta-table (make-array 1 :fill-pointer 0 :adjustable t)))
103     (with-slots (entry-buffer name meta-index meta-by-index index-by-name
104                               table-by-index)
105         parser
106       (loop for entry across entry-buffer
107          do (let ((meta (make-instance 'table-column-meta)))
108               (loop for slot across meta-index
109                  for field in entry
110                  do (setf (slot-value meta slot) field))
111               (vector-push-extend meta meta-table)))
112       (format t "~a~%~a~%~a~%" name meta-table entry-buffer)
113       (let ((table-index (if (string= "table" name)
114                              ; voodoo: the first column of the table of tables
115                              ; is the uid
116                              (elt (aref entry-buffer 0) 4)
117                              (gethash name index-by-name)))
118             (has-uid-p nil))
119         (setf (aref meta-by-index table-index) meta-table)
120
121         ;; determine if this table has a uid column
122         (if (and (string= "uid" (elt (aref entry-buffer 0) 0))
123                  (eql (elt (aref entry-buffer 0) 4) table-index))
124             (setf has-uid-p t))
125
126         ;; create xdump-table instance and entry class
127         (let* ((class-name (string-upcase (format nil "~a-table-entry" name)))
128                (package (find-package "XDUMP-DATA"))
129                (table-instance (make-instance 'xdump-table
130                                               :name name
131                                               :index table-index
132                                               :entry-class (intern class-name
133                                                                    package)
134                                               :has-uid-p has-uid-p))
135                (slot-list (loop for entry across entry-buffer
136                              collect (car entry))))
137           (setf (aref table-by-index table-index) table-instance)
138           (format t "slot-list: ~a~%" slot-list)
139           (eval (table-entry-defclass-form name class-name package
140                                            slot-list)))))))
141
142 (defun entry-from-vector (class meta-table entry-vector)
143   (let ((new-entry (make-instance class)))
144     (loop
145        for item in entry-vector
146        for column across meta-table do
147          (let ((slot (find-symbol (string-upcase (meta-name column))
148                                   (find-package "XDUMP-DATA"))))
149            (setf (slot-value new-entry slot) item)))
150     new-entry))
151
152 (defmethod table-entry-insert-at ((table xdump-table) entry index)
153                                         ; extend array if necessary
154   (let ((entries (table-entries table)))
155     (unless (> (fill-pointer entries) index)
156       (adjust-array entries (max 1 (* 2 index))
157                     :fill-pointer index
158                     :initial-element nil))
159     (setf (aref entries index) entry)))
160
161 (defun table-finalizer (parser)
162   (with-slots (entry-buffer name timestamp index-by-name meta-by-index
163                             table-by-index) parser
164     (if (string= name "table") ; special magic: prefill index-by-name
165         (loop for entry across entry-buffer do
166              (setf (gethash (second entry) index-by-name) (first entry))))
167     (format t "table-finalizer: ~a~%" name)
168     (let* ((table-index (gethash name index-by-name))
169            (meta-table (aref meta-by-index table-index))
170            (table (aref table-by-index table-index))
171            (has-uid-p (has-uid-p table)))
172       (loop for entry across entry-buffer do
173            (let ((entry-instance (entry-from-vector (table-entry-class table)
174                                                     meta-table
175                                                     entry)))
176              (if has-uid-p
177                  (let ((index (first entry)))
178                    (table-entry-insert-at table entry-instance index))
179                  (vector-push-extend entry-instance (table-entries table)))))
180       (setf (table-last-update table) timestamp))))
181
182 (defmethod finish-table ((parser xdump-parser) number-of-records)
183   (if (not (equal number-of-records (length (entry-buffer parser))))
184       (error "Table row count mismatch"))
185   (funcall (finalizer parser) parser)
186   (reset-table-parser parser)
187   t) ;; finished
188
189 (defmethod parse-entry ((parser xdump-parser) line)
190   (if (char= #\/ (aref line 0))
191       (finish-table parser (parse-integer (subseq line 1)))
192       (let ((fields (mapcar #'read-from-string (cl-ppcre:split " " line))))
193         (with-slots (entry-buffer entry-index) parser
194           (vector-push-extend fields entry-buffer)
195           (incf entry-index))
196         nil)))
197
198 (defmethod parse-meta ((parser xdump-parser) input-name input-timestamp)
199   (with-slots (line-parser finalizer name timestamp) parser
200     (setf line-parser #'parse-entry
201           finalizer (if (string= "meta" input-name)
202                         #'meta-meta-finalizer
203                         #'meta-finalizer)
204           name input-name
205           timestamp input-timestamp)))
206
207 (defmethod parse-table ((parser xdump-parser) input-name input-timestamp)
208   "Parse a normal table.
209
210    Args:
211      parser: The current parser
212      input-name: Name of the current table
213      input-timestamp: Timestamp of the current table"
214   (with-slots (line-parser finalizer name timestamp) parser
215     (setf line-parser #'parse-entry
216           finalizer #'table-finalizer
217           name input-name
218           timestamp input-timestamp)))
219
220 (defmethod header-parser ((parser xdump-parser) line)
221   (multiple-value-bind (fullmatch groups)
222       (cl-ppcre:scan-to-strings "^XDUMP meta (.*) ([0-9]+)$" line)
223     (if fullmatch
224         ;; meta table
225         (let ((name (aref groups 0))
226               (timestamp (parse-integer (aref groups 1))))
227           (parse-meta parser name timestamp))
228         ;; table
229         (multiple-value-bind (fullmatch groups)
230             (cl-ppcre:scan-to-strings "^XDUMP (.*) ([0-9]+)$" line)
231           (declare (ignorable fullmatch))
232           (let ((name (aref groups 0))
233                 (timestamp (parse-integer (aref groups 1))))
234             (parse-table parser name timestamp)))))
235   nil)
236
237 (defun make-parser ()
238   (let ((parser (make-instance 'xdump-parser)))
239     (setf (line-parser parser) #'header-parser)
240     parser))
241
242 (defmethod parse-line ((parser xdump-parser) line)
243   (with-slots (line-parser) parser
244     (funcall line-parser parser line)))
245
246 (defmethod parse-stream ((parser xdump-parser) stream)
247   (loop for line = (read-line stream nil)
248      while line do (parse-line parser line)))
249
250 (defmethod parse-file ((parser xdump-parser) filename)
251   (with-open-file (s filename)
252     (parse-stream parser s)))
253
254 (defun t1 ()
255   (let ((parser (make-parser)))
256     (setf *current-parser* parser)
257     (parse-file parser "testdata/xdump-meta-meta.txt")))
258   
259 (defun t2 ()
260   (let ((parser (make-parser)))
261     (setf *current-parser* parser)
262     (parse-file parser "testdata/xdump-meta-meta.txt")
263     (parse-file parser "testdata/xdump-meta-table.txt")
264     (parse-file parser "testdata/xdump-table.txt")
265     (parse-file parser "testdata/xdump-meta-34.txt")
266     (parse-file parser "testdata/xdump-34.txt")))