Adapt getters to parser local dump location. Implement sym-by-value.
[eow] / xdump.lisp
1 (in-package :xdump)
2
3 (defvar *current-parser* nil)
4
5 (defclass table-column-meta ()
6   ((name :accessor meta-name)
7    (type :accessor meta-type)
8    (flags :accessor meta-flags)
9    (len :accessor meta-len)
10    (table :accessor meta-table)))
11
12 (defclass xdump-table ()
13   ((name :accessor table-name :initarg :name)
14    (index :accessor table-index :initarg :index)
15    (last-update :accessor table-last-update :initform 0)
16    (entry-class :accessor table-entry-class :initarg :entry-class)
17    (entries :accessor table-entries
18             :initform (make-array 8
19                                   :fill-pointer 0
20                                   :adjustable t
21                                   :initial-element nil))
22    (has-uid-p :accessor has-uid-p :initarg :has-uid-p)))
23
24 (defclass xdump-parser ()
25   ((line-parser :accessor line-parser :initform nil)
26    (entry-buffer :accessor entry-buffer
27                  :initform (make-array 1 :fill-pointer 0 :adjustable t))
28    (entry-index :accessor entry-index :initform 0)
29    (finalizer :accessor finalizer :initform nil)
30    (name :accessor table-name :initform nil)
31    (timestamp :accessor timestamp :initform nil)
32    (meta-by-index :accessor meta-by-index
33                   :initform (make-array 128
34                                         :adjustable t
35                                         :initial-element nil))
36    (table-by-index :accessor table-by-index
37                    :initform (make-array 128
38                                          :adjustable t
39                                          :initial-element nil))
40    (table-classes-package :accessor table-classes-package
41                           :initform (make-package (gensym)))
42    (index-by-name :accessor index-by-name
43                   :initform (make-hash-table :size 128 :test 'equal))
44    (meta-index :accessor meta-index :initform (make-array 5))
45    (meta-meta :accessor meta-meta :initform (make-array 5))))
46
47 (defgeneric get-table (xdump-parser table-name))
48 (defgeneric get-table-entry (xdump-parser table-name index))
49 (defgeneric sym-by-value (xdump-parser table-name value))
50 (defgeneric finish-table (xdump-parser number-of-records))
51 (defgeneric parse-entry (xdump-parser line))
52 (defgeneric parse-meta (xdump-parser name timestamp))
53 (defgeneric parse-table (xdump-parser name timestamp))
54 (defgeneric header-parser (xdump-parser line))
55 (defgeneric parse-line (xdump-parser line))
56 (defgeneric reset-table-parser (xdump-parser))
57
58 (defmethod get-table ((parser xdump-parser) table-name)
59   (with-slots (index-by-name table-by-index) parser
60     (let* ((table-index (gethash table-name index-by-name))
61            (table (aref table-by-index table-index)))
62       table)))
63
64 (defmethod get-table-entry ((parser xdump-parser) table-name index)
65     (aref (table-entries (get-table table-name)) index))
66
67 (defmethod sym-by-value ((parser xdump-parser) table-name value)
68   (with-slots (table-classes-package) parser
69     (let ((value-slot (find-symbol "VALUE" table-classes-package))
70           (name-slot (find-symbol "NAME" table-classes-package))
71           (meta-type-table (get-table parser table-name)))
72       (loop for entry across (table-entries meta-type-table)
73            if (= (slot-value entry value-slot) value)
74            return (slot-value entry name-slot)))))
75
76 (defmethod reset-table-parser ((parser xdump-parser))
77   (with-slots (line-parser entry-buffer entry-index finalizer name timestamp)
78       parser
79     (setf line-parser #'header-parser
80           entry-buffer (make-array 1 :fill-pointer 0 :adjustable t)
81           entry-index 0
82           finalizer nil
83           name nil
84           timestamp nil)))
85
86 (defun meta-meta-finalizer (parser)
87   (with-slots (entry-buffer meta-index meta-meta) parser
88                                         ; build meta-index from integer index to
89                                         ; slot symbol
90     (loop
91        for i = 0 then (+ i 1)
92        for e across entry-buffer
93        do (let* ((slot-name (string-upcase (car e)))
94                  (slot (find-symbol slot-name :xdump)))
95             (setf (aref meta-index i) slot)))
96                                         ; build meta-meta table
97     (loop for entry across entry-buffer
98        for i = 0 then (+ i 1)
99        do (let ((meta-meta-column (make-instance 'table-column-meta)))
100             (loop for slot across meta-index
101                for field in entry
102                do (setf (slot-value meta-meta-column slot) field))
103             (setf (aref meta-meta i) meta-meta-column)))))
104
105 (defun table-entry-defclass-form (name class-name package slot-list)
106   `(defclass ,(find-symbol class-name package) ()
107      ,(mapcar #'(lambda (raw-slot-name)
108                   (let* ((slot-name (string-upcase raw-slot-name))
109                          (accessor-name (string-upcase (format nil "~a-~a"
110                                                                name
111                                                                slot-name))))
112                     (list (intern slot-name package)
113                           :accessor (intern accessor-name package))))
114               slot-list)))
115
116 (defun meta-finalizer (parser)
117   (let ((meta-table (make-array 1 :fill-pointer 0 :adjustable t)))
118     (with-slots (entry-buffer name meta-index meta-by-index index-by-name
119                               table-by-index)
120         parser
121       (loop for entry across entry-buffer
122          do (let ((meta (make-instance 'table-column-meta)))
123               (loop for slot across meta-index
124                  for field in entry
125                  do (setf (slot-value meta slot) field))
126               (vector-push-extend meta meta-table)))
127       (format t "~a~%~a~%~a~%" name meta-table entry-buffer)
128       (let ((table-index (if (string= "table" name)
129                              ; voodoo: the first column of the table of tables
130                              ; is the uid
131                              (elt (aref entry-buffer 0) 4)
132                              (gethash name index-by-name)))
133             (has-uid-p nil))
134         (setf (aref meta-by-index table-index) meta-table)
135
136         ;; determine if this table has a uid column
137         (if (and (string= "uid" (elt (aref entry-buffer 0) 0))
138                  (eql (elt (aref entry-buffer 0) 4) table-index))
139             (setf has-uid-p t))
140
141         ;; create xdump-table instance and entry class
142         (let* ((class-name (string-upcase (format nil "~a-table-entry" name)))
143                (package (table-classes-package parser))
144                (table-instance (make-instance 'xdump-table
145                                               :name name
146                                               :index table-index
147                                               :entry-class (intern class-name
148                                                                    package)
149                                               :has-uid-p has-uid-p))
150                (slot-list (loop for entry across entry-buffer
151                              collect (car entry))))
152           (setf (aref table-by-index table-index) table-instance)
153           (format t "slot-list: ~a~%" slot-list)
154           (eval (table-entry-defclass-form name class-name package
155                                            slot-list)))))))
156
157 (defun entry-from-vector (class meta-table entry-vector table-classes-package)
158   (let ((new-entry (make-instance class))
159         (i 0))
160     (loop
161        for column across meta-table do
162          (let ((slot (find-symbol (string-upcase (meta-name column))
163                                   table-classes-package)))
164            (setf (slot-value new-entry slot) (nth i entry-vector))
165            (incf i)))
166     new-entry))
167
168 (defmethod table-entry-insert-at ((table xdump-table) entry index)
169                                         ; extend array if necessary
170   (let ((entries (table-entries table)))
171     (unless (> (fill-pointer entries) index)
172       (adjust-array entries (max 1 (* 2 index))
173                     :fill-pointer index
174                     :initial-element nil))
175     (setf (aref entries index) entry)))
176
177 (defun table-finalizer (parser)
178   (with-slots (entry-buffer name timestamp index-by-name meta-by-index
179                             table-by-index table-classes-package) parser
180     (if (string= name "table") ; special magic: prefill index-by-name
181         (loop for entry across entry-buffer do
182              (setf (gethash (second entry) index-by-name) (first entry))))
183     (format t "table-finalizer: ~a~%" name)
184     (let* ((table-index (gethash name index-by-name))
185            (meta-table (aref meta-by-index table-index))
186            (table (aref table-by-index table-index))
187            (has-uid-p (has-uid-p table)))
188       (loop for entry across entry-buffer do
189            (let ((entry-instance (entry-from-vector (table-entry-class table)
190                                                     meta-table
191                                                     entry
192                                                     table-classes-package)))
193              (if has-uid-p
194                  (let ((index (first entry)))
195                    (table-entry-insert-at table entry-instance index))
196                  (vector-push-extend entry-instance (table-entries table)))))
197       (setf (table-last-update table) timestamp))))
198
199 (defmethod finish-table ((parser xdump-parser) number-of-records)
200   (if (not (equal number-of-records (length (entry-buffer parser))))
201       (error "Table row count mismatch"))
202   (funcall (finalizer parser) parser)
203   (reset-table-parser parser)
204   t) ;; finished
205
206 (defmethod parse-entry ((parser xdump-parser) line)
207   (if (char= #\/ (aref line 0))
208       (finish-table parser (parse-integer (subseq line 1)))
209       (let ((fields (mapcar #'read-from-string (cl-ppcre:split " " line))))
210         (with-slots (entry-buffer entry-index) parser
211           (vector-push-extend fields entry-buffer)
212           (incf entry-index))
213         nil)))
214
215 (defmethod parse-meta ((parser xdump-parser) input-name input-timestamp)
216   (with-slots (line-parser finalizer name timestamp) parser
217     (setf line-parser #'parse-entry
218           finalizer (if (string= "meta" input-name)
219                         #'meta-meta-finalizer
220                         #'meta-finalizer)
221           name input-name
222           timestamp input-timestamp)))
223
224 (defmethod parse-table ((parser xdump-parser) input-name input-timestamp)
225   "Parse a normal table.
226
227    Args:
228      parser: The current parser
229      input-name: Name of the current table
230      input-timestamp: Timestamp of the current table"
231   (with-slots (line-parser finalizer name timestamp) parser
232     (setf line-parser #'parse-entry
233           finalizer #'table-finalizer
234           name input-name
235           timestamp input-timestamp)))
236
237 (defmethod header-parser ((parser xdump-parser) line)
238   (multiple-value-bind (fullmatch groups)
239       (cl-ppcre:scan-to-strings "^XDUMP meta (.*) ([0-9]+)$" line)
240     (if fullmatch
241         ;; meta table
242         (let ((name (aref groups 0))
243               (timestamp (parse-integer (aref groups 1))))
244           (parse-meta parser name timestamp))
245         ;; table
246         (multiple-value-bind (fullmatch groups)
247             (cl-ppcre:scan-to-strings "^XDUMP (.*) ([0-9]+)$" line)
248           (declare (ignorable fullmatch))
249           (let ((name (aref groups 0))
250                 (timestamp (parse-integer (aref groups 1))))
251             (parse-table parser name timestamp)))))
252   nil)
253
254 (defun make-parser ()
255   (let ((parser (make-instance 'xdump-parser)))
256     (setf (line-parser parser) #'header-parser)
257     parser))
258
259 (defmethod parse-line ((parser xdump-parser) line)
260   (with-slots (line-parser) parser
261     (funcall line-parser parser line)))
262
263 (defmethod parse-stream ((parser xdump-parser) stream)
264   (loop for line = (read-line stream nil)
265      while line do (parse-line parser line)))
266
267 (defmethod parse-file ((parser xdump-parser) filename)
268   (with-open-file (s filename)
269     (parse-stream parser s)))
270
271 (defun t1 ()
272   (let ((parser (make-parser)))
273     (setf *current-parser* parser)
274     (parse-file parser "testdata/xdump-meta-meta.txt")))
275   
276 (defun t2 ()
277   (let ((parser (make-parser)))
278     (setf *current-parser* parser)
279     (parse-file parser "testdata/xdump-meta-meta.txt")
280     (parse-file parser "testdata/xdump-meta-table.txt")
281     (parse-file parser "testdata/xdump-table.txt")
282     (parse-file parser "testdata/xdump-meta-34.txt")
283     (parse-file parser "testdata/xdump-34.txt")))