Merge branch release-4-6
[alexxy/gromacs.git] / src / gromacs / selection / parsetree.cpp
1 /*
2  * This file is part of the GROMACS molecular simulation package.
3  *
4  * Copyright (c) 2009,2010,2011,2012,2013, by the GROMACS development team, led by
5  * David van der Spoel, Berk Hess, Erik Lindahl, and including many
6  * others, as listed in the AUTHORS file in the top-level source
7  * directory and at http://www.gromacs.org.
8  *
9  * GROMACS is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public License
11  * as published by the Free Software Foundation; either version 2.1
12  * of the License, or (at your option) any later version.
13  *
14  * GROMACS is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with GROMACS; if not, see
21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
23  *
24  * If you want to redistribute modifications to GROMACS, please
25  * consider that scientific software is very special. Version
26  * control is crucial - bugs must be traceable. We will be happy to
27  * consider code for inclusion in the official distribution, but
28  * derived work must not be called official GROMACS. Details are found
29  * in the README & COPYING files - if they are missing, get the
30  * official version at http://www.gromacs.org.
31  *
32  * To help us fund GROMACS development, we humbly ask that you cite
33  * the research papers on the package. Check out http://www.gromacs.org.
34  */
35 /*! \internal \file
36  * \brief
37  * Implements functions in parsetree.h.
38  *
39  * \author Teemu Murtola <teemu.murtola@gmail.com>
40  * \ingroup module_selection
41  */
42 /*! \internal
43  * \page page_module_selection_parser Selection parsing
44  *
45  * The selection parser is implemented in the following files:
46  *  - scanner.l:
47  *    Tokenizer implemented using Flex, splits the input into tokens
48  *    (scanner.c and scanner_flex.h are generated from this file).
49  *  - scanner.h, scanner_internal.h, scanner_internal.cpp:
50  *    Helper functions for scanner.l and for interfacing between
51  *    scanner.l and parser.y. Functions in scanner_internal.h are only
52  *    used from scanner.l, while scanner.h is used from the parser.
53  *  - symrec.h, symrec.cpp:
54  *    Functions used by the tokenizer to handle the symbol table, i.e.,
55  *    the recognized keywords. Some basic keywords are hardcoded into
56  *    scanner.l, but all method and variable references go through the
57  *    symbol table, as do position evaluation keywords.
58  *  - parser.y:
59  *    Semantic rules for parsing the grammar
60  *    (parser.cpp and parser.h are generated from this file by Bison).
61  *  - parsetree.h, parsetree.cpp:
62  *    Functions called from actions in parser.y to construct the
63  *    evaluation elements corresponding to different grammar elements.
64  *  - params.c:
65  *    Defines a function that processes the parameters of selection
66  *    methods and initializes the children of the method element.
67  *  - selectioncollection.h, selectioncollection.cpp:
68  *    These files define the high-level public interface to the parser
69  *    through SelectionCollection::parseFromStdin(),
70  *    SelectionCollection::parseFromFile() and
71  *    SelectionCollection::parseFromString().
72  *
73  * The basic control flow in the parser is as follows: when a parser function
74  * in SelectionCollection gets called, it performs some
75  * initialization, and then calls the _gmx_sel_yyparse() function generated
76  * by Bison. This function then calls _gmx_sel_yylex() to repeatedly read
77  * tokens from the input (more complex tasks related to token recognition
78  * and bookkeeping are done by functions in scanner_internal.cpp) and uses the
79  * grammar rules to decide what to do with them. Whenever a grammar rule
80  * matches, a corresponding function in parsetree.cpp is called to construct
81  * either a temporary representation for the object or a
82  * gmx::SelectionTreeElement object
83  * (some simple rules are handled internally in parser.y).
84  * When a complete selection has been parsed, the functions in parsetree.cpp
85  * also take care of updating the ::gmx_ana_selcollection_t structure
86  * appropriately.
87  *
88  * The rest of this page describes the resulting gmx::SelectionTreeElement
89  * object tree.
90  * Before the selections can be evaluated, this tree needs to be passed to
91  * the selection compiler, which is described on a separate page:
92  * \ref page_module_selection_compiler
93  *
94  *
95  * \section selparser_tree Element tree constructed by the parser
96  *
97  * The parser initializes the following fields in all selection elements:
98  * gmx::SelectionTreeElement::name, gmx::SelectionTreeElement::type,
99  * gmx::SelectionTreeElement::v\c .type,
100  * gmx::SelectionTreeElement::flags, gmx::SelectionTreeElement::child, and
101  * gmx::SelectionTreeElement::next.
102  * Some other fields are also initialized for particular element types as
103  * discussed below.
104  * Fields that are not initialized are set to zero, NULL, or other similar
105  * value.
106  *
107  *
108  * \subsection selparser_tree_root Root elements
109  *
110  * The parser creates a \ref SEL_ROOT selection element for each variable
111  * assignment and each selection. However, there are two exceptions that do
112  * not result in a \ref SEL_ROOT element (in these cases, only the symbol
113  * table is modified):
114  *  - Variable assignments that assign a variable to another variable.
115  *  - Variable assignments that assign a non-group constant.
116  *  .
117  * The \ref SEL_ROOT elements are linked together in a chain in the same order
118  * as in the input.
119  *
120  * The children of the \ref SEL_ROOT elements can be used to distinguish
121  * the two types of root elements from each other:
122  *  - For variable assignments, the first and only child is always
123  *    a \ref SEL_SUBEXPR element.
124  *  - For selections, the first child is a \ref SEL_EXPRESSION or a
125  *    \ref SEL_MODIFIER element that evaluates the final positions (if the
126  *    selection defines a constant position, the child is a \ref SEL_CONST).
127  *    The rest of the children are \ref SEL_MODIFIER elements with
128  *    \ref NO_VALUE, in the order given by the user.
129  *  .
130  * The name of the selection/variable is stored in
131  * gmx::SelectionTreeElement::cgrp\c .name.
132  * It is set to either the name provided by the user or the selection string
133  * for selections not explicitly named by the user.
134  * \ref SEL_ROOT or \ref SEL_SUBEXPR elements do not appear anywhere else.
135  *
136  *
137  * \subsection selparser_tree_const Constant elements
138  *
139  * \ref SEL_CONST elements are created for every constant that is required
140  * for later evaluation.
141  * Currently, \ref SEL_CONST elements can be present for
142  *  - selections that consist of a constant position,
143  *  - \ref GROUP_VALUE method parameters if provided using external index
144  *    groups,
145  *  .
146  * For group-valued elements, the value is stored in
147  * gmx::SelectionTreeElement::cgrp; other types of values are stored in
148  * gmx::SelectionTreeElement::v.
149  * Constants that appear as parameters for selection methods are not present
150  * in the selection tree unless they have \ref GROUP_VALUE.
151  * \ref SEL_CONST elements have no children.
152  *
153  *
154  * \subsection selparser_tree_method Method evaluation elements
155  *
156  * \ref SEL_EXPRESSION and \ref SEL_MODIFIER elements are treated very
157  * similarly. The \c gmx_ana_selmethod_t structure corresponding to the
158  * evaluation method is in gmx::SelectionTreeElement::method, and the method
159  * data in gmx::SelectionTreeElement::mdata has been allocated using
160  * sel_datafunc().
161  * If a non-standard reference position type was set,
162  * gmx::SelectionTreeElement::pc has also been created, but only the type has
163  * been set.
164  * All children of these elements are of the type \ref SEL_SUBEXPRREF, and
165  * each describes a selection that needs to be evaluated to obtain a value
166  * for one parameter of the method.
167  * No children are present for parameters that were given a constant
168  * non-\ref GROUP_VALUE value.
169  * The children are sorted in the order in which the parameters appear in the
170  * \ref gmx_ana_selmethod_t structure.
171  *
172  * In addition to actual selection keywords, \ref SEL_EXPRESSION elements
173  * are used internally to implement numerical comparisons (e.g., "x < 5")
174  * and keyword matching (e.g., "resnr 1 to 3" or "name CA").
175  *
176  *
177  * \subsection selparser_tree_subexpr Subexpression elements
178  *
179  * \ref SEL_SUBEXPR elements only appear for variables, as described above.
180  * gmx::SelectionTreeElement::name points to the name of the variable (from the
181  * \ref SEL_ROOT element).
182  * The element always has exactly one child, which represents the value of
183  * the variable.
184  *
185  * \ref SEL_SUBEXPRREF elements are used for two purposes:
186  *  - Variable references that need to be evaluated (i.e., there is a
187  *    \ref SEL_SUBEXPR element for the variable) are represented using
188  *    \ref SEL_SUBEXPRREF elements.
189  *    In this case, gmx::SelectionTreeElement::param is NULL, and the first and
190  *    only child of the element is the \ref SEL_SUBEXPR element of the
191  *    variable.
192  *    Such references can appear anywhere where the variable value
193  *    (the child of the \ref SEL_SUBEXPR element) would be valid.
194  *  - Children of \ref SEL_EXPRESSION and \ref SEL_MODIFIER elements are
195  *    always of this type. For these elements, gmx::SelectionTreeElement::param
196  *    is initialized to point to the parameter that receives the value from
197  *    the expression.
198  *    Each such element has exactly one child, which can be of any type;
199  *    the \ref SEL_SUBEXPR element of a variable is used if the value comes
200  *    from a variable, otherwise the child type is not \ref SEL_SUBEXPR.
201  *
202  *
203  * \subsection selparser_tree_bool Boolean elements
204  *
205  * One \ref SEL_BOOLEAN element is created for each boolean keyword in the
206  * input, and the tree structure represents the evaluation order.
207  * The gmx::SelectionTreeElement::boolt type gives the type of the operation.
208  * Each element has exactly two children (one for \ref BOOL_NOT elements),
209  * which are in the order given in the input.
210  * The children always have \ref GROUP_VALUE, but different element types
211  * are possible.
212  *
213  *
214  * \subsection selparser_tree_arith Arithmetic elements
215  *
216  * One \ref SEL_ARITHMETIC element is created for each arithmetic operation in
217  * the input, and the tree structure represents the evaluation order.
218  * The gmx::SelectionTreeElement::optype type gives the name of the operation.
219  * Each element has exactly two children (one for unary negation elements),
220  * which are in the order given in the input.
221  */
222 #include <stdio.h>
223 #include <stdarg.h>
224
225 #include <boost/exception_ptr.hpp>
226 #include <boost/shared_ptr.hpp>
227
228 #include "gromacs/legacyheaders/futil.h"
229 #include "gromacs/legacyheaders/smalloc.h"
230 #include "gromacs/legacyheaders/string2.h"
231
232 #include "gromacs/onlinehelp/helpmanager.h"
233 #include "gromacs/onlinehelp/helpwritercontext.h"
234 #include "gromacs/selection/poscalc.h"
235 #include "gromacs/selection/selection.h"
236 #include "gromacs/selection/selmethod.h"
237 #include "gromacs/utility/exceptions.h"
238 #include "gromacs/utility/file.h"
239 #include "gromacs/utility/messagestringcollector.h"
240 #include "gromacs/utility/stringutil.h"
241
242 #include "keywords.h"
243 #include "parsetree.h"
244 #include "selectioncollection-impl.h"
245 #include "selelem.h"
246 #include "selhelp.h"
247 #include "symrec.h"
248
249 #include "scanner.h"
250
251 using gmx::SelectionParserValue;
252 using gmx::SelectionParserValueList;
253 using gmx::SelectionParserValueListPointer;
254 using gmx::SelectionParserParameter;
255 using gmx::SelectionParserParameterList;
256 using gmx::SelectionParserParameterListPointer;
257 using gmx::SelectionParserValue;
258 using gmx::SelectionTreeElement;
259 using gmx::SelectionTreeElementPointer;
260
261 void
262 _gmx_selparser_error(yyscan_t scanner, const char *fmt, ...)
263 {
264     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
265     // FIXME: Use an arbitrary length buffer.
266     char    buf[1024];
267     va_list ap;
268     va_start(ap, fmt);
269     vsprintf(buf, fmt, ap);
270     va_end(ap);
271     errors->append(buf);
272 }
273
274 bool
275 _gmx_selparser_handle_exception(yyscan_t scanner, const std::exception &ex)
276 {
277     if (dynamic_cast<const gmx::UserInputError *>(&ex) != NULL)
278     {
279         // TODO: Consider whether also the non-interactive parser should
280         // postpone the exception such that the whole selection can be added as
281         // context.
282         if (_gmx_sel_is_lexer_interactive(scanner))
283         {
284             // TODO: Handle exceptions that printing the message may produce.
285             gmx::formatExceptionMessageToFile(stderr, ex);
286             return true;
287         }
288     }
289     _gmx_sel_lexer_set_exception(scanner, boost::current_exception());
290     return false;
291 }
292
293 namespace gmx
294 {
295
296 /********************************************************************
297  * SelectionParserValue
298  */
299
300 SelectionParserValue::SelectionParserValue(e_selvalue_t type)
301     : type(type)
302 {
303     memset(&u, 0, sizeof(u));
304 }
305
306 SelectionParserValue::SelectionParserValue(
307         const SelectionTreeElementPointer &expr)
308     : type(expr->v.type), expr(expr)
309 {
310     memset(&u, 0, sizeof(u));
311 }
312
313 /********************************************************************
314  * SelectionParserParameter
315  */
316
317 SelectionParserParameter::SelectionParserParameter(
318         const char                     *name,
319         SelectionParserValueListPointer values)
320     : name_(name != NULL ? name : ""),
321       values_(values ? move(values)
322               : SelectionParserValueListPointer(new SelectionParserValueList))
323 {
324 }
325
326 } // namespace gmx
327
328 /*!
329  * \param[in,out] sel  Root of the selection element tree to initialize.
330  * \param[in]     scanner Scanner data structure.
331  * \returns       0 on success, an error code on error.
332  *
333  * Propagates the \ref SEL_DYNAMIC flag from the children of \p sel to \p sel
334  * (if any child of \p sel is dynamic, \p sel is also marked as such).
335  * The \ref SEL_DYNAMIC flag is also set for \ref SEL_EXPRESSION elements with
336  * a dynamic method.
337  * Also, sets one of the \ref SEL_SINGLEVAL, \ref SEL_ATOMVAL, or
338  * \ref SEL_VARNUMVAL flags, either based on the children or on the type of
339  * the selection method.
340  * If the types of the children conflict, an error is returned.
341  *
342  * The flags of the children of \p sel are also updated if not done earlier.
343  * The flags are initialized only once for any element; if \ref SEL_FLAGSSET
344  * is set for an element, the function returns immediately, and the recursive
345  * operation does not descend beyond such elements.
346  */
347 void
348 _gmx_selelem_update_flags(const SelectionTreeElementPointer &sel,
349                           yyscan_t                           scanner)
350 {
351     bool                bUseChildType = false;
352     bool                bOnlySingleChildren;
353
354     /* Return if the flags have already been set */
355     if (sel->flags & SEL_FLAGSSET)
356     {
357         return;
358     }
359     /* Set the flags based on the current element type */
360     switch (sel->type)
361     {
362         case SEL_CONST:
363         case SEL_GROUPREF:
364             sel->flags   |= SEL_SINGLEVAL;
365             bUseChildType = false;
366             break;
367
368         case SEL_EXPRESSION:
369             if (sel->u.expr.method->flags & SMETH_DYNAMIC)
370             {
371                 sel->flags |= SEL_DYNAMIC;
372             }
373             if (sel->u.expr.method->flags & SMETH_SINGLEVAL)
374             {
375                 sel->flags |= SEL_SINGLEVAL;
376             }
377             else if (sel->u.expr.method->flags & SMETH_VARNUMVAL)
378             {
379                 sel->flags |= SEL_VARNUMVAL;
380             }
381             else
382             {
383                 sel->flags |= SEL_ATOMVAL;
384             }
385             bUseChildType = false;
386             break;
387
388         case SEL_ARITHMETIC:
389             sel->flags   |= SEL_ATOMVAL;
390             bUseChildType = false;
391             break;
392
393         case SEL_MODIFIER:
394             if (sel->v.type != NO_VALUE)
395             {
396                 sel->flags |= SEL_VARNUMVAL;
397             }
398             bUseChildType = false;
399             break;
400
401         case SEL_ROOT:
402             bUseChildType = false;
403             break;
404
405         case SEL_BOOLEAN:
406         case SEL_SUBEXPR:
407         case SEL_SUBEXPRREF:
408             bUseChildType = true;
409             break;
410     }
411     /* Loop through children to propagate their flags upwards */
412     bOnlySingleChildren = true;
413     SelectionTreeElementPointer child = sel->child;
414     while (child)
415     {
416         /* Update the child */
417         _gmx_selelem_update_flags(child, scanner);
418         /* Propagate the dynamic flag */
419         sel->flags |= (child->flags & SEL_DYNAMIC);
420         /* Propagate the type flag if necessary and check for problems */
421         if (bUseChildType)
422         {
423             if ((sel->flags & SEL_VALTYPEMASK)
424                 && !(sel->flags & child->flags & SEL_VALTYPEMASK))
425             {
426                 _gmx_selparser_error(scanner, "invalid combination of selection expressions");
427                 // FIXME: Use an exception.
428                 return;
429             }
430             sel->flags |= (child->flags & SEL_VALTYPEMASK);
431         }
432         if (!(child->flags & SEL_SINGLEVAL))
433         {
434             bOnlySingleChildren = false;
435         }
436
437         child = child->next;
438     }
439     /* For arithmetic expressions consisting only of single values,
440      * the result is also a single value. */
441     if (sel->type == SEL_ARITHMETIC && bOnlySingleChildren)
442     {
443         sel->flags = (sel->flags & ~SEL_VALTYPEMASK) | SEL_SINGLEVAL;
444     }
445     /* For root elements, the type should be propagated here, after the
446      * children have been updated. */
447     if (sel->type == SEL_ROOT)
448     {
449         GMX_ASSERT(sel->child, "Root elements should always have a child");
450         sel->flags |= (sel->child->flags & SEL_VALTYPEMASK);
451     }
452     /* Mark that the flags are set */
453     sel->flags |= SEL_FLAGSSET;
454 }
455
456 /*!
457  * \param[in,out] sel    Selection element to initialize.
458  * \param[in]     scanner Scanner data structure.
459  *
460  * A deep copy of the parameters is made to allow several
461  * expressions with the same method to coexist peacefully.
462  * Calls sel_datafunc() if one is specified for the method.
463  */
464 void
465 _gmx_selelem_init_method_params(const SelectionTreeElementPointer &sel,
466                                 yyscan_t                           scanner)
467 {
468     int                 nparams;
469     gmx_ana_selparam_t *orgparam;
470     gmx_ana_selparam_t *param;
471     int                 i;
472     void               *mdata;
473
474     nparams   = sel->u.expr.method->nparams;
475     orgparam  = sel->u.expr.method->param;
476     snew(param, nparams);
477     memcpy(param, orgparam, nparams*sizeof(gmx_ana_selparam_t));
478     for (i = 0; i < nparams; ++i)
479     {
480         param[i].flags &= ~SPAR_SET;
481         _gmx_selvalue_setstore(&param[i].val, NULL);
482         if (param[i].flags & SPAR_VARNUM)
483         {
484             param[i].val.nr = -1;
485         }
486         /* Duplicate the enum value array if it is given statically */
487         if ((param[i].flags & SPAR_ENUMVAL) && orgparam[i].val.u.ptr != NULL)
488         {
489             int n;
490
491             /* Count the values */
492             n = 1;
493             while (orgparam[i].val.u.s[n] != NULL)
494             {
495                 ++n;
496             }
497             _gmx_selvalue_reserve(&param[i].val, n+1);
498             memcpy(param[i].val.u.s, orgparam[i].val.u.s,
499                    (n+1)*sizeof(param[i].val.u.s[0]));
500         }
501     }
502     mdata = NULL;
503     if (sel->u.expr.method->init_data)
504     {
505         mdata = sel->u.expr.method->init_data(nparams, param);
506     }
507     if (sel->u.expr.method->set_poscoll)
508     {
509         gmx_ana_selcollection_t *sc = _gmx_sel_lexer_selcollection(scanner);
510
511         sel->u.expr.method->set_poscoll(&sc->pcc, mdata);
512     }
513     /* Store the values */
514     sel->u.expr.method->param = param;
515     sel->u.expr.mdata         = mdata;
516 }
517
518 /*!
519  * \param[in,out] sel    Selection element to initialize.
520  * \param[in]     method Selection method to set.
521  * \param[in]     scanner Scanner data structure.
522  *
523  * Makes a copy of \p method and stores it in \p sel->u.expr.method,
524  * and calls _gmx_selelem_init_method_params();
525  */
526 void
527 _gmx_selelem_set_method(const SelectionTreeElementPointer &sel,
528                         gmx_ana_selmethod_t               *method,
529                         yyscan_t                           scanner)
530 {
531     _gmx_selelem_set_vtype(sel, method->type);
532     sel->setName(method->name);
533     snew(sel->u.expr.method, 1);
534     memcpy(sel->u.expr.method, method, sizeof(gmx_ana_selmethod_t));
535     _gmx_selelem_init_method_params(sel, scanner);
536 }
537
538 /*! \brief
539  * Initializes the reference position calculation for a \ref SEL_EXPRESSION
540  * element.
541  *
542  * \param[in,out] pcc    Position calculation collection to use.
543  * \param[in,out] sel    Selection element to initialize.
544  * \param[in]     rpost  Reference position type to use (NULL = default).
545  * \param[in]     scanner Scanner data structure.
546  * \returns       0 on success, a non-zero error code on error.
547  */
548 static void
549 set_refpos_type(gmx::PositionCalculationCollection *pcc,
550                 const SelectionTreeElementPointer &sel,
551                 const char *rpost, yyscan_t scanner)
552 {
553     if (!rpost)
554     {
555         return;
556     }
557
558     if (sel->u.expr.method->pupdate)
559     {
560         /* By default, use whole residues/molecules. */
561         sel->u.expr.pc
562             = pcc->createCalculationFromEnum(rpost, POS_COMPLWHOLE);
563     }
564     else
565     {
566         // TODO: Should this be treated as a real error?
567         _gmx_selparser_error(scanner, "modifier '%s' is not applicable for '%s'",
568                              rpost, sel->u.expr.method->name);
569     }
570 }
571
572 /*!
573  * \param[in]  left    Selection element for the left hand side.
574  * \param[in]  right   Selection element for the right hand side.
575  * \param[in]  op      String representation of the operator.
576  * \param[in]  scanner Scanner data structure.
577  * \returns    The created selection element.
578  *
579  * This function handles the creation of a gmx::SelectionTreeElement object for
580  * arithmetic expressions.
581  */
582 SelectionTreeElementPointer
583 _gmx_sel_init_arithmetic(const SelectionTreeElementPointer &left,
584                          const SelectionTreeElementPointer &right,
585                          char op, yyscan_t scanner)
586 {
587     SelectionTreeElementPointer sel(new SelectionTreeElement(SEL_ARITHMETIC));
588     sel->v.type        = REAL_VALUE;
589     switch (op)
590     {
591         case '+': sel->u.arith.type = ARITH_PLUS; break;
592         case '-': sel->u.arith.type = (right ? ARITH_MINUS : ARITH_NEG); break;
593         case '*': sel->u.arith.type = ARITH_MULT; break;
594         case '/': sel->u.arith.type = ARITH_DIV;  break;
595         case '^': sel->u.arith.type = ARITH_EXP;  break;
596     }
597     char               buf[2];
598     buf[0] = op;
599     buf[1] = 0;
600     sel->setName(buf);
601     sel->u.arith.opstr = strdup(buf);
602     sel->child         = left;
603     sel->child->next   = right;
604     return sel;
605 }
606
607 /*!
608  * \param[in]  left   Selection element for the left hand side.
609  * \param[in]  right  Selection element for the right hand side.
610  * \param[in]  cmpop  String representation of the comparison operator.
611  * \param[in]  scanner Scanner data structure.
612  * \returns    The created selection element.
613  *
614  * This function handles the creation of a gmx::SelectionTreeElement object for
615  * comparison expressions.
616  */
617 SelectionTreeElementPointer
618 _gmx_sel_init_comparison(const SelectionTreeElementPointer &left,
619                          const SelectionTreeElementPointer &right,
620                          const char *cmpop, yyscan_t scanner)
621 {
622     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
623     gmx::MessageStringContext    context(errors, "In comparison initialization");
624
625     SelectionTreeElementPointer  sel(new SelectionTreeElement(SEL_EXPRESSION));
626     _gmx_selelem_set_method(sel, &sm_compare, scanner);
627
628     SelectionParserParameterList params;
629     const char                  *name;
630     // Create the parameter for the left expression.
631     name  = left->v.type == INT_VALUE ? "int1" : "real1";
632     params.push_back(SelectionParserParameter::createFromExpression(name, left));
633     // Create the parameter for the right expression.
634     name  = right->v.type == INT_VALUE ? "int2" : "real2";
635     params.push_back(SelectionParserParameter::createFromExpression(name, right));
636     // Create the parameter for the operator.
637     params.push_back(
638             SelectionParserParameter::create(
639                     "op", SelectionParserValue::createString(cmpop)));
640     if (!_gmx_sel_parse_params(params, sel->u.expr.method->nparams,
641                                sel->u.expr.method->param, sel, scanner))
642     {
643         return SelectionTreeElementPointer();
644     }
645
646     return sel;
647 }
648
649 /*! \brief
650  * Implementation method for keyword expression creation.
651  *
652  * \param[in]  method Method to use.
653  * \param[in]  matchType String matching type (only used if \p method is
654  *      a string keyword and \p args is not empty.
655  * \param[in]  args   Pointer to the first argument.
656  * \param[in]  rpost  Reference position type to use (NULL = default).
657  * \param[in]  scanner Scanner data structure.
658  * \returns    The created selection element.
659  *
660  * This function handles the creation of a gmx::SelectionTreeElement object for
661  * selection methods that do not take parameters.
662  */
663 static SelectionTreeElementPointer
664 init_keyword_internal(gmx_ana_selmethod_t *method,
665                       gmx::SelectionStringMatchType matchType,
666                       SelectionParserValueListPointer args,
667                       const char *rpost, yyscan_t scanner)
668 {
669     gmx_ana_selcollection_t     *sc = _gmx_sel_lexer_selcollection(scanner);
670
671     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
672     char  buf[128];
673     sprintf(buf, "In keyword '%s'", method->name);
674     gmx::MessageStringContext  context(errors, buf);
675
676     if (method->nparams > 0)
677     {
678         // TODO: Would assert be better?
679         GMX_THROW(gmx::InternalError(
680                           "Keyword initialization called with non-keyword method"));
681     }
682
683     SelectionTreeElementPointer root(new SelectionTreeElement(SEL_EXPRESSION));
684     SelectionTreeElementPointer child = root;
685     _gmx_selelem_set_method(child, method, scanner);
686
687     /* Initialize the evaluation of keyword matching if values are provided */
688     if (args)
689     {
690         gmx_ana_selmethod_t *kwmethod;
691         switch (method->type)
692         {
693             case INT_VALUE:  kwmethod = &sm_keyword_int;  break;
694             case REAL_VALUE: kwmethod = &sm_keyword_real; break;
695             case STR_VALUE:  kwmethod = &sm_keyword_str;  break;
696             default:
697                 GMX_THROW(gmx::InternalError(
698                                   "Unknown type for keyword selection"));
699         }
700         /* Initialize the selection element */
701         root.reset(new SelectionTreeElement(SEL_EXPRESSION));
702         _gmx_selelem_set_method(root, kwmethod, scanner);
703         if (method->type == STR_VALUE)
704         {
705             _gmx_selelem_set_kwstr_match_type(root, matchType);
706         }
707         SelectionParserParameterList params;
708         params.push_back(
709                 SelectionParserParameter::createFromExpression(NULL, child));
710         params.push_back(SelectionParserParameter::create(NULL, move(args)));
711         if (!_gmx_sel_parse_params(params, root->u.expr.method->nparams,
712                                    root->u.expr.method->param, root, scanner))
713         {
714             return SelectionTreeElementPointer();
715         }
716     }
717     set_refpos_type(&sc->pcc, child, rpost, scanner);
718
719     return root;
720 }
721
722 /*!
723  * \param[in]  method Method to use.
724  * \param[in]  args   Pointer to the first argument.
725  * \param[in]  rpost  Reference position type to use (NULL = default).
726  * \param[in]  scanner Scanner data structure.
727  * \returns    The created selection element.
728  *
729  * This function handles the creation of a gmx::SelectionTreeElement object for
730  * selection methods that do not take parameters.
731  */
732 SelectionTreeElementPointer
733 _gmx_sel_init_keyword(gmx_ana_selmethod_t *method,
734                       SelectionParserValueListPointer args,
735                       const char *rpost, yyscan_t scanner)
736 {
737     return init_keyword_internal(method, gmx::eStringMatchType_Auto, move(args),
738                                  rpost, scanner);
739 }
740
741 /*!
742  * \param[in]  method    Method to use.
743  * \param[in]  matchType String matching type.
744  * \param[in]  args      Pointer to the first argument.
745  * \param[in]  rpost     Reference position type to use (NULL = default).
746  * \param[in]  scanner   Scanner data structure.
747  * \returns    The created selection element.
748  *
749  * This function handles the creation of a gmx::SelectionTreeElement object for
750  * keyword string matching.
751  */
752 SelectionTreeElementPointer
753 _gmx_sel_init_keyword_strmatch(gmx_ana_selmethod_t *method,
754                                gmx::SelectionStringMatchType matchType,
755                                SelectionParserValueListPointer args,
756                                const char *rpost, yyscan_t scanner)
757 {
758     GMX_RELEASE_ASSERT(method->type == STR_VALUE,
759                        "String keyword method called for a non-string-valued method");
760     GMX_RELEASE_ASSERT(args && !args->empty(),
761                        "String keyword matching method called without any values");
762     return init_keyword_internal(method, matchType, move(args), rpost, scanner);
763 }
764
765 /*!
766  * \param[in]  method Method to use for initialization.
767  * \param[in]  params Pointer to the first parameter.
768  * \param[in]  rpost  Reference position type to use (NULL = default).
769  * \param[in]  scanner Scanner data structure.
770  * \returns    The created selection element.
771  *
772  * This function handles the creation of a gmx::SelectionTreeElement object for
773  * selection methods that take parameters.
774  *
775  * Part of the behavior of the \c same selection keyword is hardcoded into
776  * this function (or rather, into _gmx_selelem_custom_init_same()) to allow the
777  * use of any keyword in \c "same KEYWORD as" without requiring special
778  * handling somewhere else (or sacrificing the simple syntax).
779  */
780 SelectionTreeElementPointer
781 _gmx_sel_init_method(gmx_ana_selmethod_t *method,
782                      SelectionParserParameterListPointer params,
783                      const char *rpost, yyscan_t scanner)
784 {
785     gmx_ana_selcollection_t     *sc = _gmx_sel_lexer_selcollection(scanner);
786     int                          rc;
787
788     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
789     char  buf[128];
790     sprintf(buf, "In keyword '%s'", method->name);
791     gmx::MessageStringContext  context(errors, buf);
792
793     _gmx_sel_finish_method(scanner);
794     /* The "same" keyword needs some custom massaging of the parameters. */
795     rc = _gmx_selelem_custom_init_same(&method, params, scanner);
796     if (rc != 0)
797     {
798         return SelectionTreeElementPointer();
799     }
800     SelectionTreeElementPointer root(new SelectionTreeElement(SEL_EXPRESSION));
801     _gmx_selelem_set_method(root, method, scanner);
802     /* Process the parameters */
803     if (!_gmx_sel_parse_params(*params, root->u.expr.method->nparams,
804                                root->u.expr.method->param, root, scanner))
805     {
806         return SelectionTreeElementPointer();
807     }
808     set_refpos_type(&sc->pcc, root, rpost, scanner);
809
810     return root;
811 }
812
813 /*!
814  * \param[in]  method Modifier to use for initialization.
815  * \param[in]  params Pointer to the first parameter.
816  * \param[in]  sel    Selection element that the modifier should act on.
817  * \param[in]  scanner Scanner data structure.
818  * \returns    The created selection element.
819  *
820  * This function handles the creation of a gmx::SelectionTreeElement object for
821  * selection modifiers.
822  */
823 SelectionTreeElementPointer
824 _gmx_sel_init_modifier(gmx_ana_selmethod_t *method,
825                        SelectionParserParameterListPointer params,
826                        const SelectionTreeElementPointer &sel, yyscan_t scanner)
827 {
828     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
829     char  buf[128];
830     sprintf(buf, "In keyword '%s'", method->name);
831     gmx::MessageStringContext  context(errors, buf);
832
833     _gmx_sel_finish_method(scanner);
834     SelectionTreeElementPointer modifier(new SelectionTreeElement(SEL_MODIFIER));
835     _gmx_selelem_set_method(modifier, method, scanner);
836     SelectionTreeElementPointer root;
837     if (method->type == NO_VALUE)
838     {
839         SelectionTreeElementPointer child = sel;
840         while (child->next)
841         {
842             child = child->next;
843         }
844         child->next = modifier;
845         root        = sel;
846     }
847     else
848     {
849         params->push_front(
850                 SelectionParserParameter::createFromExpression(NULL, sel));
851         root = modifier;
852     }
853     /* Process the parameters */
854     if (!_gmx_sel_parse_params(*params, modifier->u.expr.method->nparams,
855                                modifier->u.expr.method->param, modifier, scanner))
856     {
857         return SelectionTreeElementPointer();
858     }
859
860     return root;
861 }
862
863 /*!
864  * \param[in]  expr    Input selection element for the position calculation.
865  * \param[in]  type    Reference position type or NULL for default.
866  * \param[in]  scanner Scanner data structure.
867  * \returns    The created selection element.
868  *
869  * This function handles the creation of a gmx::SelectionTreeElement object for
870  * evaluation of reference positions.
871  */
872 SelectionTreeElementPointer
873 _gmx_sel_init_position(const SelectionTreeElementPointer &expr,
874                        const char *type, yyscan_t scanner)
875 {
876     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
877     char  buf[128];
878     sprintf(buf, "In position evaluation");
879     gmx::MessageStringContext   context(errors, buf);
880
881     SelectionTreeElementPointer root(new SelectionTreeElement(SEL_EXPRESSION));
882     _gmx_selelem_set_method(root, &sm_keyword_pos, scanner);
883     _gmx_selelem_set_kwpos_type(root.get(), type);
884     /* Create the parameters for the parameter parser. */
885     SelectionParserParameterList params;
886     params.push_back(SelectionParserParameter::createFromExpression(NULL, expr));
887     /* Parse the parameters. */
888     if (!_gmx_sel_parse_params(params, root->u.expr.method->nparams,
889                                root->u.expr.method->param, root, scanner))
890     {
891         return SelectionTreeElementPointer();
892     }
893
894     return root;
895 }
896
897 /*!
898  * \param[in] x,y,z  Coordinates for the position.
899  * \returns   The creates selection element.
900  */
901 SelectionTreeElementPointer
902 _gmx_sel_init_const_position(real x, real y, real z)
903 {
904     rvec                        pos;
905
906     SelectionTreeElementPointer sel(new SelectionTreeElement(SEL_CONST));
907     _gmx_selelem_set_vtype(sel, POS_VALUE);
908     _gmx_selvalue_reserve(&sel->v, 1);
909     pos[XX] = x;
910     pos[YY] = y;
911     pos[ZZ] = z;
912     gmx_ana_pos_init_const(sel->v.u.p, pos);
913     return sel;
914 }
915
916 /*!
917  * \param[in] name  Name of an index group to search for.
918  * \param[in] scanner Scanner data structure.
919  * \returns   The created selection element.
920  *
921  * See gmx_ana_indexgrps_find() for information on how \p name is matched
922  * against the index groups.
923  */
924 SelectionTreeElementPointer
925 _gmx_sel_init_group_by_name(const char *name, yyscan_t scanner)
926 {
927
928     SelectionTreeElementPointer sel(new SelectionTreeElement(SEL_GROUPREF));
929     _gmx_selelem_set_vtype(sel, GROUP_VALUE);
930     sel->setName(gmx::formatString("group \"%s\"", name));
931     sel->u.gref.name = strdup(name);
932     sel->u.gref.id   = -1;
933
934     if (_gmx_sel_lexer_has_groups_set(scanner))
935     {
936         gmx_ana_indexgrps_t *grps = _gmx_sel_lexer_indexgrps(scanner);
937         sel->resolveIndexGroupReference(grps);
938     }
939
940     return sel;
941 }
942
943 /*!
944  * \param[in] id    Zero-based index number of the group to extract.
945  * \param[in] scanner Scanner data structure.
946  * \returns   The created selection element.
947  */
948 SelectionTreeElementPointer
949 _gmx_sel_init_group_by_id(int id, yyscan_t scanner)
950 {
951     SelectionTreeElementPointer sel(new SelectionTreeElement(SEL_GROUPREF));
952     _gmx_selelem_set_vtype(sel, GROUP_VALUE);
953     sel->setName(gmx::formatString("group %d", id));
954     sel->u.gref.name = NULL;
955     sel->u.gref.id   = id;
956
957     if (_gmx_sel_lexer_has_groups_set(scanner))
958     {
959         gmx_ana_indexgrps_t *grps = _gmx_sel_lexer_indexgrps(scanner);
960         sel->resolveIndexGroupReference(grps);
961     }
962
963     return sel;
964 }
965
966 /*!
967  * \param[in,out] sel  Value of the variable.
968  * \returns       The created selection element that references \p sel.
969  *
970  * The reference count of \p sel is updated, but no other modifications are
971  * made.
972  */
973 SelectionTreeElementPointer
974 _gmx_sel_init_variable_ref(const SelectionTreeElementPointer &sel)
975 {
976     SelectionTreeElementPointer ref;
977
978     if (sel->v.type == POS_VALUE && sel->type == SEL_CONST)
979     {
980         ref = sel;
981     }
982     else
983     {
984         ref.reset(new SelectionTreeElement(SEL_SUBEXPRREF));
985         _gmx_selelem_set_vtype(ref, sel->v.type);
986         ref->setName(sel->name());
987         ref->child = sel;
988     }
989     return ref;
990 }
991
992 /*!
993  * \param[in]  name     Name for the selection
994  *     (if NULL, a default name is constructed).
995  * \param[in]  sel      The selection element that evaluates the selection.
996  * \param      scanner  Scanner data structure.
997  * \returns    The created root selection element.
998  *
999  * This function handles the creation of root (\ref SEL_ROOT)
1000  * gmx::SelectionTreeElement objects for selections.
1001  */
1002 SelectionTreeElementPointer
1003 _gmx_sel_init_selection(const char                        *name,
1004                         const SelectionTreeElementPointer &sel,
1005                         yyscan_t                           scanner)
1006 {
1007     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
1008     char  buf[1024];
1009     sprintf(buf, "In selection '%s'", _gmx_sel_lexer_pselstr(scanner));
1010     gmx::MessageStringContext  context(errors, buf);
1011
1012     if (sel->v.type != POS_VALUE)
1013     {
1014         /* FIXME: Better handling of this error */
1015         GMX_THROW(gmx::InternalError(
1016                           "Each selection must evaluate to a position"));
1017     }
1018
1019     SelectionTreeElementPointer root(new SelectionTreeElement(SEL_ROOT));
1020     root->child = sel;
1021     if (name)
1022     {
1023         root->setName(name);
1024     }
1025     /* Update the flags */
1026     _gmx_selelem_update_flags(root, scanner);
1027
1028     root->fillNameIfMissing(_gmx_sel_lexer_pselstr(scanner));
1029
1030     /* Print out some information if the parser is interactive */
1031     if (_gmx_sel_is_lexer_interactive(scanner))
1032     {
1033         fprintf(stderr, "Selection '%s' parsed\n",
1034                 _gmx_sel_lexer_pselstr(scanner));
1035     }
1036
1037     return root;
1038 }
1039
1040
1041 /*!
1042  * \param[in]  name     Name of the variable.
1043  * \param[in]  expr     The selection element that evaluates the variable.
1044  * \param      scanner  Scanner data structure.
1045  * \returns    The created root selection element.
1046  *
1047  * This function handles the creation of root gmx::SelectionTreeElement objects
1048  * for variable assignments. A \ref SEL_ROOT element and a \ref SEL_SUBEXPR
1049  * element are both created.
1050  */
1051 SelectionTreeElementPointer
1052 _gmx_sel_assign_variable(const char                        *name,
1053                          const SelectionTreeElementPointer &expr,
1054                          yyscan_t                           scanner)
1055 {
1056     gmx_ana_selcollection_t     *sc      = _gmx_sel_lexer_selcollection(scanner);
1057     const char                  *pselstr = _gmx_sel_lexer_pselstr(scanner);
1058     SelectionTreeElementPointer  root;
1059
1060     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
1061     char  buf[1024];
1062     sprintf(buf, "In selection '%s'", pselstr);
1063     gmx::MessageStringContext  context(errors, buf);
1064
1065     _gmx_selelem_update_flags(expr, scanner);
1066     /* Check if this is a constant non-group value */
1067     if (expr->type == SEL_CONST && expr->v.type != GROUP_VALUE)
1068     {
1069         /* If so, just assign the constant value to the variable */
1070         sc->symtab->addVariable(name, expr);
1071         goto finish;
1072     }
1073     /* Check if we are assigning a variable to another variable */
1074     if (expr->type == SEL_SUBEXPRREF)
1075     {
1076         /* If so, make a simple alias */
1077         sc->symtab->addVariable(name, expr->child);
1078         goto finish;
1079     }
1080     /* Create the root element */
1081     root.reset(new SelectionTreeElement(SEL_ROOT));
1082     root->setName(name);
1083     /* Create the subexpression element */
1084     root->child.reset(new SelectionTreeElement(SEL_SUBEXPR));
1085     root->child->setName(name);
1086     _gmx_selelem_set_vtype(root->child, expr->v.type);
1087     root->child->child  = expr;
1088     /* Update flags */
1089     _gmx_selelem_update_flags(root, scanner);
1090     /* Add the variable to the symbol table */
1091     sc->symtab->addVariable(name, root->child);
1092 finish:
1093     srenew(sc->varstrs, sc->nvars + 1);
1094     sc->varstrs[sc->nvars] = strdup(pselstr);
1095     ++sc->nvars;
1096     if (_gmx_sel_is_lexer_interactive(scanner))
1097     {
1098         fprintf(stderr, "Variable '%s' parsed\n", pselstr);
1099     }
1100     return root;
1101 }
1102
1103 /*!
1104  * \param         sel   Selection to append (can be NULL, in which
1105  *   case nothing is done).
1106  * \param         last  Last selection, or NULL if not present or not known.
1107  * \param         scanner  Scanner data structure.
1108  * \returns       The last selection after the append.
1109  *
1110  * Appends \p sel after the last root element, and returns either \p sel
1111  * (if it was non-NULL) or the last element (if \p sel was NULL).
1112  */
1113 SelectionTreeElementPointer
1114 _gmx_sel_append_selection(const SelectionTreeElementPointer &sel,
1115                           SelectionTreeElementPointer        last,
1116                           yyscan_t                           scanner)
1117 {
1118     gmx_ana_selcollection_t *sc = _gmx_sel_lexer_selcollection(scanner);
1119
1120     /* Append sel after last, or the last element of sc if last is NULL */
1121     if (last)
1122     {
1123         last->next = sel;
1124     }
1125     else
1126     {
1127         if (sc->root)
1128         {
1129             last = sc->root;
1130             while (last->next)
1131             {
1132                 last = last->next;
1133             }
1134             last->next = sel;
1135         }
1136         else
1137         {
1138             sc->root = sel;
1139         }
1140     }
1141     /* Initialize a selection object if necessary */
1142     if (sel)
1143     {
1144         last = sel;
1145         /* Add the new selection to the collection if it is not a variable. */
1146         if (sel->child->type != SEL_SUBEXPR)
1147         {
1148             gmx::SelectionDataPointer selPtr(
1149                     new gmx::internal::SelectionData(
1150                             sel.get(), _gmx_sel_lexer_pselstr(scanner)));
1151             sc->sel.push_back(gmx::move(selPtr));
1152         }
1153     }
1154     /* Clear the selection string now that we've saved it */
1155     _gmx_sel_lexer_clear_pselstr(scanner);
1156     return last;
1157 }
1158
1159 /*!
1160  * \param[in] scanner Scanner data structure.
1161  * \returns   true if the parser should finish, false if parsing should
1162  *   continue.
1163  *
1164  * This function is called always after _gmx_sel_append_selection() to
1165  * check whether a sufficient number of selections has already been provided.
1166  * This is used to terminate interactive parsers when the correct number of
1167  * selections has been provided.
1168  */
1169 bool
1170 _gmx_sel_parser_should_finish(yyscan_t scanner)
1171 {
1172     gmx_ana_selcollection_t *sc = _gmx_sel_lexer_selcollection(scanner);
1173     return (int)sc->sel.size() == _gmx_sel_lexer_exp_selcount(scanner);
1174 }
1175
1176 /*!
1177  * \param[in] scanner Scanner data structure.
1178  */
1179 void
1180 _gmx_sel_handle_empty_cmd(yyscan_t scanner)
1181 {
1182     gmx_ana_selcollection_t *sc   = _gmx_sel_lexer_selcollection(scanner);
1183     gmx_ana_indexgrps_t     *grps = _gmx_sel_lexer_indexgrps(scanner);
1184     int                      i;
1185
1186     if (!_gmx_sel_is_lexer_interactive(scanner))
1187     {
1188         return;
1189     }
1190
1191     if (grps)
1192     {
1193         fprintf(stderr, "Available index groups:\n");
1194         gmx_ana_indexgrps_print(stderr, _gmx_sel_lexer_indexgrps(scanner), 0);
1195     }
1196     if (sc->nvars > 0 || !sc->sel.empty())
1197     {
1198         fprintf(stderr, "Currently provided selections:\n");
1199         for (i = 0; i < sc->nvars; ++i)
1200         {
1201             fprintf(stderr, "     %s\n", sc->varstrs[i]);
1202         }
1203         for (i = 0; i < (int)sc->sel.size(); ++i)
1204         {
1205             fprintf(stderr, " %2d. %s\n", i+1, sc->sel[i]->selectionText());
1206         }
1207     }
1208 }
1209
1210 /*!
1211  * \param[in] topic   Topic for which help was requested, or NULL for general
1212  *                    help.
1213  * \param[in] scanner Scanner data structure.
1214  *
1215  * \p topic is freed by this function.
1216  */
1217 void
1218 _gmx_sel_handle_help_cmd(const SelectionParserValueListPointer &topic,
1219                          yyscan_t                               scanner)
1220 {
1221     gmx_ana_selcollection_t *sc = _gmx_sel_lexer_selcollection(scanner);
1222
1223     if (sc->rootHelp.get() == NULL)
1224     {
1225         sc->rootHelp = gmx::createSelectionHelpTopic();
1226     }
1227     gmx::HelpWriterContext context(&gmx::File::standardError(),
1228                                    gmx::eHelpOutputFormat_Console);
1229     gmx::HelpManager       manager(*sc->rootHelp, context);
1230     try
1231     {
1232         SelectionParserValueList::const_iterator value;
1233         for (value = topic->begin(); value != topic->end(); ++value)
1234         {
1235             manager.enterTopic(value->stringValue());
1236         }
1237     }
1238     catch (const gmx::InvalidInputError &ex)
1239     {
1240         fprintf(stderr, "%s\n", ex.what());
1241         return;
1242     }
1243     manager.writeCurrentTopic();
1244 }