Merge release-5-0 into master
[alexxy/gromacs.git] / src / gromacs / selection / parsetree.cpp
1 /*
2  * This file is part of the GROMACS molecular simulation package.
3  *
4  * Copyright (c) 2009,2010,2011,2012,2013,2014, by the GROMACS development team, led by
5  * Mark Abraham, David van der Spoel, Berk Hess, and Erik Lindahl,
6  * and including many others, as listed in the AUTHORS file in the
7  * top-level source directory and at http://www.gromacs.org.
8  *
9  * GROMACS is free software; you can redistribute it and/or
10  * modify it under the terms of the GNU Lesser General Public License
11  * as published by the Free Software Foundation; either version 2.1
12  * of the License, or (at your option) any later version.
13  *
14  * GROMACS is distributed in the hope that it will be useful,
15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
17  * Lesser General Public License for more details.
18  *
19  * You should have received a copy of the GNU Lesser General Public
20  * License along with GROMACS; if not, see
21  * http://www.gnu.org/licenses, or write to the Free Software Foundation,
22  * Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA.
23  *
24  * If you want to redistribute modifications to GROMACS, please
25  * consider that scientific software is very special. Version
26  * control is crucial - bugs must be traceable. We will be happy to
27  * consider code for inclusion in the official distribution, but
28  * derived work must not be called official GROMACS. Details are found
29  * in the README & COPYING files - if they are missing, get the
30  * official version at http://www.gromacs.org.
31  *
32  * To help us fund GROMACS development, we humbly ask that you cite
33  * the research papers on the package. Check out http://www.gromacs.org.
34  */
35 /*! \internal \file
36  * \brief
37  * Implements functions in parsetree.h.
38  *
39  * \author Teemu Murtola <teemu.murtola@gmail.com>
40  * \ingroup module_selection
41  */
42 /*! \internal
43  * \page page_module_selection_parser Selection parsing
44  *
45  * The selection parser is implemented in the following files:
46  *  - scanner.l:
47  *    Tokenizer implemented using Flex, splits the input into tokens
48  *    (scanner.c and scanner_flex.h are generated from this file).
49  *  - scanner.h, scanner_internal.h, scanner_internal.cpp:
50  *    Helper functions for scanner.l and for interfacing between
51  *    scanner.l and parser.y. Functions in scanner_internal.h are only
52  *    used from scanner.l, while scanner.h is used from the parser.
53  *  - symrec.h, symrec.cpp:
54  *    Functions used by the tokenizer to handle the symbol table, i.e.,
55  *    the recognized keywords. Some basic keywords are hardcoded into
56  *    scanner.l, but all method and variable references go through the
57  *    symbol table, as do position evaluation keywords.
58  *  - parser.y:
59  *    Semantic rules for parsing the grammar
60  *    (parser.cpp and parser.h are generated from this file by Bison).
61  *  - parsetree.h, parsetree.cpp:
62  *    Functions called from actions in parser.y to construct the
63  *    evaluation elements corresponding to different grammar elements.
64  *  - params.c:
65  *    Defines a function that processes the parameters of selection
66  *    methods and initializes the children of the method element.
67  *  - selectioncollection.h, selectioncollection.cpp:
68  *    These files define the high-level public interface to the parser
69  *    through SelectionCollection::parseFromStdin(),
70  *    SelectionCollection::parseFromFile() and
71  *    SelectionCollection::parseFromString().
72  *
73  * The basic control flow in the parser is as follows: when a parser function
74  * in SelectionCollection gets called, it performs some
75  * initialization, and then calls the _gmx_sel_yyparse() function generated
76  * by Bison. This function then calls _gmx_sel_yylex() to repeatedly read
77  * tokens from the input (more complex tasks related to token recognition
78  * and bookkeeping are done by functions in scanner_internal.cpp) and uses the
79  * grammar rules to decide what to do with them. Whenever a grammar rule
80  * matches, a corresponding function in parsetree.cpp is called to construct
81  * either a temporary representation for the object or a
82  * gmx::SelectionTreeElement object
83  * (some simple rules are handled internally in parser.y).
84  * When a complete selection has been parsed, the functions in parsetree.cpp
85  * also take care of updating the ::gmx_ana_selcollection_t structure
86  * appropriately.
87  *
88  * The rest of this page describes the resulting gmx::SelectionTreeElement
89  * object tree.
90  * Before the selections can be evaluated, this tree needs to be passed to
91  * the selection compiler, which is described on a separate page:
92  * \ref page_module_selection_compiler
93  *
94  *
95  * \section selparser_tree Element tree constructed by the parser
96  *
97  * The parser initializes the following fields in all selection elements:
98  * gmx::SelectionTreeElement::name, gmx::SelectionTreeElement::type,
99  * gmx::SelectionTreeElement::v\c .type,
100  * gmx::SelectionTreeElement::flags, gmx::SelectionTreeElement::child, and
101  * gmx::SelectionTreeElement::next.
102  * Some other fields are also initialized for particular element types as
103  * discussed below.
104  * Fields that are not initialized are set to zero, NULL, or other similar
105  * value.
106  *
107  *
108  * \subsection selparser_tree_root Root elements
109  *
110  * The parser creates a \ref SEL_ROOT selection element for each variable
111  * assignment and each selection. However, there are two exceptions that do
112  * not result in a \ref SEL_ROOT element (in these cases, only the symbol
113  * table is modified):
114  *  - Variable assignments that assign a variable to another variable.
115  *  - Variable assignments that assign a non-group constant.
116  *  .
117  * The \ref SEL_ROOT elements are linked together in a chain in the same order
118  * as in the input.
119  *
120  * The children of the \ref SEL_ROOT elements can be used to distinguish
121  * the two types of root elements from each other:
122  *  - For variable assignments, the first and only child is always
123  *    a \ref SEL_SUBEXPR element.
124  *  - For selections, the first child is a \ref SEL_EXPRESSION or a
125  *    \ref SEL_MODIFIER element that evaluates the final positions (if the
126  *    selection defines a constant position, the child is a \ref SEL_CONST).
127  *    The rest of the children are \ref SEL_MODIFIER elements with
128  *    \ref NO_VALUE, in the order given by the user.
129  *  .
130  * The name of the selection/variable is stored in
131  * gmx::SelectionTreeElement::cgrp\c .name.
132  * It is set to either the name provided by the user or the selection string
133  * for selections not explicitly named by the user.
134  * \ref SEL_ROOT or \ref SEL_SUBEXPR elements do not appear anywhere else.
135  *
136  *
137  * \subsection selparser_tree_const Constant elements
138  *
139  * \ref SEL_CONST elements are created for every constant that is required
140  * for later evaluation.
141  * Currently, \ref SEL_CONST elements can be present for
142  *  - selections that consist of a constant position,
143  *  - \ref GROUP_VALUE method parameters if provided using external index
144  *    groups,
145  *  .
146  * For group-valued elements, the value is stored in
147  * gmx::SelectionTreeElement::cgrp; other types of values are stored in
148  * gmx::SelectionTreeElement::v.
149  * Constants that appear as parameters for selection methods are not present
150  * in the selection tree unless they have \ref GROUP_VALUE.
151  * \ref SEL_CONST elements have no children.
152  *
153  *
154  * \subsection selparser_tree_method Method evaluation elements
155  *
156  * \ref SEL_EXPRESSION and \ref SEL_MODIFIER elements are treated very
157  * similarly. The \c gmx_ana_selmethod_t structure corresponding to the
158  * evaluation method is in gmx::SelectionTreeElement::method, and the method
159  * data in gmx::SelectionTreeElement::mdata has been allocated using
160  * sel_datafunc().
161  * If a non-standard reference position type was set,
162  * gmx::SelectionTreeElement::pc has also been created, but only the type has
163  * been set.
164  * All children of these elements are of the type \ref SEL_SUBEXPRREF, and
165  * each describes a selection that needs to be evaluated to obtain a value
166  * for one parameter of the method.
167  * No children are present for parameters that were given a constant
168  * non-\ref GROUP_VALUE value.
169  * The children are sorted in the order in which the parameters appear in the
170  * \ref gmx_ana_selmethod_t structure.
171  *
172  * In addition to actual selection keywords, \ref SEL_EXPRESSION elements
173  * are used internally to implement numerical comparisons (e.g., "x < 5")
174  * and keyword matching (e.g., "resnr 1 to 3" or "name CA").
175  *
176  *
177  * \subsection selparser_tree_subexpr Subexpression elements
178  *
179  * \ref SEL_SUBEXPR elements only appear for variables, as described above.
180  * gmx::SelectionTreeElement::name points to the name of the variable (from the
181  * \ref SEL_ROOT element).
182  * The element always has exactly one child, which represents the value of
183  * the variable.
184  *
185  * \ref SEL_SUBEXPRREF elements are used for two purposes:
186  *  - Variable references that need to be evaluated (i.e., there is a
187  *    \ref SEL_SUBEXPR element for the variable) are represented using
188  *    \ref SEL_SUBEXPRREF elements.
189  *    In this case, gmx::SelectionTreeElement::param is NULL, and the first and
190  *    only child of the element is the \ref SEL_SUBEXPR element of the
191  *    variable.
192  *    Such references can appear anywhere where the variable value
193  *    (the child of the \ref SEL_SUBEXPR element) would be valid.
194  *  - Children of \ref SEL_EXPRESSION and \ref SEL_MODIFIER elements are
195  *    always of this type. For these elements, gmx::SelectionTreeElement::param
196  *    is initialized to point to the parameter that receives the value from
197  *    the expression.
198  *    Each such element has exactly one child, which can be of any type;
199  *    the \ref SEL_SUBEXPR element of a variable is used if the value comes
200  *    from a variable, otherwise the child type is not \ref SEL_SUBEXPR.
201  *
202  *
203  * \subsection selparser_tree_bool Boolean elements
204  *
205  * One \ref SEL_BOOLEAN element is created for each boolean keyword in the
206  * input, and the tree structure represents the evaluation order.
207  * The gmx::SelectionTreeElement::boolt type gives the type of the operation.
208  * Each element has exactly two children (one for \ref BOOL_NOT elements),
209  * which are in the order given in the input.
210  * The children always have \ref GROUP_VALUE, but different element types
211  * are possible.
212  *
213  *
214  * \subsection selparser_tree_arith Arithmetic elements
215  *
216  * One \ref SEL_ARITHMETIC element is created for each arithmetic operation in
217  * the input, and the tree structure represents the evaluation order.
218  * The gmx::SelectionTreeElement::optype type gives the name of the operation.
219  * Each element has exactly two children (one for unary negation elements),
220  * which are in the order given in the input.
221  */
222 #include <stdio.h>
223 #include <stdarg.h>
224
225 #include <boost/exception_ptr.hpp>
226 #include <boost/shared_ptr.hpp>
227
228 #include "gromacs/selection/poscalc.h"
229 #include "gromacs/selection/selection.h"
230 #include "gromacs/selection/selmethod.h"
231 #include "gromacs/utility/exceptions.h"
232 #include "gromacs/utility/file.h"
233 #include "gromacs/utility/messagestringcollector.h"
234 #include "gromacs/utility/smalloc.h"
235 #include "gromacs/utility/stringutil.h"
236
237 #include "keywords.h"
238 #include "parsetree.h"
239 #include "selectioncollection-impl.h"
240 #include "selelem.h"
241 #include "symrec.h"
242
243 #include "scanner.h"
244
245 using gmx::SelectionParserValue;
246 using gmx::SelectionParserValueList;
247 using gmx::SelectionParserValueListPointer;
248 using gmx::SelectionParserParameter;
249 using gmx::SelectionParserParameterList;
250 using gmx::SelectionParserParameterListPointer;
251 using gmx::SelectionParserValue;
252 using gmx::SelectionTreeElement;
253 using gmx::SelectionTreeElementPointer;
254
255 void
256 _gmx_selparser_error(yyscan_t scanner, const char *fmt, ...)
257 {
258     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
259     // FIXME: Use an arbitrary length buffer.
260     char    buf[1024];
261     va_list ap;
262     va_start(ap, fmt);
263     vsnprintf(buf, 1024, fmt, ap);
264     va_end(ap);
265     errors->append(buf);
266 }
267
268 bool
269 _gmx_selparser_handle_exception(yyscan_t scanner, const std::exception &ex)
270 {
271     if (dynamic_cast<const gmx::UserInputError *>(&ex) != NULL)
272     {
273         // TODO: Consider whether also the non-interactive parser should
274         // postpone the exception such that the whole selection can be added as
275         // context.
276         if (_gmx_sel_is_lexer_interactive(scanner))
277         {
278             // TODO: Handle exceptions that printing the message may produce.
279             gmx::formatExceptionMessageToFile(stderr, ex);
280             return true;
281         }
282     }
283     _gmx_sel_lexer_set_exception(scanner, boost::current_exception());
284     return false;
285 }
286
287 namespace gmx
288 {
289
290 /********************************************************************
291  * SelectionParserValue
292  */
293
294 SelectionParserValue::SelectionParserValue(e_selvalue_t type)
295     : type(type)
296 {
297     memset(&u, 0, sizeof(u));
298 }
299
300 SelectionParserValue::SelectionParserValue(
301         const SelectionTreeElementPointer &expr)
302     : type(expr->v.type), expr(expr)
303 {
304     memset(&u, 0, sizeof(u));
305 }
306
307 /********************************************************************
308  * SelectionParserParameter
309  */
310
311 SelectionParserParameter::SelectionParserParameter(
312         const char                     *name,
313         SelectionParserValueListPointer values)
314     : name_(name != NULL ? name : ""),
315       values_(values ? move(values)
316               : SelectionParserValueListPointer(new SelectionParserValueList))
317 {
318 }
319
320 } // namespace gmx
321
322 /*!
323  * \param[in,out] sel  Root of the selection element tree to initialize.
324  *
325  * Propagates the \ref SEL_DYNAMIC flag from the children of \p sel to \p sel
326  * (if any child of \p sel is dynamic, \p sel is also marked as such).
327  * The \ref SEL_DYNAMIC flag is also set for \ref SEL_EXPRESSION elements with
328  * a dynamic method.
329  * Also, sets one of the \ref SEL_SINGLEVAL, \ref SEL_ATOMVAL, or
330  * \ref SEL_VARNUMVAL flags, either based on the children or on the type of
331  * the selection method.
332  * If the types of the children conflict, an error is returned.
333  *
334  * The flags of the children of \p sel are also updated if not done earlier.
335  * The flags are initialized only once for any element; if \ref SEL_FLAGSSET
336  * is set for an element, the function returns immediately, and the recursive
337  * operation does not descend beyond such elements.
338  */
339 void
340 _gmx_selelem_update_flags(const gmx::SelectionTreeElementPointer &sel)
341 {
342     bool                bUseChildType = false;
343     bool                bOnlySingleChildren;
344
345     /* Return if the flags have already been set */
346     if (sel->flags & SEL_FLAGSSET)
347     {
348         return;
349     }
350     /* Set the flags based on the current element type */
351     switch (sel->type)
352     {
353         case SEL_CONST:
354         case SEL_GROUPREF:
355             sel->flags   |= SEL_SINGLEVAL;
356             bUseChildType = false;
357             break;
358
359         case SEL_EXPRESSION:
360             if (sel->u.expr.method->flags & SMETH_DYNAMIC)
361             {
362                 sel->flags |= SEL_DYNAMIC;
363             }
364             if (sel->u.expr.method->flags & SMETH_SINGLEVAL)
365             {
366                 sel->flags |= SEL_SINGLEVAL;
367             }
368             else if (sel->u.expr.method->flags & SMETH_VARNUMVAL)
369             {
370                 sel->flags |= SEL_VARNUMVAL;
371             }
372             else
373             {
374                 sel->flags |= SEL_ATOMVAL;
375             }
376             bUseChildType = false;
377             break;
378
379         case SEL_ARITHMETIC:
380             sel->flags   |= SEL_ATOMVAL;
381             bUseChildType = false;
382             break;
383
384         case SEL_MODIFIER:
385             if (sel->v.type != NO_VALUE)
386             {
387                 sel->flags |= SEL_VARNUMVAL;
388             }
389             bUseChildType = false;
390             break;
391
392         case SEL_ROOT:
393             bUseChildType = false;
394             break;
395
396         case SEL_BOOLEAN:
397         case SEL_SUBEXPR:
398         case SEL_SUBEXPRREF:
399             bUseChildType = true;
400             break;
401     }
402     /* Loop through children to propagate their flags upwards */
403     bOnlySingleChildren = true;
404     SelectionTreeElementPointer child = sel->child;
405     while (child)
406     {
407         /* Update the child */
408         _gmx_selelem_update_flags(child);
409         /* Propagate the dynamic and unsorted flags */
410         sel->flags |= (child->flags & (SEL_DYNAMIC | SEL_UNSORTED));
411         /* Propagate the type flag if necessary and check for problems */
412         if (bUseChildType)
413         {
414             if ((sel->flags & SEL_VALTYPEMASK)
415                 && !(sel->flags & child->flags & SEL_VALTYPEMASK))
416             {
417                 // TODO: Recollect when this is triggered, and whether the type
418                 // is appropriate.
419                 GMX_THROW(gmx::InvalidInputError("Invalid combination of selection expressions"));
420             }
421             sel->flags |= (child->flags & SEL_VALTYPEMASK);
422         }
423         if (!(child->flags & SEL_SINGLEVAL))
424         {
425             bOnlySingleChildren = false;
426         }
427
428         child = child->next;
429     }
430     /* For arithmetic expressions consisting only of single values,
431      * the result is also a single value. */
432     if (sel->type == SEL_ARITHMETIC && bOnlySingleChildren)
433     {
434         sel->flags = (sel->flags & ~SEL_VALTYPEMASK) | SEL_SINGLEVAL;
435     }
436     /* For root elements, the type should be propagated here, after the
437      * children have been updated. */
438     if (sel->type == SEL_ROOT)
439     {
440         GMX_ASSERT(sel->child, "Root elements should always have a child");
441         sel->flags |= (sel->child->flags & SEL_VALTYPEMASK);
442     }
443     /* Mark that the flags are set */
444     sel->flags |= SEL_FLAGSSET;
445 }
446
447 /*!
448  * \param[in,out] sel    Selection element to initialize.
449  * \param[in]     scanner Scanner data structure.
450  *
451  * A deep copy of the parameters is made to allow several
452  * expressions with the same method to coexist peacefully.
453  * Calls sel_datafunc() if one is specified for the method.
454  */
455 void
456 _gmx_selelem_init_method_params(const gmx::SelectionTreeElementPointer &sel,
457                                 yyscan_t                                scanner)
458 {
459     int                 nparams;
460     gmx_ana_selparam_t *orgparam;
461     gmx_ana_selparam_t *param;
462     int                 i;
463     void               *mdata;
464
465     nparams   = sel->u.expr.method->nparams;
466     orgparam  = sel->u.expr.method->param;
467     snew(param, nparams);
468     memcpy(param, orgparam, nparams*sizeof(gmx_ana_selparam_t));
469     for (i = 0; i < nparams; ++i)
470     {
471         param[i].flags &= ~SPAR_SET;
472         _gmx_selvalue_setstore(&param[i].val, NULL);
473         if (param[i].flags & SPAR_VARNUM)
474         {
475             param[i].val.nr = -1;
476         }
477         /* Duplicate the enum value array if it is given statically */
478         if ((param[i].flags & SPAR_ENUMVAL) && orgparam[i].val.u.ptr != NULL)
479         {
480             int n;
481
482             /* Count the values */
483             n = 1;
484             while (orgparam[i].val.u.s[n] != NULL)
485             {
486                 ++n;
487             }
488             _gmx_selvalue_reserve(&param[i].val, n+1);
489             memcpy(param[i].val.u.s, orgparam[i].val.u.s,
490                    (n+1)*sizeof(param[i].val.u.s[0]));
491         }
492     }
493     mdata = NULL;
494     if (sel->u.expr.method->init_data)
495     {
496         mdata = sel->u.expr.method->init_data(nparams, param);
497     }
498     if (sel->u.expr.method->set_poscoll)
499     {
500         gmx_ana_selcollection_t *sc = _gmx_sel_lexer_selcollection(scanner);
501
502         sel->u.expr.method->set_poscoll(&sc->pcc, mdata);
503     }
504     /* Store the values */
505     sel->u.expr.method->param = param;
506     sel->u.expr.mdata         = mdata;
507 }
508
509 /*!
510  * \param[in,out] sel    Selection element to initialize.
511  * \param[in]     method Selection method to set.
512  * \param[in]     scanner Scanner data structure.
513  *
514  * Makes a copy of \p method and stores it in \p sel->u.expr.method,
515  * and calls _gmx_selelem_init_method_params();
516  */
517 void
518 _gmx_selelem_set_method(const gmx::SelectionTreeElementPointer &sel,
519                         gmx_ana_selmethod_t                    *method,
520                         yyscan_t                                scanner)
521 {
522     _gmx_selelem_set_vtype(sel, method->type);
523     sel->setName(method->name);
524     snew(sel->u.expr.method, 1);
525     memcpy(sel->u.expr.method, method, sizeof(gmx_ana_selmethod_t));
526     _gmx_selelem_init_method_params(sel, scanner);
527 }
528
529 /*! \brief
530  * Initializes the reference position calculation for a \ref SEL_EXPRESSION
531  * element.
532  *
533  * \param[in,out] pcc    Position calculation collection to use.
534  * \param[in,out] sel    Selection element to initialize.
535  * \param[in]     rpost  Reference position type to use (NULL = default).
536  * \param[in]     scanner Scanner data structure.
537  * \returns       0 on success, a non-zero error code on error.
538  */
539 static void
540 set_refpos_type(gmx::PositionCalculationCollection *pcc,
541                 const SelectionTreeElementPointer &sel,
542                 const char *rpost, yyscan_t scanner)
543 {
544     if (!rpost)
545     {
546         return;
547     }
548
549     if (sel->u.expr.method->pupdate)
550     {
551         /* By default, use whole residues/molecules. */
552         sel->u.expr.pc
553             = pcc->createCalculationFromEnum(rpost, POS_COMPLWHOLE);
554     }
555     else
556     {
557         // TODO: Should this be treated as a real error?
558         _gmx_selparser_error(scanner, "modifier '%s' is not applicable for '%s'",
559                              rpost, sel->u.expr.method->name);
560     }
561 }
562
563 gmx::SelectionTreeElementPointer
564 _gmx_sel_init_arithmetic(const gmx::SelectionTreeElementPointer &left,
565                          const gmx::SelectionTreeElementPointer &right,
566                          char op, yyscan_t /* scanner */)
567 {
568     SelectionTreeElementPointer sel(new SelectionTreeElement(SEL_ARITHMETIC));
569     sel->v.type        = REAL_VALUE;
570     switch (op)
571     {
572         case '+': sel->u.arith.type = ARITH_PLUS; break;
573         case '-': sel->u.arith.type = (right ? ARITH_MINUS : ARITH_NEG); break;
574         case '*': sel->u.arith.type = ARITH_MULT; break;
575         case '/': sel->u.arith.type = ARITH_DIV;  break;
576         case '^': sel->u.arith.type = ARITH_EXP;  break;
577     }
578     char               buf[2];
579     buf[0] = op;
580     buf[1] = 0;
581     sel->setName(buf);
582     sel->u.arith.opstr = strdup(buf);
583     sel->child         = left;
584     sel->child->next   = right;
585     return sel;
586 }
587
588 /*!
589  * \param[in]  left   Selection element for the left hand side.
590  * \param[in]  right  Selection element for the right hand side.
591  * \param[in]  cmpop  String representation of the comparison operator.
592  * \param[in]  scanner Scanner data structure.
593  * \returns    The created selection element.
594  *
595  * This function handles the creation of a gmx::SelectionTreeElement object for
596  * comparison expressions.
597  */
598 SelectionTreeElementPointer
599 _gmx_sel_init_comparison(const gmx::SelectionTreeElementPointer &left,
600                          const gmx::SelectionTreeElementPointer &right,
601                          const char *cmpop, yyscan_t scanner)
602 {
603     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
604     gmx::MessageStringContext    context(errors, "In comparison initialization");
605
606     SelectionTreeElementPointer  sel(new SelectionTreeElement(SEL_EXPRESSION));
607     _gmx_selelem_set_method(sel, &sm_compare, scanner);
608
609     SelectionParserParameterList params;
610     const char                  *name;
611     // Create the parameter for the left expression.
612     name  = left->v.type == INT_VALUE ? "int1" : "real1";
613     params.push_back(SelectionParserParameter::createFromExpression(name, left));
614     // Create the parameter for the right expression.
615     name  = right->v.type == INT_VALUE ? "int2" : "real2";
616     params.push_back(SelectionParserParameter::createFromExpression(name, right));
617     // Create the parameter for the operator.
618     params.push_back(
619             SelectionParserParameter::create(
620                     "op", SelectionParserValue::createString(cmpop)));
621     if (!_gmx_sel_parse_params(params, sel->u.expr.method->nparams,
622                                sel->u.expr.method->param, sel, scanner))
623     {
624         return SelectionTreeElementPointer();
625     }
626
627     return sel;
628 }
629
630 /*! \brief
631  * Implementation method for keyword expression creation.
632  *
633  * \param[in]  method Method to use.
634  * \param[in]  matchType String matching type (only used if \p method is
635  *      a string keyword and \p args is not empty.
636  * \param[in]  args   Pointer to the first argument.
637  * \param[in]  rpost  Reference position type to use (NULL = default).
638  * \param[in]  scanner Scanner data structure.
639  * \returns    The created selection element.
640  *
641  * This function handles the creation of a gmx::SelectionTreeElement object for
642  * selection methods that do not take parameters.
643  */
644 static SelectionTreeElementPointer
645 init_keyword_internal(gmx_ana_selmethod_t *method,
646                       gmx::SelectionStringMatchType matchType,
647                       SelectionParserValueListPointer args,
648                       const char *rpost, yyscan_t scanner)
649 {
650     gmx_ana_selcollection_t     *sc = _gmx_sel_lexer_selcollection(scanner);
651
652     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
653     char  buf[128];
654     sprintf(buf, "In keyword '%s'", method->name);
655     gmx::MessageStringContext  context(errors, buf);
656
657     if (method->nparams > 0)
658     {
659         // TODO: Would assert be better?
660         GMX_THROW(gmx::InternalError(
661                           "Keyword initialization called with non-keyword method"));
662     }
663
664     SelectionTreeElementPointer root(new SelectionTreeElement(SEL_EXPRESSION));
665     SelectionTreeElementPointer child = root;
666     _gmx_selelem_set_method(child, method, scanner);
667
668     /* Initialize the evaluation of keyword matching if values are provided */
669     if (args)
670     {
671         gmx_ana_selmethod_t *kwmethod;
672         switch (method->type)
673         {
674             case INT_VALUE:  kwmethod = &sm_keyword_int;  break;
675             case REAL_VALUE: kwmethod = &sm_keyword_real; break;
676             case STR_VALUE:  kwmethod = &sm_keyword_str;  break;
677             default:
678                 GMX_THROW(gmx::InternalError(
679                                   "Unknown type for keyword selection"));
680         }
681         /* Initialize the selection element */
682         root.reset(new SelectionTreeElement(SEL_EXPRESSION));
683         _gmx_selelem_set_method(root, kwmethod, scanner);
684         if (method->type == STR_VALUE)
685         {
686             _gmx_selelem_set_kwstr_match_type(root, matchType);
687         }
688         SelectionParserParameterList params;
689         params.push_back(
690                 SelectionParserParameter::createFromExpression(NULL, child));
691         params.push_back(SelectionParserParameter::create(NULL, move(args)));
692         if (!_gmx_sel_parse_params(params, root->u.expr.method->nparams,
693                                    root->u.expr.method->param, root, scanner))
694         {
695             return SelectionTreeElementPointer();
696         }
697     }
698     set_refpos_type(&sc->pcc, child, rpost, scanner);
699
700     return root;
701 }
702
703 /*!
704  * \param[in]  method Method to use.
705  * \param[in]  args   Pointer to the first argument.
706  * \param[in]  rpost  Reference position type to use (NULL = default).
707  * \param[in]  scanner Scanner data structure.
708  * \returns    The created selection element.
709  *
710  * This function handles the creation of a gmx::SelectionTreeElement object for
711  * selection methods that do not take parameters.
712  */
713 SelectionTreeElementPointer
714 _gmx_sel_init_keyword(gmx_ana_selmethod_t *method,
715                       gmx::SelectionParserValueListPointer args,
716                       const char *rpost, yyscan_t scanner)
717 {
718     return init_keyword_internal(method, gmx::eStringMatchType_Auto, move(args),
719                                  rpost, scanner);
720 }
721
722 /*!
723  * \param[in]  method    Method to use.
724  * \param[in]  matchType String matching type.
725  * \param[in]  args      Pointer to the first argument.
726  * \param[in]  rpost     Reference position type to use (NULL = default).
727  * \param[in]  scanner   Scanner data structure.
728  * \returns    The created selection element.
729  *
730  * This function handles the creation of a gmx::SelectionTreeElement object for
731  * keyword string matching.
732  */
733 SelectionTreeElementPointer
734 _gmx_sel_init_keyword_strmatch(gmx_ana_selmethod_t *method,
735                                gmx::SelectionStringMatchType matchType,
736                                gmx::SelectionParserValueListPointer args,
737                                const char *rpost, yyscan_t scanner)
738 {
739     GMX_RELEASE_ASSERT(method->type == STR_VALUE,
740                        "String keyword method called for a non-string-valued method");
741     GMX_RELEASE_ASSERT(args && !args->empty(),
742                        "String keyword matching method called without any values");
743     return init_keyword_internal(method, matchType, move(args), rpost, scanner);
744 }
745
746 /*!
747  * \param[in]  method Method to use for initialization.
748  * \param[in]  params Pointer to the first parameter.
749  * \param[in]  rpost  Reference position type to use (NULL = default).
750  * \param[in]  scanner Scanner data structure.
751  * \returns    The created selection element.
752  *
753  * This function handles the creation of a gmx::SelectionTreeElement object for
754  * selection methods that take parameters.
755  *
756  * Part of the behavior of the \c same selection keyword is hardcoded into
757  * this function (or rather, into _gmx_selelem_custom_init_same()) to allow the
758  * use of any keyword in \c "same KEYWORD as" without requiring special
759  * handling somewhere else (or sacrificing the simple syntax).
760  */
761 SelectionTreeElementPointer
762 _gmx_sel_init_method(gmx_ana_selmethod_t                      *method,
763                      gmx::SelectionParserParameterListPointer  params,
764                      const char *rpost, yyscan_t scanner)
765 {
766     gmx_ana_selcollection_t     *sc = _gmx_sel_lexer_selcollection(scanner);
767     int                          rc;
768
769     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
770     char  buf[128];
771     sprintf(buf, "In keyword '%s'", method->name);
772     gmx::MessageStringContext  context(errors, buf);
773
774     _gmx_sel_finish_method(scanner);
775     /* The "same" keyword needs some custom massaging of the parameters. */
776     rc = _gmx_selelem_custom_init_same(&method, params, scanner);
777     if (rc != 0)
778     {
779         return SelectionTreeElementPointer();
780     }
781     SelectionTreeElementPointer root(new SelectionTreeElement(SEL_EXPRESSION));
782     _gmx_selelem_set_method(root, method, scanner);
783     /* Process the parameters */
784     if (!_gmx_sel_parse_params(*params, root->u.expr.method->nparams,
785                                root->u.expr.method->param, root, scanner))
786     {
787         return SelectionTreeElementPointer();
788     }
789     set_refpos_type(&sc->pcc, root, rpost, scanner);
790
791     return root;
792 }
793
794 /*!
795  * \param[in]  method Modifier to use for initialization.
796  * \param[in]  params Pointer to the first parameter.
797  * \param[in]  sel    Selection element that the modifier should act on.
798  * \param[in]  scanner Scanner data structure.
799  * \returns    The created selection element.
800  *
801  * This function handles the creation of a gmx::SelectionTreeElement object for
802  * selection modifiers.
803  */
804 SelectionTreeElementPointer
805 _gmx_sel_init_modifier(gmx_ana_selmethod_t                      *method,
806                        gmx::SelectionParserParameterListPointer  params,
807                        const gmx::SelectionTreeElementPointer   &sel,
808                        yyscan_t                                  scanner)
809 {
810     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
811     char  buf[128];
812     sprintf(buf, "In keyword '%s'", method->name);
813     gmx::MessageStringContext  context(errors, buf);
814
815     _gmx_sel_finish_method(scanner);
816     SelectionTreeElementPointer modifier(new SelectionTreeElement(SEL_MODIFIER));
817     _gmx_selelem_set_method(modifier, method, scanner);
818     SelectionTreeElementPointer root;
819     if (method->type == NO_VALUE)
820     {
821         SelectionTreeElementPointer child = sel;
822         while (child->next)
823         {
824             child = child->next;
825         }
826         child->next = modifier;
827         root        = sel;
828     }
829     else
830     {
831         params->push_front(
832                 SelectionParserParameter::createFromExpression(NULL, sel));
833         root = modifier;
834     }
835     /* Process the parameters */
836     if (!_gmx_sel_parse_params(*params, modifier->u.expr.method->nparams,
837                                modifier->u.expr.method->param, modifier, scanner))
838     {
839         return SelectionTreeElementPointer();
840     }
841
842     return root;
843 }
844
845 /*!
846  * \param[in]  expr    Input selection element for the position calculation.
847  * \param[in]  type    Reference position type or NULL for default.
848  * \param[in]  scanner Scanner data structure.
849  * \returns    The created selection element.
850  *
851  * This function handles the creation of a gmx::SelectionTreeElement object for
852  * evaluation of reference positions.
853  */
854 SelectionTreeElementPointer
855 _gmx_sel_init_position(const gmx::SelectionTreeElementPointer &expr,
856                        const char *type, yyscan_t scanner)
857 {
858     gmx::MessageStringCollector *errors = _gmx_sel_lexer_error_reporter(scanner);
859     char  buf[128];
860     sprintf(buf, "In position evaluation");
861     gmx::MessageStringContext   context(errors, buf);
862
863     SelectionTreeElementPointer root(new SelectionTreeElement(SEL_EXPRESSION));
864     _gmx_selelem_set_method(root, &sm_keyword_pos, scanner);
865     _gmx_selelem_set_kwpos_type(root.get(), type);
866     /* Create the parameters for the parameter parser. */
867     SelectionParserParameterList params;
868     params.push_back(SelectionParserParameter::createFromExpression(NULL, expr));
869     /* Parse the parameters. */
870     if (!_gmx_sel_parse_params(params, root->u.expr.method->nparams,
871                                root->u.expr.method->param, root, scanner))
872     {
873         return SelectionTreeElementPointer();
874     }
875
876     return root;
877 }
878
879 /*!
880  * \param[in] x,y,z  Coordinates for the position.
881  * \returns   The creates selection element.
882  */
883 SelectionTreeElementPointer
884 _gmx_sel_init_const_position(real x, real y, real z)
885 {
886     rvec                        pos;
887
888     SelectionTreeElementPointer sel(new SelectionTreeElement(SEL_CONST));
889     _gmx_selelem_set_vtype(sel, POS_VALUE);
890     _gmx_selvalue_reserve(&sel->v, 1);
891     pos[XX] = x;
892     pos[YY] = y;
893     pos[ZZ] = z;
894     gmx_ana_pos_init_const(sel->v.u.p, pos);
895     return sel;
896 }
897
898 /*!
899  * \param[in] name  Name of an index group to search for.
900  * \param[in] scanner Scanner data structure.
901  * \returns   The created selection element.
902  *
903  * See gmx_ana_indexgrps_find() for information on how \p name is matched
904  * against the index groups.
905  */
906 SelectionTreeElementPointer
907 _gmx_sel_init_group_by_name(const char *name, yyscan_t scanner)
908 {
909
910     SelectionTreeElementPointer sel(new SelectionTreeElement(SEL_GROUPREF));
911     _gmx_selelem_set_vtype(sel, GROUP_VALUE);
912     sel->setName(gmx::formatString("group \"%s\"", name));
913     sel->u.gref.name = strdup(name);
914     sel->u.gref.id   = -1;
915
916     if (_gmx_sel_lexer_has_groups_set(scanner))
917     {
918         gmx_ana_indexgrps_t *grps = _gmx_sel_lexer_indexgrps(scanner);
919         sel->resolveIndexGroupReference(grps);
920     }
921
922     return sel;
923 }
924
925 /*!
926  * \param[in] id    Zero-based index number of the group to extract.
927  * \param[in] scanner Scanner data structure.
928  * \returns   The created selection element.
929  */
930 SelectionTreeElementPointer
931 _gmx_sel_init_group_by_id(int id, yyscan_t scanner)
932 {
933     SelectionTreeElementPointer sel(new SelectionTreeElement(SEL_GROUPREF));
934     _gmx_selelem_set_vtype(sel, GROUP_VALUE);
935     sel->setName(gmx::formatString("group %d", id));
936     sel->u.gref.name = NULL;
937     sel->u.gref.id   = id;
938
939     if (_gmx_sel_lexer_has_groups_set(scanner))
940     {
941         gmx_ana_indexgrps_t *grps = _gmx_sel_lexer_indexgrps(scanner);
942         sel->resolveIndexGroupReference(grps);
943     }
944
945     return sel;
946 }
947
948 /*!
949  * \param[in,out] sel  Value of the variable.
950  * \returns       The created selection element that references \p sel.
951  *
952  * The reference count of \p sel is updated, but no other modifications are
953  * made.
954  */
955 SelectionTreeElementPointer
956 _gmx_sel_init_variable_ref(const gmx::SelectionTreeElementPointer &sel)
957 {
958     SelectionTreeElementPointer ref;
959
960     if (sel->v.type == POS_VALUE && sel->type == SEL_CONST)
961     {
962         ref = sel;
963     }
964     else
965     {
966         ref.reset(new SelectionTreeElement(SEL_SUBEXPRREF));
967         _gmx_selelem_set_vtype(ref, sel->v.type);
968         ref->setName(sel->name());
969         ref->child = sel;
970     }
971     return ref;
972 }
973
974 /*!
975  * \param[in]  name     Name for the selection
976  *     (if NULL, a default name is constructed).
977  * \param[in]  sel      The selection element that evaluates the selection.
978  * \param      scanner  Scanner data structure.
979  * \returns    The created root selection element.
980  *
981  * This function handles the creation of root (\ref SEL_ROOT)
982  * gmx::SelectionTreeElement objects for selections.
983  */
984 SelectionTreeElementPointer
985 _gmx_sel_init_selection(const char                             *name,
986                         const gmx::SelectionTreeElementPointer &sel,
987                         yyscan_t                                scanner)
988 {
989     if (sel->v.type != POS_VALUE)
990     {
991         /* FIXME: Better handling of this error */
992         GMX_THROW(gmx::InternalError(
993                           "Each selection must evaluate to a position"));
994     }
995
996     SelectionTreeElementPointer root(new SelectionTreeElement(SEL_ROOT));
997     root->child = sel;
998     if (name)
999     {
1000         root->setName(name);
1001     }
1002     /* Update the flags */
1003     _gmx_selelem_update_flags(root);
1004
1005     root->fillNameIfMissing(_gmx_sel_lexer_pselstr(scanner));
1006
1007     /* Print out some information if the parser is interactive */
1008     if (_gmx_sel_is_lexer_interactive(scanner))
1009     {
1010         fprintf(stderr, "Selection '%s' parsed\n",
1011                 _gmx_sel_lexer_pselstr(scanner));
1012     }
1013
1014     return root;
1015 }
1016
1017
1018 /*!
1019  * \param[in]  name     Name of the variable.
1020  * \param[in]  expr     The selection element that evaluates the variable.
1021  * \param      scanner  Scanner data structure.
1022  * \returns    The created root selection element.
1023  *
1024  * This function handles the creation of root gmx::SelectionTreeElement objects
1025  * for variable assignments. A \ref SEL_ROOT element and a \ref SEL_SUBEXPR
1026  * element are both created.
1027  */
1028 SelectionTreeElementPointer
1029 _gmx_sel_assign_variable(const char                             *name,
1030                          const gmx::SelectionTreeElementPointer &expr,
1031                          yyscan_t                                scanner)
1032 {
1033     gmx_ana_selcollection_t     *sc      = _gmx_sel_lexer_selcollection(scanner);
1034     const char                  *pselstr = _gmx_sel_lexer_pselstr(scanner);
1035     SelectionTreeElementPointer  root;
1036
1037     _gmx_selelem_update_flags(expr);
1038     /* Check if this is a constant non-group value */
1039     if (expr->type == SEL_CONST && expr->v.type != GROUP_VALUE)
1040     {
1041         /* If so, just assign the constant value to the variable */
1042         sc->symtab->addVariable(name, expr);
1043         goto finish;
1044     }
1045     /* Check if we are assigning a variable to another variable */
1046     if (expr->type == SEL_SUBEXPRREF)
1047     {
1048         /* If so, make a simple alias */
1049         sc->symtab->addVariable(name, expr->child);
1050         goto finish;
1051     }
1052     /* Create the root element */
1053     root.reset(new SelectionTreeElement(SEL_ROOT));
1054     root->setName(name);
1055     /* Create the subexpression element */
1056     root->child.reset(new SelectionTreeElement(SEL_SUBEXPR));
1057     root->child->setName(name);
1058     _gmx_selelem_set_vtype(root->child, expr->v.type);
1059     root->child->child  = expr;
1060     /* Update flags */
1061     _gmx_selelem_update_flags(root);
1062     /* Add the variable to the symbol table */
1063     sc->symtab->addVariable(name, root->child);
1064 finish:
1065     srenew(sc->varstrs, sc->nvars + 1);
1066     sc->varstrs[sc->nvars] = strdup(pselstr);
1067     ++sc->nvars;
1068     if (_gmx_sel_is_lexer_interactive(scanner))
1069     {
1070         fprintf(stderr, "Variable '%s' parsed\n", pselstr);
1071     }
1072     return root;
1073 }
1074
1075 /*!
1076  * \param         sel   Selection to append (can be NULL, in which
1077  *   case nothing is done).
1078  * \param         last  Last selection, or NULL if not present or not known.
1079  * \param         scanner  Scanner data structure.
1080  * \returns       The last selection after the append.
1081  *
1082  * Appends \p sel after the last root element, and returns either \p sel
1083  * (if it was non-NULL) or the last element (if \p sel was NULL).
1084  */
1085 SelectionTreeElementPointer
1086 _gmx_sel_append_selection(const gmx::SelectionTreeElementPointer &sel,
1087                           gmx::SelectionTreeElementPointer        last,
1088                           yyscan_t                                scanner)
1089 {
1090     gmx_ana_selcollection_t *sc = _gmx_sel_lexer_selcollection(scanner);
1091
1092     /* Append sel after last, or the last element of sc if last is NULL */
1093     if (last)
1094     {
1095         last->next = sel;
1096     }
1097     else
1098     {
1099         if (sc->root)
1100         {
1101             last = sc->root;
1102             while (last->next)
1103             {
1104                 last = last->next;
1105             }
1106             last->next = sel;
1107         }
1108         else
1109         {
1110             sc->root = sel;
1111         }
1112     }
1113     /* Initialize a selection object if necessary */
1114     if (sel)
1115     {
1116         last = sel;
1117         /* Add the new selection to the collection if it is not a variable. */
1118         if (sel->child->type != SEL_SUBEXPR)
1119         {
1120             gmx::SelectionDataPointer selPtr(
1121                     new gmx::internal::SelectionData(
1122                             sel.get(), _gmx_sel_lexer_pselstr(scanner)));
1123             sc->sel.push_back(gmx::move(selPtr));
1124         }
1125     }
1126     /* Clear the selection string now that we've saved it */
1127     _gmx_sel_lexer_clear_pselstr(scanner);
1128     return last;
1129 }
1130
1131 /*!
1132  * \param[in] scanner Scanner data structure.
1133  * \returns   true if the parser should finish, false if parsing should
1134  *   continue.
1135  *
1136  * This function is called always after _gmx_sel_append_selection() to
1137  * check whether a sufficient number of selections has already been provided.
1138  * This is used to terminate interactive parsers when the correct number of
1139  * selections has been provided.
1140  */
1141 bool
1142 _gmx_sel_parser_should_finish(yyscan_t scanner)
1143 {
1144     gmx_ana_selcollection_t *sc = _gmx_sel_lexer_selcollection(scanner);
1145     return (int)sc->sel.size() == _gmx_sel_lexer_exp_selcount(scanner);
1146 }