fmdp.h

Go to the documentation of this file.

#ifndef GUM_FACTORED_MARKOV_DECISION_PROCESS_H
#define GUM_FACTORED_MARKOV_DECISION_PROCESS_H
//======================================================================
#include <string>
#include <vector>
//======================================================================
#include <agrum/core/bijection.h>
#include <agrum/core/hashTable.h>
#include <agrum/core/set.h>
//======================================================================
#include <agrum/multidim/implementations/multiDimFunctionGraph.h>
#include <agrum/multidim/implementations/multiDimImplementation.h>
#include <agrum/variables/discreteVariable.h>
//======================================================================

namespace gum {
  template < typename GUM_SCALAR >
  class FMDP {
    template < typename GUM_SCALAR_O >
    using VarTransitionTable =
       HashTable< const DiscreteVariable*,
                  const MultiDimImplementation< GUM_SCALAR_O >* >;

    public:
    // ===========================================================================
    // ===========================================================================

    FMDP(bool onDestructionDeleteVar = false);

    ~FMDP();


    // ===========================================================================
    // ===========================================================================

    void addVariable(const DiscreteVariable* var);

    SequenceIteratorSafe< const DiscreteVariable* > beginVariables() const {
      return __varSeq.beginSafe();
    }

    SequenceIteratorSafe< const DiscreteVariable* > endVariables() const {
      return __varSeq.endSafe();
    }

    const DiscreteVariable* main2prime(const DiscreteVariable* mainVar) const {
      return __main2primed.second(mainVar);
    }

    INLINE const Bijection< const DiscreteVariable*, const DiscreteVariable* >&
                 mapMainPrime() const {
      return __main2primed;
    }


    // ===========================================================================
    // ===========================================================================

    void addAction(Idx actionId, const std::string& action);

    SequenceIteratorSafe< Idx > beginActions() const {
      return __actionSeq.beginSafe();
    }

    SequenceIteratorSafe< Idx > endActions() const {
      return __actionSeq.endSafe();
    }


    // ===========================================================================
    // ===========================================================================

    void addTransitionForAction(
       Idx                                         actionId,
       const DiscreteVariable*                     var,
       const MultiDimImplementation< GUM_SCALAR >* transition);

    void addTransition(const DiscreteVariable*                     var,
                       const MultiDimImplementation< GUM_SCALAR >* transition) {
      this->addTransitionForAction(0, var, transition);
    }

    const MultiDimImplementation< GUM_SCALAR >*
       transition(Idx actionId, const DiscreteVariable* v) const;


    // ===========================================================================
    // ===========================================================================

    void addCostForAction(Idx                                         actionId,
                          const MultiDimImplementation< GUM_SCALAR >* cost);

    void addCost(const MultiDimImplementation< GUM_SCALAR >* cost) {
      this->addCostForAction(0, cost);
    }

    const MultiDimImplementation< GUM_SCALAR >* cost(Idx actionId = 0) const;


    // ===========================================================================
    // ===========================================================================

    void addRewardForAction(Idx                                         actionId,
                            const MultiDimImplementation< GUM_SCALAR >* reward);

    void addReward(const MultiDimImplementation< GUM_SCALAR >* reward) {
      this->addRewardForAction(0, reward);
    }

    const MultiDimImplementation< GUM_SCALAR >* reward(Idx actionId = 0) const;


    // ===========================================================================
    // ===========================================================================

    const std::string& actionName(Idx actionId) const;

    Idx actionId(const std::string&) const;

    std::string toString() const;

    Size size() const;



    private:
    Sequence< const DiscreteVariable* > __varSeq;

    Sequence< Idx > __actionSeq;

    Bijection< const DiscreteVariable*, const DiscreteVariable* > __main2primed;

    Bijection< Idx, const std::string* > __actionMap;

    HashTable< Idx, VarTransitionTable< GUM_SCALAR >* > __actionTransitionTable;

    HashTable< Idx, const MultiDimImplementation< GUM_SCALAR >* >
       __actionCostTable;

    HashTable< Idx, const MultiDimImplementation< GUM_SCALAR >* >
       __actionRewardTable;

    bool __onDestructionDeleteVars;
  };


#ifndef GUM_NO_EXTERN_TEMPLATE_CLASS
  extern template class FMDP< double >;
#endif


} /* namespace gum */


#include <agrum/FMDP/fmdp_tpl.h>

#endif   // GUM_FACTORED_MARKOV_DECISION_PROCESS_H