prompttools.prompttest package

Subpackages

• prompttools.prompttest.error package
  • Submodules
  • prompttools.prompttest.error.failure module
    • PromptTestSetupException
    • log_failure()
  • Module contents
• prompttools.prompttest.runner package
  • Submodules
  • prompttools.prompttest.runner.prompt_template_runner module
  • prompttools.prompttest.runner.runner module
    • PromptTestRunner
      • PromptTestRunner.evaluate()
      • PromptTestRunner.run()
      • PromptTestRunner.scores()
      • PromptTestRunner.visualize()
    • run_prompttest()
  • prompttools.prompttest.runner.system_prompt_runner module
  • Module contents

Submodules

prompttools.prompttest.prompttest module

prompttools.prompttest.prompttest.main()

prompttools.prompttest.prompttest.prompttest(metric_name, eval_fn, prompts, threshold=1.0, threshold_type=ThresholdType.MINIMUM, expected=None)

Creates a decorator for prompt tests, which can annotate evaluation functions. This enables developers to create a prompt test suite from their evaluations.

Parameters:

• metric_name (str) –

• eval_fn (Callable) –

• prompts (List[str]) –

• threshold (float) –

• threshold_type (ThresholdType) –

• expected (Optional[List[str]]) –

prompttools.prompttest.threshold_type module

class prompttools.prompttest.threshold_type.ThresholdType(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

Bases: Enum

Defines the types of thresholds a user can specify for their test case.

MAXIMUM = 2

MINIMUM = 1

Module contents