MCPcopy Create free account
hub / github.com/PRIME-RL/PRIME / parse_args

Function parse_args

eval/Math/Qwen25-Math/evaluation/math_eval.py:21–58  ·  view source on GitHub ↗
()

Source from the content-addressed store, hash-verified

19
20
21def parse_args():
22 parser = argparse.ArgumentParser()
23 parser.add_argument("--data_names", default="gsm8k,math", type=str)
24 parser.add_argument("--data_dir", default="../../../data", type=str)
25 parser.add_argument("--model_name_or_path", default="gpt-4", type=str)
26 parser.add_argument("--output_dir", default="./output", type=str)
27 parser.add_argument("--prompt_type", default="tool-integrated", type=str)
28 parser.add_argument("--split", default="test", type=str)
29 parser.add_argument("--num_test_sample", default=-1, type=int) # -1 for full data
30 parser.add_argument("--seed", default=0, type=int)
31 parser.add_argument("--start", default=0, type=int)
32 parser.add_argument("--end", default=-1, type=int)
33 parser.add_argument("--temperature", default=0, type=float)
34 parser.add_argument("--n_sampling", default=1, type=int)
35 parser.add_argument("--top_p", default=1, type=float)
36 parser.add_argument("--max_tokens_per_call", default=4096, type=int)
37 parser.add_argument("--shuffle", action="store_true")
38 parser.add_argument("--use_vllm", action="store_true")
39 parser.add_argument("--save_outputs", action="store_true")
40 parser.add_argument("--overwrite", action="store_true")
41 parser.add_argument("--use_safetensors", action="store_true")
42 parser.add_argument("--num_shots", type=int, default=0)
43 parser.add_argument(
44 "--apply_chat_template",
45 action="store_true",
46 help="Apply chat template to prompt.",
47 )
48 parser.add_argument("--pipeline_parallel_size", type=int, default=1)
49 parser.add_argument(
50 "--adapt_few_shot",
51 action="store_true",
52 help="Few shot for multiple-choice questions, zero shot for others.",
53 )
54 args = parser.parse_args()
55 args.top_p = (
56 1 if args.temperature == 0 else args.top_p
57 ) # top_p must be 1 when using greedy sampling (vllm)
58 return args
59
60
61def prepare_data(data_name, args):

Callers 1

math_eval.pyFile · 0.70

Calls

no outgoing calls

Tested by

no test coverage detected