renillhuang commited on
Commit
c77bd16
1 Parent(s): c71e05b

Update README_zh.md

Browse files
Files changed (1) hide show
  1. README_zh.md +31 -4
README_zh.md CHANGED
@@ -32,7 +32,7 @@
32
  - [📖 模型介绍](#zh_model-introduction)
33
  - [🔗 下载路径](#zh_model-download)
34
  - [🔖 评估结果](#zh_model-benchmark)
35
- - [📊 模型推理](#zh_model-inference)
36
  - [📜 声明协议](#zh_declarations-license)
37
  - [🥇 企业介绍](#zh_company-introduction)
38
 
@@ -266,10 +266,37 @@ CUDA_VISIBLE_DEVICES=0 python demo/text_generation_base.py --model OrionStarAI/O
266
  CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt 你好,你叫什么名字
267
 
268
  ```
 
 
 
269
 
270
- ## 4.4. 示例输出
 
271
 
272
- ### 4.4.1. 闲聊
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
273
 
274
  `````
275
  用户:你好,你叫什么名字
@@ -296,7 +323,7 @@ Orion-14B:从前有一个小男孩叫杰克,他住在一个小村庄里。杰
296
  这个故事告诉我们,只要有勇气和决心,我们就能克服一切困难,实现自己的梦想。
297
  `````
298
 
299
- ### 4.4.2. 日韩
300
 
301
  `````
302
  用户:自己を紹介してください
 
32
  - [📖 模型介绍](#zh_model-introduction)
33
  - [🔗 下载路径](#zh_model-download)
34
  - [🔖 评估结果](#zh_model-benchmark)
35
+ - [📊 模型推理](#zh_model-inference)[<img src="./assets/imgs/vllm.png" alt="vllm" height="20"/>](#vllm) [<img src="./assets/imgs/llama_cpp.png" alt="llamacpp" height="20"/>](#llama-cpp)
36
  - [📜 声明协议](#zh_declarations-license)
37
  - [🥇 企业介绍](#zh_company-introduction)
38
 
 
266
  CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt 你好,你叫什么名字
267
 
268
  ```
269
+ ## 4.4. 使用vllm推理
270
+ - 工程地址<br>
271
+ https://github.com/vllm-project/vllm
272
 
273
+ - 拉取请求<br>
274
+ https://github.com/vllm-project/vllm/pull/2539
275
 
276
+ <a name="llama-cpp"></a><br>
277
+ ## 4.5. 使用llama.cpp推理
278
+
279
+ - 工程地址<br>
280
+ https://github.com/ggerganov/llama.cpp
281
+
282
+ - 拉取请求<br>
283
+ https://github.com/ggerganov/llama.cpp/pull/5118
284
+
285
+ - 如何转换GGUF格式模型
286
+
287
+ ```shell
288
+ python convert-hf-to-gguf.py path/to/Orion-14B-Chat --outfile chat.gguf
289
+ ```
290
+
291
+ - 如何运行GGUF格式模型推理
292
+
293
+ ```shell
294
+ ./main --frequency-penalty 0.5 --frequency-penalty 0.5 --top-k 5 --top-p 0.9 -m chat.gguf -p "Building a website can be done in 10 simple steps:\nStep 1:" -n 400 -e
295
+ ```
296
+
297
+ ## 4.6. 示例输出
298
+
299
+ ### 4.6.1. 闲聊
300
 
301
  `````
302
  用户:你好,你叫什么名字
 
323
  这个故事告诉我们,只要有勇气和决心,我们就能克服一切困难,实现自己的梦想。
324
  `````
325
 
326
+ ### 4.6.2. 日韩
327
 
328
  `````
329
  用户:自己を紹介してください