Skip to content

Commit 278eb05

Browse files
ZailiWangZailiWang
authored
update support LLM table (#2845)
* update support LLM table * update mpt7b static int8 status * correct model zoo link * remove phi3 support
1 parent bb1f364 commit 278eb05

File tree

5 files changed

+164
-61
lines changed

5 files changed

+164
-61
lines changed

‎README.md‎

Lines changed: 8 additions & 10 deletions
Original file line numberDiff line numberDiff line change
@@ -22,7 +22,7 @@ In the current technological landscape, Generative AI (GenAI) workloads and mode
2222
|LLAMA| meta-llama/Llama-2-13b-hf | 🟩 | 🟩 | 🟩 | 🟩 | 🟩 |
2323
|LLAMA| meta-llama/Llama-2-70b-hf | 🟩 | 🟩 | 🟩 | 🟩 | 🟩 |
2424
|LLAMA| meta-llama/Meta-Llama-3-8B | 🟩 | 🟩 | 🟨 | 🟩 | |
25-
|LLAMA| meta-llama/Meta-Llama-3-70B | 🟩 | 🟩 | 🟨 | 🟩 | |
25+
|LLAMA| meta-llama/Meta-Llama-3-70B | 🟩 | 🟩 | 🟨 | 🟩 | 🟨 |
2626
|GPT-J| EleutherAI/gpt-j-6b | 🟩 | 🟩 | 🟩 | 🟩 | 🟩 |
2727
|GPT-NEOX| EleutherAI/gpt-neox-20b | 🟩 | 🟨 | 🟨 | 🟩 | 🟨 |
2828
|DOLLY| databricks/dolly-v2-12b | 🟩 | 🟨 | 🟨 | 🟩 | 🟨 |
@@ -31,25 +31,23 @@ In the current technological landscape, Generative AI (GenAI) workloads and mode
3131
|OPT| facebook/opt-30b | 🟩 | 🟩 | 🟩 | 🟩 | 🟨 |
3232
|OPT| facebook/opt-1.3b | 🟩 | 🟩 | 🟩 | 🟩 | 🟨 |
3333
|Bloom| bigscience/bloom-1b7 | 🟩 | 🟨 | 🟩 | 🟩 | 🟨 |
34-
|CodeGen| Salesforce/codegen-2B-multi | 🟩 | 🟩 | 🟨 | 🟩 | 🟩 |
34+
|CodeGen| Salesforce/codegen-2B-multi | 🟩 | 🟩 | 🟩 | 🟩 | 🟩 |
3535
|Baichuan| baichuan-inc/Baichuan2-7B-Chat | 🟩 | 🟩 | 🟩 | 🟩 | |
3636
|Baichuan| baichuan-inc/Baichuan2-13B-Chat | 🟩 | 🟩 | 🟨 | 🟩 | |
3737
|Baichuan| baichuan-inc/Baichuan-13B-Chat | 🟩 | 🟨 | 🟩 | 🟩 | |
3838
|ChatGLM| THUDM/chatglm3-6b | 🟩 | 🟩 | 🟨 | 🟩 | |
3939
|ChatGLM| THUDM/chatglm2-6b | 🟩 | 🟩 | 🟨 | 🟩 | |
4040
|GPTBigCode| bigcode/starcoder | 🟩 | 🟩 | 🟨 | 🟩 | 🟨 |
41-
|T5| google/flan-t5-xl | 🟩 | 🟩 | 🟨 | 🟩 | |
41+
|T5| google/flan-t5-xl | 🟩 | 🟩 | | 🟩 | |
42+
|MPT| mosaicml/mpt-7b | 🟩 | 🟩 | 🟩 | 🟩 | 🟩 |
4243
|Mistral| mistralai/Mistral-7B-v0.1 | 🟩 | 🟩 | 🟨 | 🟩 | 🟨 |
43-
|MPT| mosaicml/mpt-7b | 🟩 | 🟩 | 🟨 | 🟩 | 🟩 |
4444
|Mixtral| mistralai/Mixtral-8x7B-v0.1 | 🟩 | 🟩 | | 🟩 | 🟨 |
4545
|Stablelm| stabilityai/stablelm-2-1_6b | 🟩 | 🟩 | 🟨 | 🟩 | 🟨 |
4646
|Qwen| Qwen/Qwen-7B-Chat | 🟩 | 🟩 | 🟨 | 🟩 | |
47-
|LLaVA| liuhaotian/llava-v1.5-7b | 🟩 | 🟩 | 🟨 | 🟩 | |
48-
|GIT| microsoft/git-base | 🟩 | 🟩 | 🟨 | 🟩 | |
49-
|Yuan| IEITYuan/Yuan2-102B-hf | 🟩 | 🟩 | 🟨 | 🟩 | |
50-
|Phi| microsoft/phi-2 | 🟩 | 🟩 | 🟨 | 🟩 | |
51-
|Phi| microsoft/Phi-3-mini-4k-instruct | 🟩 | 🟩 | 🟨 | 🟩 | |
52-
|Phi| microsoft/Phi-3-mini-128k-instruct | 🟩 | 🟩 | 🟨 | 🟩 | |
47+
|LLaVA| liuhaotian/llava-v1.5-7b | 🟩 | 🟩 | | 🟩 | |
48+
|GIT| microsoft/git-base | 🟩 | 🟩 | | 🟩 | |
49+
|Yuan| IEITYuan/Yuan2-102B-hf | 🟩 | 🟩 | | 🟨 | |
50+
|Phi| microsoft/phi-2 | 🟩 | 🟩 | 🟩 | 🟩 | 🟨 |
5351

5452
- 🟩 signifies that the model can perform well and with good accuracy (<1% difference as compared with FP32).
5553

‎docs/_static/htmls/tbl_deepspeed.html‎

Lines changed: 31 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -26,6 +26,18 @@
2626
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
2727
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
2828
</tr>
29+
<tr class="row-odd">
30+
<td><p>LLAMA</p></td>
31+
<td><p>meta-llama/Meta-Llama-3-8B</p></td>
32+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
33+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
34+
</tr>
35+
<tr class="row-even">
36+
<td><p>LLAMA</p></td>
37+
<td><p>meta-llama/Meta-Llama-3-70B</p></td>
38+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
39+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
40+
</tr>
2941
<tr class="row-odd">
3042
<td><p>GPT-J</p></td>
3143
<td><p>EleutherAI/gpt-j-6b</p></td>
@@ -83,7 +95,7 @@
8395
<tr class="row-even">
8496
<td><p>Baichuan</p></td>
8597
<td><p>baichuan-inc/Baichuan2-13B-Chat</p></td>
86-
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
98+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
8799
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
88100
</tr>
89101
<tr class="row-odd">
@@ -116,6 +128,24 @@
116128
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
117129
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
118130
</tr>
131+
<tr class="row-even">
132+
<td><p>Stablelm</p></td>
133+
<td><p>stabilityai/stablelm-2-1_6b</p></td>
134+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
135+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
136+
</tr>
137+
<tr class="row-odd">
138+
<td><p>Qwen</p></td>
139+
<td><p>Qwen/Qwen-7B-Chat</p></td>
140+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
141+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
142+
</tr>
143+
<tr class="row-even">
144+
<td><p>GIT</p></td>
145+
<td><p>microsoft/git-base</p></td>
146+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
147+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
148+
</tr>
119149
</tbody>
120150
</table>
121151
<ul class="simple">

‎docs/_static/htmls/tbl_single.html‎

Lines changed: 89 additions & 26 deletions
Original file line numberDiff line numberDiff line change
@@ -27,7 +27,7 @@
2727
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
2828
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
2929
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
30-
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
30+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
3131
</tr>
3232
<tr class="row-even">
3333
<td><p>LLAMA</p></td>
@@ -36,6 +36,24 @@
3636
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
3737
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
3838
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
39+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
40+
</tr>
41+
<tr class="row-odd">
42+
<td><p>LLAMA</p></td>
43+
<td><p>meta-llama/Meta-Llama-3-8B</p></td>
44+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
45+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
46+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
47+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
48+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
49+
</tr>
50+
<tr class="row-even">
51+
<td><p>LLAMA</p></td>
52+
<td><p>meta-llama/Meta-Llama-3-70B</p></td>
53+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
54+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
55+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
56+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
3957
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
4058
</tr>
4159
<tr class="row-odd">
@@ -65,7 +83,16 @@
6583
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
6684
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
6785
</tr>
68-
<tr class="row-even">
86+
<tr class="row-even">
87+
<td><p>FALCON</p></td>
88+
<td><p>tiiuae/falcon-7b</p></td>
89+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
90+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
91+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
92+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
93+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
94+
</tr>
95+
<tr class="row-odd">
6996
<td><p>FALCON</p></td>
7097
<td><p>tiiuae/falcon-40b</p></td>
7198
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
@@ -74,7 +101,7 @@
74101
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
75102
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
76103
</tr>
77-
<tr class="row-odd">
104+
<tr class="row-even">
78105
<td><p>OPT</p></td>
79106
<td><p>facebook/opt-30b</p></td>
80107
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
@@ -83,7 +110,7 @@
83110
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
84111
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
85112
</tr>
86-
<tr class="row-even">
113+
<tr class="row-odd">
87114
<td><p>OPT</p></td>
88115
<td><p>facebook/opt-1.3b</p></td>
89116
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
@@ -92,7 +119,7 @@
92119
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
93120
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
94121
</tr>
95-
<tr class="row-odd">
122+
<tr class="row-even">
96123
<td><p>Bloom</p></td>
97124
<td><p>bigscience/bloom-1b7</p></td>
98125
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
@@ -101,16 +128,16 @@
101128
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
102129
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
103130
</tr>
104-
<tr class="row-even">
131+
<tr class="row-odd">
105132
<td><p>CodeGen</p></td>
106133
<td><p>Salesforce/codegen-2B-multi</p></td>
107134
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
108135
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
109-
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
136+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
110137
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
111138
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
112139
</tr>
113-
<tr class="row-odd">
140+
<tr class="row-even">
114141
<td><p>Baichuan</p></td>
115142
<td><p>baichuan-inc/Baichuan2-7B-Chat</p></td>
116143
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
@@ -119,16 +146,16 @@
119146
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
120147
<td><p style="text-align: center; vertical-align: middle;"></p></td>
121148
</tr>
122-
<tr class="row-even">
149+
<tr class="row-odd">
123150
<td><p>Baichuan</p></td>
124151
<td><p>baichuan-inc/Baichuan2-13B-Chat</p></td>
125152
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
126153
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
127-
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
154+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
128155
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
129156
<td><p style="text-align: center; vertical-align: middle;"></p></td>
130157
</tr>
131-
<tr class="row-odd">
158+
<tr class="row-even">
132159
<td><p>Baichuan</p></td>
133160
<td><p>baichuan-inc/Baichuan-13B-Chat</p></td>
134161
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
@@ -137,7 +164,7 @@
137164
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
138165
<td><p style="text-align: center; vertical-align: middle;"></p></td>
139166
</tr>
140-
<tr class="row-even">
167+
<tr class="row-odd">
141168
<td><p>ChatGLM</p></td>
142169
<td><p>THUDM/chatglm3-6b</p></td>
143170
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
@@ -146,7 +173,7 @@
146173
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
147174
<td><p style="text-align: center; vertical-align: middle;"></p></td>
148175
</tr>
149-
<tr class="row-odd">
176+
<tr class="row-even">
150177
<td><p>ChatGLM</p></td>
151178
<td><p>THUDM/chatglm2-6b</p></td>
152179
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
@@ -155,7 +182,7 @@
155182
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
156183
<td><p style="text-align: center; vertical-align: middle;"></p></td>
157184
</tr>
158-
<tr class="row-even">
185+
<tr class="row-odd">
159186
<td><p>GPTBigCode</p></td>
160187
<td><p>bigcode/starcoder</p></td>
161188
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
@@ -164,15 +191,24 @@
164191
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
165192
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
166193
</tr>
167-
<tr class="row-odd">
194+
<tr class="row-even">
168195
<td><p>T5</p></td>
169196
<td><p>google/flan-t5-xl</p></td>
170197
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
171198
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
172-
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
199+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
173200
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
174201
<td><p style="text-align: center; vertical-align: middle;"></p></td>
175202
</tr>
203+
<tr class="row-odd">
204+
<td><p>MPT</p></td>
205+
<td><p>mosaicml/mpt-7b</p></td>
206+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
207+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
208+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
209+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
210+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
211+
</tr>
176212
<tr class="row-even">
177213
<td><p>Mistral</p></td>
178214
<td><p>mistralai/Mistral-7B-v0.1</p></td>
@@ -183,41 +219,68 @@
183219
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
184220
</tr>
185221
<tr class="row-odd">
186-
<td><p>MPT</p></td>
187-
<td><p>mosaicml/mpt-7b</p></td>
222+
<td><p>Mixtral</p></td>
223+
<td><p>mistralai/Mixtral-8x7B-v0.1</p></td>
188224
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
189225
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
226+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
227+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
190228
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
229+
</tr>
230+
<tr class="row-even">
231+
<td><p>Stablelm</p></td>
232+
<td><p>stabilityai/stablelm-2-1_6b</p></td>
233+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
191234
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
235+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
192236
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
237+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
238+
</tr>
239+
<tr class="row-odd">
240+
<td><p>Qwen</p></td>
241+
<td><p>Qwen/Qwen-7B-Chat</p></td>
242+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
243+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
244+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
245+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
246+
<td><p style="text-align: center; vertical-align: middle;"></p></td>
193247
</tr>
194248
<tr class="row-even">
195-
<td><p>Mixtral</p></td>
196-
<td><p>mistralai/Mixtral-8x7B-v0.1</p></td>
249+
<td><p>LLaVA</p></td>
250+
<td><p>liuhaotian/llava-v1.5-7b</p></td>
197251
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
198252
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
199253
<td><p style="text-align: center; vertical-align: middle;"></p></td>
200254
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
201255
<td><p style="text-align: center; vertical-align: middle;"></p></td>
202256
</tr>
203257
<tr class="row-odd">
204-
<td><p>Stablelm</p></td>
205-
<td><p>stabilityai/stablelm-2-1_6b</p></td>
258+
<td><p>GIT</p></td>
259+
<td><p>microsoft/git-base</p></td>
206260
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
207261
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
208262
<td><p style="text-align: center; vertical-align: middle;"></p></td>
209-
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
263+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
210264
<td><p style="text-align: center; vertical-align: middle;"></p></td>
211265
</tr>
212266
<tr class="row-even">
213-
<td><p>Qwen</p></td>
214-
<td><p>Qwen/Qwen-7B-Chat</p></td>
267+
<td><p>Yuan</p></td>
268+
<td><p>IEITYuan/Yuan2-102B-hf</p></td>
215269
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
216270
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
217271
<td><p style="text-align: center; vertical-align: middle;"></p></td>
218-
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
272+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
219273
<td><p style="text-align: center; vertical-align: middle;"></p></td>
220274
</tr>
275+
<tr class="row-odd">
276+
<td><p>Phi</p></td>
277+
<td><p>microsoft/phi-2</p></td>
278+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
279+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
280+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
281+
<td><p style="text-align: center; vertical-align: middle;">🟩</p></td>
282+
<td><p style="text-align: center; vertical-align: middle;">🟨</p></td>
283+
</tr>
221284
</tbody>
222285
</table>
223286
<ul class="simple">

‎docs/tutorials/examples.md‎

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -359,7 +359,7 @@ $ ldd example-app
359359

360360
## Intel® AI Reference Models
361361

362-
Use cases that have already been optimized by Intel engineers are available at [Intel® AI Reference Models](https://github.com/IntelAI/models/tree/pytorch-r2.3.0-models) (former Model Zoo).
363-
A number of PyTorch use cases for benchmarking are also available in the [benchmarks](https://github.com/IntelAI/models/tree/pytorch-r2.3.0-models/benchmarks#pytorch-use-cases).
362+
Use cases that have already been optimized by Intel engineers are available at [Intel® AI Reference Models](https://github.com/IntelAI/models/tree/pytorch-r2.3-models) (former Model Zoo).
363+
A number of PyTorch use cases for benchmarking are also available in the [benchmarks](https://github.com/IntelAI/models/tree/pytorch-r2.3-models/benchmarks#pytorch-use-cases).
364364
You can get performance benefits out-of-the-box by simply running scripts in the Intel® AI Reference Models.
365365

0 commit comments

Comments
 (0)