data/tokenizers/char_tokenizer_german.json


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

_ 0
<BLANK> 1
<UNK> 2
<SPACE> 3
a 4
b 5
c 6
d 7
e 8
f 9
g 10
h 11
i 12
j 13
k 14
l 15
m 16
n 17
o 18
p 19
q 20
r 21
s 22
t 23
u 24
v 25
w 26
x 27
y 28
z 29
é 30
à 31
ä 32
ö 33
ß 34
ü 35
- 36
' 37