عدّاد التوكنات

ما التوكن في حقيقته

نموذج اللغة لا يقرأ نصك حروفًا ولا يقرأه كلمات. قبل أن يحدث أي شيء آخر، يقطع النص إلى توكنات، والتوكن تسلسل من البايتات يحمل النموذج رقمًا واحدًا يقابله. بعض التوكنات كلمات كاملة بالفعل. وكثير منها كلمة ومعها المسافة التي تسبقها، ولهذا قد تكلف الكلمة نفسها قدرًا مختلفًا بحسب ما يأتي قبلها. وغيرها لاحقة أو علامة ترقيم أو مسافة بادئة أو شظية ليست جزءًا من أي شيء يسميه القارئ باسم. والتقطيع يجري وفق جدول بني بإحصاء أي التسلسلات يقع معا أكثر من غيره في متن نصي كبير، ولم يصمم فيه شيء ليطابق الطريقة التي يكتب بها أحد.

• التوكن تسلسل من البايتات لا تسلسل من الحروف. يبدو هذا التمييز تدقيقًا زائدًا حتى تكتب خارج الأبجدية اللاتينية، فيصير هو القصة كلها.
• الكلمة الإنجليزية الشائعة توكن واحد في العادة. أما الكلمة النادرة أو الاسم أو رمز المنتج أو الخطأ المطبعي فعدة توكنات، لأن الجدول لا يحمل مدخلًا لها كاملة فيضطر إلى تركيبها من قطع أقصر.
• المسافات ليست مجانية. المسافة البادئة والأسطر الفارغة والمسافات داخل جدول ملصوق كلها بايتات، وكلها تعد. والموجه الذي يبدو مرتبًا قد يكلف أكثر بوضوح من الموجه نفسه مكتوبًا مسطحًا.
• العد يتوقف على البايتات بعينها ولا شيء غيرها. نصان يبدوان متطابقين على الشاشة ويختلفان في حرف غير مرئي — مسافة غير فاصلة، أو علامة ترتيب البايتات، أو فاصلة عليا من نوع آخر — نصان مختلفان، وقد يصلان إلى رقمين مختلفين.

ولهذا فإن القاعدة التقريبية التي يرددها الجميع — اقسم عدد الحروف على أربعة — ليست قاعدة أصلًا. إنها متوسط واحد على نوع واحد من النص في لغة واحدة، وهي خاطئة في الاتجاه الذي يكلف مالًا بمجرد أن يكون نصك شيفرة أو جدولًا أو قائمة معرفات أو مكتوبًا بأي لغة غير الإنجليزية. والرقم في هذه الصفحة ليس ذلك المتوسط، بل هو التقطيع الحقيقي، يجريه الجدول الحقيقي، داخل متصفحك.

الترميز هو ما يقوم بالعد

الجدول وقواعد الدمج معه يسميان معا ترميزًا، وللترميز اسم خاص به. وهذا الاسم هو ما يستحق أن يتعلم، لأن العد يخصه هو لا أي نموذج: عدة نماذج تتشارك ترميزًا واحدًا، والنموذج الذي يحل محله نموذج أحدث يحتفظ في الغالب الأعم بترميز سلفه. وحين تعرض هذه الصفحة رقمًا، تعرض معه الترميز الذي حسب به الرقم، بجوار النموذج الذي اخترته تمامًا.

• النموذج يستخدم ترميزًا. والربط بينهما من كثير إلى واحد، فمعرفة الترميز الذي يستخدمه نموذجك تخبرك أكثر مما تخبرك معرفة النموذج نفسه.
• وللترميز اسم منشور خاص به، مثل o200k_base، وهذا الاسم يعني الجدول نفسه أينما لقيته. عد أجري بترميز ما في هذه الصفحة وعد أجري بالترميز نفسه في أي مكان آخر يتفقان، وهذا وحده ما يجعل العد المرفق بترميزه قابلًا للتحقق أصلًا.
• ولا معنى للعد إلا وترميزه مرفق به. الرقم المنقول باسم نموذج ودون ترميز رقم لا تستطيع التحقق منه، وهو ما تعطيك إياه أكثر الصفحات في هذا الموضوع.

والنتيجة العملية تفاجئ الناس: الانتقال بين نموذجين يتشاركان ترميزًا واحدًا لن يحرك الرقم إطلاقًا، وذلك دليل على أن الأداة مصيبة لا على أنها معطوبة. وإن أردت أن ترى العد يتغير، فعليك تغيير الترميز لا اسم النموذج.

لماذا يكلف النص غير الإنجليزي أكثر

هنا الجزء الذي لن تخبرك به أي صفحة كتبت والإنجليزية نقطة انطلاقها، وهو سبب وجود هذه الصفحة. الترميزات المستخدمة تعمل على مستوى البايت: تشتغل على بايتات UTF-8 في نصك لا على حروفه. الحرف اللاتيني بايت واحد. والحرف العربي أو العبري أو اليوناني أو السيريلي بايتان. والحرف الصيني أو الياباني أو الكوري ثلاثة. والرمز التعبيري أربعة، والعلم أو العائلة الموصولة عدة رموز كهذه في تتابع. فقبل أن يفتح أي جدول أصلًا، تكون الجملة نفسها قد صارت ضعفي عدد البايتات أو ثلاثة أضعافه في لغة عنها في أخرى.

• بنيت الجداول بإحصاء التسلسلات في متن إنجليزي في معظمه الساحق، فنالت الكلمات الإنجليزية مداخل خاصة بها ولم تنلها كلمات اللغات الأخرى في كثير من الأحيان. واللغة التي لا مدخل لكلماتها الشائعة تتهجى شظايا.
• وهذا يتراكم فوق كلفة البايتات لا يحل محلها. فالكلمة التي يلزم تركيبها من ثلاث شظايا، كل منها بايتان أو ثلاثة، غالية مرتين.
• والأثر ليس واحدًا بين اللغات غير الإنجليزية. فالكتابة التي لها في الجدول تسلسلات متكررة خاصة بها تخرج أفضل بكثير من كتابة بالكاد كانت ممثلة، والسبيل الوحيد لتعرف أين تقف كتابتك أن تلصق نصك أنت وتنظر.
• ولهذا لا تنتقل ميزانية حسبت بالإنجليزية إلى غيرها. فإن قيل لك إن نافذة السياق تتسع لعدد معين من الصفحات، فذلك الرقم قيس بالإنجليزية في أغلب الظن، ولن تبلغه لغتك.

وليس شيء من هذا عيبًا تلتف عليه بالكتابة على نحو آخر، وليس سببًا للكتابة بالإنجليزية. إنه كلفة ينبغي أن تكون قادرًا على رؤيتها قبل أن تلتزم بها، وهذا كل عمل الرقم أعلاه.

الحرف الواحد قد ينقسم بين عدة توكنات

لأن التوكن تسلسل من البايتات، ولأن الحرف خارج الأبجدية اللاتينية عدة بايتات، فإن الحرف الواحد ينقسم نصفين بانتظام: بايتاته الأولى تقع في توكن والأخيرة في الذي يليه. وليس أي من هذين التوكنين نصًا قائمًا بذاته. وطباعتهما كأنهما كذلك هي ما ينتج صف حروف الاستبدال الذي ربما رأيته في صفحات أخرى تعدك بأن تريك توكناتك، وهي تهدم بالضبط الفهم الذي كان يفترض أن تعطيه الصورة.

ولذلك يرسم هذا الموقع كتلة بدلًا من ذلك: أقصر تتابع من التوكنات المتلاصقة تخرج بايتاته نصًا كاملًا. وهي في العادة توكن واحد. وحيث انقسم حرف تكون توكنين أو أكثر — حتى أربعة، لحرف طوله أربعة بايتات قطع بايتا بعد بايت — وترسم الكتلة كاملة وعدد التوكنات التي بداخلها مكتوب بجوارها، فترى الانقسام بدل أن يضيع الحرف فيه. والعد لا يتأثر بشيء من هذا أبدًا. الانقسام حقيقة عن الطريقة التي قطعت بها البايتات، والمجموع هو المجموع.

كيف تقرأ صورة نصك أنت

تحت العد، يرسم نصك مرة ثانية وحدود توكناته ظاهرة. كل كتلة في تلك الصورة هي الوحدة الموصوفة أعلاه، والكتل تجري بالترتيب الذي كتبته، ولا يحذف شيء ولا يختصر — فما تنظر إليه هو نصك أنت لا قائمة شظايا انتزعت منه. وهذا هو السؤال الذي لا يستطيع الرقم أن يجيب عنه: لا كم يكلف الشيء كله، بل أي أجزائه هي الغالية.

• الكتلة التي لا رقم عليها توكن واحد، وهي الحالة العادية. وتترك بلا علامة عن قصد: رقم على كل كتلة كان سيصير جدارًا من الأرقام فوق جملك أنت وكان سيدفن الكتل التي تستحق النظر. الحد هو القراءة، والتظليل هو ما يجعل كتلة تنتهي والتي بعدها تبدأ.
• والكتلة التي تحمل رقمًا صغيرًا تغطي أكثر من توكن واحد، وهناك انقسم حرف على حد. والحرف لا يزال هناك، مرسومًا كاملًا، وعدد التوكنات التي كلفها مكتوب بجواره — فيظهر الانقسام كلفة لا ضررًا بنصك. والرمز التعبيري أو حرف من كتابة قديمة قد يبلغ أربعة.
• والمسافات وفواصل الأسطر والمسافة البادئة ترسم مثل كل شيء آخر، لأنها تعد مثل كل شيء آخر. وامتداد من الكتل فوق ما يبدو أنه لا شيء البتة هو أرخص جزء يصلح في موجه طويل، وهو غير مرئي حتى تستطيع رؤيته.
• وتبديل النموذج يعيد تشكيل الصورة كلما بدل الترميز، ويتركها كما هي تمامًا كلما لم يبدله. وهي الحقيقة نفسها التي يظهرها الرقم، في صورة ترى فيها أين يقع الفرق لا أن هناك فرقًا فحسب.

والنص الطويل جدا لا يرسم إلا إلى حد، وحيث يتوقف الرسم تقول الصفحة كم كتلة رسمت من أصل كم. والعد لا يحد بهذه الطريقة أبدًا: هو على كل ما لصقته، مهما طال، ولا شيء في الصورة يبلغه. والحد موجود لأن المتصفح يخرج الكتل واحدة واحدة، ووثيقة كاملة ستكون منها أكثر مما تستطيع أي صفحة أن تعرضه عرضًا مفيدًا — فما تفقده بعد تلك النقطة هو صورة الباقي، لا الجواب عنه أبدًا.

لماذا لا تحمل بعض النماذج رقمًا هنا

ليس كل نموذج يمكن عده في متصفحك، والأمانة تقتضي أن يقال أيها ولماذا، لا أن يعرض عليك رقم مخمن. وهناك ثلاث حالات قد يكون النموذج فيها على هذه الصفحة، وهي مميزة بعضها من بعض على الشاشة لا مطموسة معا.

• ترميزه منشور وهذا الموقع يقدمه. فتحصل على عد دقيق، حسب هنا، مقابل الجدول الحقيقي.
• ترميزه منشور وهذا الموقع لا يقدمه. فيذكر السطر اسم الترميز ويقول لماذا — وأكثر ما يكون ذلك لأن الملف نشره من لا يذكر رخصة تتيح لأحد غيره إعادة نشره. الجدول موجود؛ والرفض رفضنا نحن، والسطر يقول ذلك.
• ترميزه لم ينشر قط على الإطلاق. فلا جدول يقدم ولا جدول يرفض، ولذلك لا تستطيع أي صفحة في أي مكان أن تعد ذلك النموذج في متصفحك، مهما ادعت. والسطر يقول ذلك، ولا يحمل رقمًا ولا تقديرًا ولا مدى.

وذلك السطر الأخير هو موضع الغش الصامت في أكثر الصفحات في هذا الموضوع: تمرر نصك عبر جدول نموذج آخر وتعرض النتيجة كأنها قياس. وهذا ليس عدم دقة فحسب، بل هو تحيز، وهو أسوأ ما يكون على النص الأصعب في وضع ميزانية له بالضبط — الشيفرة، وكل ما ليس مكتوبًا بالإنجليزية. والعد الدقيق لنموذج كهذا يأتي من خدمة عد التوكنات الخاصة بصانعه نفسه، وهي تحتاج مفتاح API لا تملك صفحة تعمل كلها في متصفحك سبيلًا إلى الاحتفاظ به ولا يجوز لها أن تطلبه منك أبدًا. واللجوء إلى تلك الخدمة هو الجواب الأمين، وهو ما تعطيك إياه هذه الصفحة بدل رقم.

أن تحول العد إلى كلفة بنفسك

هذه الصفحة لا تذكر أسعارًا، وذلك عن قصد: السعر يتقادم أسرع من أي شيء آخر في هذا الموضوع، والسعر المتقادم لا يترك الصفحة ناقصة بل يتركها كاذبة. وما لا يتقادم هو الحساب، فها هو، وتستطيع تطبيقه على ما تقوله صفحة المزود نفسه اليوم.

• المزودون يذكرون سعرًا لكل مليون توكن. خذ العد من هذه الصفحة، واقسمه على مليون، واضربه في ذلك السعر. تلك كلفة إرسال النص مرة واحدة.
• المدخلات والمخرجات تسعر منفصلة، والمخرجات أغلى الاثنتين عادة. وهذه الصفحة تعد ما ترسله أنت. ولا تستطيع عد رد لم يوجد بعد، فأي كلفة تحسبها منها أرضية لا مجموع أبدًا.
• والمحادثة تعيد إرسال سجلها. فإن كان نصك رسالة نظام تمضي مع كل دور، فاضرب في عدد الأدوار التي تتوقعها، ثم في عدد المستخدمين، قبل أن تقرر إن كان اختصارها يستحق نصف يوم عمل.

والعد نفسه يجيب عن السؤال الآخر الذي يأتي به الناس إلى هنا، وهو هل يتسع النص. وهذا أيضًا لن تخبرك به هذه الصفحة، لأن نافذة السياق رقم متحرك، ولأن الوعد بالاتساع وعد لا تستطيع الوفاء به أداة ليست النموذج نفسه. وما تعطيك إياه هو الرقم الذي تقارن به أي رقم ينشره المزود.

لا شيء تلصقه يغادر متصفحك

العد يجري في الصفحة التي حملتها بالفعل. وجدول الترميز الذي اخترته يجلب مرة واحدة من هذا الموقع — وذلك جلب لملف لا رفع لنصك — وكل ما بعده يعمل على جهازك أنت، في خيط منفصل حتى لا تجمد وثيقة طويلة التبويب. افتح لوحة الشبكة في متصفحك وراقب وأنت تكتب: لا يخرج أي طلب يحمل ما كتبته.

وهذا ما يجعل من الآمن أن تلصق الشيء الذي تريد عده فعلًا — موجه عميل، أو رسالة نظام داخلية، أو مقطعًا من وثيقة خاصة — بدل نسخة منقحة منه كانت ستصل إلى رقم آخر على أي حال. ولا يخزن شيء أيضًا: أعد تحميل الصفحة فيكون الحقل فارغًا، ولا سجل هناك ولا شيء يحذف بعدها.