قوه Yipu شركة من الجزء السفلي من راحة غير معبد،
تقارير و qubit | عدد ملفه QbitAI
DeepMind مؤخرا TensorFlow 2.0 أدوات التضحية من بحوزته الخاصة:
TF-المكرر ، كتبت داخل مكتبة برامج للاستخدام الشخصي، ويسمح للباحثين القيام به أبدا النظم الموزعة لنشر بسهولة نموذج TensorFlow على GPU متعددة / سحابة TPU، ينطبق أيضا على Keras.
حاليا، TF-المكرر نموذج البرمجة بالفعل مفتوحة المصدر كجزء من TensorFlow في tf.distribute.Strategy.
مهندس على تويتر هتف: هذا هو ببساطة TensorFlow 2.0 مخبأة الكنوز آه!
كيفية استخدام
كود TensorFlow TF-المكرر باستخدام قانون مكتوب في كتابة واحد من جهاز مماثل، ويسمح للمستخدمين لتحديد الخاصة نموذجهم دورة مجانية على التوالي.
يحتاج المستخدمون فقط إلى تحديد قسمين:
1. وظيفة من مجموعة البيانات المدخلة يتم الإفصاح.
الخطوة 2. وظيفة المنطق نموذج.
1 # نشر نموذج مع TpuReplicator. 2repl = tf_replicator.TpuReplicator ( 3 num_workers = 1، num_tpu_cores_per_worker = 84) repl.context 5with (): 6 نموذج = resnet_model () 7 base_optimizer = tf.train.AdamOptimizer () 8 محسن = repl.wrap_optimizer (base_optimizer) 910 # ... كود لتحديد نسخة input_fn وstep_fn. 1112per_replica_loss = repl.run (step_fn، input_fn) 13train_op = tf.reduce_mean (per_replica_loss) 1415with tf.train.MonitoredSession () كما الدورة: 16 repl.init (الدورة) 17 لأني في xrange (num_train_steps): 18 session.run (train_op) 19 repl.shutdown (الدورة)جلبت GAN عن محاولة
الآن، نحن غان لاختبار تأثير TF-المكرر. هنا يستخدم في التدريب في ImageNet الطيفية تطبيع GAN (SN-GAN، أرخايف: 1802.05957).
مقارنة مع قطعة واحدة التدريب GPU، مع TF-المكرر GPU موزعة على عدد وافر من تدريب أفضل بكثير.
على سبيل المثال، لتوليد البرتقال الصورة، وهو حجم دفعة 8 و حجم الدفعة 16 في الحالات التالية:
في الأساس لا ترى البرتقال.
حجم الدفعة 32 دفعة وحجم 64 هو أفضل، يمكنك أن ترى ذلك هو البرتقالي، ولكن مثل الشعر الطويل، كان من تسديدة مثل صفعة في وجه:
حجم الدفعة 128 مع اللحم البرتقال، وحجم الدفعة 256 شكل طبيعي نسبيا:
أمثلة أعلى دفعة حجم 512، لديه شكل البرتقال والبرتقال الحقيقي تقريبا، واللحم واللحم الأبيض بين صمام يمكن أيضا أن ينظر إليها، بالإضافة إلى الجلد سميكة البرتقالي قليلا لا مشكلة هذه النوعية.
من وجهات النظر، طالما تم زيادة حجم دفعة 64-512 يمكن أن تكون زيادة بنسبة 50 على درجة الحقيقية.
حسنا، وآمل أن تستمر في فتح بعض الخاصة بضائعها جيدة DeepMind.
بوابة
وأخيرا، إرفاق الوثائق الرسمية المتعلقة بما يلي:
وثيقة TensorFlow
https://www.tensorflow.org/alpha/guide/distribute_strategy
Colab دفتر
https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/r2/guide/distribute_strategy.ipynb
جيثب دفتر
https://github.com/tensorflow/docs/blob/master/site/en/r2/guide/distribute_strategy.ipynb
DeepMind بلوق
https://deepmind.com/blog/tf-replicator-distributed-machine-learning/
أطروحة
https://arxiv.org/abs/1902.00465
- كامل -
التوظيف الصادق
المكدسة تقوم بتجنيد محرر / مراسل، ومقرها في تشونغ قوان تسون في بكين. نتوقع الموهوبين والطلاب المتحمسين للانضمام إلينا! مزيد من التفاصيل، يرجى و qubit عدد الجمهور (QbitAI) واجهة الحوار والرد "تجنيد" كلمة.
و qubit QbitAI عناوين على التوقيع
' " تتبع تقنيات AI دينامية جديدة والمنتجات
