inference مدل در تنسورفلو(کراس)

Question

سلام.وقتی مدل با gpu ساخته میشه در نهایت فایل های checkpoint بدست میاد مدل مورد نظر را فریز می کنم و فایل .pb را ایجاد می کنم چطور با استفاده از فایل .pb عملیات inference رو cpu انجام بدم؟

Answer 1

فایل graphdef را باز کنید و سپس توی گراف جاری import ش کنید و بعد تنسور ورودی و خروجی را اجرا کنید به صورت زیر :

    graph =  'model name'
    
    with tf.gfile.FastGFile(graph,'rb') as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())
    

    with tf.Session() as sess:
        sess.graph.as_default()
        tf.import_graph_def(graph_def, name='')

        np.random.seed(234)
        inp = np.random.standard_normal([1, 224, 224, 3]).astype(np.float32)
        out = sess.run(sess.graph.get_tensor_by_name('dense_2/Softmax:0'),
                       feed_dict={'input_1:0': inp})
    
        print(out)