问题:TensorFlow中Variable和get_variable之间的区别
据我所知,Variable
是变量的默认操作,get_variable
主要用于权重分配。
一方面,有人建议在需要变量时使用get_variable
而不是原始Variable
操作。另一方面,我只get_variable
在TensorFlow的官方文档和演示中看到了任何使用。
因此,我想了解有关如何正确使用这两种机制的一些经验法则。是否有任何“标准”原则?
回答 0
我建议始终使用tf.get_variable(...)
-如果您需要随时共享变量,例如在multi-gpu设置中(请参见multi-gpu CIFAR示例),它将使您更轻松地重构代码。没有不利的一面。
纯tf.Variable
是低级的。在某些时候tf.get_variable()
不存在,因此某些代码仍使用低级方式。
回答 1
tf.Variable是一个类,有多种创建tf.Variable的方法,包括tf.Variable.__init__
和tf.get_variable
。
tf.Variable.__init__
:创建一个带有initial_value的新变量。
W = tf.Variable(<initial-value>, name=<optional-name>)
tf.get_variable
:获取具有这些参数的现有变量或创建一个新变量。您也可以使用初始化程序。
W = tf.get_variable(name, shape=None, dtype=tf.float32, initializer=None,
regularizer=None, trainable=True, collections=None)
使用初始化器如xavier_initializer
:
W = tf.get_variable("W", shape=[784, 256],
initializer=tf.contrib.layers.xavier_initializer())
更多信息在这里。
回答 2
我可以发现彼此之间的两个主要区别:
首先,
tf.Variable
它将始终创建一个新变量,而从图中tf.get_variable
获取具有指定参数的现有变量,如果不存在,则创建一个新变量。tf.Variable
要求指定一个初始值。
重要的是要阐明该函数tf.get_variable
在名称前加上当前变量作用域以执行重用检查。例如:
with tf.variable_scope("one"):
a = tf.get_variable("v", [1]) #a.name == "one/v:0"
with tf.variable_scope("one"):
b = tf.get_variable("v", [1]) #ValueError: Variable one/v already exists
with tf.variable_scope("one", reuse = True):
c = tf.get_variable("v", [1]) #c.name == "one/v:0"
with tf.variable_scope("two"):
d = tf.get_variable("v", [1]) #d.name == "two/v:0"
e = tf.Variable(1, name = "v", expected_shape = [1]) #e.name == "two/v_1:0"
assert(a is c) #Assertion is true, they refer to the same object.
assert(a is d) #AssertionError: they are different objects
assert(d is e) #AssertionError: they are different objects
最后一个断言错误很有趣:在相同范围内具有相同名称的两个变量应该是相同变量。但是,如果你测试变量的名字d
和e
你会发现,Tensorflow改变变量的名称e
:
d.name #d.name == "two/v:0"
e.name #e.name == "two/v_1:0"
回答 3
另一个不同之处在于 ('variable_store',)
集合中,而另一个不在。
请查看源代码:
def _get_default_variable_store():
store = ops.get_collection(_VARSTORE_KEY)
if store:
return store[0]
store = _VariableStore()
ops.add_to_collection(_VARSTORE_KEY, store)
return store
让我说明一下:
import tensorflow as tf
from tensorflow.python.framework import ops
embedding_1 = tf.Variable(tf.constant(1.0, shape=[30522, 1024]), name="word_embeddings_1", dtype=tf.float32)
embedding_2 = tf.get_variable("word_embeddings_2", shape=[30522, 1024])
graph = tf.get_default_graph()
collections = graph.collections
for c in collections:
stores = ops.get_collection(c)
print('collection %s: ' % str(c))
for k, store in enumerate(stores):
try:
print('\t%d: %s' % (k, str(store._vars)))
except:
print('\t%d: %s' % (k, str(store)))
print('')
输出:
collection ('__variable_store',): 0: {'word_embeddings_2': <tf.Variable 'word_embeddings_2:0' shape=(30522, 1024) dtype=float32_ref>}