a9666ac528490fe5226a1f6a0c58ae00848800bb
[opencl/llvm.git] / tools / verify-uselistorder / verify-uselistorder.cpp
1 //===- verify-uselistorder.cpp - The LLVM Modular Optimizer ---------------===//
2 //
3 //                     The LLVM Compiler Infrastructure
4 //
5 // This file is distributed under the University of Illinois Open Source
6 // License. See LICENSE.TXT for details.
7 //
8 //===----------------------------------------------------------------------===//
9 //
10 // Verify that use-list order can be serialized correctly.  After reading the
11 // provided IR, this tool shuffles the use-lists and then writes and reads to a
12 // separate Module whose use-list orders are compared to the original.
13 //
14 // The shuffles are deterministic and somewhat naive.  On a given shuffle, some
15 // use-lists will not change at all.  The algorithm per iteration is as follows:
16 //
17 //  1. Seed the random number generator.  The seed is different for each
18 //     shuffle.  Shuffle 0 uses default+0, shuffle 1 uses default+1, and so on.
19 //
20 //  2. Visit every Value in a deterministic order.
21 //
22 //  3. Assign a random number to each Use in the Value's use-list in order.
23 //
24 //  4. Sort the use-list using Value::sortUseList(), which is a stable sort.
25 //
26 // Shuffling a larger number of times provides a better statistical guarantee
27 // that each use-list has changed at least once.
28 //
29 //===----------------------------------------------------------------------===//
31 #include "llvm/ADT/DenseMap.h"
32 #include "llvm/AsmParser/Parser.h"
33 #include "llvm/Bitcode/ReaderWriter.h"
34 #include "llvm/IR/LLVMContext.h"
35 #include "llvm/IR/Module.h"
36 #include "llvm/IR/UseListOrder.h"
37 #include "llvm/IRReader/IRReader.h"
38 #include "llvm/Support/CommandLine.h"
39 #include "llvm/Support/Debug.h"
40 #include "llvm/Support/ErrorHandling.h"
41 #include "llvm/Support/FileSystem.h"
42 #include "llvm/Support/FileUtilities.h"
43 #include "llvm/Support/ManagedStatic.h"
44 #include "llvm/Support/MemoryBuffer.h"
45 #include "llvm/Support/PrettyStackTrace.h"
46 #include "llvm/Support/Signals.h"
47 #include "llvm/Support/SourceMgr.h"
48 #include "llvm/Support/SystemUtils.h"
50 using namespace llvm;
52 #define DEBUG_TYPE "use-list-order"
54 static cl::opt<std::string> InputFilename(cl::Positional,
55                                           cl::desc("<input bitcode file>"),
56                                           cl::init("-"),
57                                           cl::value_desc("filename"));
59 static cl::opt<bool> SaveTemps("save-temps", cl::desc("Save temp files"),
60                                cl::init(false));
62 static cl::opt<unsigned>
63     NumShuffles("num-shuffles",
64                 cl::desc("Number of times to shuffle and verify use-lists"),
65                 cl::init(5));
67 namespace {
69 struct TempFile {
70   std::string Filename;
71   FileRemover Remover;
72   bool init(const std::string &Ext);
73   bool writeBitcode(const Module &M) const;
74   bool writeAssembly(const Module &M) const;
75   std::unique_ptr<Module> readBitcode(LLVMContext &Context) const;
76   std::unique_ptr<Module> readAssembly(LLVMContext &Context) const;
77 };
79 struct ValueMapping {
80   DenseMap<const Value *, unsigned> IDs;
81   std::vector<const Value *> Values;
83   /// \brief Construct a value mapping for module.
84   ///
85   /// Creates mapping from every value in \c M to an ID.  This mapping includes
86   /// un-referencable values.
87   ///
88   /// Every \a Value that gets serialized in some way should be represented
89   /// here.  The order needs to be deterministic, but it's unnecessary to match
90   /// the value-ids in the bitcode writer.
91   ///
92   /// All constants that are referenced by other values are included in the
93   /// mapping, but others -- which wouldn't be serialized -- are not.
94   ValueMapping(const Module &M);
96   /// \brief Map a value.
97   ///
98   /// Maps a value.  If it's a constant, maps all of its operands first.
99   void map(const Value *V);
100   unsigned lookup(const Value *V) const { return IDs.lookup(V); }
101 };
103 } // end namespace
105 bool TempFile::init(const std::string &Ext) {
106   SmallVector<char, 64> Vector;
107   DEBUG(dbgs() << " - create-temp-file\n");
108   if (auto EC = sys::fs::createTemporaryFile("use-list-order", Ext, Vector)) {
109     (void)EC;
110     DEBUG(dbgs() << "error: " << EC.message() << "\n");
111     return true;
112   }
113   assert(!Vector.empty());
115   Filename.assign(Vector.data(), Vector.data() + Vector.size());
116   Remover.setFile(Filename, !SaveTemps);
117   DEBUG(dbgs() << " - filename = " << Filename << "\n");
118   return false;
121 bool TempFile::writeBitcode(const Module &M) const {
122   DEBUG(dbgs() << " - write bitcode\n");
123   std::string ErrorInfo;
124   raw_fd_ostream OS(Filename.c_str(), ErrorInfo, sys::fs::F_None);
125   if (!ErrorInfo.empty()) {
126     DEBUG(dbgs() << "error: " << ErrorInfo << "\n");
127     return true;
128   }
130   WriteBitcodeToFile(&M, OS);
131   return false;
134 bool TempFile::writeAssembly(const Module &M) const {
135   DEBUG(dbgs() << " - write assembly\n");
136   std::string ErrorInfo;
137   raw_fd_ostream OS(Filename.c_str(), ErrorInfo, sys::fs::F_Text);
138   if (!ErrorInfo.empty()) {
139     DEBUG(dbgs() << "error: " << ErrorInfo << "\n");
140     return true;
141   }
143   OS << M;
144   return false;
147 std::unique_ptr<Module> TempFile::readBitcode(LLVMContext &Context) const {
148   DEBUG(dbgs() << " - read bitcode\n");
149   ErrorOr<std::unique_ptr<MemoryBuffer>> BufferOr =
150       MemoryBuffer::getFile(Filename);
151   if (!BufferOr) {
152     DEBUG(dbgs() << "error: " << BufferOr.getError().message() << "\n");
153     return nullptr;
154   }
156   MemoryBuffer *Buffer = BufferOr.get().get();
157   ErrorOr<Module *> ModuleOr = parseBitcodeFile(Buffer, Context);
158   if (!ModuleOr) {
159     DEBUG(dbgs() << "error: " << ModuleOr.getError().message() << "\n");
160     return nullptr;
161   }
162   return std::unique_ptr<Module>(ModuleOr.get());
165 std::unique_ptr<Module> TempFile::readAssembly(LLVMContext &Context) const {
166   DEBUG(dbgs() << " - read assembly\n");
167   SMDiagnostic Err;
168   std::unique_ptr<Module> M(ParseAssemblyFile(Filename, Err, Context));
169   if (!M.get())
170     DEBUG(dbgs() << "error: "; Err.print("verify-use-list-order", dbgs()));
171   return M;
174 ValueMapping::ValueMapping(const Module &M) {
175   // Every value should be mapped, including things like void instructions and
176   // basic blocks that are kept out of the ValueEnumerator.
177   //
178   // The current mapping order makes it easier to debug the tables.  It happens
179   // to be similar to the ID mapping when writing ValueEnumerator, but they
180   // aren't (and needn't be) in sync.
182   // Globals.
183   for (const GlobalVariable &G : M.globals())
184     map(&G);
185   for (const GlobalAlias &A : M.aliases())
186     map(&A);
187   for (const Function &F : M)
188     map(&F);
190   // Constants used by globals.
191   for (const GlobalVariable &G : M.globals())
192     if (G.hasInitializer())
193       map(G.getInitializer());
194   for (const GlobalAlias &A : M.aliases())
195     map(A.getAliasee());
196   for (const Function &F : M)
197     if (F.hasPrefixData())
198       map(F.getPrefixData());
200   // Function bodies.
201   for (const Function &F : M) {
202     for (const Argument &A : F.args())
203       map(&A);
204     for (const BasicBlock &BB : F)
205       map(&BB);
206     for (const BasicBlock &BB : F)
207       for (const Instruction &I : BB)
208         map(&I);
210     // Constants used by instructions.
211     for (const BasicBlock &BB : F)
212       for (const Instruction &I : BB)
213         for (const Value *Op : I.operands())
214           if ((isa<Constant>(Op) && !isa<GlobalValue>(*Op)) ||
215               isa<InlineAsm>(Op))
216             map(Op);
217   }
220 void ValueMapping::map(const Value *V) {
221   if (IDs.lookup(V))
222     return;
224   if (auto *C = dyn_cast<Constant>(V))
225     if (!isa<GlobalValue>(C))
226       for (const Value *Op : C->operands())
227         map(Op);
229   Values.push_back(V);
230   IDs[V] = Values.size();
233 #ifndef NDEBUG
234 static void dumpMapping(const ValueMapping &VM) {
235   dbgs() << "value-mapping (size = " << VM.Values.size() << "):\n";
236   for (unsigned I = 0, E = VM.Values.size(); I != E; ++I) {
237     dbgs() << " - id = " << I << ", value = ";
238     VM.Values[I]->dump();
239   }
242 static void debugValue(const ValueMapping &M, unsigned I, StringRef Desc) {
243   const Value *V = M.Values[I];
244   dbgs() << " - " << Desc << " value = ";
245   V->dump();
246   for (const Use &U : V->uses()) {
247     dbgs() << "   => use: op = " << U.getOperandNo()
248            << ", user-id = " << M.IDs.lookup(U.getUser()) << ", user = ";
249     U.getUser()->dump();
250   }
253 static void debugUserMismatch(const ValueMapping &L, const ValueMapping &R,
254                               unsigned I) {
255   dbgs() << " - fail: user mismatch: ID = " << I << "\n";
256   debugValue(L, I, "LHS");
257   debugValue(R, I, "RHS");
259   dbgs() << "\nlhs-";
260   dumpMapping(L);
261   dbgs() << "\nrhs-";
262   dumpMapping(R);
265 static void debugSizeMismatch(const ValueMapping &L, const ValueMapping &R) {
266   dbgs() << " - fail: map size: " << L.Values.size()
267          << " != " << R.Values.size() << "\n";
268   dbgs() << "\nlhs-";
269   dumpMapping(L);
270   dbgs() << "\nrhs-";
271   dumpMapping(R);
273 #endif
275 static bool matches(const ValueMapping &LM, const ValueMapping &RM) {
276   DEBUG(dbgs() << "compare value maps\n");
277   if (LM.Values.size() != RM.Values.size()) {
278     DEBUG(debugSizeMismatch(LM, RM));
279     return false;
280   }
282   // This mapping doesn't include dangling constant users, since those don't
283   // get serialized.  However, checking if users are constant and calling
284   // isConstantUsed() on every one is very expensive.  Instead, just check if
285   // the user is mapped.
286   auto skipUnmappedUsers =
287       [&](Value::const_use_iterator &U, Value::const_use_iterator E,
288           const ValueMapping &M) {
289     while (U != E && !M.lookup(U->getUser()))
290       ++U;
291   };
293   // Iterate through all values, and check that both mappings have the same
294   // users.
295   for (unsigned I = 0, E = LM.Values.size(); I != E; ++I) {
296     const Value *L = LM.Values[I];
297     const Value *R = RM.Values[I];
298     auto LU = L->use_begin(), LE = L->use_end();
299     auto RU = R->use_begin(), RE = R->use_end();
300     skipUnmappedUsers(LU, LE, LM);
301     skipUnmappedUsers(RU, RE, RM);
303     while (LU != LE) {
304       if (RU == RE) {
305         DEBUG(debugUserMismatch(LM, RM, I));
306         return false;
307       }
308       if (LM.lookup(LU->getUser()) != RM.lookup(RU->getUser())) {
309         DEBUG(debugUserMismatch(LM, RM, I));
310         return false;
311       }
312       if (LU->getOperandNo() != RU->getOperandNo()) {
313         DEBUG(debugUserMismatch(LM, RM, I));
314         return false;
315       }
316       skipUnmappedUsers(++LU, LE, LM);
317       skipUnmappedUsers(++RU, RE, RM);
318     }
319     if (RU != RE) {
320       DEBUG(debugUserMismatch(LM, RM, I));
321       return false;
322     }
323   }
325   return true;
328 static bool verifyBitcodeUseListOrder(const Module &M) {
329   DEBUG(dbgs() << "*** verify-use-list-order: bitcode ***\n");
330   TempFile F;
331   if (F.init("bc"))
332     return false;
334   if (F.writeBitcode(M))
335     return false;
337   LLVMContext Context;
338   std::unique_ptr<Module> OtherM = F.readBitcode(Context);
339   if (!OtherM)
340     return false;
342   return matches(ValueMapping(M), ValueMapping(*OtherM));
345 static bool verifyAssemblyUseListOrder(const Module &M) {
346   DEBUG(dbgs() << "*** verify-use-list-order: assembly ***\n");
347   TempFile F;
348   if (F.init("ll"))
349     return false;
351   if (F.writeAssembly(M))
352     return false;
354   LLVMContext Context;
355   std::unique_ptr<Module> OtherM = F.readAssembly(Context);
356   if (!OtherM)
357     return false;
359   return matches(ValueMapping(M), ValueMapping(*OtherM));
362 int main(int argc, char **argv) {
363   sys::PrintStackTraceOnErrorSignal();
364   llvm::PrettyStackTraceProgram X(argc, argv);
366   // Enable debug stream buffering.
367   EnableDebugBuffering = true;
369   llvm_shutdown_obj Y; // Call llvm_shutdown() on exit.
370   LLVMContext &Context = getGlobalContext();
372   cl::ParseCommandLineOptions(argc, argv,
373                               "llvm tool to verify use-list order\n");
375   SMDiagnostic Err;
377   // Load the input module...
378   std::unique_ptr<Module> M;
379   M.reset(ParseIRFile(InputFilename, Err, Context));
381   if (!M.get()) {
382     Err.print(argv[0], errs());
383     return 1;
384   }
386   DEBUG(dbgs() << "*** verify-use-list-order ***\n");
387   if (!shouldPreserveBitcodeUseListOrder()) {
388     // Can't verify if order isn't preserved.
389     DEBUG(dbgs() << "warning: cannot verify bitcode; "
390                     "try -preserve-bc-use-list-order\n");
391     return 0;
392   }
394   for (unsigned I = 0, E = NumShuffles; I != E; ++I) {
395     DEBUG(dbgs() << "*** iteration: " << I << " ***\n");
397     // Shuffle with a different seed each time so that use-lists that aren't
398     // modified the first time are likely to be modified the next time.
399     shuffleUseLists(*M, I);
400     if (!verifyBitcodeUseListOrder(*M))
401       report_fatal_error("bitcode use-list order changed");
403     if (shouldPreserveAssemblyUseListOrder())
404       if (!verifyAssemblyUseListOrder(*M))
405         report_fatal_error("assembly use-list order changed");
406   }
408   return 0;